Inkrementinis reklamos poveikis: statistinis galios testas
Rinkodaroje dažnai matome situacijas, kai bendri e-parduotuvės pardavimai auga, tačiau pelningumas nedidėja. Taip nutinka todėl, kad reklama pritraukia vartotojus, kurie prekes būtų įsigiję bet kokiu atveju. Norint tiksliai suprasti reklamos naudą, analizės centre privalo būti **inkrementinis reklamos poveikis** (angl. *incremental lift*). Tai yra papildomas pardavimų prieaugis, kurį sugeneravo reklama, atmetus visus organinius veiksnius.
Kas yra inkrementinis reklamos poveikis ir kaip jis apskaičiuojamas?
Matematiškai, inkrementinis reklamos poveikis (Lift) yra apibrėžiamas kaip skirtumas tarp testinės grupės pardavimų ($Y_{Test}$) ir kontrolinės grupės bazinės linijos ($\hat{Y}_{Control}$):
Šis skirtumas parodo tikrąjį reklamos sukurtą prieaugį. Jei gautas Lift yra lygus nuliui, vadinasi, reklama buvo visiškai neinkrementali – ji tiesiog pasisavino organinius pardavimus.
Matematinis galios testas ir jo vaidmuo
Prieš pradedant eksperimentą, TestLift visada atlieka statistinį galios testą (angl. statistical power test). Galios testas yra būtinas norint įsitikinti, ar eksperimentas bus statistiškai reikšmingas. Jis analizuoja šiuos parametrus:
- Duomenų triukšmo lygis (Variance): Matuojama, kiek jūsų kasdieniai užsakymai svyruoja natūraliai (dėl sezoniškumo, savaitės dienų ar konkurentų aktyvumo).
- Eksperimento trukmė: Padeda nustatyti, ar reikalingas 3, 4 ar 6 savaičių testavimo laikotarpis, kad duomenys stabilizuotųsi.
- Minimalus aptinkamas poveikis (MDE): Mažiausias procentinis pardavimų pokytis (pvz. +10%), kurį tyrimas sugebės atpažinti iš bendro triukšmo fono. Jei duomenys labai triukšmingi, o MDE per mažas, eksperimentas bus "aklas" ir inkrementinis reklamos poveikis liks nepastebėtas (False Negative klaida).
Mūsų 5 matematikos ekspertų komanda šį pradinį galios testavimą atlieka nemokamai. Tai garantuoja, kad suprojektuotas eksperimentas turės bent 80% statistinę galią sėkmingai aptikti jūsų reklamos poveikį.
Moksliniai Tyrimai / Scholar References
- Tyrimas 1: Lewis, R. A., & Reiley, D. H. (2014). "Online Advertising and Offline Sales: Evidence from a Randomized Field Experiment". Marketing Science. Didžiulis tyrimas, analizavęs inkrementalų poveikį neprisijungus prie interneto vykstantiems pardavimams.
- Tyrimas 2: Chan, D., Perry, R., & Sun, Y. (2018). "Designing Geo-experiments: A Practical Guide". Google Technical Report. Išsamus vadovas apie statistinės galios skaičiavimus ir triukšmo modeliavimą.
- Tyrimas 3: Gordon, B. R., Zettelmeyer, F., Luo, N., & Stern, R. (2019). "A Comparison of Approaches to Advertising Measurement". Marketing Science. Eksperimentų ir tradicinių atribucijos modelių tikslumo palyginimas.