Pelnas:
- Gebėjimas suprasti A/B testavimo, valdymo/varianto, konversijos koeficiento ir statistinio reikšmingumo sąvokas bei iškelti hipotezes ir bandymų projektus naudojant dirbtinį intelektą.
- Galimybė atskirti vieną testuojamą kintamąjį ir parengti teksto/vaizdo variantą bei matavimo planą su dirbtinio intelekto palaikymu
- Gebėjimas atskirti, kad dirbtinio intelekto testo interpretaciją riboja imties dydis ir reikšmingumas bei rizika nuskaityti priešlaikinius / neteisingus rezultatus
Pavojingiausias reklamos sakinys yra „Manau, kad tai geriau“. Duomenys, o ne nuomonė, parodo, ar antraštė, vaizdas ar mygtukas tikrai geresni. Dažniausias būdas tai įvertinti yra A/B testavimas: dviejų (ar daugiau) to paties skelbimo versijų rodymas tikriems vartotojams ir palyginimas, kuri veikia geriau. „A“ paprastai yra dabartinė versija (valdiklis), o „B“ yra nauja bandoma versija (variantas). Pavyzdžiui, galite pakeisti tik pavadinimą tame pačiame skelbime ir įvertinti, kuris pavadinimas spustelėjamas daugiau. Dirbtinis intelektas šiame procese padeda tiek generuojant daugybę variantų, tiek interpretuojant rezultatą; Tačiau mokslinis testo pagrįstumas priklauso nuo projektavimo taisyklių ir kantrybės.
Auksinė A/B testavimo taisyklė: vienas kintamasis
Pagrindinė A/B testavimo taisyklė – atskirti vieną kintamąjį. Jei vienu metu pakeisite pavadinimą, vaizdą ir mygtuką ir laimės B versija, niekada nesužinosite, kas laimėjo. Taigi teste turėtų pasikeisti tik vienas elementas, o kiti turėtų likti pastovūs. Jei norite vienu metu ir sistemingai išbandyti daugiau nei vieną elementą, tai vadinama daugiamačiu testavimu ir reikalauja daug didesnės imties; Vienkartinis A/B testavimas yra būdas pradėti.
Antroji pagrindinė sąvoka yra statistinis reikšmingumas. Tarkime, A versija sulaukė 3 procentų paspaudimų, o versija B – 3,3 procento paspaudimų. Ar šis skirtumas yra tikras privalumas ar atsitiktinumas? Jei testą parodytumėte tik 100 žmonių, šis skirtumas gali būti atsitiktinis. Statistinis reikšmingumas reiškia, kad pastebėtas skirtumas yra mažai tikėtinas dėl atsitiktinumo (t. y. skirtumas tikriausiai yra tikras). Tam reikia pakankamo imties dydžio (žmonių, kurie mato testą, skaičiaus). „Nugalėtojo“ paskelbimas turint mažai duomenų yra dažniausia ir brangiausia klaida.
Patarimas: prieš pradėdami testą, atsakykite į klausimą „kada paskelbsiu nugalėtoją“: kiek žmonių / po konversijos, kokiu reikšmingumo lygiu. Iš anksto priėmus tokį sprendimą, pirmosiomis valandomis išvengsite triukšmo ir per anksti apsispręsite.
Šioje lentelėje palyginamas geras ir blogas A/B testo dizainas:
daiktas
blogas dizainas
geras dizainas
Kintamųjų skaičius
Pavadinimas + vaizdas + mygtukas kartu
tik pavadinimas
hipotezė
(nėra) "pažiūrėkime, kas atsitiks"
„Pavadinimai su klausimais padidina paspaudimų skaičių“
mėginys
80 žmonių
Iš anksto apskaičiuotas kvorumas
sprendimo laikas
po 2 valandų
Kai pasieksi reikšmingumą
Nugalėtojo rinkimas
"Manau, kad B yra gražus"
Remiantis duomenimis ir reikšmingumu
Žingsnis po žingsnio: nustatykite A/B testą
1 žingsnis – parašykite hipotezę. Ką bandai ir kodėl? Aiški hipotezė, pvz., „Antraštė su pranašumais sulaukia daugiau paspaudimų nei antraštė su funkcijomis“.
2 veiksmas – pasirinkite vieną kintamąjį. Tik pavadinimas arba tik vaizdas, arba tik raginimas veikti.
3 veiksmas – kurkite variantus. Sukurkite skirtingas to paties elemento versijas naudodami AI; likusią dalį laikykite pastoviai.
4 veiksmas – nustatykite matavimo planą. Kuri metrika nulems laimėtoją (paspaudimų rodiklis, konversija), kiek imties reikia, kiek laiko paleisti.
5 veiksmas – interpretuokite ir patikrinkite rezultatą. Ar surinkta pakankamai duomenų, ar skirtumas reikšmingas? Jei jis nėra reikšmingas, „jokio skirtumo“ taip pat yra tinkamas rezultatas.
trys mini dėklai
1 atvejis – vieno kintamojo aiškumas. El. prekybos prekės ženklas išbandė tik raginimą veikti savo produkto skelbime: „Pirkti“ ir „Įdėti į krepšelį“. Visa kita buvo tas pats. Atlikus pakankamai pavyzdžių, „Įdėti į krepšelį“ konversijų skaičius buvo daug didesnis. Skirtumas gali būti aiškinamas aiškiai, nes buvo atskirtas vienas kintamasis. AI sukūrė du CTA, duomenys išrinko nugalėtoją.
2 atvejis – ankstyvo sprendimo spąstai. Prekės ženklas sustabdė testavimą, nes B versija buvo pirmesnė per pirmąsias 3 A/B bandymo valandas ir atvėrė B versiją visam biudžetui. Žvelgiant į bendrus kitos dienos duomenis, A iš tikrųjų buvo šiek tiek geresnis; Skirtumas pirmosiomis valandomis buvo atsitiktinis. Biudžetas buvo iššvaistytas. Klaida: per anksti priimtas sprendimas esant nepakankamam imties dydžiui.
3 atvejis – „Jokio skirtumo“ taip pat yra išvada. Prekės ženklas išbandė du skirtingus vaizdus ir, pakankamai paėmus mėginius, abu davė beveik tą patį rezultatą. Kol komanda ruošėsi dejuoti, kad „bandymas nepavyko“, teisinga buvo ta, kad vaizdas nėra lemiamas veiksnys šioje kampanijoje, todėl pastangas reikia nukreipti į antraštę ir pasiūlymą. Tai, kad reikšmingo skirtumo nerasta, taip pat yra vertinga informacija.
Keturi kopijuojami šablonai
1) Hipotezė ir bandymo planas:
Ką aš noriu išbandyti: [pvz. skelbimo pavadinimas].Užduotis: (1) Parašykite vieną patikrinamą hipotezę (forma "... didėja ... didėja").(2) Išvardykite vieną kintamąjį, kurį reikia išskirti, ir tuos, kurie turi likti pastovūs.(3) Pasiūlykite metriką, kuri nulems nugalėtoją (paspaudimų rodiklis / konversija).(4) Parašykite, į ką reikia atkreipti dėmesį (ankstyvas sprendimas, norint patvirtinti riziką, trukmė).
2) Variantų generatorius (vienas variantas):
Lipnus skelbimas: vaizdas [tas pats], CTA [tas pats], taikymas [tas pats]. Išbandytas kintamasis: HEADLINE. Pagrindinis pranešimas: „[pranešimas]“. Užduotis: sugeneruokite 4 skirtingus antraščių variantus su tuo pačiu pranešimu. Kiekvienas naudoja skirtingą požiūrį (klausimas, nauda, skaičius, skubumas). Keičiasi tik antraštė; Pridedamas nepagrįstas reikalavimas.
3) Matavimo planas:
Testas: [A ir B apibrėžimas]. Metrika: [paspaudimas/konversija].Užduotis: Sudarykite matavimo planą:(1) kuri metrika yra pirminė, kuri antrinė,(2) kiek duomenų/laiko reikia laimėtojui paskelbti (paaiškinkite logiką),(3) kaip tolygiai ir teisingai paskirstyti srautą tarp A ir B,(4) kokie išoriniai veiksniai gali iškraipyti rezultatą (sezonas, savaitės diena).
4) Rezultatų vertėjas (atsargiai):
Mano A/B testo rezultatai (tikrieji duomenys): [A: parodymai/paspaudimai/konversija],[B: parodymai/paspaudimai/konversija].Užduotis: (1) Apskaičiuokite ir parodykite kiekvienos versijos rodiklius.(2) Pakomentuokite skirtumo dydį, bet jei imties nepakanka, pasakykite „nepakanka duomenų prasmingam rezultatui gauti. reikalavimas dėl reikšmingumo; Patvirtinsiu naudodamas atskirą paskyros įrankį.
Silpnas raginimas / Stiprus raginimas
Silpnas raginimas:
Sukurkite mano skelbimo A ir B versijas, pasakykite man, kuri iš jų yra geresnė.
Kintamasis nėra izoliuotas, nėra hipotezės ir matavimo; Dirbtinis intelektas negali žinoti, kuris iš jų yra „geras“ be duomenų, jis viską sugalvoja.
Galingas raginimas:
Nustatau A/B testavimą. Ištaisyta: vaizdas ir raginimo veikti veiksmas išliks tie patys.Išbandytas tik kintamasis: skelbimo antraštė.Hipotezė: "Antraštė su skaičiais sulaukia daugiau paspaudimų nei bendroji antraštė."Pagrindinis pranešimas: "Pristatyta per 3 dienas."Užduotis: (1) Sukurkite 1 bendrąją antraštę, skirtą kontrolei, 3 antraštes su skaičiais, skirtą variantui.(2) Pasakykite man, kurį išmatuoti 3. 3 klaidos, kurios gali padaryti testą negaliojančiu. Neprognozuokite, kuris iš jų laimės; Duomenys tai lems.
Antrasis teiginys išskiria vieną kintamąjį, apima hipotezę ir matavimą; laimėtoją palieka duomenims.
Dažnos klaidos
- Daugelio elementų keitimas vienu metu. Nugalėtojo priežastis tampa neaiški; Vienas kintamasis turi būti izoliuotas.
- Sprendimų priėmimas su nepakankamais mėginiais. Pirmųjų valandų skirtumas dažnai būna atsitiktinis.
- Testavimas be hipotezių. „Pažiūrėkime, kas atsitiks“ testavimas nesuteikia mokymosi; Pirmiausia užsirašykite, ko tikitės.
- Rezultato „Jokio skirtumo“ klaidinimas kaip nesėkmė. Informatyvus yra ir reikšmingo skirtumo nebuvimas.
- Nugalėtojas renkamas pagal skonį. Testavimas yra būtent siekiant atmesti asmeninį skonį; Sekite duomenis.
- Pamirškite išorinius veiksnius. Sezonas, kampanijos diena, naujienų srautas gali iškreipti rezultatą; Išlaikykite teisingas bandymo sąlygas.
Dėmesio: A/B testavimo tikslas yra ne „laimėti“, o mokytis. Netgi pralaimėjęs variantas yra vertinga informacija; Tikrasis nuostolis yra pasikliauti neteisingu rezultatu su nepakankamais duomenimis ir su juo susieti biudžetą.
Apibendrinant
A/B testavimas yra galingas metodas, perkeliantis reklamos sprendimus nuo idėjos prie duomenų. Auksinė taisyklė yra išskirti vieną kintamąjį: teste turi pasikeisti tik vienas elementas, likusieji turi likti pastovūs. Antrasis ramstis – tinkama atranka ir statistinis reikšmingumas; Nugalėtojo paskelbimas turint mažai duomenų yra brangiausia klaida. AI padeda generuoti kelis variantus ir skaičiuoti bei interpretuoti šansus, tačiau laimėtoją lemia duomenys, o ne AI. Netgi „neskirtumo“ rezultatas yra mokymasis. Hipotezė, metrika ir sprendimo slenkstis turėtų būti parašyti prieš pradedant testą.
Taikymo užduotis
Pasirinkite skelbimą (antraštę, vaizdą arba raginimą veikti). (1) Parašykite vieną tikrinamą hipotezę ir izoliuotą kintamąjį su "Hipotezė ir testo planas". (2) Sugeneruokite 1 valdiklį + 3 variantus naudodami „Variantų generatorių“; Tiesiog pakeiskite šį elementą. (3) Suplanuokite, kurią metriką žiūrėsite, kiek laiko ir su kokiais duomenimis, naudodami „matavimo planą“. (4) Iš anksto užsirašykite laimėtojo paskelbimo slenkstį (kiek konversijų / kokios reikšmės). (5) Apsvarstykite hipotetinius rezultatus naudodami „rezultatų interpretatorių“ ir atkreipkite dėmesį, kodėl nepriimtumėte sprendimo scenarijuje, kai duomenų nepakanka.
kontrolinis sąrašas
- [ ] Teste išskyriau tik vieną kintamąjį.
- [ ] Prieš testą parašiau aiškią hipotezę.
- [ ] Jau nustačiau pavyzdį ir laiką, reikalingą laimėtojui.
- [ ] Nugalėtoją išrinkau pagal duomenis, o ne asmeninį skonį.
- [ ] „Jokio skirtumo“ rezultatą laikiau tinkamu mokymusi.
- [ ] Patikrinau, ar nėra išorinių veiksnių, galinčių iškreipti rezultatą.