Qligħ:
- Kapaċità li tifhem il-kunċetti ta 'ttestjar A/B, kontroll/varjant, rata ta' konverżjoni u sinifikat statistiku u tistabbilixxi ipoteżijiet u disinji tat-test b'intelliġenza artifiċjali.
- Kapaċità li tiżola l-varjabbli waħdieni li trid tiġi ttestjata u tipproduċi test/immaġni varjanti u pjan ta 'kejl b'appoġġ ta' intelliġenza artifiċjali
- Kapaċità li tiddistingwi li l-interpretazzjoni tat-test tal-intelliġenza artifiċjali hija limitata mid-daqs u s-sinifikat tal-kampjun u r-riskju li taqra riżultati prematuri/skorretti
L-iktar sentenza perikoluża fir-reklamar hija "Naħseb li dan huwa aħjar." Id-dejta, mhux l-opinjoni, tgħidlek jekk intestatura, immaġni, jew buttuna humiex tassew aħjar. L-aktar mod komuni biex jitkejjel dan huwa l-ittestjar A/B: li turi żewġ (jew aktar) verżjonijiet tal-istess reklam lill-utenti reali u tqabbel liema waħda taħdem aħjar. "A" hija ġeneralment il-verżjoni attwali (kontroll), filwaqt li "B" hija l-verżjoni l-ġdida li qed tiġi ppruvata (varjant). Per eżempju, tista 'biss tibdel it-titlu fl-istess reklam u tkejjel liema titolu huwa kklikkjat aktar. L-intelliġenza artifiċjali hija ta’ għajnuna f’dan il-proċess kemm fil-ġenerazzjoni ta’ numru kbir ta’ varjanti kif ukoll fl-interpretazzjoni tar-riżultat; Iżda l-validità xjentifika tat-test tiddependi fuq ir-regoli tad-disinn u l-paċenzja.
Ir-regola tad-deheb tal-ittestjar A/B: varjabbli waħda
L-aktar regola bażika tal-ittestjar A/B hija li tiġi iżolata varjabbli waħda. Jekk tibdel it-titlu, l-immaġni, u l-buttuna fl-istess ħin u tirbaħ il-verżjoni B, qatt ma tkun taf x'rebaħ. Allura f'test element wieħed biss għandu jinbidel, il-bqija għandu jibqa 'kostanti. Jekk trid tittestja aktar minn oġġett wieħed simultanjament u sistematikament, dan jissejjaħ ittestjar multivarjat u jeħtieġ kampjun ħafna akbar; L-ittestjar univarjat A/B huwa l-mod kif tibda.
It-tieni kunċett bażiku huwa s-sinifikat statistiku. Ejja ngħidu li l-verżjoni A kisbet 3 fil-mija klikks u l-verżjoni B kisbet 3.3 fil-mija klikks. Din id-differenza hija vantaġġ reali jew fluke? Jekk uri t-test biss lil 100 persuna, din id-differenza tista’ tkun koinċidenza. Is-sinifikat statistiku jfisser li d-differenza osservata x'aktarx mhux biżżejjed li tkun dovuta għal ċans (jiġifieri, id-differenza hija probabbilment reali). Dan jeħtieġ daqs suffiċjenti tal-kampjun (numru ta 'nies li jaraw it-test). Id-dikjarazzjoni ta '"rebbieħ" bi ftit dejta huwa l-iżball l-aktar komuni u għali.
Tip: Qabel ma tibda t-test, wieġeb il-mistoqsija "meta ser niddikjara r-rebbieħ": kemm nies/wara l-konverżjoni, f'liema livell ta 'sinifikat. Jekk tieħu din id-deċiżjoni minn qabel ma tħallikx tinqabad fl-istorbju fl-ewwel sigħat u tieħu deċiżjoni prematura.
It-tabella li ġejja tqabbel id-disinn tat-test A/B tajjeb u ħażin:
oġġett
disinn ħażin
disinn tajjeb
Numru ta' varjabbli
Titolu + immaġini + buttuna flimkien
titolu biss
ipoteżi
(xejn) "ejja naraw x'jiġri"
"Titoli b'mistoqsijiet iżidu l-klikks"
kampjun
80 persuna
Quorum ikkalkulat minn qabel
ħin tad-deċiżjoni
2 sigħat wara
Meta tilħaq sinifikat
Għażla tar-rebbieħa
"Naħseb li B huwa sabiħ"
Ibbażat fuq data u sinifikat
Pass pass: twaqqif ta 'test A/B
Pass 1 — Ikteb ipoteżi. X'qed tittestja u għaliex? Ipoteżi ċara bħal "Titolu b'benefiċċji jikseb aktar klikks minn titlu b'karatteristiċi."
Pass 2 — Agħżel varjabbli wieħed. It-titlu biss, jew l-immaġni biss, jew is-CTA biss.
Pass 3 — Iġġenera varjanti. Oħloq verżjonijiet differenti tal-istess oġġett bl-AI; żomm il-bqija kostanti.
Pass 4 — Stabbilixxi pjan ta 'kejl. Liema metrika se tiddetermina r-rebbieħ (rata ta 'click-through, konverżjoni), kemm hu meħtieġ kampjun, kemm idum għaddej.
Pass 5 — Interpreta u vverifika r-riżultat. Inġabret biżżejjed dejta, id-differenza hija sinifikanti? Jekk ma tkunx sinifikanti, "l-ebda differenza" hija wkoll riżultat validu.
tliet każijiet żgħar
Każ 1 — Ċarezza ta' varjabbli waħda. Ditta tal-kummerċ elettroniku ttestjat biss CTA fir-reklam tal-prodott tagħha: "Ixtri" u "Żid mal-karrettun." Kollox ieħor kien l-istess. Wara biżżejjed kampjuni, "Żid mal-karrettun" ġabet konverżjonijiet ogħla b'mod sinifikanti. Id-differenza setgħet tiġi interpretata b'mod ċar minħabba li varjabbli waħda kienet iżolata. L-AI pproduċiet żewġ CTAs, id-dejta għażlet ir-rebbieħ.
Każ 2 — Nassa ta' deċiżjoni bikrija. Marka waqqfet it-test minħabba li l-verżjoni B kienet fuq quddiem fl-ewwel 3 sigħat tat-test A/B u fetħet B għall-baġit kollu. Meta wieħed iħares lejn id-dejta totali l-għada, A kien fil-fatt kemxejn aħjar; Id-differenza fl-ewwel sigħat kienet kumbinazzjoni. Il-baġit kien moħli. Żball: tieħu deċiżjoni prematura b'daqs insuffiċjenti tal-kampjun.
Każ 3 — "L-ebda differenza" hija wkoll il-konklużjoni. Marka ttestjat żewġ stampi differenti, u wara biżżejjed kampjunar, it-tnejn ipproduċew kważi l-istess riżultat. Filwaqt li t-tim kien se jilmenta li "t-test falla", il-qari korrett kien li l-immaġni mhix il-fattur deċiżiv f'din il-kampanja, għalhekk l-isforz għandu jkun dirett lejn it-titlu u l-offerta. Il-fatt li ma nstabet l-ebda differenza sinifikanti huwa wkoll informazzjoni siewja.
Erba' mudelli li jistgħu jiġu kkupjati
1) Ipoteżi u disinn tat-test:
Dak li rrid nittestja: [eż. titolu ad].Kompitu: (1) Ikteb ipoteżi waħda li tista' tiġi ttestjata (fil-forma "... żidiet ... żidiet").(2) Elenka l-varjabbli waħdieni li għandha tiżola u dawk li għandhom iżommu kostanti.(3) Issuġġerixxi l-metrika li se tiddetermina r-rebbieħ (click-through rate/konverżjoni).
2) Ġeneratur tal-varjanti (varjant wieħed):
Ad li jwaħħal: immaġni [l-istess], CTA [l-istess], mira [l-istess]. Varjabbli ttestjat: HEADLINE. Messaġġ ewlieni: "[messaġġ]". Kompitu: Iġġenera 4 varjanti tat-titli differenti bl-istess messaġġ. Kull wieħed juża approċċ differenti (mistoqsija, benefiċċju, numru, urġenza). It-titlu biss jinbidel; Żieda ta' talba mhux sostanzjata.
3) Pjan tal-kejl:
Test: [Definizzjoni ta' A u B]. Metrika: [ikklikkja/konverżjoni].Kompitu: Abbozz ta' pjan ta' kejl: (1) liema metrika hija primarja, liema huma sekondarji, (2) kemm hija meħtieġa dejta/ħin biex jiġi ddikjarat ir-rebbieħ (spjega l-loġika), (3) kif taqsam it-traffiku b'mod ugwali u ġust bejn A u B, (4) liema fatturi esterni jistgħu jgħawġu r-riżultat (staġun għodda sinifikanti ta' ġimgħa). statistika.
4) Interpretu tar-riżultat (b'attenzjoni):
Ir-riżultati tat-test A/B tiegħi (dejta reali): [A: impressjonijiet/klikks/konverżjoni],[B: impressjonijiet/klikks/konverżjoni].Kompitu: (1) Ikkalkula u turi r-rati ta' kull verżjoni. (2) Ikkummenta dwar il-kobor tad-differenza, imma jekk il-kampjun ma jkunx biżżejjed, għid "dejta insuffiċjenti għal riżultat sinifikanti." Se nikkonferma b'għodda ta' kont separata.
Pront dgħajjef / Pront qawwi
Pront dgħajjef:
Ipproduċi verżjoni A u B għar-reklam tiegħi, għidli liema waħda hija aħjar.
Il-varjabbli mhix iżolata, m'hemm l-ebda ipoteżi u kejl; L-AI ma tistax tkun taf liema waħda hija "tajba" mingħajr data, tagħmilha.
Pront qawwi:
Qed inwaqqaf l-ittestjar A/B. Fiss: l-immaġni u s-CTA se jibqgħu l-istess. Ittestjat biss varjabbli: headline ad.Ipoteżi: "Headline bin-numri tikseb aktar klikks minn headline ġenerali."Messaġġ ewlieni: "Kunsenjat fi 3 ijiem."Kompitu: (1) Tipproduċi intestatura ġenerali 1 għall-kontroll, 3 aħbarijiet b'numri għall-varjant. żbalji li jistgħu jinvalidaw it-test.Tbassarx min se jirbaħ; Id-dejta tiddeterminaha.
It-tieni talba tiżola varjabbli waħda, tinvolvi ipoteżi u kejl; iħalli lir-rebbieħ għad-data.
Żbalji komuni
- Nibdlu ħafna oġġetti f'daqqa. Ir-raġuni għar-rebbieħ ma tkunx ċara; Varjabbli wieħed għandu jkun iżolat.
- Teħid ta' deċiżjonijiet b'kampjuni insuffiċjenti. Id-differenza fl-ewwel sigħat spiss tkun koinċidenza.
- Ittestjar mingħajr ipoteżi. "Ejja naraw x'jiġri" l-ittestjar ma jipproduċix tagħlim; L-ewwel ikteb dak li tistenna.
- Jiżbalja r-riżultat "L-ebda differenza" bħala falliment. In-nuqqas ta' differenza sinifikanti huwa wkoll informattiv.
- L-għażla tar-rebbieħ ibbażata fuq it-togħma. L-ittestjar huwa preċiżament biex teskludi t-togħma personali; Segwi d-dejta.
- Jinsa l-fatturi esterni. Staġun, jum tal-kampanja, fluss tal-aħbarijiet jistgħu jgħawġu l-eżitu; Żomm il-kundizzjonijiet tal-ittestjar ġusti.
Attenzjoni: L-iskop tal-ittestjar A/B mhuwiex li "jirbaħ" iżda li titgħallem. Anke varjant li titlef hija informazzjoni siewja; It-telf reali qed tiddependi fuq ir-riżultat ħażin b'dejta insuffiċjenti u torbot il-baġit miegħu.
Fil-qosor
L-ittestjar A/B huwa metodu qawwi li jmexxi d-deċiżjonijiet tar-reklamar minn idea għal data. Ir-regola tad-deheb hija li tiġi iżolata varjabbli waħda: element wieħed biss għandu jinbidel f'test, il-bqija għandu jibqa 'kostanti. It-tieni pilastru huwa kampjunar adegwat u sinifikat statistiku; Id-dikjarazzjoni ta' rebbieħ bi ftit dejta huwa l-iżball l-aktar għali. L-AI hija ta' għajnuna biex tiġġenera varjanti multipli u tikkalkula u tinterpreta l-odds, iżda d-dejta tiddetermina r-rebbieħ, mhux l-AI. Anki r-riżultat "l-ebda differenza" huwa tagħlim. L-ipoteżi, il-metrika u l-limitu tad-deċiżjoni għandhom jinkitbu qabel ma jibda t-test.
Kompitu ta' applikazzjoni
Agħżel kreattiv (titlu, immaġni jew CTA). (1) Ikteb ipoteżi waħda li tista' tiġi ttestjata u varjabbli iżolat b'"Ipoteżi u disinn tat-test". (2) Iġġenera 1 kontroll + 3 varjanti b'"Variant generator"; Biss ibdel dak l-element. (3) Ippjana liema metrika se tħares lejn, għal kemm żmien u b'liema data, bil-“pjan ta' kejl”. (4) Ikteb il-limitu tiegħek biex tiddikjara r-rebbieħ (kemm konverżjonijiet / liema sinifikat) bil-quddiem. (5) Ikkunsidra r-riżultati ipotetiċi b'“interpretu tar-riżultati” u nnota għaliex ma tieħux deċiżjoni f'xenarju fejn id-dejta ma tkunx biżżejjed.
lista ta' kontroll
- [ ] Iżolajt varjabbli waħda biss fit-test.
- [ ] Jien ktibt ipoteżi ċara qabel it-test.
- [ ] Diġà ddeterminajt il-kampjun u l-ħin meħtieġ għar-rebbieħ.
- [ ] Għażilt ir-rebbieħ abbażi tad-dejta, mhux it-togħma personali.
- [ ] Jien ikkunsidrajt ir-riżultat ta' "l-ebda differenza" bħala tagħlim validu.
- [ ] Iċċekkja għal fatturi esterni li jistgħu jgħawġu r-riżultat.