Fitimet:
- Aftësia për të kuptuar konceptet e testimit A/B, kontrollit/variantit, shkallës së konvertimit dhe rëndësisë statistikore dhe vendosjes së hipotezave dhe modeleve të testimit me inteligjencë artificiale.
- Aftësia për të izoluar variablin e vetëm që do të testohet dhe për të prodhuar variant teksti/imazhi dhe plani matjeje me mbështetjen e inteligjencës artificiale
- Aftësia për të dalluar se interpretimi i testit të inteligjencës artificiale është i kufizuar nga madhësia dhe rëndësia e kampionit dhe rreziku i leximit të rezultateve të parakohshme/të pasakta
Fjalia më e rrezikshme në reklamë është "Unë mendoj se kjo është më mirë". Të dhënat, jo opinioni, ju tregojnë nëse një titull, një imazh ose një buton është vërtet më i mirë. Mënyra më e zakonshme për të matur këtë është testimi A/B: shfaqja e dy (ose më shumë) versioneve të së njëjtës reklamë për përdoruesit e vërtetë dhe krahasimi i cili funksionon më mirë. "A" është zakonisht versioni aktual (kontrolli), ndërsa "B" është versioni i ri që po provohet (varianti). Për shembull, mund të ndryshoni vetëm titullin në të njëjtën reklamë dhe të matni se cili titull është klikuar më shumë. Inteligjenca artificiale është e dobishme në këtë proces si në gjenerimin e një numri të madh variantesh ashtu edhe në interpretimin e rezultatit; Por vlefshmëria shkencore e testit varet nga rregullat e projektimit dhe durimi.
Rregulli i artë i testimit A/B: një ndryshore
Rregulli më themelor i testimit A/B është të izoloni një ndryshore të vetme. Nëse ndryshoni titullin, imazhin dhe butonin në të njëjtën kohë dhe versioni B fiton, nuk do ta dini kurrë se çfarë fitoi. Pra, në një test vetëm një element duhet të ndryshojë, pjesa tjetër duhet të mbetet konstante. Nëse dëshironi të testoni më shumë se një artikull në të njëjtën kohë dhe në mënyrë sistematike, kjo quhet testim multivariate dhe kërkon një mostër shumë më të madhe; Testimi i njëanshëm A/B është mënyra për të filluar.
Koncepti i dytë bazë është rëndësia statistikore. Le të themi se versioni A mori 3 për qind klikime dhe versioni B mori 3,3 për qind klikime. A është ky ndryshim një avantazh i vërtetë apo një rastësi? Nëse do t'ua tregonit testin vetëm 100 personave, ky ndryshim mund të ishte i rastësishëm. Rëndësia statistikore do të thotë se ndryshimi i vëzhguar nuk ka gjasa të jetë mjaftueshëm për shkak të rastësisë (d.m.th., ndryshimi është ndoshta real). Kjo kërkon një madhësi të mjaftueshme kampioni (numri i njerëzve që shohin testin). Shpallja e një "fituesi" me pak të dhëna është gabimi më i zakonshëm dhe më i shtrenjtë.
Këshillë: Përpara se të filloni testin, përgjigjuni pyetjes "kur do ta shpall fituesin": sa persona/pas konvertimit, në çfarë niveli rëndësie. Marrja e këtij vendimi paraprakisht ju pengon të kapeni nga zhurma në orët e para dhe të merrni një vendim të parakohshëm.
Tabela e mëposhtme krahason dizajnin e mirë dhe të keq të testit A/B:
artikull
dizajn i keq
dizajn i mirë
Numri i variablave
Titulli + imazh + butoni së bashku
vetëm titull
hipoteza
(asnjë) "le të shohim se çfarë ndodh"
"Titujt me pyetje rrisin klikimet"
mostër
80 persona
Kuorumi i parallogaritur
koha e vendimit
2 orë më vonë
Kur të arrini rëndësinë
Zgjedhja e fituesit
"Unë mendoj se B është i mirë"
Bazuar në të dhëna dhe rëndësi
Hap pas hapi: vendosja e një testi A/B
Hapi 1 - Shkruani një hipotezë. Çfarë po testoni dhe pse? Një hipotezë e qartë si "Një titull me përfitime merr më shumë klikime sesa një titull me veçori".
Hapi 2 - Zgjidhni variabël të vetme. Vetëm titulli, ose thjesht imazhi, ose thjesht CTA.
Hapi 3 - Gjeneroni variante. Krijo versione të ndryshme të të njëjtit artikull me AI; mbajeni pjesën tjetër konstante.
Hapi 4 - Krijoni një plan matjeje. Cila metrikë do të përcaktojë fituesin (norma e klikimeve, konvertimi), sa mostër nevojitet, sa kohë do të ekzekutohet.
Hapi 5 - Interpretoni dhe verifikoni rezultatin. A janë mbledhur të dhëna të mjaftueshme, a është dallimi i rëndësishëm? Nëse nuk është domethënës, "pa dallim" është gjithashtu një rezultat i vlefshëm.
tre mini kuti
Rasti 1 - Qartësia e një ndryshoreje të vetme. Një markë e-commerce testoi vetëm CTA në reklamën e produktit të saj: "Bli" dhe "Shto në shportë". Gjithçka tjetër ishte e njëjtë. Pas mostrave të mjaftueshme, "Shto në shportë" solli konvertime dukshëm më të larta. Dallimi mund të interpretohej qartë sepse një variabël i vetëm ishte i izoluar. AI prodhoi dy CTA, të dhënat zgjodhën fituesin.
Rasti 2 — Kurthi i vendimit të hershëm. Një markë e ndaloi testin sepse versioni B ishte përpara në 3 orët e para të testit A/B dhe hapi B për të gjithë buxhetin. Duke parë të dhënat totale të nesërmen, A ishte në fakt pak më mirë; Diferenca në orët e para ishte e rastësishme. Buxheti u shpërdorua. Gabim: marrja e një vendimi të parakohshëm me madhësi të pamjaftueshme të mostrës.
Rasti 3 - "Nuk ka dallim" është gjithashtu përfundimi. Një markë testoi dy imazhe të ndryshme dhe pas marrjes së mostrave të mjaftueshme, të dyja dhanë pothuajse të njëjtin rezultat. Ndërsa ekipi ishte gati të ankohej se "testi dështoi", leximi i saktë ishte se imazhi nuk është faktori vendimtar në këtë fushatë, kështu që përpjekja duhet të drejtohet drejt titullit dhe ofertës. Fakti që nuk u gjet ndonjë ndryshim domethënës është gjithashtu informacion i vlefshëm.
Katër shabllone të kopjueshëm
1) Hipoteza dhe dizajni i testit:
Çfarë dua të testoj: [p.sh. titulli i reklamës]. Detyra: (1) Shkruani një hipotezë të vetme të testueshme (në formën "... rritet ... rritet").(2) Rendisni variablin e vetëm për t'u izoluar dhe ato për t'u mbajtur konstante. (3) Sugjeroni metrikën që do të përcaktojë fituesin (norma e klikim/konvertimit).
2) Gjenerator variant (variant i vetëm):
Reklama ngjitëse: imazh [i njëjtë], CTA [njëjtë], objektiv [i njëjtë]. Variabli i testuar: TITULLI. Mesazhi kryesor: "[mesazh]". Detyrë: Gjeneroni 4 variante të ndryshme titujsh me të njëjtin mesazh. Secili përdor një qasje të ndryshme (pyetje, përfitim, numër, urgjencë). Ndryshon vetëm titulli; Shtimi i një pretendimi të pabazuar.
3) Plani i matjes:
Test: [Përkufizimi i A dhe B]. Metrikë: [kliko/konvertim]. Detyrë: Hartoni një plan matjeje: (1) cila metrikë është parësore, cilat dytësore, (2) sa të dhëna/kohë nevojiten për të shpallur fituesin (shpjegoni logjikën), (3) si të ndani trafikun në mënyrë të barabartë dhe të drejtë midis A dhe B, (4) cilët faktorë të jashtëm mund të shtrembërojnë një mjet shumë të rëndësishëm të ditës, vullnetin e javës. llogarit statistikat e sakta.
4) Përkthyesi i rezultateve (kujdes):
Rezultatet e mia të testit A/B (të dhëna reale): [A: përshtypjet/klikimet/konvertimi], [B: përshtypjet/klikimet/konvertimi]. Detyra: (1) Llogaritni dhe shfaqni normat e secilit version. (2) Komentoni madhësinë e diferencës, por nëse mostra nuk është e mjaftueshme, thoni "të dhëna të pamjaftueshme të rrezikut për një rezultat domethënës." i parakohshëm/lexim i gabuar. Mos bëni asnjë pretendim përfundimtar të rëndësisë; Do ta konfirmoj me një mjet të veçantë llogarie.
Prompt i dobët / Prompt i fortë
Njoftim i dobët:
Prodhoni versionin A dhe B për reklamën time, më tregoni cili është më i mirë.
Variabla nuk është e izoluar, nuk ka hipotezë dhe matje; Inteligjenca artificiale nuk mund ta dijë se cila është "e mirë" pa të dhëna, ajo e krijon atë.
Njoftim i fuqishëm:
Po konfiguroj testimin A/B. Rregulluar: imazhi dhe CTA do të mbeten të njëjta. Vetëm ndryshorja e testuar: titulli i reklamës. Hipoteza: "Titulli me numra merr më shumë klikime se titulli i përgjithshëm." Mesazhi kryesor: "Dorëzohet për 3 ditë." Detyra: (1) Krijo 1 titull të përgjithshëm për kontroll, 3 tituj me numra për variant.(2) Më tregoni se cili duhet të matet fituesi. nga 3 gabime që mund të zhvlerësojnë testin. Mos parashikoni se cili do të fitojë; Të dhënat do ta përcaktojnë atë.
Pretendimi i dytë izolon një variabël të vetëm, përfshin hipoteza dhe matje; ia lë fituesin të dhënave.
Gabimet e zakonshme
- Ndryshimi i shumë artikujve në të njëjtën kohë. Arsyeja e fituesit bëhet e paqartë; Një variabël i vetëm duhet të izolohet.
- Marrja e vendimeve me mostra të pamjaftueshme. Dallimi në orët e para është shpesh i rastësishëm.
- Testim pa hipoteza. “Le të shohim se çfarë ndodh” testimi nuk prodhon mësim; Fillimisht shkruani atë që prisni.
- Gabimi i rezultatit "Pa dallim" si dështim. Mungesa e një ndryshimi domethënës është gjithashtu informuese.
- Zgjedhja e fituesit sipas shijes. Testimi është pikërisht për të përjashtuar shijen personale; Ndiqni të dhënat.
- Duke harruar faktorët e jashtëm. Sezoni, dita e fushatës, rrjedha e lajmeve mund të shtrembërojnë rezultatin; Mbani të drejta kushtet e testimit.
Kujdes: Qëllimi i testimit A/B nuk është të "fitosh" por të mësosh. Edhe një variant i humbjes është informacion i vlefshëm; Humbja reale është mbështetja në rezultatin e gabuar me të dhëna të pamjaftueshme dhe lidhja e buxhetit me të.
Në përmbledhje
Testimi A/B është një metodë e fuqishme që zhvendos vendimet e reklamimit nga ideja në të dhëna. Rregulli i artë është të izoloni një ndryshore të vetme: vetëm një element duhet të ndryshojë në një test, pjesa tjetër duhet të mbetet konstante. Shtylla e dytë është kampionimi adekuat dhe rëndësia statistikore; Shpallja e një fituesi me pak të dhëna është gabimi më i shtrenjtë. Inteligjenca artificiale është e dobishme në gjenerimin e varianteve të shumta dhe llogaritjen dhe interpretimin e gjasave, por të dhënat përcaktojnë fituesin, jo AI. Edhe rezultati "pa dallim" është një mësim. Hipoteza, metrika dhe pragu i vendimit duhet të shkruhen përpara fillimit të testit.
Detyra e aplikimit
Zgjidhni një krijues (titull, imazh ose CTA). (1) Shkruani një hipotezë të vetme të testueshme dhe variabël të izoluar me "Hipotezë dhe dizajn testi". (2) Gjeneroni 1 kontroll + 3 variante me "Generator Variant"; Thjesht ndryshoni atë element. (3) Planifikoni cilën metrikë do të shikoni, për sa kohë dhe me çfarë të dhënash, me "planin e matjes". (4) Shkruani pragun tuaj për shpalljen e fituesit (sa konvertime / çfarë rëndësie) paraprakisht. (5) Merrni parasysh rezultatet hipotetike me një "përkthyes rezultati" dhe vini re pse nuk do të merrni një vendim në një skenar ku të dhënat janë të pamjaftueshme.
listë kontrolli
- [ ] Unë izolova vetëm një variabël në test.
- [ ] Kam shkruar një hipotezë të qartë përpara testit.
- [ ] Unë kam përcaktuar tashmë mostrën dhe kohën e nevojshme për fituesin.
- [ ] Unë e zgjodha fituesin në bazë të të dhënave, jo shijes personale.
- [ ] Unë e konsiderova rezultatin "pa dallim" si mësim të vlefshëm.
- [ ] Kontrollova për faktorë të jashtëm që mund të shtrembërojnë rezultatin.