Nyereség:
- Képes az A/B tesztelés, a kontroll/variáns, a konverziós arány és a statisztikai szignifikancia fogalmainak megértésére, valamint hipotézisek felállítására és teszttervek felállítására mesterséges intelligenciával.
- Képes elkülöníteni az egyetlen tesztelendő változót, és variáns szöveget/képet és mérési tervet készíteni mesterséges intelligencia támogatással
- Képes megkülönböztetni, hogy a mesterséges intelligencia tesztértelmezését korlátozza a minta mérete és szignifikanciája, valamint az idő előtti/helytelen eredmények olvasásának kockázata
A reklám legveszélyesebb mondata: "Szerintem ez jobb." Az adatok, nem pedig a vélemények, azt mondják meg, hogy egy címsor, egy kép vagy egy gomb valóban jobb-e. Ennek mérésének legáltalánosabb módja az A/B tesztelés: ugyanazon hirdetés két (vagy több) verziójának megjelenítése valódi felhasználók számára, és összehasonlítása, hogy melyik működik jobban. Az "A" általában az aktuális verzió (kontroll), míg a "B" a kipróbált új verzió (változat). Például csak a címet módosíthatja ugyanabban a hirdetésben, és mérheti, hogy melyik címre kattintottak többet. A mesterséges intelligencia segít ebben a folyamatban mind a nagyszámú változat generálásában, mind az eredmény értelmezésében; De a teszt tudományos érvényessége a tervezési szabályoktól és a türelemtől függ.
Az A/B tesztelés aranyszabálya: egy változó
Az A/B tesztelés legalapvetőbb szabálya egyetlen változó elkülönítése. Ha egyszerre változtatja meg a címet, a képet és a gombot, és a B verzió nyer, soha nem tudhatja, mi nyert. Tehát egy tesztben csak egy elemnek kell változnia, a többinek állandónak kell maradnia. Ha egynél több elemet szeretne egyidejűleg és szisztematikusan tesztelni, ezt többváltozós tesztelésnek nevezik, és sokkal nagyobb mintára van szükség; Az egyváltozós A/B tesztelés a kezdő út.
A második alapfogalom a statisztikai szignifikancia. Tegyük fel, hogy az A verzió 3 százalékot, a B verzió pedig 3,3 százalékot ért el. Ez a különbség valódi előny vagy véletlen? Ha csak 100 embernek mutatnád meg a tesztet, ez a különbség véletlen is lehet. A statisztikai szignifikancia azt jelenti, hogy a megfigyelt különbség elég valószínűtlen, hogy a véletlennek köszönhető (azaz a különbség valószínűleg valós). Ehhez megfelelő mintanagyság szükséges (a tesztet látó személyek száma). A „győztes” kikiáltása kevés adattal a leggyakoribb és legköltségesebb hiba.
Tipp: A teszt megkezdése előtt válaszoljon a "mikor hirdetem ki a győztest" kérdésre: hány fő/konverzió után, milyen szignifikancia szinten. Ha előre meghozza ezt a döntést, akkor elkerülheti, hogy az első órákban elkapja a zaj, és idő előtti döntést hozzon.
Az alábbi táblázat összehasonlítja a jó és a rossz A/B teszttervet:
tételt
rossz tervezés
jó design
Változók száma
Cím + kép + gomb együtt
csak a cím
hipotézis
(nincs) "lássuk mi lesz"
"A kérdéseket tartalmazó címek növelik a kattintások számát"
minta
80 ember
Előre kiszámított határozatképesség
döntés ideje
2 óra múlva
Amikor eléri a jelentőséget
A nyertes kiválasztása
"Szerintem B szép"
Adatok és jelentőség alapján
Lépésről lépésre: A/B teszt beállítása
1. lépés – Írjon fel egy hipotézist. Mit tesztelsz és miért? Egy egyértelmű hipotézis, például: „Egy előnyökkel rendelkező címsor több kattintást ér el, mint egy funkciókat tartalmazó címsor”.
2. lépés – Válasszon ki egyetlen változót. Csak a cím, vagy csak a kép, vagy csak a CTA.
3. lépés – Változatok generálása. Hozzon létre különböző verziókat ugyanannak az elemnek az AI segítségével; a többit állandóan tartsa.
4. lépés – Készítsen mérési tervet. Melyik mérőszám határozza meg a nyertest (átkattintási arány, konverzió), mennyi mintára van szükség, mennyi ideig kell futni.
5. lépés – Értelmezze és ellenőrizze az eredményt. Elegendő adatot gyűjtöttek össze, jelentős-e a különbség? Ha nem szignifikáns, akkor a "nincs különbség" is érvényes eredmény.
három mini tok
1. eset – Egyetlen változó egyértelműsége. Egy e-kereskedelmi márka csak a CTA-t tesztelte termékhirdetésében: „Vásárlás” és „Kosárba helyezés”. Minden más ugyanaz volt. Kellő mennyiségű mintavétel után a „Kosárba helyezés” lényegesen magasabb konverziót hozott. A különbség egyértelműen értelmezhető volt, mivel egyetlen változót izoláltunk. Az AI két CTA-t készített, az adatok választották ki a győztest.
2. eset – Korai döntés csapda. Egy márka leállította a tesztet, mert a B verzió megelőzte az A/B teszt első 3 órájában, és megnyitotta a B-t a teljes költségvetés előtt. A másnapi összesített adatokat nézve A valójában valamivel jobb volt; A különbség az első órákban véletlen volt. A költségvetés elpazarolt. Hiba: idő előtti döntés nem megfelelő mintaméret mellett.
A 3. eset – „Nincs különbség” szintén a következtetés. Egy márka két különböző képet tesztelt, és elegendő mintavétel után mindkettő majdnem ugyanazt az eredményt produkálta. Miközben a csapat azon siránkozott, hogy a "teszt nem sikerült", a helyes olvasat az volt, hogy ebben a kampányban nem a kép a döntő tényező, ezért az erőfeszítést a címsorra és az ajánlatra kell irányítani. Az is értékes információ, hogy nem találtak jelentős különbséget.
Négy másolható sablon
1) Hipotézis és teszttervezés:
Amit tesztelni szeretnék: [pl. hirdetés címe].Feladat: (1) Írjon egyetlen tesztelhető hipotézist ("... növekszik ... növekszik" formában).(2) Sorolja fel az egyetlen változót, amelyet el kell különíteni, és azokat, amelyeket állandóan kell tartani.(3) Javasolja a mérőszámot, amely meghatározza a győztest (átkattintási arány/konverzió).(4) Írja le, mire kell figyelnem (korai döntés, tesztelés a kockázat érvényesítéséhez, időtartam).
2) Változatgenerátor (egy változat):
Ragadós hirdetés: kép [ugyanaz], CTA [ugyanaz], cél [ugyanaz]. Tesztelt változó: HEADLINE. Fő üzenet: "[üzenet]". Feladat: 4 különböző címsorváltozat létrehozása ugyanazzal az üzenettel. Mindegyik más megközelítést alkalmaz (kérdés, haszon, szám, sürgősség). Csak a cím változik; Egy megalapozatlan állítás hozzáadása.
3) Mérési terv:
Teszt: [A és B meghatározása]. Metrika: [kattintás/konverzió]. Feladat: Készítsen mérési tervet:(1) melyik mérőszám az elsődleges, melyik a másodlagos,(2) mennyi adat/idő szükséges a győztes kihirdetéséhez (magyarázza a logikát),(3) hogyan lehet egyenletesen és igazságosan felosztani a forgalmat A és B között,(4) milyen külső tényezők torzíthatják az eredményt (évszak, hét napja).
4) Eredménytolmács (vigyázat):
A/B-teszt eredményeim (valós adatok): [A: megjelenítések/kattintások/konverzió],[B: megjelenítések/kattintások/konverzió].Feladat: (1) Számítsa ki és jelenítse meg az egyes verziók arányait.(2) Írja megjegyzésbe a különbség nagyságát, de ha a minta nem elegendő, akkor mondja azt, hogy "nincs elég adat az értelmes eredményhez."(3) Az újradefiniálás. jelentőségre vonatkozó állítás; Megerősítem egy külön fiókeszközzel.
Gyenge felszólítás / Erős felszólítás
Gyenge felszólítás:
Készítsen A és B verziót a hirdetésemhez, mondja meg, melyik a jobb.
A változó nem elszigetelt, nincs hipotézis és mérés; A mesterséges intelligencia adatok nélkül nem tudhatja, melyik a „jó”, ez alkotja.
Erőteljes felszólítás:
Beállítom az A/B tesztelést. Javítva: a kép és a CTA változatlan marad.Csak a tesztelt változó: a hirdetés címsora.Hipotézis: "A számokat tartalmazó címsor több kattintást kap, mint az általános címsor."Fő üzenet: "3 napon belül kézbesítve."Feladat: (1) Készítsen 1 általános címsort az ellenőrzéshez, 3 címsort számokkal a változathoz.(2) Mondja meg, melyik 3-at szeretném mérni. 3 hiba, amely érvénytelenítheti a tesztet. Ne jósolja meg, melyik fog nyerni; Az adatok határozzák meg.
A második állítás egyetlen változót izolál, hipotézist és mérést foglal magában; a nyertest az adatokra bízza.
Gyakori hibák
- Sok elem cseréje egyszerre. A győztes oka homályossá válik; Egyetlen változót kell elkülöníteni.
- Döntéshozatal elégtelen minta alapján. A különbség az első órákban gyakran véletlen.
- Hipotézisek nélküli tesztelés. „Lássuk, mi történik” a tesztelés nem eredményez tanulást; Először írd le, mire számítasz.
- A „Nincs különbség” eredmény hibásnak tévesztése. A szignifikáns különbség hiánya is tájékoztató jellegű.
- A győztes kiválasztása ízlés alapján. A tesztelés éppen a személyes ízlés kizárására szolgál; Kövesse az adatokat.
- A külső tényezők elfeledése. Szezon, kampánynap, hírfolyam torzíthatja az eredményt; Tartsa tisztességes vizsgálati feltételeket.
Figyelem: Az A/B tesztelés célja nem a "nyerés", hanem a tanulás. Még egy változat elvesztése is értékes információ; Az igazi veszteség az, ha rossz eredményre támaszkodunk, elégtelen adatokkal, és ehhez kötjük a költségvetést.
Összefoglalva
Az A/B tesztelés egy hatékony módszer, amely a hirdetési döntéseket ötletről adatra mozgatja. Az aranyszabály egyetlen változó elkülönítése: egy tesztben csak egy elem változhat, a többinek állandónak kell maradnia. A második pillér a megfelelő mintavétel és a statisztikai szignifikancia; A győztes kikiáltása kevés adattal a legdrágább hiba. A mesterséges intelligencia segít többféle változat létrehozásában, valamint az esélyek kiszámításában és értelmezésében, de az adatok határozzák meg a győztest, nem az AI. Még a „nincs különbség” eredmény is tanulás. A hipotézist, a mérőszámot és a döntési küszöböt a teszt megkezdése előtt meg kell írni.
Pályázati feladat
Válasszon egy kreatívot (címsor, kép vagy CTA). (1) Írjon egyetlen tesztelhető hipotézist és izolált változót a "Hipotézis és tesztterv" segítségével. (2) Generáljon 1 vezérlőt + 3 változatot a "Változatgenerátorral"; Csak változtasd meg ezt az elemet. (3) Tervezze meg, hogy melyik mérőszámot, mennyi ideig és milyen adatokkal fogja megnézni a „mérési terv” segítségével. (4) Előre írja le a győztes kihirdetésének küszöbét (hány konverzió / milyen jelentőségű). (5) Fontolja meg a hipotetikus eredményeket egy „eredmény értelmezővel”, és jegyezze meg, miért nem hozna döntést olyan forgatókönyvben, amikor az adatok nem elegendőek.
ellenőrző lista
- [ ] A tesztben csak egy változót izoláltam.
- [ ] A teszt előtt világos hipotézist írtam.
- [ ] A nyerteshez szükséges mintát és időt már meghatároztam.
- [ ] Adatok, nem személyes ízlés alapján választottam ki a nyertest.
- [ ] A "nincs különbség" eredményt érvényes tanulásnak tekintettem.
- [ ] Ellenőriztem, hogy vannak-e olyan külső tényezők, amelyek torzíthatják az eredményt.