Nyereség:
- Lehetőség olyan szisztematikus szövegváltozatok generálására, amelyek egyedi változókat izolálnak az A/B teszteléshez
- Képes egy hipotézist mérhető kísérleti elrendezéssé alakítani
- Képes a teszteredmények statisztikai szignifikancia és tanulás szempontjából értelmezésére
Az intuíció értékes a marketingben, de a bizonyíték értékesebb. Melyik címsor kap több kattintást, melyik CTA ad el többet, melyik kép vonzza jobban a figyelmet? Találgatások helyett A/B teszteléssel mérheti ezt. Az A/B tesztelés egy kísérleti módszer, amely ugyanazon tartalom két verzióját (A és B) mutatja meg a valós közönség számára, és méri, hogy melyik teljesít jobban. A mesterséges intelligencia gyorsan elkészíti a bemenetet ezekhez a tesztekhez, nevezetesen a változatokat; De ahhoz, hogy a teszt működjön, tudományos szabályra van szükség: egy-egy változóra. Ebben az egységben megtanulhatja, hogyan generálhat változatokat, hogyan fordíthat le egy hipotézist mérhető kísérletté, és hogyan értelmezheti az eredményeket statisztikai szignifikancia szempontjából.
Aranyszabály: izoláljon egy változót
A teszt eredményének értelmezéséhez csak egy dolognak kell eltérnie A és B között. Ha egyszerre változtatja meg a címet, a képet és a CTA-t, soha nem fogja tudni, melyik volt a különbség, amikor B nyer. A tesztelendő változó elkülönítése az egyetlen dolog, ami lehetővé teszi a tanulást.
Tipikus tesztelhető változók:
- Cím: Ugyanaz a kép és a törzs, más a cím.
- CTA szöveg: "Vásárlás" vagy "Kosárba teszem"?
- Tárgysor: Befolyásolja az e-mail megnyitási arányát.
- Kép: Ugyanaz a szöveg, más a kép.
- Hossz/tónus: Rövid vs. hosszú, formális stb. őszinte.
A hipotézistől a kísérletig: lépésről lépésre
- Tegyen észrevételt. "A céloldalunk konverziója alacsony."
- Hipotézis. „Az előnyökre összpontosító címsor többet konvertál, mint a funkciókra összpontosító címsor.”
- Izolálja le a változót. Csak a cím változik.
- Változatok generálása. 2 egyértelmű változat a modellel (A: jellemző, B: előny).
- Határozza meg a siker mértékét. Például a konverziós arány – a kívánt műveletet végrehajtó látogatók százalékos aránya.
- Határozza meg a mintát és az időtartamot. Elég ember és elég idő.
- Mérj, hasonlíts, tanulj. Tanuld meg a „miért”, ne a győztest.
A „hipotézis” egy jóslat, amelyet itt tesztelünk, és igaznak vagy hamisnak bizonyulhat; Egy jó hipotézis megmondja, mit vársz és miért.
Gyenge felszólítás / Erős felszólítás
Gyenge felszólítás:
Írj néhány alternatívát ehhez a címhez.
Erőteljes felszólítás:
Generáljon változatokat egy A/B teszthez. Szabály: CSAK a cím módosul, a törzs és a CTA változatlan marad.HIPOTÉZIS: Az előny-orientált cím több kattintást ér el, mint a szolgáltatásorientált cím.KONTEXTUS: Céloldal. Termék: projektmenedzsment alkalmazás. Közönség: kis csapatok.KÉREK:- A változat: funkció-orientált cím (leírja, hogy mit csinál a termék)- B változat: előny-orientált cím (leírja, hogy mit nyújt a felhasználónak) Minden változat alá írja be, hogy milyen pszichológiai motivációt érint.Csak 2 változat; Mindkettőnek egysorosnak, hasonló hosszúságúnak kell lennie.
Fontos, hogy a változatok hasonló hosszúságúak legyenek; különben a "hossz" akaratlanul is második változóvá válik.
Vizsgálat előtti/utána táblázat
Színpad
Mit tegyek
gyakori hiba
hipotézis
Mi van, miért várok?
„Próbáljuk meg” hipotézisek nélkül
Változó
Különíts el egy dolgot
Sok mindent megváltoztatni egyszerre
kritérium
Válasszon egy egyértelmű mutatót
Határozatlan "jobb"
minta
Elég ember/idő
korán döntsön
Megjegyzés
Tudja meg, miért
Csak vedd a győztest
három mini tok
1. eset – A CTA-teszt egyértelmű eredményeket ad. Egy e-kereskedelmi webhely tesztelte a termékgombot: A „Vásárlás”, B „Kosárba teszem”. Csak a gomb szövege változott. A 3000 látogatón végzett teszt során B 4,0%-ról 4,9%-ra növelte átkattintási arányát. Az egyetlen változó elkülönítésével a győztes egyértelmű volt: a „kosárba helyezés” kevésbé volt kötelező.
2. eset – Többváltozós hiba. Egy csapat két céloldalt tervezett, de a cím, a kép és a szín mind más volt. B nyert, de a csapat nem tudta, melyik elem okozza a különbséget; a tanulás nulla lett. A következő tesztben a szabályt követték: egy-egy változót. A teszt során egyértelműen látták, hogy a cím volt a fő tényező.
3. eset – Korai döntési csapda. A hírlevélküldő csapat két tárgysort tesztelt egy 200 fős csoporton, és azt mondta: „A” minősítést kapott az első órában. A minta nagyon kicsi volt; a különbség statisztikailag jelentéktelen volt (vagyis a véletlennek köszönhető). Amikor a tesztet elegendő mintavételre és időre növelték, az eredmény megfordult. Tanulság: ne hozz döntéseket elegendő adat nélkül.
Vigyázat: A kis mintán (kis számú ember) tapasztalt különbség félrevezető lehet. A statisztikai szignifikancia annak valószínűségére utal, hogy a különbség valós, és nem véletlen. Győződjön meg arról, hogy elegendő embert ér el, és a tesztelés elég hosszú ideig tart, mielőtt elhamarkodott következtetéseket vonna le.
Másolható sablonok
1. sablon – Izolált változatgenerátor:
Változatok generálása A/B teszteléshez. Az EGYETLEN tesztelendő változó: [headline/CTA/image]. Minden más állandó marad. Hipotézis: [...]. Kontextus: [...].A változat: [jelenlegi megközelítés]. B változat: [alternatív megközelítés]. Legyen a két változat hasonló hosszúságú; ne változtass semmi máson.
2. sablon – Hipotézis tisztázó:
Alkoss egy tesztelhető hipotézist a következő megfigyelésből: "[megfigyelés]". Írja le a hipotézist a következő formátumban: "ha [változtatást" hajtunk végre, a [metrika] növekszik, mert [miért]. Ezután mondja meg, melyik változót kell elkülönítenem.
3. sablon – Tárgysor tesztkészlet:
Hozzon létre 2 tárgysort az A/B teszthez a következő e-mailhez. Különbség egy tengelyen: [kíváncsiság kontra világosság / tömörség stb. hosszú/kérdés stb. kifejezés]. Mindkettő nem tartalmazhatja a spam szót, és hasonló hosszúságúnak kell lennie. E-mail összefoglaló: [...]
4. sablon – Az eredmények értelmezése:
Értelmezze egy A/B teszt eredményét.Változó: [...]. Az A változat mérőszáma: [...]. B változat metrika: [...].Mintanagyság: [...]. Időtartam: [...].Mondd meg: Jelentősnek tűnik a különbség, vagy kicsi a minta? Mit tanultunk? Mit ajánlotok a következő teszthez? Ne állítson pontos statisztikákat; Ha nem egyértelmű, pontosítsa.
Tipp: Nem elég a „győztes” megszerzése a tesztből; Az igazi nyereség a „miért nyert” betekintés. Ez a betekintés beépül a következő teszt hipotézisébe, és idővel tanulási rendszert épít fel.
Prioritás: mit kell először tesztelni?
Végtelen számú elem van, amit tesztelhet, de az idő és a forgalom korlátozott. Tehát a hatáspotenciál alapján rangsorolja a teszteket. Általános szabály: azokat az elemeket tesztelik először, amelyeket a felhasználó először lát, és amelyek a legnagyobb hatással vannak a döntésre. A céloldalon a címsor van a legnagyobb hatással a kattintásokra; mert a felhasználó először elolvassa, és ott dönti el, hogy folytatja-e vagy sem. Az olyan részletek, mint a gombszín, gyakran kisebb hatást fejtenek ki; hagyd őket a végére.
A fontossági sorrend megállapításának gyakorlati módja az, hogy minden tesztelési ötletet három tengelyen értékelünk: a várható hatás (mekkora lesz a különbség, ha nyer?), az önbizalom (mennyire biztosak vagyunk abban, hogy nyer?) és a könnyűség (milyen gyors a beállítás?). A nagy hatású, nagy megbízhatóságú és kis erőfeszítéssel rendelkező tesztek kerülnek az első helyre. Ez lehetővé teszi, hogy korlátozott forgalmat rendeljen hozzá a legtöbb tanulást hozó kísérletekhez. A mesterséges intelligencia gyors tervrajzot tud adni az ötletek listájának pontozásához és rangsorolásához e három tengely mentén; Te döntesz.
5. sablon – Teszt prioritása:
Adja meg a következő A/B tesztelési ötletek prioritásait. Pontozzon mindegyiket az ütközés (1-5), a megbízhatóság (1-5) és a könnyű telepítés (1-5) tengelyére, rangsorolja őket az összpontszám szerint, és egy mondatban magyarázza el, miért vannak ebben a sorrendben. TESZTÖTLETEK: [lista]
Gyakori hibák
- Tehát változó egyszerre. Az eredmény értelmezhetetlenné válik.
- Hipotézismentes tesztelés. A „próbáljuk meg és nézzük meg” nem eredményez tanulást.
- Korai döntés. Egy kis mintában a különbséget véletlenül vélik valósnak.
- Különböző hosszúságú változatok. A második változó véletlenül jön létre.
- Csak vedd a nyertest. Ha az ok nem derül ki, az információ nem halmozódik fel.
Összefoglalva
- Az A/B tesztelés aranyszabálya: egy-egy változó.
- Minden tesztnek egy hipotézissel kell kezdődnie: mit várok és miért?
- Határozza meg a siker egyetlen egyértelmű mérőszámát és egy megfelelő mintát.
- A kis minta különbsége félrevezető; Vegye figyelembe a statisztikai szignifikanciát.
- Tudja meg, miért, nem a győztes; Ez a betekintés beépül a következő tesztbe.
Pályázati feladat
Válassz egy megfigyelést az egyik tartalmaddal kapcsolatban. A 2. sablonnal fordítsa ezt le egyértelmű hipotézissé, és azonosítsa az elkülönítendő változót. Készítsen két változatot az 1. sablonnal (hasonló hosszúság, csak eltérés). Végül illessze be a hipotetikus eredményszámokat, értelmezze őket a 4. sablon segítségével, és jegyezze meg, mit mond a modell a minta megfelelőségéről. Időtartam: kb 25 perc.
ellenőrző lista
- [ ] Egyértelmű hipotézissel kezdtem a tesztet.
- [ ] Csak egy változót izoláltam.
- [ ] A változatok hasonlóak maradtak a többi tengelyben (hossz stb.).
- [ ] Meghatároztam egy egyértelmű sikermutatót.
- [ ] Nem döntöttem elegendő minta/idő nélkül.
- [ ] Megjegyeztem a győztes okát a következő tesztre.