Hagnaður:
- Hæfni til að skilja hugtökin A/B prófun, eftirlit/afbrigði, viðskiptahlutfall og tölfræðilega marktekt og koma á tilgátum og prófa hönnun með gervigreind.
- Geta til að einangra staka breytuna sem á að prófa og framleiða afbrigði texta/mynd og mælingaráætlun með gervigreindarstuðningi
- Hæfni til að greina að próftúlkun gervigreindar er takmörkuð af úrtaksstærð og þýðingu og hættu á að lesa ótímabærar/röngar niðurstöður
Hættulegasta setningin í auglýsingum er "Mér finnst þetta betra." Gögn, ekki skoðun, segja þér hvort fyrirsögn, mynd eða hnappur sé sannarlega betri. Algengasta leiðin til að mæla þetta er A/B prófun: sýna tvær (eða fleiri) útgáfur af sömu auglýsingu fyrir raunverulegum notendum og bera saman hvor þeirra virkar betur. „A“ er venjulega núverandi útgáfa (stýring), en „B“ er nýja útgáfan sem verið er að prófa (afbrigði). Til dæmis er aðeins hægt að breyta titlinum í sömu auglýsingu og mæla hvaða titil er smellt meira á. Gervigreind er gagnleg í þessu ferli bæði við að búa til fjölda afbrigða og við að túlka niðurstöðuna; En vísindalegt gildi prófsins fer eftir hönnunarreglum og þolinmæði.
Gullna reglan um A/B próf: ein breyta
Grunnreglan í A/B prófunum er að einangra eina breytu. Ef þú breytir titli, mynd og hnappi á sama tíma og útgáfa B vinnur, muntu aldrei vita hvað vann. Þannig að í prófi ætti aðeins einn þáttur að breytast, restin ætti að vera stöðug. Ef þú vilt prófa fleiri en eitt atriði samtímis og kerfisbundið er þetta kallað multivariate testing og krefst miklu stærra úrtaks; Univariate A/B próf er leiðin til að byrja.
Annað grunnhugtakið er tölfræðileg marktækni. Segjum að útgáfa A hafi fengið 3 prósent smelli og útgáfa B hafi fengið 3,3 prósent smelli. Er þessi munur raunverulegur kostur eða tilviljun? Ef þú sýndir aðeins 100 manns prófið gæti þessi munur verið tilviljun. Tölfræðileg marktækni þýðir að nægilega ólíklegt er að sá munur sem sést sé vegna tilviljunar (þ.e. munurinn er líklega raunverulegur). Þetta krefst nægilegrar úrtaksstærðar (fjöldi fólks sem sér prófið). Að lýsa yfir „sigurvegara“ með litlum gögnum eru algengustu og dýrustu mistökin.
Ábending: Áður en þú byrjar á prófinu skaltu svara spurningunni „hvenær mun ég lýsa yfir sigurvegara“: hversu margir/eftir viðskipti, á hvaða marktækifæri. Með því að taka þessa ákvörðun fyrirfram kemur í veg fyrir að þú lendir í hávaðanum fyrstu klukkustundirnar og tekur ótímabæra ákvörðun.
Eftirfarandi tafla ber saman góða og slæma A/B prófunarhönnun:
atriði
slæm hönnun
góð hönnun
Fjöldi breyta
Titill + mynd + hnappur saman
aðeins titill
tilgátu
(enginn) "sjáum hvað gerist"
„Titlar með spurningum auka smelli“
sýnishorn
80 manns
Forútreiknuð ályktun
ákvörðunartími
2 tímum síðar
Þegar þú nærð þýðingu
Val á sigurvegara
„Mér finnst B fínn“
Byggt á gögnum og þýðingu
Skref fyrir skref: setja upp A/B próf
Skref 1 — Skrifaðu tilgátu. Hvað ertu að prófa og hvers vegna? Skýr tilgáta eins og "Fyrirsögn með ávinningi fær fleiri smelli en fyrirsögn með eiginleikum."
Skref 2 — Veldu eina breytu. Bara titillinn, eða bara myndin, eða bara CTA.
Skref 3 — Búðu til afbrigði. Búðu til mismunandi útgáfur af sama hlutnum með gervigreind; haltu restinni stöðugum.
Skref 4 — Settu upp mælingaráætlun. Hvaða mælikvarði mun ákvarða sigurvegarann (smellihlutfall, viðskipti), hversu mikið sýnishorn þarf, hversu lengi á að keyra.
Skref 5 — Túlkaðu og staðfestu niðurstöðuna. Hefur nægum gögnum verið safnað, er munurinn marktækur? Ef það er ekki marktækt er "enginn munur" líka gild niðurstaða.
þrjú smámál
Tilvik 1 — Skýrleiki einni breytu. Netverslunarmerki prófaði bara CTA í vöruauglýsingunni sinni: „Kaupa“ og „Bæta í körfu“. Allt annað var eins. Eftir nægar sýnatökur færði „Bæta í körfu“ marktækt meiri viðskipti. Mismuninn var hægt að túlka skýrt vegna þess að ein breyta var einangruð. AI framleiddi tvö CTA, gögn völdu sigurvegarann.
Mál 2 - Snemma ákvörðunargildra. Vörumerki stöðvaði prófið vegna þess að útgáfa B var á undan fyrstu 3 klukkustundirnar í A/B prófinu og opnaði B fyrir allt fjárhagsáætlunina. Þegar litið var á heildargögnin daginn eftir var A í raun aðeins betri; Munurinn á fyrstu klukkustundunum var tilviljunarkenndur. Fjárhagsáætlunin var sóun. Mistök: að taka ótímabæra ákvörðun með ófullnægjandi úrtaksstærð.
Mál 3 - „Enginn munur“ er einnig niðurstaðan. Vörumerki prófaði tvær mismunandi myndir og eftir nægar sýnatökur gáfu þær báðar næstum sömu niðurstöðu. Á meðan teymið var við það að harma að „prófið mistókst“ var rétta lesningin sú að myndin er ekki afgerandi þáttur í þessari herferð, þannig að viðleitnin ætti að beinast að fyrirsögn og tilboði. Sú staðreynd að ekki fannst marktækur munur eru líka dýrmætar upplýsingar.
Fjögur afritanleg sniðmát
1) Tilgáta og prófunarhönnun:
Það sem ég vil prófa: [td. titill auglýsingar].Verkefni: (1) Skrifaðu eina prófanlega tilgátu (í formi "... eykst ... eykst").(2) Skráðu eina breytu sem á að einangra og þær sem á að halda stöðugum.(3) Leggðu til mælikvarða sem mun ákvarða sigurvegarann (smellihlutfall/viðskipti).(4) Skrifaðu það sem ég þarf að borga eftirtekt til til að staðfesta tímaprófið, snemma ákvörðun,).
2) Afbrigði rafall (eitt afbrigði):
Límug auglýsing: mynd [sama], CTA [sama], miða [sama]. Breyta prófuð: HEADLINE. Aðalskilaboð: "[skilaboð]". Verkefni: Búðu til 4 mismunandi fyrirsagnir með sömu skilaboðum. Hver notar aðra nálgun (spurning, ávinningur, fjöldi, brýnt). Aðeins fyrirsögnin breytist; Bætir við órökstuddri fullyrðingu.
3) Mælingaráætlun:
Próf: [Skilgreining á A og B]. Mæling: [smella/umbreyting]. Verkefni: Gerðu drög að mælingaráætlun:(1) hvaða mælikvarði er aðal, hverjir eru aukaatriði,(2) hversu mikið af gögnum/tíma þarf til að lýsa yfir sigurvegaranum (útskýrðu rökfræðina),(3) hvernig á að skipta umferð jafnt og sanngjarnt á milli A og B,(4) hvaða ytri þættir geta skekkt niðurstöðuna (árstíð, tól vikunnar mun nota nákvæmlega).
4) Niðurstöðutúlkur (varkár):
A/B prófunarniðurstöður mínar (raunveruleg gögn): [A: birtingar/smellir/viðskipti],[B: birtingar/smellir/viðskipti]. Verkefni: (1) Reiknaðu út og sýndu gengi hverrar útgáfu.(2) Gerðu athugasemdir við stærð mismunarins, en ef úrtakið er ekki nægjanlegt, segðu „ófullnægjandi gögn fyrir marktæka niðurstöðu.“(3) Reminding the definitive risk of claim. þýðingu; Ég mun staðfesta með sérstöku reikningsverkfæri.
Veik kvaðning / Sterk kvaðning
Veik kvaðning:
Búðu til A og B útgáfu fyrir auglýsinguna mína, segðu mér hvor er betri.
Breytan er ekki einangruð, það er engin tilgáta og mæling; Gervigreind getur ekki vitað hver þeirra er "góð" án gagna, það gerir það upp.
Öflug tilvitnun:
Ég er að setja upp A/B próf. Lagað: mynd og CTA verða óbreytt. Aðeins breyta prófuð: fyrirsögn auglýsingar. Tilgáta: "Fyrirsögn með tölum fær fleiri smelli en almenn fyrirsögn." Aðalskilaboð: "Afhent á 3 dögum." Verkefni: (1) Búðu til 1 almenna fyrirsögn til að stjórna, 3 fyrirsagnir með tölum fyrir afbrigði.(2) Segðu mér á hvaða mælikvarða ég ætti að mæla 3 mistökin. gæti ógilt prófið. Ekki spá fyrir um hver mun sigra; Gögnin munu ákvarða það.
Önnur krafan einangrar eina breytu, felur í sér tilgátu og mælingu; lætur sigurvegarann eftir gögnunum.
Algeng mistök
- Að breyta mörgum hlutum í einu. Ástæðan fyrir sigurvegaranum verður óljós; Ein breytu verður að vera einangruð.
- Að taka ákvarðanir með ófullnægjandi sýni. Munurinn á fyrstu klukkustundunum er oft tilviljunarkenndur.
- Próf án tilgáta. „Við skulum sjá hvað gerist“ próf gefur ekki af sér nám; Skrifaðu fyrst hvað þú býst við.
- Að misskilja niðurstöðuna „Enginn munur“ sem bilun. Skortur á verulegum mun er líka upplýsandi.
- Að velja sigurvegara eftir smekk. Prófun er einmitt til að útiloka persónulegan smekk; Fylgdu gögnunum.
- Að gleyma ytri þáttum. Tímabil, kosningadagur, fréttaflæði getur skekkt útkomuna; Haltu prófunarskilyrðum sanngjörnum.
Athygli: Tilgangur A/B prófunar er ekki að „vinna“ heldur að læra. Jafnvel afbrigði að tapa eru dýrmætar upplýsingar; Raunverulegt tap er að treysta á ranga niðurstöðu með ófullnægjandi gögnum og binda fjárhagsáætlun við það.
Í stuttu máli
A/B prófun er öflug aðferð sem færir auglýsingaákvarðanir frá hugmynd til gagna. Gullna reglan er að einangra eina breytu: aðeins einn þáttur ætti að breytast í prófi, restin ætti að vera stöðug. Önnur stoðin er fullnægjandi úrtak og tölfræðileg marktækni; Að lýsa yfir sigurvegara með litlum gögnum eru dýrustu mistökin. AI er gagnlegt við að búa til mörg afbrigði og reikna út og túlka líkurnar, en gögnin ákvarða sigurvegarann, ekki AI. Jafnvel niðurstaðan „enginn munur“ er lærdómsrík. Tilgátan, mæligildið og ákvörðunarþröskuldinn ætti að skrifa áður en prófið hefst.
Umsóknarverkefni
Veldu sköpunarefni (fyrirsögn, mynd eða CTA). (1) Skrifaðu eina prófanlega tilgátu og einangraða breytu með "Tilgátu og prófunarhönnun". (2) Búðu til 1 stýringu + 3 afbrigði með "Afbrigði rafall"; Breyttu bara þessum þætti. (3) Skipuleggðu hvaða mælikvarða þú munt skoða, hversu lengi og með hvaða gögnum, með „mælingaáætluninni“. (4) Skrifaðu niður þröskuldinn þinn til að lýsa yfir sigurvegara (hversu mörg viðskipti / hvaða þýðingu) fyrirfram. (5) Íhugaðu ímyndaðar niðurstöður með „niðurstöðutúlk“ og athugaðu hvers vegna þú myndir ekki taka ákvörðun í atburðarás þar sem gögn eru ófullnægjandi.
gátlisti
- [ ] Ég einangraði aðeins eina breytu í prófinu.
- [ ] Ég skrifaði skýra tilgátu fyrir prófið.
- [ ] Ég hef þegar ákveðið sýnishornið og þann tíma sem þarf fyrir sigurvegarann.
- [ ] Ég valdi sigurvegarann út frá gögnum, ekki persónulegum smekk.
- [ ] Ég taldi niðurstöðuna „enginn munur“ vera gilt nám.
- [ ] Ég athugaði fyrir utanaðkomandi þætti sem gætu skekkt niðurstöðuna.