Mga nadagdag:
- Kakayahang maunawaan ang mga konsepto ng A/B testing, control/variant, conversion rate at statistical significance at magtatag ng mga hypotheses at mga disenyo ng pagsubok gamit ang artificial intelligence.
- Kakayahang ihiwalay ang iisang variable na susuriin at gumawa ng variant na text/image at plano sa pagsukat na may suporta sa artificial intelligence
- Kakayahang makilala na ang interpretasyon ng pagsubok ng artificial intelligence ay limitado sa pamamagitan ng laki at kahalagahan ng sample at ang panganib ng pagbabasa ng napaaga/maling mga resulta
Ang pinaka-mapanganib na pangungusap sa advertising ay "Sa tingin ko ito ay mas mahusay." Sinasabi sa iyo ng data, hindi opinyon, kung talagang mas maganda ang isang headline, larawan, o button. Ang pinakakaraniwang paraan upang sukatin ito ay A/B testing: pagpapakita ng dalawa (o higit pa) na bersyon ng parehong ad sa mga tunay na user at paghahambing kung alin ang mas gumagana. Ang "A" ay karaniwang ang kasalukuyang bersyon (kontrol), habang ang "B" ay ang bagong bersyon na sinusubukan (variant). Halimbawa, maaari mo lamang baguhin ang pamagat sa parehong ad at sukatin kung aling pamagat ang mas na-click. Ang artificial intelligence ay nakakatulong sa prosesong ito kapwa sa pagbuo ng malaking bilang ng mga variant at sa pagbibigay-kahulugan sa resulta; Ngunit ang pang-agham na bisa ng pagsubok ay nakasalalay sa mga panuntunan sa disenyo at pasensya.
Ang ginintuang tuntunin ng pagsubok sa A/B: isang variable
Ang pinakapangunahing tuntunin ng pagsubok sa A/B ay ang paghiwalayin ang isang variable. Kung babaguhin mo ang pamagat, larawan, at button nang sabay-sabay at panalo ang bersyon B, hindi mo malalaman kung ano ang nanalo. Kaya sa isang pagsubok isang elemento lamang ang dapat magbago, ang natitira ay dapat manatiling pare-pareho. Kung gusto mong subukan ang higit sa isang item nang sabay-sabay at sistematiko, ito ay tinatawag na multivariate testing at nangangailangan ng mas malaking sample; Univariate A/B testing ang paraan para magsimula.
Ang pangalawang pangunahing konsepto ay istatistikal na kahalagahan. Sabihin nating nakakuha ang bersyon A ng 3 porsyentong pag-click at ang bersyon B ay nakakuha ng 3.3 porsyentong pag-click. Ang pagkakaiba ba na ito ay isang tunay na kalamangan o isang fluke? Kung ipinakita mo lang ang pagsubok sa 100 tao, maaaring nagkataon lamang ang pagkakaibang ito. Ang kahulugan ng istatistika ay nangangahulugan na ang naobserbahang pagkakaiba ay sapat na hindi malamang na dahil sa pagkakataon (ibig sabihin, ang pagkakaiba ay malamang na totoo). Nangangailangan ito ng sapat na laki ng sample (bilang ng mga taong nakakakita ng pagsubok). Ang pagdedeklara ng "nagwagi" na may kaunting data ay ang pinakakaraniwan at mahal na pagkakamali.
Tip: Bago simulan ang pagsusulit, sagutin ang tanong na "kailan ko idedeklara ang panalo": ilang tao/pagkatapos ng conversion, sa anong antas ng kahalagahan. Ang paggawa ng desisyong ito nang maaga ay pumipigil sa iyo na mahuli sa ingay sa mga unang oras at makagawa ng maagang desisyon.
Ang sumusunod na talahanayan ay naghahambing ng mabuti at masamang disenyo ng pagsubok sa A/B:
aytem
masamang disenyo
magandang disenyo
Bilang ng mga variable
Pamagat + larawan + na button nang magkasama
pamagat lang
hypothesis
(wala) "tingnan natin kung ano ang mangyayari"
"Ang mga pamagat na may mga tanong ay nagpapataas ng mga pag-click"
sample
80 tao
Precalculated quorum
oras ng desisyon
Makalipas ang 2 oras
Kapag naabot mo ang kahalagahan
Pagpili ng nanalo
"Sa tingin ko mabait si B"
Batay sa datos at kahalagahan
Hakbang-hakbang: pag-set up ng A/B test
Hakbang 1 — Sumulat ng hypothesis. Ano ang sinusubukan mo at bakit? Ang isang malinaw na hypothesis tulad ng "Ang isang headline na may mga benepisyo ay nakakakuha ng mas maraming pag-click kaysa sa isang headline na may mga feature."
Hakbang 2 — Pumili ng isang variable. Pamagat lang, o image lang, o CTA lang.
Hakbang 3 — Bumuo ng mga variant. Gumawa ng iba't ibang bersyon ng parehong item gamit ang AI; panatilihing pare-pareho ang natitira.
Hakbang 4 — Mag-set up ng plano sa pagsukat. Aling sukatan ang tutukoy sa panalo (click-through rate, conversion), kung gaano karaming sample ang kailangan, gaano katagal tatakbo.
Hakbang 5 — I-interpret at i-verify ang resulta. Sapat na ba ang data na nakolekta, makabuluhan ba ang pagkakaiba? Kung ito ay hindi makabuluhan, ang "walang pagkakaiba" ay isa ring wastong resulta.
tatlong mini case
Case 1 — Kalinawan ng isang variable. CTA lang ang sinubukan ng isang brand ng e-commerce sa ad ng produkto nito: "Bumili" at "Idagdag sa cart." Lahat ng iba ay pareho. Pagkatapos ng sapat na sampling, ang "Idagdag sa cart" ay nagdala ng mas mataas na mga conversion. Ang pagkakaiba ay maaaring bigyang-kahulugan nang malinaw dahil ang isang variable ay nakahiwalay. Gumawa ang AI ng dalawang CTA, pinili ng data ang nanalo.
Kaso 2 — Bitag ng maagang desisyon. Itinigil ng isang brand ang pagsubok dahil nauuna ang bersyon B sa unang 3 oras ng pagsubok sa A/B at binuksan ang B sa buong badyet. Sa pagtingin sa kabuuang data sa susunod na araw, ang A ay talagang bahagyang mas mahusay; Ang pagkakaiba sa mga unang oras ay nagkataon lamang. Nasayang ang budget. Pagkakamali: paggawa ng napaaga na desisyon na may hindi sapat na laki ng sample.
Case 3 — “No difference” din ang conclusion. Sinubukan ng isang brand ang dalawang magkaibang larawan, at pagkatapos ng sapat na sampling, pareho silang gumawa ng halos parehong resulta. Habang ang koponan ay malapit nang maghinagpis na ang "pagsubok ay nabigo", ang tamang pagbabasa ay na ang imahe ay hindi ang pagpapasya na kadahilanan sa kampanyang ito, kaya ang pagsisikap ay dapat na nakadirekta sa headline at alok. Ang katotohanang walang nakitang makabuluhang pagkakaiba ay mahalagang impormasyon din.
Apat na maaaring kopyahin na mga template
1) Hypothesis at disenyo ng pagsubok:
Ang gusto kong subukan: [hal. pamagat ng ad].Gawain: (1) Sumulat ng isang masusubok na hypothesis (sa anyong "... tumataas ... tumataas").(2) Ilista ang nag-iisang variable na ihihiwalay at ang mga dapat panatilihing pare-pareho.(3) Imungkahi ang sukatan na tutukuyin ang panalo (click-through rate/conversion).(4) Isulat kung ano ang kailangan kong bigyang pansin upang mapatunayan ang pagsubok (sample, tagal, panganib sa maagang pagpapasya).
2) Variant generator (solong variant):
Malagkit na ad: larawan [pareho], CTA [pareho], target [pareho]. Nasubok ang variable: HEADLINE. Pangunahing mensahe: "[mensahe]". Gawain: Bumuo ng 4 na magkakaibang variant ng headline na may parehong mensahe. Gumagamit ang bawat isa ng ibang diskarte (tanong, benepisyo, numero, madaliang pagkilos). Ang headline lang ang nagbabago; Pagdaragdag ng hindi napatunayang claim.
3) Plano sa pagsukat:
Pagsubok: [Kahulugan ng A at B]. Sukatan: [click/conversion].Gawain: Bumuo ng plano sa pagsukat:(1) aling sukatan ang pangunahin, alin ang pangalawa,(2) kung gaano karaming data/oras ang kailangan para ideklara ang panalo (ipaliwanag ang lohika),(3) kung paano hatiin ang trapiko nang pantay-pantay at patas sa pagitan ng A at B,(4) kung anong mga panlabas na salik ang maaaring makadistort sa resulta (season, araw ng linggo).
4) Tagasalin ng resulta (maingat):
Aking mga resulta ng pagsubok sa A/B (tunay na data): [A: impressions/clicks/conversion],[B: impressions/clicks/conversion].Gawain: (1) Kalkulahin at ipakita ang mga rate ng bawat bersyon.(2) Magkomento sa laki ng pagkakaiba, ngunit kung ang sample ay hindi sapat, sabihin ang "hindi sapat na data para sa isang makabuluhang resulta."(3) Paalalahanan ang pag-claim ng premature. Kukumpirmahin ko sa isang hiwalay na tool ng account.
Mahinang prompt / Malakas na prompt
Mahinang prompt:
Gumawa ng bersyon ng A at B para sa aking ad, sabihin sa akin kung alin ang mas mahusay.
Ang variable ay hindi nakahiwalay, walang hypothesis at pagsukat; Hindi malalaman ng AI kung alin ang "mabuti" nang walang data, ito ang bumubuo.
Napakahusay na prompt:
Nagse-set up ako ng A/B testing. Naayos: ang larawan at CTA ay mananatiling pareho. Ang variable lang ang nasubok: headline ng ad. Hypothesis: "Ang headline na may mga numero ay nakakakuha ng mas maraming pag-click kaysa sa pangkalahatang headline." Pangunahing mensahe: "Ihahatid sa loob ng 3 araw." Gawain: (1) Gumawa ng 1 pangkalahatang headline para sa kontrol, 3 headline na may mga numero para sa variant.(2) Sabihin sa akin kung aling sukatan ang dapat kong ipaalala sa akin kung aling sukatan ang dapat kong ipaalala sa akin. magpawalang-bisa sa pagsusulit. Huwag hulaan kung alin ang mananalo; Matutukoy ito ng data.
Ang pangalawang claim ay naghihiwalay ng isang variable, nagsasangkot ng hypothesis at pagsukat; iniiwan ang nagwagi sa data.
Mga karaniwang pagkakamali
- Pagbabago ng maraming item nang sabay-sabay. Ang dahilan para sa nanalo ay nagiging hindi malinaw; Dapat na ihiwalay ang isang solong variable.
- Paggawa ng mga desisyon na may hindi sapat na mga sample. Ang pagkakaiba sa mga unang oras ay madalas na hindi sinasadya.
- Pagsubok nang walang hypotheses. "Tingnan natin kung ano ang mangyayari" pagsubok ay hindi nagbubunga ng pag-aaral; Isulat muna ang iyong inaasahan.
- Napagkakamalang "Walang pagkakaiba" ang resulta bilang isang pagkabigo. Ang kakulangan ng isang makabuluhang pagkakaiba ay nagbibigay-kaalaman din.
- Pagpili ng nanalo batay sa panlasa. Ang pagsubok ay tiyak na ibukod ang personal na panlasa; Sundin ang data.
- Nakakalimutan ang mga panlabas na kadahilanan. Season, araw ng kampanya, daloy ng balita ay maaaring baluktot ang kinalabasan; Panatilihing patas ang mga kondisyon ng pagsubok.
Pansin: Ang layunin ng A/B testing ay hindi para "manalo" kundi para matuto. Kahit na ang isang variant pagkawala ay mahalagang impormasyon; Ang tunay na pagkawala ay umaasa sa maling resulta na may hindi sapat na data at tinali ang badyet dito.
Sa buod
Ang A/B testing ay isang mahusay na paraan na naglilipat ng mga desisyon sa advertising mula sa ideya patungo sa data. Ang ginintuang panuntunan ay upang ihiwalay ang isang solong variable: isang elemento lamang ang dapat magbago sa isang pagsubok, ang iba ay dapat manatiling pare-pareho. Ang pangalawang haligi ay sapat na sampling at istatistikal na kahalagahan; Ang pagdedeklara ng panalo na may kaunting data ay ang pinakamahal na pagkakamali. Nakakatulong ang AI sa pagbuo ng maraming variant at pagkalkula at pagbibigay-kahulugan sa mga odds, ngunit tinutukoy ng data ang nanalo, hindi ang AI. Kahit na ang "walang pagkakaiba" na resulta ay isang pag-aaral. Dapat isulat ang hypothesis, sukatan at limitasyon ng desisyon bago magsimula ang pagsusulit.
Gawain ng aplikasyon
Pumili ng creative (headline, larawan o CTA). (1) Sumulat ng isang masusubok na hypothesis at nakahiwalay na variable na may "Hypothesis at disenyo ng pagsubok". (2) Bumuo ng 1 control + 3 variant na may "Variant generator"; Baguhin lang ang elementong iyon. (3) Planuhin kung aling sukatan ang titingnan mo, kung gaano katagal at kung anong data, kasama ang “plano sa pagsukat”. (4) Isulat ang iyong threshold para sa pagdedeklara ng panalo (kung gaano karaming mga conversion / kung ano ang kahalagahan) nang maaga. (5) Isaalang-alang ang hypothetical na mga resulta sa isang "interpreter ng resulta" at tandaan kung bakit hindi ka gagawa ng desisyon sa isang sitwasyon kung saan hindi sapat ang data.
checklist
- [ ] Isang variable lang ang ibinukod ko sa pagsubok.
- [ ] Sumulat ako ng malinaw na hypothesis bago ang pagsusulit.
- [ ] Natukoy ko na ang sample at oras na kailangan para sa panalo.
- [ ] Pinili ko ang nanalo batay sa data, hindi personal na panlasa.
- [ ] Itinuring ko ang resulta ng "walang pagkakaiba" bilang wastong pag-aaral.
- [ ] Sinuri ko ang mga panlabas na salik na maaaring makasira sa resulta.