Mga yunit
1. Brand Voice at Consistency 2. Produksyon ng Teksto ng Kampanya at Kopya ng Advertising 3. Nilalaman ng SEO, Keyword at Layunin sa Paghahanap 4. Social Media Calendar at Mga Post na Partikular sa Platform 5. Mga Sequence ng Email Marketing at Mga Linya ng Paksa 6. Workflow sa Produksyon ng Blog at Artikulo 7. Mga Dagli ng Larawan at Malikhaing Direksyon 8. Mga Variant ng A/B Test at Disenyo ng Eksperimento 9. Kontrol sa Kalidad ng Nilalaman at Kaligtasan ng Brand 10. Etika, Privacy, Copyright at Legal na Limitasyon 11. End-to-End Content Workflow at Pagsukat
Yunit 8 / 11

Mga Variant ng A/B Test at Disenyo ng Eksperimento

Mga nadagdag:

  • Kakayahang bumuo ng mga sistematikong variant ng text na nagbukod ng mga solong variable para sa pagsubok ng A/B
  • Kakayahang baguhin ang isang hypothesis sa isang masusukat na pang-eksperimentong setup
  • Kakayahang bigyang-kahulugan ang mga resulta ng pagsusulit sa mga tuntunin ng istatistikal na kahalagahan at pagkatuto

Ang intuwisyon ay mahalaga sa marketing, ngunit ang ebidensya ay mas mahalaga. Aling headline ang nakakakuha ng mas maraming pag-click, aling CTA ang nagbebenta ng higit pa, aling larawan ang nakakaakit ng higit na pansin? Sa halip na hulaan, masusukat mo ito gamit ang A/B testing. Ang pagsubok sa A/B ay isang pang-eksperimentong paraan na nagpapakita ng dalawang bersyon ng parehong nilalaman (A at B) sa isang tunay na madla at sumusukat kung alin ang mas mahusay na gumaganap. Ang artipisyal na katalinuhan ay mabilis na gumagawa ng input para sa mga pagsubok na ito, katulad ng mga variant; Ngunit ang paggawa ng pagsubok ay nangangailangan ng isang pang-agham na panuntunan: isang variable sa isang pagkakataon. Sa unit na ito matututunan mo kung paano bumuo ng mga variant, magsalin ng hypothesis sa isang masusukat na eksperimento, at bigyang-kahulugan ang mga resulta sa mga tuntunin ng istatistikal na kahalagahan.

Golden rule: ihiwalay ang isang variable

Upang bigyang-kahulugan ang resulta ng isang pagsubok, isang bagay lang ang dapat magkaiba sa pagitan ng A at B. Kung babaguhin mo ang pamagat, larawan, at CTA nang sabay, hindi mo malalaman kung alin ang gumawa ng pagkakaiba kapag nanalo ang B. Ang paghihiwalay ng variable na susuriin ay ang tanging bagay na ginagawang posible ang pag-aaral.

Mga karaniwang variable na maaaring masuri:

  • Pamagat: Parehong larawan at katawan, magkaibang pamagat.
  • CTA text: "Bumili" o "Idagdag sa cart"?
  • Subject line: Nakakaapekto sa open rate ng isang email.
  • Larawan: Parehong teksto, ibang larawan.
  • Haba/tono: Maikli vs. mahaba, pormal atbp. taos-puso.

Mula sa hypothesis hanggang sa eksperimento: hakbang-hakbang

  1. Gumawa ng obserbasyon. "Ang aming landing page ay may mababang conversion."
  2. Hypothesis. "Ang headline na nakatuon sa mga benepisyo ay nagko-convert nang higit pa kaysa sa headline na nakatuon sa tampok."
  3. Ihiwalay ang variable. Title lang ang magbabago.
  4. Bumuo ng mga variant. 2 malinaw na variant sa modelo (A: feature, B: benefit).
  5. Tukuyin ang iyong sukatan ng tagumpay. Halimbawa, rate ng conversion — ang porsyento ng mga bisitang gumagawa ng gustong aksyon.
  6. Tukuyin ang sample at tagal. Sapat na tao at sapat na oras.
  7. Sukatin, ihambing, matuto. Alamin ang "bakit", hindi ang nagwagi.

Ang "hypothesis" ay isang hula na susubukan dito at maaaring lumabas na totoo o mali; Ang isang magandang hypothesis ay nagsasabi sa iyo kung ano ang iyong inaasahan at bakit.

Mahinang prompt / Malakas na prompt

Mahinang prompt:

Sumulat ng ilang alternatibo para sa pamagat na ito.

Napakahusay na prompt:

Bumuo ng mga variant para sa isang pagsubok sa A/B. Panuntunan: LAMANG ang pamagat ang magbabago, ang katawan at CTA ay mananatiling pareho. HYPOTHESIS: Ang pamagat na nakatuon sa benepisyo ay nakakakuha ng mas maraming pag-click kaysa sa pamagat na nakatuon sa tampok. KONTEKSTO: Landing page. Produkto: application sa pamamahala ng proyekto. Audience: maliliit na team.HINDI:- Variant A: feature-oriented na pamagat (naglalarawan kung ano ang ginagawa ng produkto)- Variant B: benefit-oriented na pamagat (naglalarawan kung ano ang ibinibigay nito sa user) Sa ilalim ng bawat variant, isulat kung anong psychological motivation ang naaapektuhan nito. 2 variant lang; Parehong dapat na iisang linya, na magkapareho ang haba.

Mahalagang nais na magkapareho ang haba ng mga variant; kung hindi, ang "haba" ay hindi sinasadyang nagiging pangalawang variable.

Bago/pagkatapos ng tsart ng pagsubok

entablado

Ano ang gagawin

madalas na pagkakamali

hypothesis

Ano, bakit ako naghihintay?

"Subukan natin" nang walang hypotheses

Variable

Ihiwalay ang isang bagay

Pagbabago ng maraming bagay nang sabay-sabay

pamantayan

Pumili ng isang malinaw na sukatan

Walang tiyak na "mas mahusay"

sample

Sapat na tao/oras

magpasya nang maaga

Magkomento

Alamin kung bakit

Kunin mo na lang ang nanalo

tatlong mini case

Case 1 — CTA test ay nagbibigay ng malinaw na mga resulta. Sinubukan ng isang e-commerce na site ang button ng produkto: A "Bumili", B "Idagdag sa cart". Ang text lang ng button ang nagbago. Sa isang pagsubok sa 3,000 bisita, tinaasan ng B ang click-through rate nito mula 4.0% hanggang 4.9%. Dahil nakahiwalay ang nag-iisang variable, malinaw ang nanalo: "idagdag sa cart" ang pakiramdam na hindi gaanong nagbubuklod.

Kaso 2 — Multivariate na error. Ang isang koponan ay nagdisenyo ng dalawang landing page, ngunit ang pamagat, larawan, at kulay ay magkaiba. Nanalo si B, ngunit hindi alam ng koponan kung aling elemento ang gumawa ng pagkakaiba; naging zero ang pag-aaral. Sa susunod na pagsubok, sinunod nila ang panuntunan: isang variable sa isang pagkakataon. Sa pagsusulit na iyon, malinaw nilang nakita na ang pamagat ang pangunahing kadahilanan.

Kaso 3 — Bitag ng maagang desisyon. Sinubukan ng isang newsletter team ang dalawang linya ng paksa sa isang grupo ng 200 tao at sinabing, "Nagkamit ito ng A" sa unang oras. Ang sample ay napakaliit; ang pagkakaiba ay hindi gaanong mahalaga sa istatistika (ibig sabihin, maaaring dahil sa pagkakataon). Kapag ang pagsubok ay nadagdagan sa sapat na sampling at oras, ang resulta ay nabaligtad. Aralin: huwag gumawa ng mga desisyon nang walang sapat na data.

Pag-iingat: Ang pagkakaiba na nakikita sa isang maliit na sample (maliit na bilang ng mga tao) ay maaaring mapanlinlang. Ang kahalagahan ng istatistika ay tumutukoy sa posibilidad na ang isang pagkakaiba ay totoo at hindi dahil sa pagkakataon. Siguraduhing sapat na mga tao ang naaabot at ang pagsubok ay nagpapatuloy nang sapat bago tumalon sa mga konklusyon.

Mga nakopyang template

Template 1 — Nakahiwalay na variant generator:

Bumuo ng mga variant para sa A/B testing. Ang LAMANG na variable na susuriin: [headline/CTA/image]. Ang lahat ng iba pa ay mananatiling pare-pareho. Haypotesis: [...]. Konteksto: [...].Variant A: [kasalukuyang diskarte]. Variant B: [alternatibong diskarte]. Hayaang magkapareho ang haba ng dalawang variant; huwag kang magbago ng iba.

Template 2 — Tagapaglinaw ng hypothesis:

Bumuo ng isang masusubok na hypothesis mula sa sumusunod na obserbasyon: "[obserbasyon]". Isulat ang hypothesis sa format na "kung gagawa tayo ng [pagbabago], tataas ang [metric] dahil [bakit]". Pagkatapos ay sabihin sa akin kung aling solong variable ang dapat kong ihiwalay.

Template 3 — Set ng pagsubok sa linya ng paksa:

Gumawa ng 2 linya ng paksa sa A/B test para sa sumusunod na email. Pagkakaiba sa isang solong axis: [kuryusidad kumpara sa kalinawan / conciseness atbp. mahaba/tanong atbp. expression]. Parehong hindi dapat maglaman ng salitang spam at dapat magkapareho ang haba. Buod ng email: [...]

Template 4 — Pagbibigay-kahulugan sa mga resulta:

Bigyang-kahulugan ang resulta ng isang A/B test.Variable: [...]. Variant A metric: [...]. Variant B metric: [...].Laki ng sample: [...]. Tagal: [...].Sabihin mo sa akin: Mukhang makabuluhan ba ang pagkakaiba, o maliit ba ang sample? Ano ang natutunan natin? Ano ang inirerekomenda mo para sa susunod na pagsubok? Huwag i-claim ang eksaktong istatistika; Kung hindi malinaw, tukuyin.

Tip: Hindi sapat na makuha ang "nagwagi" mula sa pagsusulit; Ang tunay na pakinabang ay ang insight sa "bakit ito nanalo." Ang insight na ito ay pumapasok sa hypothesis para sa susunod na pagsubok at bumubuo ng isang katawan ng pag-aaral sa paglipas ng panahon.

Priyoridad: ano ang unang susuriin?

Mayroong walang katapusang mga item na maaari mong subukan, ngunit ang iyong oras at trapiko ay limitado. Kaya unahin ang mga pagsubok batay sa potensyal na epekto. Pangkalahatang tuntunin: ang mga elemento na unang nakikita ng user at may pinakamalaking epekto sa desisyon ay sinusubok muna. Sa isang landing page, ang headline ay may pinakamalaking epekto sa mga pag-click; dahil binasa muna ito ng gumagamit at doon nagpasya o hindi na magpatuloy. Ang mga detalye tulad ng kulay ng button ay kadalasang gumagawa ng mas maliit na epekto; iwanan sila hanggang sa huli.

Ang isang praktikal na paraan upang bigyang-priyoridad ay ang pag-iskor ng bawat ideya sa pagsubok sa tatlong mga palakol: inaasahang epekto (gaano kalaki ang pagkakaiba kung ito ay mananalo?), kumpiyansa (gaano tayo tiwala na ito ay mananalo?), at kadalian (gaano kabilis ang pag-set up?). Ang mga pagsubok na may mataas na epekto, mataas na kumpiyansa at mababang pagsisikap ay inuuna. Nagbibigay-daan ito sa iyong maglaan ng limitadong trapiko sa mga eksperimento na nagdadala ng pinakamaraming pag-aaral. Ang AI ay maaaring magbigay sa iyo ng isang mabilis na blueprint para sa pagmamarka at pag-prioritize ng isang listahan ng mga ideya kasama ang tatlong axes na ito; Ikaw ang magdesisyon.

Template 5 — Pagsusuri sa priyoridad:

Unahin ang sumusunod na mga ideya sa pagsubok ng A/B. I-iskor ang bawat isa sa mga palakol ng epekto (1-5), pagiging maaasahan (1-5) at kadalian ng pag-install (1-5), i-rank ang mga ito ayon sa kabuuang marka at ipaliwanag sa isang pangungusap kung bakit nasa ganoong ayos ang mga ito. MGA IDEYA SA PAGSUBOK: [listahan]

Mga karaniwang pagkakamali

  • Kaya variable sa parehong oras. Ang resulta ay nagiging hindi maintindihan.
  • Pagsusulit na walang hypothesis. "Subukan natin ito at tingnan" ay hindi nagbubunga ng pagkatuto.
  • Maagang desisyon. Sa isang maliit na sample, ang pagkakaiba ay naisip na totoo sa pamamagitan ng pagkakataon.
  • Mga variant ng iba't ibang haba. Ang pangalawang variable ay hindi sinasadyang nilikha.
  • Kukuha lang ng nanalo. Kung ang dahilan ay hindi natutunan, ang impormasyon ay hindi maipon.

Sa buod

  • Ang ginintuang panuntunan ng A/B testing: isang variable sa isang pagkakataon.
  • Ang bawat pagsubok ay dapat magsimula sa isang hypothesis: ano ang inaasahan ko at bakit?
  • Tukuyin ang isang malinaw na sukatan ng tagumpay at isang sapat na sample.
  • Ang pagkakaiba sa maliit na sample ay nakaliligaw; Tandaan ang istatistikal na kahalagahan.
  • Alamin kung bakit, hindi ang nagwagi; Pumapasok ang insight na ito sa susunod na pagsubok.

Gawain ng aplikasyon

Pumili ng isang obserbasyon tungkol sa isa sa iyong mga nilalaman. Gamit ang Template 2, isalin ito sa isang malinaw na hypothesis at tukuyin ang variable na ihihiwalay. Gumawa ng dalawang variant na may template 1 (magkatulad na haba, pagkakaiba lang). Panghuli, magkasya ang hypothetical na mga numero ng resulta, bigyang-kahulugan ang mga ito gamit ang Template 4, at tandaan kung ano ang sinasabi ng modelo tungkol sa sample na kasapatan. Tagal: humigit-kumulang 25 minuto.

checklist

  • [ ] Sinimulan ko ang pagsusulit nang may malinaw na hypothesis.
  • [ ] Isang variable lang ang inihiwalay ko.
  • [ ] Ang mga variant ay nanatiling katulad sa ibang mga palakol (haba, atbp.).
  • [ ] Natukoy ko ang isang malinaw na sukatan ng tagumpay.
  • [ ] Hindi ako nagpasya nang walang sapat na sample/oras.
  • [ ] Nabanggit ko ang dahilan ng nanalo para sa susunod na pagsusulit.
Nakaraang Susunod