Câștiguri:
- Abilitatea de a genera variante sistematice de text care izolează variabile individuale pentru testarea A/B
- Abilitatea de a transforma o ipoteză într-o configurație experimentală măsurabilă
- Abilitatea de a interpreta rezultatele testelor în termeni de semnificație statistică și de învățare
Intuiția este valoroasă în marketing, dar dovezile sunt mai valoroase. Care titlu primește mai multe clicuri, care CTA vinde mai mult, ce imagine atrage mai multă atenție? În loc să ghiciți, puteți măsura acest lucru cu testarea A/B. Testarea A/B este o metodă experimentală care arată două versiuni ale aceluiași conținut (A și B) unui public real și măsoară care dintre ele are performanțe mai bune. Inteligența artificială produce rapid input-ul pentru aceste teste, și anume variante; Dar pentru a face testul să funcționeze necesită o regulă științifică: o variabilă la un moment dat. În această unitate veți învăța cum să generați variante, să traduceți o ipoteză într-un experiment măsurabil și să interpretați rezultatele în termeni de semnificație statistică.
Regula de aur: izolați o variabilă
Pentru a interpreta rezultatul unui test, un singur lucru trebuie să fie diferit între A și B. Dacă schimbați titlul, imaginea și CTA în același timp, nu veți ști niciodată care dintre ele a făcut diferența atunci când B câștigă. Izolarea variabilei de testat este singurul lucru care face posibilă învățarea.
Variabile tipice care pot fi testate:
- Titlu: aceeași imagine și corp, titlu diferit.
- Text CTA: „Cumpără” sau „Adaugă în coș”?
- Subiect: afectează rata de deschidere a unui e-mail.
- Imagine: același text, imagine diferită.
- Lungime/ton: scurt vs lung, formal etc. sincer.
De la ipoteză la experiment: pas cu pas
- Faceți o observație. „Pagina noastră de destinație are o conversie scăzută.”
- Ipoteza. „Titlul axat pe beneficii convertește mai mult decât titlul axat pe caracteristici.”
- Izolați variabila. Doar titlul se va schimba.
- Generați variante. 2 variante clare cu modelul (A: caracteristică, B: beneficiu).
- Definiți măsura succesului dvs. De exemplu, rata de conversie — procentul de vizitatori care efectuează acțiunea dorită.
- Determinați proba și durata. Destul de oameni și suficient timp.
- Măsurați, comparați, învățați. Învață „de ce”, nu câștigătorul.
O „ipoteză” este o predicție care va fi testată aici și se poate dovedi a fi adevărată sau falsă; O ipoteză bună vă spune la ce vă așteptați și de ce.
Prompt slab / Prompt puternic
Prompt slab:
Scrieți câteva alternative pentru acest titlu.
Solicitare puternică:
Generați variante pentru un test A/B. Regulă: NUMAI titlul se va schimba, corpul și CTA vor rămâne aceleași.IPOTEZA: Titlul orientat spre beneficii primește mai multe clicuri decât titlul orientat către caracteristici.CONTEXT: Pagina de destinație. Produs: aplicație de management de proiect. Public: echipe mici.SOLICIT:- Varianta A: titlu orientat pe caracteristici (descrie ce face produsul)- Varianta B: titlu orientat pe beneficii (descrie ce oferă utilizatorului) Sub fiecare variantă, scrieți ce motivație psihologică atinge. Doar 2 variante; Ambele ar trebui să aibă o singură linie, de lungime similară.
Este important să doriți ca variantele să fie de lungime similară; altfel „lungimea” devine neintenționat o a doua variabilă.
Diagrama de testare înainte/după
Scena
Ce să faci
eroare frecventă
ipoteza
Ce, de ce aștept?
„Hai să încercăm” fără ipoteze
Variabilă
Izolați un lucru
Schimbând multe lucruri deodată
criteriu
Alegeți o valoare clară
„mai bine” nedefinit
probă
Destui oameni/timp
decide devreme
Comentariu
Află de ce
Luați doar câștigătorul
trei mini cutii
Cazul 1 – testul CTA dă rezultate clare. Un site de comerț electronic a testat butonul de produs: A „Cumpără”, B „Adaugă în coș”. S-a schimbat doar textul butonului. Într-un test de 3.000 de vizitatori, B și-a crescut rata de clic de la 4,0% la 4,9%. Cu singura variabilă izolată, câștigătorul a fost clar: „adăugați în coș” s-a simțit mai puțin obligatoriu.
Cazul 2 — Eroare multivariată. O echipă a proiectat două pagini de destinație, dar titlul, imaginea și culoarea erau toate diferite. B a câștigat, dar echipa nu a știut ce element a făcut diferența; învăţarea a devenit zero. În următorul test, au respectat regula: câte o variabilă. În acel test, ei au văzut clar că titlul era factorul principal.
Cazul 3 – Capcană de decizie timpurie. O echipă de buletin informativ a testat două rânduri de subiect pe un grup de 200 de persoane și a spus: „A câștigat un A” în prima oră. Eșantionul a fost foarte mic; diferența a fost statistic nesemnificativă (adică s-ar fi putut datora întâmplării). Când testul a fost crescut la eșantionare și timp suficient, rezultatul a fost inversat. Lecție: nu iei decizii fără date suficiente.
Atenție: diferența observată într-un eșantion mic (număr mic de persoane) poate induce în eroare. Semnificația statistică se referă la probabilitatea ca o diferență să fie reală și nu datorată întâmplării. Asigurați-vă că sunt atinși suficienți oameni și că testarea durează suficient înainte de a sari la concluzii.
Șabloane copiabile
Șablon 1 — Generator de variante izolate:
Generați variante pentru testarea A/B. SINGURA variabilă de testat: [titlu/CTA/imagine]. Orice altceva va rămâne constant. Ipoteza: [...]. Context: [...].Varianta A: [abordare actuală]. Varianta B: [abordare alternativă]. Fie cele două variante de lungime similară; nu schimba nimic altceva.
Șablonul 2 — Clarificator de ipoteze:
Construiți o ipoteză testabilă din următoarea observație: „[observație]”. Scrieți ipoteza în formatul „dacă facem [modificare], [metric] crește pentru că [de ce]”. Apoi spune-mi ce variabilă ar trebui să izolez.
Șablon 3 — Set de testare pentru linia de subiect:
Creați 2 rânduri de subiect pentru testul A/B pentru următorul e-mail. Diferență pe o singură axă: [curiozitate vs. claritate / concizie etc. lung / întrebare etc. expresie]. Ambele nu trebuie să conțină cuvântul spam și ar trebui să aibă o lungime similară. Rezumat prin e-mail: [...]
Șablonul 4 — Interpretarea rezultatelor:
Interpretați rezultatul unui test A/B.Variabilă: [...]. Varianta A metrică: [...]. Varianta B metrică: [...].Mărimea eșantionului: [...]. Durata: [...].Spune-mi: diferența pare semnificativă sau eșantionul este mic? Ce am învățat? Ce recomandati pentru urmatorul test? Nu revendica statistici exacte; Dacă nu este clar, specificați.
Sfat: Nu este suficient să obțineți „câștigătorul” din test; Adevăratul câștig este înțelegerea „de ce a câștigat”. Această perspectivă alimentează ipoteza pentru următorul test și construiește un corp de învățare în timp.
Prioritate: ce să testăm mai întâi?
Există nenumărate articole pe care le puteți testa, dar timpul și traficul dvs. sunt limitate. Deci, prioritizează testele pe baza potențialului de impact. Regula generală: elementele pe care utilizatorul le vede primul și care are cel mai mare impact asupra deciziei sunt testate mai întâi. Pe o pagină de destinație, titlul are cel mai mare impact asupra clicurilor; deoarece utilizatorul îl citește primul și decide acolo sau nu să continue. Detalii precum culoarea butonului au adesea un impact mai mic; lasa-le pentru final.
O modalitate practică de a stabili prioritățile este de a nota fiecare idee de testare pe trei axe: impactul așteptat (cât de mare diferență va avea dacă câștigă?), încredere (cât de încrezători suntem că va câștiga?) și ușurință (cât de repede se instalează?). Testele cu impact ridicat, încredere mare și efort redus sunt plasate pe primul loc. Acest lucru vă permite să alocați trafic limitat pentru experimentele care aduc cele mai multe învățare. AI vă poate oferi un plan rapid pentru notarea și prioritizarea unei liste de idei de-a lungul acestor trei axe; Tu decizi.
Șablonul 5 — Prioritizarea testului:
Prioritizează următoarele idei de testare A/B. Punctează-le pe fiecare pe axele de impact (1-5), fiabilitate (1-5) și ușurință de instalare (1-5), ordonează-le în funcție de punctajul total și explică într-o propoziție de ce sunt în acea ordine. IDEI DE TESTARE: [lista]
Greșeli comune
- Atât de variabil în același timp. Rezultatul devine ininterpretabil.
- Testare fără ipoteze. „Hai să încercăm și să vedem” nu produce învățare.
- Decizie timpurie. Într-un eșantion mic, se crede că diferența este reală din întâmplare.
- Variante de lungimi diferite. O a doua variabilă este creată neintenționat.
- Luați doar câștigătorul. Dacă motivul nu este învățat, informațiile nu se vor acumula.
Pe scurt
- Regula de aur a testării A/B: o variabilă la un moment dat.
- Fiecare test ar trebui să înceapă cu o ipoteză: la ce mă aștept și de ce?
- Definiți o singură măsură clară a succesului și un eșantion adecvat.
- Diferența dintre eșantionul mic este înșelătoare; Notați semnificația statistică.
- Aflați de ce, nu câștigătorul; Această perspectivă se alimentează în următorul test.
Sarcina de aplicare
Alegeți o observație despre unul dintre conținutul dvs. Cu șablonul 2, traduceți acest lucru într-o ipoteză clară și identificați variabila de izolat. Produceți două variante cu șablonul 1 (lungime similară, doar diferență). În cele din urmă, potriviți numerele rezultatelor ipotetice, interpretați-le folosind șablonul 4 și observați ce spune modelul despre adecvarea eșantionului. Durata: aproximativ 25 de minute.
lista de verificare
- [ ] Am început testul cu o ipoteză clară.
- [ ] Am izolat doar o variabilă.
- [ ] Variantele au rămas similare în alte axe (lungime etc.).
- [ ] Am definit o valoare clară a succesului.
- [ ] Nu m-am hotărât fără suficient eșantion/timp.
- [ ] Am notat motivul câștigătorului pentru următorul test.