Fitimet:
- Aftësia për të gjeneruar variante teksti sistematik që izolojnë variabla të vetme për testimin A/B
- Aftësia për të transformuar një hipotezë në një strukturë eksperimentale të matshme
- Aftësia për të interpretuar rezultatet e testit në kuptimin e rëndësisë statistikore dhe të të mësuarit
Intuita është e vlefshme në marketing, por provat janë më të vlefshme. Cili titull merr më shumë klikime, cili CTA shet më shumë, cili imazh tërheq më shumë vëmendje? Në vend që të hamendësoni, mund ta matni këtë me testimin A/B. Testimi A/B është një metodë eksperimentale që tregon dy versione të së njëjtës përmbajtje (A dhe B) për një audiencë reale dhe mat se cili performon më mirë. Inteligjenca artificiale prodhon shpejt të dhëna për këto teste, përkatësisht variante; Por bërja e testit të funksionojë kërkon një rregull shkencor: një ndryshore në të njëjtën kohë. Në këtë njësi do të mësoni se si të gjeneroni variante, të përktheni një hipotezë në një eksperiment të matshëm dhe të interpretoni rezultatet në terma të rëndësisë statistikore.
Rregulli i artë: izoloni një ndryshore
Për të interpretuar rezultatin e një testi, vetëm një gjë duhet të jetë e ndryshme midis A dhe B. Nëse ndryshoni titullin, imazhin dhe CTA në të njëjtën kohë, nuk do ta dini kurrë se cila bëri ndryshimin kur B fiton. Izolimi i variablit që do të testohet është e vetmja gjë që e bën të mundur mësimin.
Variablat tipikë që mund të testohen:
- Titulli: I njëjti imazh dhe trup, titull i ndryshëm.
- Teksti CTA: "Bli" apo "Shto në shportë"?
- Linja e temës: Ndikon në shkallën e hapjes së një emaili.
- Imazhi: I njëjti tekst, imazh i ndryshëm.
- Gjatësia/ton: E shkurtër kundrejt të gjatë, formale etj. e sinqertë.
Nga hipoteza në eksperiment: hap pas hapi
- Bëni një vëzhgim. "Faqja jonë e uljes ka konvertim të ulët."
- Hipoteza. "Titulli i fokusuar te përfitimet konverton më shumë se titulli i fokusuar te veçoritë."
- Izoloni variablin. Vetëm titulli do të ndryshojë.
- Gjeneroni variante. 2 variante të qarta me modelin (A: tipar, B: përfitim).
- Përcaktoni masën tuaj të suksesit. Për shembull, shkalla e konvertimit - përqindja e vizitorëve që kryejnë veprimin e dëshiruar.
- Përcaktoni mostrën dhe kohëzgjatjen. Njerëz të mjaftueshëm dhe kohë të mjaftueshme.
- Matni, krahasoni, mësoni. Mësoni "pse", jo fituesin.
Një "hipotezë" është një parashikim që do të testohet këtu dhe mund të rezultojë i vërtetë ose i rremë; Një hipotezë e mirë ju tregon se çfarë prisni dhe pse.
Prompt i dobët / Prompt i fortë
Njoftim i dobët:
Shkruani disa alternativa për këtë titull.
Njoftim i fuqishëm:
Gjeneroni variante për një test A/B. Rregulli: VETËM titulli do të ndryshojë, trupi dhe CTA do të mbeten të njëjta. HIPOTEZA: Titulli i orientuar nga përfitimet merr më shumë klikime sesa titulli i orientuar nga veçoritë. KONTEKSTI: Faqja kryesore. Produkti: aplikacioni i menaxhimit të projektit. Audienca: ekipe të vogla. KËRKOHET:- Varianti A: titulli i orientuar nga karakteristikat (përshkruan atë që bën produkti)- Varianti B: titulli i orientuar nga përfitimi (përshkruan atë që i ofron përdoruesit) Nën çdo variant, shkruani se çfarë motivimi psikologjik prek. Vetëm 2 variante; Të dyja duhet të jenë të vetme, me gjatësi të ngjashme.
Është e rëndësishme të dëshironi që variantet të jenë me gjatësi të ngjashme; përndryshe "gjatësia" pa dashje bëhet një ndryshore e dytë.
Grafiku para/pas testit
Skena
Çfarë duhet bërë
gabim i shpeshtë
hipoteza
Çfarë, pse po pres?
“Të provojmë” pa hipoteza
E ndryshueshme
Izoloni një gjë
Ndryshimi i shumë gjërave në të njëjtën kohë
kriteri
Zgjidhni një metrikë të qartë
E pacaktuar "më mirë"
mostër
Mjaft njerëz/kohë
vendosni herët
Koment
Mësoni pse
Thjesht merrni fituesin
tre mini kuti
Rasti 1 — Testi CTA jep rezultate të qarta. Një faqe e-commerce testoi butonin e produktit: A "Bli", B "Shto në shportë". Vetëm teksti i butonit ka ndryshuar. Në një test prej 3,000 vizitorësh, B rriti shkallën e klikimeve nga 4.0% në 4.9%. Me variablin e vetëm të izoluar, fituesi ishte i qartë: "Shto në shportë" ndihej më pak e detyrueshme.
Rasti 2 - Gabim me shumë variacione. Një ekip projektoi dy faqe, por titulli, imazhi dhe ngjyra ishin të gjitha të ndryshme. B fitoi, por skuadra nuk e dinte se cili element bënte diferencën; mësimi u bë zero. Në testin tjetër, ata ndoqën rregullin: një ndryshore në të njëjtën kohë. Në atë test, ata panë qartë se titulli ishte faktori kryesor.
Rasti 3 - Kurthi i vendimit të hershëm. Një ekip gazete testoi dy linja teme në një grup prej 200 personash dhe tha: "Ai fitoi një A" në orën e parë. Mostra ishte shumë e vogël; diferenca ishte statistikisht e parëndësishme (d.m.th., mund të ishte për shkak të rastësisë). Kur testi u rrit në marrjen e mostrave dhe kohë të mjaftueshme, rezultati u kthye. Mësimi: mos merrni vendime pa të dhëna të mjaftueshme.
Kujdes: Dallimi i parë në një kampion të vogël (numër i vogël njerëzish) mund të jetë mashtrues. Rëndësia statistikore i referohet probabilitetit që një ndryshim të jetë real dhe jo për shkak të rastësisë. Sigurohuni që të arrihen mjaft njerëz dhe testimi të vazhdojë mjaftueshëm përpara se të nxirrni përfundime të shpejta.
Modele të kopjueshme
Shablloni 1 - Gjenerues i varianteve të izoluara:
Gjeneroni variante për testimin A/B. Variabli i vetëm për të testuar: [titull/CTA/imazh]. Gjithçka tjetër do të mbetet konstante. Hipoteza: [...]. Konteksti: [...].Varianti A: [qasja aktuale]. Varianti B: [qasja alternative]. Le të jenë të dy variantet me gjatësi të ngjashme; mos ndryshoni asgjë tjetër.
Modeli 2 - Sqarues hipotezash:
Ndërtoni një hipotezë të testueshme nga vëzhgimi i mëposhtëm: "[vëzhgim]". Shkruani hipotezën në formatin "nëse bëjmë [ndryshim], [metrika] rritet sepse [pse]". Pastaj më tregoni se cilën variabël të vetme duhet të izoloj.
Modeli 3 - Set i testit të linjës së lëndës:
Krijo 2 rreshta subjekti në testin A/B për emailin e mëposhtëm. Diferenca në një bosht të vetëm: [kurioziteti kundrejt qartësisë / koncizitetit etj. e gjatë/pyetje etj. shprehje]. Të dyja nuk duhet të përmbajnë fjalën spam dhe duhet të jenë me gjatësi të ngjashme. Përmbledhja e emailit: [...]
Modeli 4 — Interpretimi i rezultateve:
Interpretoni rezultatin e një testi A/B. Variabla: [...]. Varianti A metrikë: [...]. Varianti B metrikë: [...].Madhësia e kampionit: [...]. Kohëzgjatja: [...].Më thuaj: A duket dallimi i rëndësishëm, apo mostra është e vogël? Çfarë mësuam? Çfarë rekomandoni për testin e radhës? Mos pretendoni statistika të sakta; Nëse është e paqartë, specifikoni.
Këshillë: Nuk mjafton të marrësh “fituesin” nga testi; Fitimi i vërtetë është njohuria për "pse fitoi". Ky pasqyrë ushqehet me hipotezën për testin e ardhshëm dhe ndërton një trup të të mësuarit me kalimin e kohës.
Prioriteti: çfarë të testoni së pari?
Ka pafund artikuj që mund t'i provoni, por koha dhe trafiku juaj janë të kufizuar. Pra, jepni përparësi testeve bazuar në potencialin e ndikimit. Rregulli i përgjithshëm: së pari testohen elementët që përdoruesi sheh i pari dhe kanë ndikimin më të madh në vendim. Në një faqe uljeje, titulli ka ndikimin më të madh në klikimet; sepse përdoruesi e lexon i pari dhe vendos aty të vazhdojë apo jo. Detajet si ngjyra e butonit shpesh bëjnë një ndikim më të vogël; lërini për të fundit.
Një mënyrë praktike për të dhënë përparësi është të shënoni çdo ide testimi në tre akse: ndikimi i pritshëm (sa ndryshim do të bëjë nëse fiton?), besimi (sa jemi të sigurt se do të fitojë?) dhe lehtësia (sa shpejt vendoset?). Testet me ndikim të lartë, besim të lartë dhe përpjekje të ulët vendosen të parat. Kjo ju lejon të ndani trafik të kufizuar për eksperimentet që sjellin më shumë mësim. Inteligjenca artificiale mund t'ju japë një plan të shpejtë për vlerësimin dhe prioritizimin e një liste idesh përgjatë këtyre tre akseve; Ju vendosni.
Modeli 5 — Përcaktimi i përparësive të testit:
Jepini përparësi ideve të mëposhtme të testimit A/B. Shënoni secilin në akset e ndikimit (1-5), besueshmërinë (1-5) dhe lehtësinë e instalimit (1-5), renditini ato sipas rezultatit total dhe shpjegoni me një fjali pse janë në atë renditje. IDETË E TESTIMIT: [lista]
Gabimet e zakonshme
- Pra e ndryshueshme në të njëjtën kohë. Rezultati bëhet i pakuptueshëm.
- Testim pa hipoteza. "Le ta provojmë dhe të shohim" nuk prodhon mësim.
- Vendimi i hershëm. Në një mostër të vogël, diferenca mendohet të jetë reale rastësisht.
- Variante me gjatësi të ndryshme. Një variabël e dytë është krijuar pa dashje.
- Vetëm duke marrë fituesin. Nëse arsyeja nuk mësohet, informacioni nuk do të grumbullohet.
Në përmbledhje
- Rregulli i artë i testimit A/B: një variabël në të njëjtën kohë.
- Çdo test duhet të fillojë me një hipotezë: çfarë pres dhe pse?
- Përcaktoni një masë të vetme të qartë të suksesit dhe një mostër adekuate.
- Dallimi në kampionin e vogël është mashtrues; Shënoni rëndësinë statistikore.
- Zbuloni pse, jo fituesin; Kjo pasqyrë futet në testin e ardhshëm.
Detyra e aplikimit
Zgjidhni një vëzhgim për një nga përmbajtjet tuaja. Me shabllonin 2, përkthejeni këtë në një hipotezë të qartë dhe identifikoni variablin për t'u izoluar. Prodhoni dy variante me shabllonin 1 (gjatësi të ngjashme, vetëm ndryshim). Së fundi, përshtatni numrat e rezultateve hipotetike, interpretoni ato duke përdorur shabllonin 4 dhe vini re se çfarë thotë modeli për përshtatshmërinë e mostrës. Kohëzgjatja: rreth 25 minuta.
listë kontrolli
- [ ] E nisa testin me një hipotezë të qartë.
- [ ] Unë veçova vetëm një variabël.
- [ ] Variantet mbetën të ngjashme në akset e tjera (gjatësia, etj.).
- [ ] Unë kam përcaktuar një metrikë të qartë të suksesit.
- [ ] Nuk vendosa pa mostër/kohë të mjaftueshme.
- [ ] Kam vënë në dukje arsyen e fituesit për testin e radhës.