Bölüm 8 / 11

A / B synag görnüşleri we tejribe dizaýny

Girdeji:

  • A / B synagy üçin ýeke üýtgeýjileri izolirleýän yzygiderli tekst wariantlaryny döretmek ukyby
  • Bir gipotezany ölçenip boljak tejribe gurnamasyna öwürmek ukyby
  • Synag netijelerini statistik ähmiýet we okuw nukdaýnazaryndan düşündirmek ukyby

Duýgurlyk marketingde gymmatly, ýöne subutnamalar has gymmatlydyr. Haýsy sözbaşy has köp basylýar, haýsy CTA has köp satýar, haýsy surat has köp ünsi özüne çekýär? Çaklamagyň ýerine muny A / B synagy bilen ölçäp bilersiňiz. A / B synag, hakyky mazmuna şol bir mazmunyň (A we B) iki wersiýasyny görkezýän we has gowy ýerine ýetirýän çäreleri görkezýän synag usulydyr. Emeli intellekt bu synaglar üçin giriş görnüşlerini çalt öndürýär; Testöne synag işini geçirmek ylmy düzgüni talap edýär: bir gezekde bir üýtgeýän. Bu bölümde wariantlary nädip döretmelidigini, gipotezany ölçenip boljak eksperimente terjime etmegi we netijeleri statistik ähmiýete görä düşündirmegi öwrenersiňiz.

Altyn düzgün: bir üýtgeýjini izolirläň

Synagyň netijesini düşündirmek üçin diňe bir zat A bilen B arasynda tapawutly bolmaly, şol bir wagtyň özünde adyny, suratyny we CTA-ny üýtgetseňiz, B ýeňiş gazananda haýsysynyň tapawudyny bilmersiňiz. Synag ediljek üýtgeýjini izolirlemek, öwrenmegi mümkin edýän ýeke-täk zat.

Synag edip boljak adaty üýtgeýjiler:

  • Ady: Birmeňzeş şekil we beden, dürli at.
  • CTA teksti: "Satyn alyň" ýa-da "Araba goşuň"?
  • Mowzuk setiri: E-poçta açyk tizligine täsir edýär.
  • Surat: Birmeňzeş tekst, dürli surat.
  • Uzynlygy / äheňi: Gysga we uzyn, resmi we ş.m.

Gipotezadan tejribe: ädimme-ädim

  1. Gözegçilik ediň. "Giriş sahypamyzda pes öwrülişik bar."
  2. Gipoteza. "Peýdalara gönükdirilen sözbaşy, aýratynlyga gönükdirilen sözbaşy däl."
  3. Üýtgeýjini izolirläň. Diňe ady üýtgär.
  4. Wariantlary dörediň. Model bilen 2 sany aýdyň wariant (A: aýratynlyk, B: peýda).
  5. Üstünligiňizi kesgitläň. Mysal üçin, öwrüliş tizligi - islenýän çäräni görýänleriň göterimi.
  6. Nusga we dowamlylygy kesgitläň. Ougheterlik adam we ýeterlik wagt.
  7. Ölçe, deňeşdir, öwren. Winnereňiji däl-de, "näme üçin" öwreniň.

“Gipoteza” bu ýerde synagdan geçiriljek we dogry ýa-da ýalan bolup biljek çaklama; Gowy gipoteza nämä garaşýandygyňyzy we sebäbini aýdýar.

Gowşak haýyş / Güýçli haýyş

Gowşak haýyş:

Bu at üçin käbir alternatiwalary ýazyň.

Güýçli haýyş:

A / B synagy üçin wariantlary dörediň. Düzgün: Diňe adyň üýtgemegi, beden we CTA üýtgewsiz galar. HYPOTHESIS: Peýdalara gönükdirilen at aýratynlyga gönükdirilen atdan has köp basylýar. KONTEXT: ingerleşýän sahypa. Haryt: taslama dolandyryş programmasy. Tomaşaçylar: kiçi toparlar.GEREK: Ikisem birmeňzeş uzynlykdaky bir çyzyk bolmaly.

Wariantlaryň meňzeş uzynlygyny islemek möhümdir; bolmasa "uzynlyk" bilgeşleýin ikinji üýtgeýjä öwrülýär.

Synag diagrammasyndan öň / soň

Tapgyr

Näme etmeli

ýygy-ýygydan ýalňyşlyk

gipoteza

Näme, men näme üçin garaşýaryn?

Gipotezasyz "synap göreliň"

Üýtgeýji

Bir zady izolirläň

Birbada köp zady üýtgetmek

ölçegi

Bir anyk ölçeg saýlaň

Kesgitli "has gowy"

nusga

Ougheterlik adam / wagt

ir karar ber

Düşündiriş

Munuň sebäbini öwreniň

Justeňijini alyň

üç sany kiçi halat

1-nji waka - CTA synagy anyk netijeleri berýär. Elektron söwda sahypasy önüm düwmesini synagdan geçirdi: "Satyn al", B "Araba goş". Diňe düwmäniň teksti üýtgedi. 3000 syýahatçynyň synagynda B basmak derejesini 4.0% -den 4,9% -e çenli ýokarlandyrdy. Singleeke-täk üýtgeýjiniň izolýasiýa edilmegi bilen ýeňiji düşnükli boldy: “araba goşuň” has az baglanyşyk duýdy.

2-nji hadysa - Köpugurly ýalňyşlyk. Topar iki sany gonuş sahypasyny dizaýn etdi, ýöne ady, suraty we reňki üýtgeşikdi. B ýeňdi, ýöne topar haýsy elementiň tapawudyny bilmedi; öwrenmek nola öwrüldi. Indiki synagda düzgüne eýerdiler: bir gezekde bir üýtgeýji. Şol synagda adyň esasy faktordygyny aç-açan gördüler.

3-nji waka - Irki karar duzagy. Habar býulleteni topary 200 adamdan ybarat toparda iki mowzuk setirini synagdan geçirdi we ilkinji sagatda "A gazandy" -diýdi. Nusga gaty azdy; tapawut statistik taýdan ujypsyzdy (meselem, tötänlik sebäpli bolup biler). Synag ýeterlik nusga almak we wagt artdyrylanda, netije tersine boldy. Sapak: ýeterlik maglumat bolmasa karar bermäň.

Üns beriň: Ujypsyzja nusgada (az adam) görlen tapawut ýalňyş bolup biler. Statistik ähmiýet, tapawudyň hakyky we tötänlik sebäpli bolma ähtimallygyny aňladýar. Enougheterlik adamyň ýetendigine we netijä gelmezden ozal synagyň uzak dowam edýändigine göz ýetiriň.

Göçürip boljak galyplar

Şablon 1 - Izolýasiýa görnüşi generatory:

A / B synagy üçin wariantlary dörediň. Synag üçin Diňe üýtgeýän: [sözbaşy / CTA / surat]. Galan hemme zat hemişelik galar. Gipoteza: [...]. Kontekst: [...]. Wariant A: [häzirki çemeleşme]. B warianty: [alternatiw çemeleşme]. Iki görnüşi birmeňzeş uzynlykda bolsun; başga zady üýtgetme.

Şablon 2 - Gipotezany düşündiriji:

Aşakdaky gözegçilikden synagdan geçirilýän gipotezany düzüň: "[syn]". Gipotezany "üýtgeden bolsak, [metrik] ýokarlanýar, sebäbi [näme üçin]" görnüşinde ýazyň. Soňra haýsy üýtgeýjini izolirlemelidigimi aýdyň.

Şablon 3 - Subýekt setir synag toplumy:

Aşakdaky e-poçta üçin A / B synagyna 2 mowzuk setirini dörediň. Bir okdaky tapawut: [bilesigelijilik we aýdyňlyk / takyklyk we ş.m. uzyn / sorag we ş.m. aňlatma]. Ikisinde-de spam sözi bolmaly däldir we meňzeş uzynlykda bolmaly. E-poçta gysgaça mazmuny: [...]

Şablon 4 - Netijeleri düşündirmek:

A / B synagynyň netijesini düşündiriň. Üýtgeýän: [...]. Wariant A ölçeg: [...]. B warianty ölçegi: [...]. Mysal ölçegi: [...]. Dowamlylygy: [...]. Maňa aýdyň: Tapawut möhüm ýaly görünýärmi ýa-da nusga azmy? Biz näme öwrendik? Indiki synag üçin näme maslahat berýärsiňiz? Takyk statistika talap etmäň; Düşnüksiz bolsa, görkeziň.

Maslahat: Synagdan "ýeňiji" almak ýeterlik däl; Asyl girdeji "näme üçin ýeňdi" diýen düşünje. Bu düşünje indiki synag üçin gipotezany öwrenýär we wagtyň geçmegi bilen öwreniş bedenini döredýär.

Üstünlik: ilki näme synamaly?

Synag edip boljak tükeniksiz zatlar bar, ýöne wagtyňyz we traffigiňiz çäklidir. Şonuň üçin täsir potensialyna esaslanýan synaglary ileri tutuň. Umumy düzgün: ulanyjynyň ilki görýän we karara iň köp täsir edýän elementleri ilki synagdan geçirilýär. Giriş sahypasynda sözbaşy basylanda iň uly täsir edýär; sebäbi ulanyjy ilki ony okaýar we şol ýerde dowam etmek ýa-da dowam etdirmezlik kararyna gelýär. Düwmäniň reňki ýaly jikme-jiklikler köplenç kiçi täsir edýär; iň soňunda goý.

Ileri tutmagyň amaly usuly, her synag ideýasyny üç okda ballamakdyr: garaşylýan täsir (ýeňiş gazansa näçeräk üýtgeşiklik döreder?), Ynam (ýeňiş gazanjakdygymyza nä derejede ynamly?) We ýeňillik (gurmak näçe çalt?). Impactokary täsirli, ýokary ynamly we pes tagallaly synaglar birinji ýerde goýulýar. Bu, iň köp öwrenýän synaglara çäkli traffigi bölüp bermäge mümkinçilik berýär. AI size bu üç ok boýunça pikirleriň sanawyny ileri tutmak we ileri tutmak üçin çalt meýilnama berip biler; Siz karar beriň.

Şablon 5 - Synagyň ileri tutulmagy:

Aşakdaky A / B synag ideýalaryny ileri tutuň. Her birini täsir oklaryna (1-5), ygtybarlylyga (1-5) we gurnamagyň aňsatlygyna (1-5) baha beriň, umumy bal boýunça tertipläň we näme üçin beýle tertipdedigini bir sözlemde düşündiriň. Synag belgileri: [sanaw]

Adaty ýalňyşlyklar

  • Şol bir wagtyň özünde üýtgeýän. Netije düşündirip bolmaýar.
  • Gipotezasyz synag. “Geliň, synap göreliň” öwrenmegi üpjün etmeýär.
  • Irki karar. Kiçijik nusgada bu tapawut tötänleýin hakyky hasaplanýar.
  • Dürli uzynlygyň görnüşleri. Ikinji üýtgeýji bilgeşleýin döredilýär.
  • Diňe ýeňijini almak. Sebäbi öwrenilmese, maglumat toplanmaz.

Gysgaça

  • A / B synagynyň altyn düzgüni: bir gezekde üýtgeýän.
  • Her synag gipotezadan başlamaly: men nämä garaşýaryn we näme üçin?
  • Üstünligiň ýeke-täk anyk ölçegini we ýeterlik nusgany kesgitläň.
  • Kiçi nusgadaky tapawut ýalňyşdyr; Statistik ähmiýetine üns beriň.
  • Winnereňiji däl-de, sebäbini biliň; Bu düşünje indiki synaga girýär.

Programma meselesi

Mazmunyňyzyň biri barada syn saýlaň. 2-nji şablon bilen muny anyk gipoteza terjime ediň we izolirlemek üçin üýtgeýjini kesgitläň. 1-nji şablon bilen iki görnüşi öndüriň (meňzeş uzynlyk, diňe tapawut). Netijede, gipotetiki netijeleriň sanlaryna gabat geliň, 4-nji şablon ulanyp düşündiriň we nusganyň ýeterlikligi barada modeliň näme diýýänine üns beriň. Dowamlylygy: takmynan 25 minut.

gözegçilik sanawy

  • [] Synagy anyk gipoteza bilen başladym.
  • [] Diňe bir üýtgeýjini izolirledim.
  • [] Wariantlar beýleki oklarda (uzynlyk we ş.m.) meňzeşdi.
  • [] Bir anyk üstünlik ölçegini kesgitledim.
  • [] Enougheterlik nusga / wagt bolmasa karar bermedim.
  • [] Indiki synagda ýeňijiniň sebäbini belledim.