Ẹyọ 8 / 11

Awọn iyatọ Idanwo A / B ati Apẹrẹ Idanwo

Awọn anfani:

  • Agbara lati ṣe agbekalẹ awọn iyatọ ọrọ eleto ti o ya sọtọ awọn oniyipada ẹyọkan fun idanwo A/B
  • Agbara lati yi idawọle kan pada si iṣeto adanwo kan
  • Agbara lati ṣe itumọ awọn abajade idanwo ni awọn ofin ti iṣiro ati ẹkọ

Intuition jẹ niyelori ni tita, ṣugbọn ẹri jẹ diẹ niyelori. Awọn akọle wo ni o gba diẹ sii awọn jinna, eyiti CTA n ta diẹ sii, aworan wo ni o fa ifojusi diẹ sii? Dipo lafaimo, o le wọn eyi pẹlu idanwo A/B. Idanwo A/B jẹ ọna idanwo ti o ṣafihan awọn ẹya meji ti akoonu kanna (A ati B) si olugbo gidi ati awọn iwọn eyiti ọkan ṣe dara julọ. Oríkĕ itetisi ni kiakia gbe awọn igbewọle fun awọn wọnyi igbeyewo, eyun orisirisi; Ṣugbọn ṣiṣe iṣẹ idanwo naa nilo ofin ijinle sayensi: oniyipada kan ni akoko kan. Ninu ẹyọ yii iwọ yoo kọ ẹkọ bii o ṣe le ṣe agbekalẹ awọn iyatọ, tumọ idawọle kan sinu idanwo iwọnwọn, ati tumọ awọn abajade ni awọn ofin ti pataki iṣiro.

Golden ofin: sọtọ ọkan oniyipada

Lati ṣe itumọ abajade idanwo, ohun kan ṣoṣo gbọdọ yatọ laarin A ati B. Ti o ba yi akọle, aworan, ati CTA pada ni akoko kanna, iwọ kii yoo mọ eyi ti o ṣe iyatọ nigbati B bori. Iyasọtọ oniyipada lati ṣe idanwo ni ohun kan ṣoṣo ti o jẹ ki ẹkọ ṣee ṣe.

Awọn oniyipada deede ti o le ṣe idanwo:

  • Akọle: Aworan kanna ati ara, akọle oriṣiriṣi.
  • Ọrọ CTA: "Ra" tabi "Fikun-un si rira"?
  • Laini koko-ọrọ: Ni ipa lori oṣuwọn ṣiṣi ti imeeli.
  • Aworan: Ọrọ kanna, aworan oriṣiriṣi.
  • Ipari / ohun orin: Kukuru la gun, lodo ati be be lo lododo.

Lati arosọ lati ṣe idanwo: ni igbese nipa igbese

  1. Ṣe akiyesi. "Oju-iwe ibalẹ wa ni iyipada kekere."
  2. Itumọ. "Awọn akọle ti o dojukọ awọn anfani ṣe iyipada diẹ sii ju akọle idojukọ ẹya-ara lọ."
  3. Ya sọtọ oniyipada. Nikan akọle yoo yipada.
  4. Ṣẹda awọn iyatọ. 2 ko awọn iyatọ pẹlu awoṣe (A: ẹya-ara, B: anfani).
  5. Setumo rẹ odiwon ti aseyori. Fun apẹẹrẹ, iyipada oṣuwọn — awọn ogorun ti awọn alejo mu awọn ti o fẹ igbese.
  6. Ṣe ipinnu ayẹwo ati iye akoko. To eniyan ati to akoko.
  7. Ṣe iwọn, ṣe afiwe, kọ ẹkọ. Kọ ẹkọ "idi", kii ṣe olubori.

“Itumọ” jẹ asọtẹlẹ ti yoo ṣe idanwo nihin ati pe o le tan lati jẹ otitọ tabi eke; Itumọ ti o dara sọ fun ọ ohun ti o nireti ati idi.

Ailagbara kiakia / Alagbara kiakia

Ibere ​​ailagbara:

Kọ diẹ ninu awọn yiyan fun akọle yii.

Ibere ​​​​ti o lagbara:

Ṣẹda awọn iyatọ fun idanwo A/B. Ilana: NIKAN akọle yoo yipada, ara ati CTA yoo wa bakanna. Ọja: ohun elo isakoso ise agbese. Olugbo: awọn ẹgbẹ kekere.REQUESTED: - Iyatọ A: akọle ti o ni imọran ẹya-ara (apejuwe ohun ti ọja naa ṣe) - iyatọ B: akọle ti o ni anfani (ṣapejuwe ohun ti o pese si olumulo) Labẹ iyatọ kọọkan, kọ ohun ti iwuri imọ-ọkan ti o kan. Awọn iyatọ 2 nikan; Mejeeji yẹ ki o jẹ laini ẹyọkan, ti gigun kanna.

O ṣe pataki lati fẹ ki awọn iyatọ jẹ ti iru gigun; bibẹkọ ti "ipari" aimọọmọ di keji oniyipada.

Ṣaaju / lẹhin apẹrẹ idanwo

Ipele

Kini lati ṣe

loorekoore aṣiṣe

arosọ

Kini, kilode ti MO n duro?

"Jẹ ki a gbiyanju" laisi awọn idawọle

Ayípadà

Yasọtọ ohun kan

Yipada ọpọlọpọ awọn ohun ni ẹẹkan

àwárí mu

Yan metiriki ti o han gbangba

Ailopin "dara julọ"

apẹẹrẹ

To eniyan / akoko

pinnu tete

Ọrọìwòye

Kọ idi

O kan gba olubori

mẹta mini igba

Ọran 1 - Idanwo CTA n fun awọn abajade ti o han gbangba. Aaye iṣowo e-commerce ṣe idanwo bọtini ọja: A "Ra", B "Fikun-un si rira". Ọrọ bọtini nikan ti yipada. Ninu idanwo ti awọn alejo 3,000, B pọ si iwọn titẹ-nipasẹ rẹ lati 4.0% si 4.9%. Pẹlu awọn nikan oniyipada sọtọ, awọn Winner wà ko o: "fi kun fun rira" ro kere abuda.

Case 2 - Multivariate aṣiṣe. Ẹgbẹ kan ṣe apẹrẹ awọn oju-iwe ibalẹ meji, ṣugbọn akọle, aworan, ati awọ yatọ. B gba, ṣugbọn awọn egbe kò mọ eyi ti ano ṣe awọn iyato; eko di odo. Ninu idanwo ti o tẹle, wọn tẹle ofin: oniyipada kan ni akoko kan. Nínú ìdánwò yẹn, wọ́n rí i kedere pé àkọlé náà ni kókó pàtàkì.

Irú 3 - Tete pakute ipinnu. Ẹgbẹ iwe iroyin kan ṣe idanwo awọn laini koko-ọrọ meji lori ẹgbẹ kan ti eniyan 200 o sọ pe, “O jere A” ni wakati akọkọ. Awọn ayẹwo wà gan kekere; ìyàtọ náà kò ṣe pàtàkì ní ìṣirò (i.e., ó lè jẹ́ nítorí ànfàní). Nigbati idanwo naa ba pọ si iṣapẹẹrẹ to ati akoko, abajade ti yipada. Ẹkọ: maṣe ṣe awọn ipinnu laisi data to.

Išọra: Iyatọ ti a rii ninu ayẹwo kekere (nọmba kekere ti eniyan) le jẹ ṣina. Pataki iṣiro tọka si iṣeeṣe pe iyatọ jẹ gidi ati kii ṣe nitori aye. Rii daju pe awọn eniyan ti de ati pe idanwo naa ti gun to ṣaaju ki o to fo si awọn ipinnu.

Awọn awoṣe idakọ

Awoṣe 1 - Agbekale iyatọ iyatọ:

Ṣẹda awọn iyatọ fun idanwo A/B. Oniyipada NIKAN lati ṣe idanwo: [akọle/CTA/aworan]. Gbogbo ohun miiran yoo wa ni igbagbogbo. Àròjinlẹ̀: [...]. Oro: [...].Ayatọ A: [ọna ti o wa lọwọlọwọ]. Iyatọ B: [ọna yiyan]. Jẹ ki awọn iyatọ meji jẹ ti gigun kanna; maṣe yi ohunkohun miiran pada.

Àdàkọ 2 — Ìsọ̀rọ̀ àròsọ:

Ṣe agbekalẹ arosọ ti o ṣee ṣe idanwo lati akiyesi atẹle: “[akiyesi]”. Kọ idawọle ni ọna kika “ti a ba ṣe [ayipada], [metric] pọ si nitori [idi]”. Lẹhinna sọ fun mi iru oniyipada ẹyọkan ti MO yẹ ki o ya sọtọ.

Awoṣe 3 - Eto idanwo laini koko-ọrọ:

Ṣẹda awọn laini koko-ọrọ 2 si idanwo A/B fun imeeli atẹle. Iyato lori kan nikan ipo: [iwariiri vs. wípé / conciseness ati be be lo gun / ibeere ati be be lo. Mejeeji ko yẹ ki o ni àwúrúju ọrọ naa ati pe o yẹ ki o jẹ iru gigun. Akopọ imeeli: [...]

Àdàkọ 4 — àbájáde ìtumọ̀:

Ṣe itumọ abajade idanwo A/B kan. Ayipada: [...]. Iyatọ A metric: [...]. Iyatọ B metric: [...]. Iwọn ayẹwo: [...]. Iye akoko: [...]. Sọ fun mi: Ṣe iyatọ naa dabi pataki, tabi ṣe ayẹwo kekere? Kí la kọ́? Kini o ṣeduro fun idanwo atẹle? Maṣe beere awọn iṣiro gangan; Ti ko ba ṣe akiyesi, pato.

Imọran: Ko to lati gba “olubori” lati inu idanwo naa; Ere gidi ni oye sinu “idi ti o bori.” Ìjìnlẹ̀ òye yìí ń jẹ́ àbájáde ìdánwò tí ó tẹ̀ lé èyí tí ó sì ń kọ́ ara kíkọ́ ní àkókò púpọ̀.

Ni pataki: kini lati ṣe idanwo akọkọ?

Awọn ohun ailopin wa ti o le ṣe idanwo, ṣugbọn akoko ati ijabọ rẹ ni opin. Nitorinaa ṣaju awọn idanwo ti o da lori agbara ipa. Ofin gbogbogbo: awọn eroja ti olumulo rii ni akọkọ ati pe o ni ipa pupọ julọ lori ipinnu ni idanwo ni akọkọ. Lori oju-iwe ibalẹ, akọle naa ni ipa ti o tobi julọ lori awọn titẹ; nitori oluṣamulo naa ka ni akọkọ ati pinnu nibẹ tabi kii ṣe tẹsiwaju. Awọn alaye bi awọ bọtini nigbagbogbo ṣe ipa kekere; fi wọn silẹ fun ikẹhin.

Ọna ti o wulo lati ṣe pataki ni lati ṣe idiyele imọran idanwo kọọkan lori awọn aake mẹta: ipa ti o nireti (bii iyatọ melo ni yoo ṣe ti o ba ṣẹgun?), Igbẹkẹle (bawo ni igboya ṣe wa pe yoo ṣẹgun?), Ati irọrun (bawo ni o ṣe yara lati ṣeto?). Awọn idanwo pẹlu ipa giga, igbẹkẹle giga ati igbiyanju kekere ni a gbe ni akọkọ. Eyi n gba ọ laaye lati pin ijabọ opin si awọn idanwo ti o mu ẹkọ ti o pọ julọ wa. AI le fun ọ ni ilana iyara fun igbelewọn ati iṣaju atokọ ti awọn imọran pẹlu awọn aake mẹta wọnyi; O pinnu.

Àdàkọ 5 — Ìdánwò àkọ́kọ́:

Ṣe iṣaaju awọn imọran idanwo A/B wọnyi. Ṣe Dimegilio ọkọọkan lori awọn aake ti ipa (1-5), igbẹkẹle (1-5) ati irọrun fifi sori ẹrọ (1-5), ṣe ipo wọn ni ibamu si Dimegilio lapapọ ati ṣalaye ni gbolohun kan idi ti wọn fi wa ni aṣẹ yẹn. Awọn imọran idanwo: [akojọ]

Awọn aṣiṣe ti o wọpọ

  • Nitorina oniyipada ni akoko kanna. Abajade di aitumọ.
  • Idanwo ti ko ni arosọ. “Jẹ ki a gbiyanju ki a rii” ko gbe ẹkọ jade.
  • Tete ipinnu. Ninu apẹẹrẹ kekere kan, iyatọ ni a ro pe o jẹ gidi nipasẹ aye.
  • Awọn iyatọ ti o yatọ si gigun. A keji oniyipada ti wa ni aimọọmọ da.
  • O kan mu awọn Winner. Ti a ko ba kọ idi naa, alaye kii yoo ṣajọpọ.

Ni akojọpọ

  • Ofin goolu ti idanwo A/B: oniyipada kan ni akoko kan.
  • Gbogbo idanwo yẹ ki o bẹrẹ pẹlu arosọ: kini MO n reti ati kilode?
  • Setumo kan nikan ko o odiwon ti aseyori ati awọn ẹya deedee ayẹwo.
  • Iyatọ ti o wa ninu ayẹwo kekere jẹ aṣiṣe; Akiyesi iṣiro pataki.
  • Wa idi, kii ṣe olubori; Ìjìnlẹ̀ òye yìí jẹ́ kí ìdánwò tó kàn.

Ohun elo iṣẹ-ṣiṣe

Yan akiyesi nipa ọkan ninu awọn akoonu rẹ. Pẹlu Àdàkọ 2, tumọ eyi sinu idawọle ti o daju ki o ṣe idanimọ oniyipada lati ya sọtọ. Ṣe agbejade awọn iyatọ meji pẹlu awoṣe 1 (ipari to jọra, iyatọ nikan). Lakotan, ba awọn nọmba abajade arosọ mu, ṣe itumọ wọn nipa lilo Àdàkọ 4, ki o si ṣakiyesi ohun ti awoṣe sọ nipa iwọntunwọnsi ayẹwo. Iye akoko: to iṣẹju 25.

akojọ ayẹwo

  • [] Mo bẹrẹ idanwo naa pẹlu arosọ ti o daju.
  • [] Mo ti ya sọtọ nikan kan oniyipada.
  • [] Awọn iyatọ wa iru ni awọn aake miiran (ipari, ati bẹbẹ lọ).
  • [] Mo ti asọye ọkan ko o aseyori metric.
  • [] Emi ko pinnu lai to ayẹwo/akoko.
  • [] Mo ṣe akiyesi idi fun olubori fun idanwo atẹle.