Girdeji:
- A / B synag, gözegçilik / wariant, öwrüliş tizligi we statistik ähmiýete düşünmek we emeli intellekt bilen gipotezalary we synag dizaýnlaryny kesgitlemek ukyby.
- Synag ediljek ýeke üýtgeýjini izolirlemek we emeli intellekt goldawy bilen tekst / şekil we ölçeg meýilnamasyny öndürmek
- Emeli intellektiň synag düşündirişiniň nusganyň ululygy we ähmiýeti we wagtyndan öň / nädogry netijeleri okamak töwekgelçiligi bilen çäklendirilendigi;
Mahabatda iň howply söz "Meniň pikirimçe has gowudyr". Maglumat, pikir däl-de, sözbaşynyň, suratyň ýa-da düwmäniň hakykatdanam gowudygyny aýdýar. Muny ölçemegiň iň giň ýaýran usuly A / B synagy: şol bir mahabatyň iki (ýa-da has köp) wersiýasyny hakyky ulanyjylara görkezmek we haýsysynyň has gowy işleýändigini deňeşdirmek. "A" adatça häzirki wersiýa (gözegçilik), "B" synag edilýän täze wersiýa (wariant). Mysal üçin, ady diňe şol bir mahabatda üýtgedip, haýsy adyň has köp basylýandygyny ölçäp bilersiňiz. Emeli intellekt bu amalda köp sanly wariant döretmekde we netijäni düşündirmekde peýdalydyr; Emma synagyň ylmy ygtybarlylygy dizaýn düzgünlerine we sabyrlylyga baglydyr.
A / B synagynyň altyn düzgüni: bir üýtgeýän
A / B synagynyň iň esasy düzgüni, bir üýtgeýjini izolirlemekdir. Şol bir wagtyň özünde ady, suraty we düwmäni üýtgetseňiz we B wersiýasy ýeňiş gazansa, näme ýeňendigini bilmersiňiz. Şonuň üçin synagda diňe bir element üýtgemeli, galanlary hemişelik bolmaly. Bir wagtyň özünde we yzygiderli birden köp elementi barlamak isleseňiz, bu köpugurly synag diýilýär we has uly nusga talap edýär; Univariate A / B synagy başlamagyň ýoludyr.
Ikinji esasy düşünje statistik ähmiýete eýe. A wersiýa 3 göterim basdy, B wersiýasy 3,3 göterim basyldy diýeliň. Bu tapawut hakyky artykmaçlykmy ýa-da gödekmi? Synagy diňe 100 adama görkezen bolsaňyz, bu tapawut tötänleýin bolup biler. Statistik ähmiýet, synlanan tapawudyň tötänlik sebäpli bolup bilmejekdigini aňladýar (ýagny tapawut hakyky bolmagy mümkin). Munuň üçin ýeterlik nusga ölçegi talap edilýär (synagy görýänleriň sany). Az maglumat bilen “ýeňiji” yglan etmek iň köp ýaýran we iň gymmat ýalňyşlyk.
Maslahat: Synaga başlamazdan ozal "ýeňijini haçan yglan ederin" diýen soraga jogap beriň: näçe adam / imandan soň, haýsy ähmiýet derejesinde. Bu karary öňünden kabul etmek, ilkinji sagatlarda şowhuna düşmegiňiziň we wagtyndan öň karar bermegiňiziň öňüni alar.
Aşakdaky tablisada gowy we erbet A / B synag dizaýny deňeşdirilýär:
element
erbet dizaýn
gowy dizaýn
Üýtgeýjileriň sany
Ady + surat + düwmesi bilelikde
Diňe at
gipoteza
(ýok) "geliň näme bolýandygyny göreliň"
"Soragly atlar basylmagyny artdyrýar"
nusga
80 adam
Hasaplanan kworum
karar wagty
2 sagat soň
Möhümlige ýeteniňizde
Innereňiji saýlamak
"Meniň pikirimçe B gowy"
Maglumatlara we ähmiýetine esaslanýar
Stepdimme-ädim: A / B synagyny gurmak
1-nji ädim - Bir gipotezany ýazyň. Näme synap görýärsiňiz we näme üçin? "Peýdaly sözbaşy, aýratynlyklary bolan sözbaşydan has köp basylýar" ýaly aýdyň çaklama.
2-nji ädim - singleeke üýtgeýjini saýlaň. Diňe ady, ýa-da diňe surat, ýa-da diňe CTA.
3-nji ädim - Wariantlary dörediň. AI bilen şol bir elementiň dürli wersiýalaryny dörediň; galanlaryny hemişelik saklaň.
4-nji ädim - Ölçeg meýilnamasyny düzüň. Haýsy ölçeg ýeňijini kesgitlär (basmagyň tizligi, öwrülişi), näçe nusganyň gerekdigini, näçe wagt işlemelidigini kesgitlär.
5-nji ädim - Netijäni düşündiriň we barlaň. Enougheterlik maglumat ýygnaldy, tapawut möhümmi? Möhüm däl bolsa, "tapawudy ýok" hem dogry netije.
üç sany kiçi halat
1-nji hadysa - Bir üýtgeýjiniň aýdyňlygy. Elektron söwda markasy önüm mahabatynda diňe “CTA” -ny synagdan geçirdi: “Satyn alyň” we “Sebete goşuň.” Galan zatlaryň hemmesi birmeňzeşdi. Enougheterlik nusga alnandan soň, “Araba goşuň” ep-esli ýokary öwrülişik getirdi. Tapawut, bir üýtgeýjiniň izolirlenenligi sebäpli aýdyň düşündirilip bilner. AI iki sany CTA öndürdi, maglumatlar ýeňijini saýlady.
2-nji waka - Irki karar duzagy. Bir marka synagy bes etdi, sebäbi B wersiýasy A / B synagynyň ilkinji 3 sagadynda öňde bolup, B-ni tutuş býudjetine açdy. Ertesi gün umumy maglumatlara seretseň, A aslynda birneme gowudy; Ilkinji sagatlardaky tapawut tötänlikdi. Býudjet biderek boldy. Akealňyşlyk: nusga ölçegi ýeterlik däl wagtyndan öň karar bermek.
3-nji waka - “Tapawut ýok” hem netije. Bir marka iki dürli şekili synagdan geçirdi we ýeterlik nusga alandan soň ikisi hem diýen ýaly netije berdi. Topar "synagyň şowsuz" bolandygyna gynanmakçy bolanda, dogry okamak, bu kampaniýada şekiliň çözüji faktor däldigi, şonuň üçin tagallanyň sözbaşy we teklibine gönükdirilmelidigi aýdylýar. Möhüm tapawudyň tapylmazlygy gymmatly maglumatlardyr.
Göçürip boljak dört şablon
1) Gipoteza we synag dizaýny:
Synag isleýän zadym: [meselem. mahabatyň ady] .Task: (1) testeke-täk barlap boljak gipotezany ýazyň ("... ýokarlanýar ... ýokarlanýar" görnüşinde.)
2) Wariant generatory (ýekeje wariant):
Ickapyk mahabat: surat [şol bir], CTA [şol bir], nyşan [şol bir]. Üýtgeýän synag: HEADLINE. Esasy habar: "[habar]". Wezipe: Bir habarly 4 dürli sözbaşy görnüşini dörediň. Olaryň hersi başgaça çemeleşýär (sorag, peýda, san, gyssaglylyk). Diňe sözbaşy üýtgeýär; Esassyz talap goşmak.
3) Ölçeg meýilnamasy:
Synag: [A we B kesgitlemesi]. Metr:
4) Netije terjimeçisi (seresap):
A / B synag netijelerim (hakyky maglumatlar): [A: täsirler / basmak / öwürmek], [B: täsirler / basmak / öwürmek] .Task: (1) Her wersiýanyň nyrhlaryny hasaplaň we görkeziň. (2) Tapawudyň ululygyna düşündiriş beriň, ýöne nusga ýeterlik däl bolsa, "manyly netije üçin ýeterlik maglumat ýok" diýiň. Aýry-aýry hasap gurallary bilen tassyklaryn.
Gowşak haýyş / Güýçli haýyş
Gowşak haýyş:
Mahabatym üçin A we B wersiýasyny öndüriň, haýsysynyň gowudygyny aýdyň.
Üýtgeýji izolirlenen däldir, gipoteza we ölçeg ýok; AI haýsysynyň "gowy" bolandygyny bilip bilmeýär, ony düzýär.
Güýçli haýyş:
A / B synagyny gurýaryn. Kesgitlenen: şekil we CTA üýtgewsiz galar. Diňe üýtgeýän synag: mahabat sözbaşy. Gipoteza: "Sanly sözbaşy umumy sözbaşydan has köp basylýar." Esasy habar: "3 günde gowşurylýar." Wezipe: (1) Gözegçilik üçin 1 umumy sözbaşy, warianty üçin sanlar bilen 3 sözbaşy ýazyň. synag. Haýsynyň ýeňjekdigini çaklamaň; Maglumatlar ony kesgitlär.
Ikinji talap, bir üýtgeýjini izolirleýär, gipotezany we ölçemegi öz içine alýar; ýeňijini maglumatlara galdyrýar.
Adaty ýalňyşlyklar
- Birbada köp zady üýtgetmek. Winnereňijiniň sebäbi belli däl; Singleeke üýtgeýji izolirlenmeli.
- Sameterlik däl nusgalar bilen karar bermek. Ilkinji sagatlardaky tapawut köplenç tötänlikdir.
- Gipotezasyz synag. “Geliň, näme bolýandygyny göreliň” synagy öwrenmegi üpjün etmeýär; Ilki bilen garaşýan zadyňyzy ýazyň.
- Netijäni şowsuzlyk hökmünde "Tapawut ýok". Möhüm tapawudyň ýoklugy hem maglumat beriji.
- Tagamyna görä ýeňijini saýlamak. Synag, şahsy tagamy aradan aýyrmak üçin; Maglumatlary yzarlaň.
- Daşarky faktorlary ýatdan çykarmak. Möwsüm, kampaniýa güni, habar akymy netijäni ýoýup biler; Synag şertlerini adalatly saklaň.
Üns beriň: A / B synagynyň maksady "ýeňmek" däl-de, öwrenmek. Hatda bir görnüşi ýitirmek hem gymmatly maglumatlardyr; Hakyky ýitgi, ýeterlik däl maglumatlar bilen nädogry netijä bil baglamak we býudjeti oňa baglamak.
Gysgaça
A / B synagy, mahabat kararlaryny ideýadan maglumatlara geçirýän güýçli usuldyr. Altyn düzgün ýekeje üýtgeýjini izolirlemekden ybarat: synagda diňe bir element üýtgemeli, galanlary hemişelik bolmaly. Ikinji sütün ýeterlik nusga almak we statistik ähmiýete eýe; Az maglumatly ýeňiji yglan etmek iň gymmat ýalňyşlyk. AI birnäçe wariant döretmekde we tapawudy hasaplamakda we düşündirmekde peýdaly, ýöne maglumatlar AI däl-de, ýeňijini kesgitleýär. Hatda "tapawudy ýok" netijesi hem öwrenişdir. Gipoteza, ölçeg we karar çäkleri synag başlamazdan öň ýazylmalydyr.
Programma meselesi
Döredijilik (sözbaşy, surat ýa-da CTA) saýlaň. (1) "Gipoteza we synag dizaýny" bilen synag edilip bilinýän bir gipotezany we izolirlenen üýtgeýjini ýazyň. (2) "Wariant generatory" bilen 1 gözegçilik + 3 warianty dörediň; Diňe şol elementi üýtgediň. (3) Haýsy ölçeglere seredjekdigiňizi, näçe wagt we haýsy maglumatlar bilen, “ölçeg meýilnamasy” bilen meýilleşdiriň. (4) theeňijini yglan etmek üçin öz çäkleriňizi ýazyň (näçe öwrülişik / haýsy ähmiýeti). (5) “Netije terjimeçisi” bilen gipotetiki netijeleri gözden geçiriň we maglumatlaryň ýeterlik bolmadyk senarisinde näme üçin karar bermejekdigiňize üns beriň.
gözegçilik sanawy
- [] Synagda diňe bir üýtgeýjini izolýasiýa etdim.
- [] Synagdan öň anyk bir çaklama ýazdym.
- [] Winnereňiji üçin zerur nusgany we wagty eýýäm kesgitledim.
- [] Şahsy tagamy däl-de, maglumatlara esaslanyp ýeňijini saýladym.
- [] "Tapawut ýok" netijesini dogry okuw diýip hasapladym.
- [] Netijäni ýoýup biljek daşarky faktorlary barladym.