Winst:
- Mogelijkheid om systematische tekstvarianten te genereren die afzonderlijke variabelen isoleren voor A/B-testen
- Vermogen om een hypothese om te zetten in een meetbare experimentele opstelling
- Vermogen om testresultaten te interpreteren in termen van statistische significantie en leervermogen
Intuïtie is waardevol in marketing, maar bewijs is waardevoller. Welke kop krijgt meer klikken, welke CTA verkoopt meer, welke afbeelding trekt meer aandacht? In plaats van te raden, kun je dit meten met A/B-testen. A/B-testen is een experimentele methode die twee versies van dezelfde inhoud (A en B) aan een echt publiek laat zien en meet welke versie beter presteert. Kunstmatige intelligentie levert snel de input voor deze tests, namelijk varianten; Maar om de test te laten werken, is een wetenschappelijke regel vereist: één variabele tegelijk. In dit onderdeel leer je varianten genereren, een hypothese vertalen in een meetbaar experiment en resultaten interpreteren in termen van statistische significantie.
Gouden regel: isoleer één variabele
Om het resultaat van een test te interpreteren, mag er maar één ding verschillend zijn tussen A en B. Als je tegelijkertijd de titel, afbeelding en CTA verandert, weet je nooit welke het verschil maakte als B wint. Het enige dat leren mogelijk maakt, is het isoleren van de te testen variabele.
Typische variabelen die kunnen worden getest:
- Titel: dezelfde afbeelding en body, andere titel.
- CTA-tekst: "Kopen" of "Toevoegen aan winkelwagen"?
- Onderwerpregel: beïnvloedt de openingssnelheid van een e-mail.
- Afbeelding: Dezelfde tekst, andere afbeelding.
- Lengte/toon: kort versus lang, formeel etc. oprecht.
Van hypothese naar experiment: stap voor stap
- Maak een observatie. "Onze landingspagina heeft een lage conversie."
- Hypothese. “De op voordelen gerichte kop converteert meer dan de op kenmerken gerichte kop.”
- Isoleer de variabele. Enkel de titel zal veranderen.
- Varianten genereren. 2 duidelijke varianten bij het model (A: feature, B: voordeel).
- Bepaal uw maatstaf voor succes. Conversieratio bijvoorbeeld: het percentage bezoekers dat de gewenste actie onderneemt.
- Bepaal monster en duur. Genoeg mensen en genoeg tijd.
- Meten, vergelijken, leren. Leer het ‘waarom’, niet de winnaar.
Een ‘hypothese’ is een voorspelling die hier wordt getest en die waar of onwaar kan blijken te zijn; Een goede hypothese vertelt je wat je verwacht en waarom.
Zwakke prompt/sterke prompt
Zwakke prompt:
Schrijf enkele alternatieven voor deze titel.
Krachtige prompt:
Genereer varianten voor een A/B-test. Regel: ALLEEN de titel zal veranderen, de hoofdtekst en CTA blijven hetzelfde. HYPOTHESE: Op voordelen gerichte titel krijgt meer klikken dan op functies gerichte titel. CONTEXT: Landingspagina. Product: projectmanagementapplicatie. Publiek: kleine teams.GEVRAAGD: - Variant A: op functies gerichte titel (beschrijft wat het product doet) - Variant B: op voordelen gerichte titel (beschrijft wat het de gebruiker biedt) Schrijf onder elke variant welke psychologische motivatie het raakt. Slechts 2 varianten; Beide moeten een enkele lijn zijn, van vergelijkbare lengte.
Het is belangrijk dat de varianten dezelfde lengte hebben; anders wordt "lengte" onbedoeld een tweede variabele.
Voor/na testgrafiek
Stadium
Wat te doen
frequente fout
hypothese
Wat, waarom wacht ik?
"Laten we het proberen" zonder hypothesen
Variabel
Isoleer één ding
Veel dingen tegelijk veranderen
criterium
Kies één duidelijke statistiek
Onbepaald "beter"
monster
Genoeg mensen/tijd
vroeg beslissen
Commentaar
Ontdek waarom
Neem gewoon de winnaar
drie minikoffers
Geval 1 – CTA-test geeft duidelijke resultaten. Een e-commercesite testte de productknop: A "Kopen", B "Toevoegen aan winkelwagen". Alleen de knoptekst is gewijzigd. In een test onder 3.000 bezoekers verhoogde B de klikfrequentie van 4,0% naar 4,9%. Toen de enkele variabele werd geïsoleerd, was de winnaar duidelijk: 'toevoegen aan winkelwagen' voelde minder bindend.
Geval 2 — Multivariate fout. Een team ontwierp twee landingspagina's, maar de titel, afbeelding en kleur waren allemaal verschillend. B won, maar het team wist niet welk element het verschil maakte; leren werd nul. Bij de volgende test volgden ze de regel: één variabele tegelijk. In die test zagen ze duidelijk dat de titel de belangrijkste factor was.
Geval 3 – Valkuil voor vroege beslissingen. Een nieuwsbriefteam testte twee onderwerpregels op een groep van 200 mensen en zei: "Het leverde een tien op" in het eerste uur. De steekproef was erg klein; het verschil was statistisch niet significant (dat wil zeggen, het kon op toeval berusten). Toen de test werd verhoogd tot voldoende bemonstering en tijd, was het resultaat omgekeerd. Les: neem geen beslissingen zonder voldoende gegevens.
Let op: het verschil dat in een kleine steekproef (klein aantal mensen) wordt waargenomen, kan misleidend zijn. Statistische significantie verwijst naar de waarschijnlijkheid dat een verschil reëel is en niet het gevolg is van toeval. Zorg ervoor dat er voldoende mensen worden bereikt en dat het testen lang genoeg duurt voordat er overhaaste conclusies worden getrokken.
Kopieerbare sjablonen
Sjabloon 1 — Generator van geïsoleerde varianten:
Genereer varianten voor A/B-testen. De ENIGE variabele om te testen: [headline/CTA/image]. Al het andere zal constant blijven. Hypothese: [...]. Context: [...].Variant A: [huidige aanpak]. Variant B: [alternatieve aanpak]. Laat de twee varianten een vergelijkbare lengte hebben; verander verder niets.
Sjabloon 2 — Hypotheseverduidelijker:
Construeer een toetsbare hypothese op basis van de volgende observatie: "[observatie]". Schrijf de hypothese in de vorm "als we [verandering] aanbrengen, neemt [metriek] toe omdat [waarom]". Vertel me dan welke enkele variabele ik moet isoleren.
Sjabloon 3 — Onderwerpregeltestset:
Maak twee onderwerpregels voor een A/B-test voor de volgende e-mail. Verschil op één as: [nieuwsgierigheid vs. duidelijkheid / beknoptheid etc. lang/vraag etc. uitdrukking]. Beide mogen het woord spam niet bevatten en moeten van vergelijkbare lengte zijn. E-mailoverzicht: [...]
Sjabloon 4 — Resultaten interpreteren:
Interpreteer het resultaat van een A/B-test. Variabele: [...]. Variant A-metriek: [...]. Variant B-metriek: [...]. Steekproefomvang: [...]. Duur: [...].Vertel eens: lijkt het verschil significant, of is de steekproef klein? Wat hebben we geleerd? Wat raden jullie aan voor de volgende test? Claim geen exacte statistieken; Indien onduidelijk: specificeer.
Tip: Het is niet genoeg om de "winnaar" uit de test te halen; De echte winst is het inzicht in ‘waarom het heeft gewonnen’. Dit inzicht wordt meegenomen in de hypothese voor de volgende test en bouwt in de loop van de tijd een geheel van leerervaringen op.
Prioriteit: wat eerst testen?
Er zijn eindeloos veel items die u kunt testen, maar uw tijd en verkeer zijn beperkt. Geef dus prioriteit aan tests op basis van impactpotentieel. Algemene regel: de elementen die de gebruiker als eerste ziet en de meeste impact hebben op de beslissing, worden als eerste getest. Op een landingspagina heeft de kop de grootste impact op het aantal klikken; omdat de gebruiker het eerst leest en daar besluit of niet verder te gaan. Details zoals de kleur van de knoppen hebben vaak een kleinere impact; laat ze voor het laatst liggen.
Een praktische manier om prioriteiten te stellen is door elk testidee op drie assen te scoren: verwachte impact (hoeveel verschil zal het maken als het wint?), vertrouwen (hoe zeker zijn we dat het zal winnen?) en gemak (hoe snel is het op te zetten?). Tests met een hoge impact, veel vertrouwen en weinig inspanning worden als eerste geplaatst. Hierdoor kunt u beperkt verkeer toewijzen aan de experimenten die het meeste leren opleveren. AI kan u een snelle blauwdruk geven voor het scoren en prioriteren van een lijst met ideeën langs deze drie assen; Jij beslist.
Sjabloon 5 — Testprioriteiten:
Geef prioriteit aan de volgende A/B-testideeën. Geef ze allemaal een score op de assen impact (1-5), betrouwbaarheid (1-5) en installatiegemak (1-5), rangschik ze op basis van de totale score en leg in één zin uit waarom ze in die volgorde staan. TESTIDEEËN: [lijst]
Veel voorkomende fouten
- Zo variabel tegelijk. Het resultaat wordt oninterpreteerbaar.
- Hypothesevrij testen. “Laten we het proberen en zien” leidt niet tot leren.
- Vroeg besluit. Bij een kleine steekproef wordt aangenomen dat het verschil reëel is.
- Varianten van verschillende lengtes. Er wordt onbedoeld een tweede variabele aangemaakt.
- Gewoon de winnaar pakken. Als de reden niet wordt achterhaald, zal de informatie zich niet verzamelen.
Samengevat
- De gouden regel van A/B-testen: één variabele tegelijk.
- Elke test moet beginnen met een hypothese: wat verwacht ik en waarom?
- Definieer één duidelijke maatstaf voor succes en een adequate steekproef.
- Het verschil in de kleine steekproef is misleidend; Let op de statistische significantie.
- Ontdek waarom, niet de winnaar; Dit inzicht wordt meegenomen in de volgende test.
Applicatie taak
Kies een observatie over een van uw inhoud. Met sjabloon 2 vertaalt u dit in een duidelijke hypothese en identificeert u de variabele die u wilt isoleren. Maak twee varianten met sjabloon 1 (zelfde lengte, alleen verschil). Pas ten slotte de hypothetische uitkomstcijfers aan, interpreteer ze met behulp van sjabloon 4 en noteer wat het model zegt over de geschiktheid van de steekproef. Duur: ongeveer 25 minuten.
controlelijst
- [ ] Ik begon de test met een duidelijke hypothese.
- [ ] Ik heb slechts één variabele geïsoleerd.
- [ ] Varianten bleven vergelijkbaar in andere assen (lengte, enz.).
- [ ] Ik heb één duidelijke succesmaatstaf gedefinieerd.
- [ ] Ik heb niet besloten zonder voldoende sample/tijd.
- [ ] Ik noteerde de reden voor de winnaar voor de volgende test.