Κέρδη:
- Δυνατότητα δημιουργίας συστηματικών παραλλαγών κειμένου που απομονώνουν μεμονωμένες μεταβλητές για δοκιμή A/B
- Ικανότητα μετατροπής μιας υπόθεσης σε μετρήσιμη πειραματική διάταξη
- Ικανότητα ερμηνείας των αποτελεσμάτων των τεστ με όρους στατιστικής σημασίας και μάθησης
Η διαίσθηση είναι πολύτιμη στο μάρκετινγκ, αλλά τα στοιχεία είναι πιο πολύτιμα. Ποιος τίτλος λαμβάνει περισσότερα κλικ, ποιο CTA πουλά περισσότερα, ποια εικόνα προσελκύει περισσότερη προσοχή; Αντί να μαντεύετε, μπορείτε να το μετρήσετε με τη δοκιμή A/B. Η δοκιμή A/B είναι μια πειραματική μέθοδος που δείχνει δύο εκδόσεις του ίδιου περιεχομένου (Α και Β) σε πραγματικό κοινό και μετράει ποια έχει καλύτερη απόδοση. Η τεχνητή νοημοσύνη παράγει γρήγορα τα δεδομένα για αυτές τις δοκιμές, δηλαδή τις παραλλαγές. Αλλά η εκτέλεση της δοκιμής απαιτεί έναν επιστημονικό κανόνα: μία μεταβλητή τη φορά. Σε αυτή την ενότητα θα μάθετε πώς να δημιουργείτε παραλλαγές, να μεταφράζετε μια υπόθεση σε ένα μετρήσιμο πείραμα και να ερμηνεύετε τα αποτελέσματα με όρους στατιστικής σημασίας.
Χρυσός κανόνας: απομόνωση μιας μεταβλητής
Για να ερμηνεύσετε το αποτέλεσμα μιας δοκιμής, μόνο ένα πράγμα πρέπει να είναι διαφορετικό μεταξύ του Α και του Β. Εάν αλλάξετε τον τίτλο, την εικόνα και το CTA ταυτόχρονα, δεν θα μάθετε ποτέ ποιο έκανε τη διαφορά όταν κερδίζει ο Β. Η απομόνωση της μεταβλητής που θα ελεγχθεί είναι το μόνο πράγμα που καθιστά δυνατή τη μάθηση.
Τυπικές μεταβλητές που μπορούν να ελεγχθούν:
- Τίτλος: Ίδια εικόνα και σώμα, διαφορετικός τίτλος.
- Κείμενο CTA: "Αγορά" ή "Προσθήκη στο καλάθι";
- Γραμμή θέματος: Επηρεάζει τον ρυθμό ανοίγματος ενός email.
- Εικόνα: Ίδιο κείμενο, διαφορετική εικόνα.
- Μήκος/τόνος: Κοντό εναντίον μακρύ, επίσημο κ.λπ. ειλικρινές.
Από την υπόθεση στο πείραμα: βήμα προς βήμα
- Κάντε μια παρατήρηση. "Η σελίδα προορισμού μας έχει χαμηλή μετατροπή."
- Υπόθεση. "Η επικεφαλίδα που εστιάζεται στα οφέλη μετατρέπει περισσότερες μετατροπές από την επικεφαλίδα που εστιάζεται στα χαρακτηριστικά."
- Απομονώστε τη μεταβλητή. Μόνο ο τίτλος θα αλλάξει.
- Δημιουργία παραλλαγών. 2 σαφείς παραλλαγές με το μοντέλο (A: χαρακτηριστικό, B: όφελος).
- Καθορίστε το μέτρο της επιτυχίας σας. Για παράδειγμα, ποσοστό μετατροπής — το ποσοστό των επισκεπτών που πραγματοποιούν την επιθυμητή ενέργεια.
- Προσδιορίστε το δείγμα και τη διάρκεια. Αρκετοί άνθρωποι και αρκετός χρόνος.
- Μετρήστε, συγκρίνετε, μάθετε. Μάθετε το «γιατί», όχι τον νικητή.
Μια «υπόθεση» είναι μια πρόβλεψη που θα δοκιμαστεί εδώ και μπορεί να αποδειχθεί αληθινή ή ψευδής. Μια καλή υπόθεση σας λέει τι περιμένετε και γιατί.
Αδύναμη προτροπή / Ισχυρή προτροπή
Αδύναμη προτροπή:
Γράψτε μερικές εναλλακτικές για αυτόν τον τίτλο.
Ισχυρή προτροπή:
Δημιουργήστε παραλλαγές για μια δοκιμή A/B. Κανόνας: ΜΟΝΟ ο τίτλος θα αλλάξει, το σώμα και το CTA θα παραμείνουν ίδια. ΥΠΟΘΕΣΗ: Ο τίτλος με γνώμονα τα πλεονεκτήματα λαμβάνει περισσότερα κλικ από τον τίτλο με γνώμονα τα χαρακτηριστικά. ΠΕΡΙΕΧΟ: Σελίδα προορισμού. Προϊόν: εφαρμογή διαχείρισης έργου. Κοινό: μικρές ομάδες.ΖΗΤΕΙΤΑΙ:- Παραλλαγή Α: τίτλος προσανατολισμένος στα χαρακτηριστικά (περιγράφει τι κάνει το προϊόν)- Παραλλαγή Β: τίτλος προσανατολισμένος στα οφέλη (περιγράφει τι παρέχει στον χρήστη) Κάτω από κάθε παραλλαγή, γράψτε το ψυχολογικό κίνητρο που αγγίζει. Μόνο 2 παραλλαγές. Και οι δύο πρέπει να είναι μονή γραμμή, παρόμοιου μήκους.
Είναι σημαντικό να θέλετε οι παραλλαγές να έχουν παρόμοιο μήκος. διαφορετικά το "μήκος" γίνεται άθελά του μια δεύτερη μεταβλητή.
Διάγραμμα πριν/μετά τη δοκιμή
Σκηνή
Τι να κάνουμε
συχνό λάθος
υπόθεση
Τι, γιατί περιμένω;
«Ας προσπαθήσουμε» χωρίς υποθέσεις
Μεταβλητή
Απομονώστε ένα πράγμα
Αλλάζοντας πολλά πράγματα ταυτόχρονα
κριτήριο
Επιλέξτε μια καθαρή μέτρηση
Αόριστο "καλύτερα"
δείγμα
Αρκετοί άνθρωποι/χρόνος
αποφασίσει νωρίς
Σχόλιο
Μάθετε γιατί
Απλώς πάρτε τον νικητή
τρεις μίνι θήκες
Περίπτωση 1 — Η δοκιμή CTA δίνει σαφή αποτελέσματα. Ένας ιστότοπος ηλεκτρονικού εμπορίου δοκίμασε το κουμπί προϊόντος: A "Αγορά", Β "Προσθήκη στο καλάθι". Μόνο το κείμενο του κουμπιού έχει αλλάξει. Σε μια δοκιμή 3.000 επισκεπτών, η B αύξησε την αναλογία κλικ προς αριθμό εμφανίσεων από 4,0% σε 4,9%. Με τη μεμονωμένη μεταβλητή απομονωμένη, ο νικητής ήταν ξεκάθαρος: το "προσθήκη στο καλάθι" ένιωθε λιγότερο δεσμευτικό.
Περίπτωση 2 — Πολυμεταβλητό σφάλμα. Μια ομάδα σχεδίασε δύο σελίδες προορισμού, αλλά ο τίτλος, η εικόνα και το χρώμα ήταν όλα διαφορετικά. Ο Β κέρδισε, αλλά η ομάδα δεν ήξερε ποιο στοιχείο έκανε τη διαφορά. η μάθηση έγινε μηδέν. Στην επόμενη δοκιμή, ακολούθησαν τον κανόνα: μία μεταβλητή τη φορά. Σε εκείνο το τεστ, είδαν ξεκάθαρα ότι ο τίτλος ήταν ο βασικός παράγοντας.
Περίπτωση 3 — Παγίδα έγκαιρης απόφασης. Μια ομάδα ενημερωτικών δελτίων δοκίμασε δύο θεματικές γραμμές σε μια ομάδα 200 ατόμων και είπε, "Κέρδισε ένα Α" την πρώτη ώρα. Το δείγμα ήταν πολύ μικρό. η διαφορά ήταν στατιστικά ασήμαντη (δηλαδή, θα μπορούσε να οφείλεται σε τύχη). Όταν η δοκιμή αυξήθηκε σε επαρκή δειγματοληψία και χρόνο, το αποτέλεσμα αντιστράφηκε. Μάθημα: μην παίρνετε αποφάσεις χωρίς αρκετά δεδομένα.
Προσοχή: Η διαφορά που παρατηρείται σε ένα μικρό δείγμα (μικρός αριθμός ατόμων) μπορεί να είναι παραπλανητική. Η στατιστική σημασία αναφέρεται στην πιθανότητα ότι μια διαφορά είναι πραγματική και όχι λόγω τύχης. Βεβαιωθείτε ότι έχετε προσεγγίσει αρκετούς ανθρώπους και ότι οι δοκιμές συνεχίζονται αρκετά πριν βγάλετε βιαστικά συμπεράσματα.
Αντιγράψιμα πρότυπα
Πρότυπο 1 — Γεννήτρια μεμονωμένης παραλλαγής:
Δημιουργήστε παραλλαγές για δοκιμές A/B. Η ΜΟΝΗ μεταβλητή προς δοκιμή: [επικεφαλίδα/CTA/εικόνα]. Όλα τα άλλα θα παραμείνουν σταθερά. Υπόθεση: [...]. Πλαίσιο: [...].Παραλλαγή Α: [τρέχουσα προσέγγιση]. Παραλλαγή Β: [εναλλακτική προσέγγιση]. Έστω οι δύο παραλλαγές παρόμοιου μήκους. μην αλλάξεις τίποτα άλλο.
Πρότυπο 2 — Διευκρίνιση υπόθεσης:
Κατασκευάστε μια ελεγχόμενη υπόθεση από την ακόλουθη παρατήρηση: «[παρατήρηση]». Γράψτε την υπόθεση με τη μορφή "αν κάνουμε [αλλαγή], η [μετρική] αυξάνεται γιατί [γιατί]". Στη συνέχεια, πείτε μου ποια μεμονωμένη μεταβλητή πρέπει να απομονώσω.
Πρότυπο 3 — Σύνολο δοκιμής γραμμής θέματος:
Δημιουργήστε 2 γραμμές θέματος στο τεστ A/B για το ακόλουθο email. Διαφορά σε έναν μόνο άξονα: [περιέργεια vs. σαφήνεια / συνοπτικότητα κ.λπ. μακροσκελής/ερώτηση κ.λπ. έκφραση]. Και οι δύο δεν πρέπει να περιέχουν τη λέξη ανεπιθύμητη και θα πρέπει να έχουν παρόμοια έκταση. Σύνοψη email: [...]
Πρότυπο 4 — Ερμηνεία αποτελεσμάτων:
Ερμηνεύστε το αποτέλεσμα μιας δοκιμασίας Α/Β. Μεταβλητή: [...]. Μετρική παραλλαγή Α: [...]. Μετρική παραλλαγή Β: [...].Μέγεθος δείγματος: [...]. Διάρκεια: [...].Πες μου: Η διαφορά φαίνεται σημαντική ή το δείγμα είναι μικρό; Τι μάθαμε; Τι προτείνετε για το επόμενο τεστ; Μην διεκδικείτε ακριβή στατιστικά στοιχεία. Εάν είναι ασαφές, διευκρινίστε.
Συμβουλή: Δεν αρκεί να πάρεις τον «νικητή» από το τεστ. Το πραγματικό κέρδος είναι η επίγνωση του «γιατί κέρδισε». Αυτή η εικόνα τροφοδοτεί την υπόθεση για το επόμενο τεστ και δημιουργεί ένα σώμα μάθησης με την πάροδο του χρόνου.
Προτεραιότητα: τι να δοκιμάσετε πρώτα;
Υπάρχουν άπειρα αντικείμενα που μπορείτε να δοκιμάσετε, αλλά ο χρόνος και η επισκεψιμότητά σας είναι περιορισμένα. Επομένως, δώστε προτεραιότητα στις δοκιμές με βάση το δυναμικό πρόσκρουσης. Γενικός κανόνας: πρώτα ελέγχονται τα στοιχεία που βλέπει πρώτα ο χρήστης και έχουν τον μεγαλύτερο αντίκτυπο στην απόφαση. Σε μια σελίδα προορισμού, η επικεφαλίδα έχει τη μεγαλύτερη επίδραση στα κλικ. γιατί ο χρήστης το διαβάζει πρώτος και αποφασίζει εκεί ή όχι να συνεχίσει. Λεπτομέρειες όπως το χρώμα των κουμπιών έχουν συχνά μικρότερο αντίκτυπο. αφήστε τα για το τέλος.
Ένας πρακτικός τρόπος για να δοθεί προτεραιότητα είναι να βαθμολογήσετε κάθε ιδέα δοκιμής σε τρεις άξονες: αναμενόμενο αντίκτυπο (πόση διαφορά θα έχει αν κερδίσει;), εμπιστοσύνη (πόσο σίγουροι είμαστε ότι θα κερδίσει;) και ευκολία (πόσο γρήγορα στήνεται;). Πρώτα τοποθετούνται δοκιμές με υψηλό αντίκτυπο, υψηλή εμπιστοσύνη και χαμηλή προσπάθεια. Αυτό σας επιτρέπει να εκχωρήσετε περιορισμένη επισκεψιμότητα στα πειράματα που προσφέρουν τη μεγαλύτερη μάθηση. Η τεχνητή νοημοσύνη μπορεί να σας δώσει ένα γρήγορο σχέδιο για τη βαθμολογία και την ιεράρχηση μιας λίστας ιδεών σε αυτούς τους τρεις άξονες. Εσύ αποφασίζεις.
Πρότυπο 5 — Προτεραιότητα δοκιμής:
Δώστε προτεραιότητα στις ακόλουθες ιδέες δοκιμών A/B. Βαθμολογήστε το καθένα στους άξονες πρόσκρουσης (1-5), αξιοπιστίας (1-5) και ευκολίας εγκατάστασης (1-5), κατατάξτε τα σύμφωνα με τη συνολική βαθμολογία και εξηγήστε με μια πρόταση γιατί είναι με αυτή τη σειρά. ΙΔΕΕΣ ΔΟΚΙΜΩΝ: [λίστα]
Συνήθη λάθη
- Τόσο μεταβλητό ταυτόχρονα. Το αποτέλεσμα γίνεται ανερμήνευτο.
- Δοκιμή χωρίς υποθέσεις. Το «ας το δοκιμάσουμε και θα δούμε» δεν παράγει μάθηση.
- Πρόωρη απόφαση. Σε ένα μικρό δείγμα, η διαφορά θεωρείται ότι είναι πραγματική κατά τύχη.
- Παραλλαγές διαφορετικών μηκών. Μια δεύτερη μεταβλητή δημιουργείται ακούσια.
- Απλώς παίρνοντας τον νικητή. Εάν δεν μαθευτεί ο λόγος, δεν θα συγκεντρωθούν πληροφορίες.
Συνοπτικά
- Ο χρυσός κανόνας της δοκιμής A/B: μία μεταβλητή τη φορά.
- Κάθε δοκιμή πρέπει να ξεκινά με μια υπόθεση: τι περιμένω και γιατί;
- Καθορίστε ένα σαφές μέτρο επιτυχίας και ένα επαρκές δείγμα.
- Η διαφορά στο μικρό δείγμα είναι παραπλανητική. Σημειώστε τη στατιστική σημασία.
- Μάθετε γιατί, όχι ο νικητής. Αυτή η γνώση τροφοδοτεί την επόμενη δοκιμή.
Εργασία εφαρμογής
Επιλέξτε μια παρατήρηση για ένα από τα περιεχόμενά σας. Με το Πρότυπο 2, μεταφράστε αυτό σε μια σαφή υπόθεση και προσδιορίστε τη μεταβλητή που θέλετε να απομονώσετε. Δημιουργήστε δύο παραλλαγές με το πρότυπο 1 (παρόμοιο μήκος, μόνο διαφορά). Τέλος, προσαρμόστε τους υποθετικούς αριθμούς αποτελεσμάτων, ερμηνεύστε τους χρησιμοποιώντας το Πρότυπο 4 και σημειώστε τι λέει το μοντέλο για την επάρκεια του δείγματος. Διάρκεια: περίπου 25 λεπτά.
λίστα ελέγχου
- [ ] Ξεκίνησα το τεστ με μια ξεκάθαρη υπόθεση.
- [ ] Απομόνωσα μόνο μία μεταβλητή.
- [ ] Οι παραλλαγές παρέμειναν παρόμοιες σε άλλους άξονες (μήκος κ.λπ.).
- [ ] Έχω ορίσει μια σαφή μέτρηση επιτυχίας.
- [ ] Δεν το αποφάσισα χωρίς αρκετό δείγμα/χρόνο.
- [ ] Σημείωσα τον λόγο για τον νικητή για την επόμενη δοκιμή.