Κέρδη:
- Ικανότητα κατανόησης των εννοιών του A/B testing, του ελέγχου/παραλλαγής, του ρυθμού μετατροπής και της στατιστικής σημασίας και της δημιουργίας υποθέσεων και σχεδίων δοκιμής με τεχνητή νοημοσύνη.
- Δυνατότητα απομόνωσης της μεμονωμένης μεταβλητής προς δοκιμή και δημιουργίας παραλλαγής κειμένου/εικόνας και σχεδίου μέτρησης με υποστήριξη τεχνητής νοημοσύνης
- Δυνατότητα διάκρισης ότι η ερμηνεία της δοκιμής της τεχνητής νοημοσύνης περιορίζεται από το μέγεθος και τη σημασία του δείγματος και τον κίνδυνο πρόωρης ανάγνωσης/λανθασμένων αποτελεσμάτων
Η πιο επικίνδυνη πρόταση στη διαφήμιση είναι «νομίζω ότι αυτό είναι καλύτερο». Τα δεδομένα, όχι η γνώμη, σας λένε εάν μια επικεφαλίδα, μια εικόνα ή ένα κουμπί είναι πραγματικά καλύτερο. Ο πιο συνηθισμένος τρόπος μέτρησης αυτού είναι η δοκιμή A/B: εμφάνιση δύο (ή περισσότερων) εκδόσεων της ίδιας διαφήμισης σε πραγματικούς χρήστες και σύγκριση ποια από αυτές λειτουργεί καλύτερα. Το "A" είναι συνήθως η τρέχουσα έκδοση (control), ενώ το "B" είναι η νέα έκδοση που δοκιμάζεται (παραλλαγή). Για παράδειγμα, μπορείτε να αλλάξετε μόνο τον τίτλο στην ίδια διαφήμιση και να μετρήσετε σε ποιον τίτλο γίνεται περισσότερο κλικ. Η τεχνητή νοημοσύνη είναι χρήσιμη σε αυτή τη διαδικασία τόσο στη δημιουργία μεγάλου αριθμού παραλλαγών όσο και στην ερμηνεία του αποτελέσματος. Αλλά η επιστημονική εγκυρότητα του τεστ εξαρτάται από τους κανόνες σχεδιασμού και την υπομονή.
Ο χρυσός κανόνας της δοκιμής A/B: μία μεταβλητή
Ο πιο βασικός κανόνας της δοκιμής A/B είναι η απομόνωση μιας μεμονωμένης μεταβλητής. Εάν αλλάξετε τον τίτλο, την εικόνα και το κουμπί ταυτόχρονα και κερδίσει η έκδοση Β, δεν θα μάθετε ποτέ τι κέρδισε. Έτσι σε μια δοκιμή μόνο ένα στοιχείο θα πρέπει να αλλάξει, τα υπόλοιπα θα πρέπει να παραμένουν σταθερά. Εάν θέλετε να δοκιμάσετε περισσότερα από ένα στοιχεία ταυτόχρονα και συστηματικά, αυτό ονομάζεται δοκιμή πολλαπλών μεταβλητών και απαιτεί πολύ μεγαλύτερο δείγμα. Η μονομεταβλητή δοκιμή A/B είναι ο τρόπος για να ξεκινήσετε.
Η δεύτερη βασική έννοια είναι η στατιστική σημασία. Ας υποθέσουμε ότι η έκδοση Α έλαβε 3 τοις εκατό κλικ και η έκδοση Β έλαβε 3,3 τοις εκατό κλικ. Είναι αυτή η διαφορά πραγματικό πλεονέκτημα ή ατυχία; Εάν δείχνατε το τεστ μόνο σε 100 άτομα, αυτή η διαφορά θα μπορούσε να είναι συμπτωματική. Στατιστική σημασία σημαίνει ότι η παρατηρούμενη διαφορά είναι αρκετά απίθανο να οφείλεται σε τύχη (δηλαδή, η διαφορά είναι πιθανώς πραγματική). Αυτό απαιτεί επαρκές μέγεθος δείγματος (αριθμός ατόμων που βλέπουν το τεστ). Η ανακήρυξη ενός «νικητή» με λίγα δεδομένα είναι το πιο συνηθισμένο και ακριβό λάθος.
Συμβουλή: Πριν ξεκινήσετε το τεστ, απαντήστε στην ερώτηση «πότε θα ανακηρύξω νικητή»: πόσα άτομα/μετά τη μετατροπή, σε ποιο επίπεδο σημασίας. Η εκ των προτέρων λήψη αυτής της απόφασης σας αποτρέπει από το να παρασυρθείτε από τον θόρυβο τις πρώτες ώρες και να πάρετε μια πρόωρη απόφαση.
Ο παρακάτω πίνακας συγκρίνει το καλό και το κακό σχέδιο δοκιμής A/B:
αντικείμενο
κακός σχεδιασμός
καλό σχέδιο
Αριθμός μεταβλητών
Τίτλος + εικόνα + κουμπί μαζί
μόνο τίτλος
υπόθεση
(κανένας) "ας δούμε τι θα γίνει"
"Τίτλοι με ερωτήσεις αυξάνουν τα κλικ"
δείγμα
80 άτομα
Προυπολογισμένη απαρτία
χρόνος απόφασης
2 ώρες αργότερα
Όταν φτάσεις στη σημασία
Επιλογή νικητή
"Νομίζω ότι ο Β είναι ωραίος"
Με βάση δεδομένα και σημασία
Βήμα προς βήμα: ρύθμιση ενός τεστ A/B
Βήμα 1 — Γράψτε μια υπόθεση. Τι δοκιμάζετε και γιατί; Μια ξεκάθαρη υπόθεση όπως "Ένας τίτλος με οφέλη λαμβάνει περισσότερα κλικ από έναν τίτλο με χαρακτηριστικά."
Βήμα 2 — Επιλέξτε μία μεταβλητή. Μόνο ο τίτλος, ή απλώς η εικόνα, ή απλώς το CTA.
Βήμα 3 — Δημιουργήστε παραλλαγές. Δημιουργήστε διαφορετικές εκδόσεις του ίδιου αντικειμένου με AI. κρατήστε τα υπόλοιπα σταθερά.
Βήμα 4 — Ρυθμίστε ένα σχέδιο μέτρησης. Ποια μέτρηση θα καθορίσει τον νικητή (αναλογία κλικ προς αριθμό εμφανίσεων, μετατροπή), πόσο δείγμα χρειάζεται, πόσο καιρό θα εκτελεστεί.
Βήμα 5 — Ερμηνεύστε και επαληθεύστε το αποτέλεσμα. Έχουν συλλεχθεί αρκετά δεδομένα, είναι σημαντική η διαφορά; Εάν δεν είναι σημαντικό, το "καμία διαφορά" είναι επίσης έγκυρο αποτέλεσμα.
τρεις μίνι θήκες
Περίπτωση 1 — Σαφήνεια μιας μεμονωμένης μεταβλητής. Μια επωνυμία ηλεκτρονικού εμπορίου δοκίμασε μόνο το CTA στη διαφήμιση προϊόντων της: «Αγορά» και «Προσθήκη στο καλάθι». Όλα τα άλλα ήταν ίδια. Μετά από αρκετή δειγματοληψία, η "Προσθήκη στο καλάθι" έφερε σημαντικά υψηλότερες μετατροπές. Η διαφορά μπορούσε να ερμηνευθεί καθαρά επειδή απομονώθηκε μια μεμονωμένη μεταβλητή. Το AI δημιούργησε δύο CTA, τα δεδομένα επέλεξαν τον νικητή.
Περίπτωση 2 — Παγίδα έγκαιρης απόφασης. Μια επωνυμία διέκοψε τη δοκιμή επειδή η έκδοση Β ήταν μπροστά στις πρώτες 3 ώρες της δοκιμής A/B και άνοιξε το B σε ολόκληρο τον προϋπολογισμό. Εξετάζοντας τα συνολικά δεδομένα την επόμενη μέρα, ο Α ήταν στην πραγματικότητα ελαφρώς καλύτερος. Η διαφορά στις πρώτες ώρες ήταν συμπτωματική. Ο προϋπολογισμός σπαταλήθηκε. Λάθος: λήψη μιας πρόωρης απόφασης με ανεπαρκές μέγεθος δείγματος.
Περίπτωση 3 — «Καμία διαφορά» είναι επίσης το συμπέρασμα. Μια μάρκα δοκίμασε δύο διαφορετικές εικόνες και μετά από αρκετή δειγματοληψία, και οι δύο παρήγαγαν σχεδόν το ίδιο αποτέλεσμα. Ενώ η ομάδα επρόκειτο να θρηνήσει ότι η "δοκιμή απέτυχε", η σωστή ανάγνωση ήταν ότι η εικόνα δεν είναι ο αποφασιστικός παράγοντας σε αυτήν την καμπάνια, επομένως η προσπάθεια πρέπει να κατευθύνεται προς την επικεφαλίδα και την προσφορά. Το γεγονός ότι δεν βρέθηκε σημαντική διαφορά είναι επίσης πολύτιμη πληροφορία.
Τέσσερα πρότυπα με δυνατότητα αντιγραφής
1) Υπόθεση και σχεδιασμός δοκιμής:
Τι θέλω να δοκιμάσω: [π.χ. τίτλος διαφήμισης]. Εργασία: (1) Γράψτε μια μεμονωμένη ελεγχόμενη υπόθεση (με τη μορφή "... αυξάνει ... αυξάνει").(2) Καταγράψτε τη μεμονωμένη μεταβλητή που θέλετε να απομονώσετε και αυτές που θα διατηρήσετε σταθερές. (3) Προτείνετε τη μέτρηση που θα καθορίσει τον νικητή (αναλογία κλικ προς αριθμό εμφανίσεων/μετατροπή).
2) Γεννήτρια παραλλαγής (μονή παραλλαγή):
Σταθερή διαφήμιση: εικόνα [ίδια], CTA [ίδια], στόχος [ίδια]. Δοκιμασμένη μεταβλητή: HEADLINE. Κύριο μήνυμα: "[μήνυμα]". Εργασία: Δημιουργήστε 4 διαφορετικές παραλλαγές επικεφαλίδων με το ίδιο μήνυμα. Ο καθένας χρησιμοποιεί διαφορετική προσέγγιση (ερώτηση, όφελος, αριθμός, επείγον). Μόνο ο τίτλος αλλάζει. Προσθήκη ενός αβάσιμου ισχυρισμού.
3) Σχέδιο μέτρησης:
Δοκιμή: [Ορισμός των Α και Β]. Μέτρηση: [κλικ/μετατροπή]. Εργασία: Σχεδιάστε ένα σχέδιο μέτρησης: (1) ποια μέτρηση είναι κύρια, ποια δευτερεύουσα, (2) πόσα δεδομένα/χρόνος χρειάζονται για να ανακηρυχθεί ο νικητής (εξηγήστε τη λογική), (3) πώς να μοιράζετε την κυκλοφορία ομοιόμορφα και δίκαια μεταξύ Α και Β, (4) ποιοι εξωτερικοί παράγοντες μπορούν να παραμορφώσουν το άθροισμα μιας ημέρας στη βούληση του αποτελέσματος. υπολογίστε ακριβή στατιστικά στοιχεία.
4) Διερμηνέας αποτελεσμάτων (προσοχή):
Τα αποτελέσματα της δοκιμής μου A/B (πραγματικά δεδομένα): [A: impressions/clicks/conversion],[B: impressions/clicks/conversion]. Εργασία: (1) Υπολογίστε και εμφανίστε τα ποσοστά κάθε έκδοσης. (2) Σχολιάστε το μέγεθος της διαφοράς, αλλά εάν το δείγμα δεν είναι αρκετό, πείτε "ανεπαρκή δεδομένα κινδύνου(3) για ένα σημαντικό αποτέλεσμα." Πρόωρη/λανθασμένη ανάγνωση. Μην κάνετε καμία οριστική αξίωση σημασίας. Θα επιβεβαιώσω με ένα ξεχωριστό εργαλείο λογαριασμού.
Αδύναμη προτροπή / Ισχυρή προτροπή
Αδύναμη προτροπή:
Δημιουργήστε την έκδοση Α και Β για τη διαφήμισή μου, πείτε μου ποια είναι καλύτερη.
Η μεταβλητή δεν είναι απομονωμένη, δεν υπάρχει υπόθεση και μέτρηση. Η τεχνητή νοημοσύνη δεν μπορεί να γνωρίζει ποια είναι «καλή» χωρίς δεδομένα, την συνθέτει.
Ισχυρή προτροπή:
Ρυθμίζω τη δοκιμή A/B. Διορθώθηκε: η εικόνα και το CTA θα παραμείνουν τα ίδια. Δοκιμάστηκε μόνο η μεταβλητή: επικεφαλίδα διαφήμισης. Υπόθεση: "Η επικεφαλίδα με αριθμούς λαμβάνει περισσότερα κλικ από τη γενική επικεφαλίδα." Κύριο μήνυμα: "Παράδοση σε 3 ημέρες." Εργασία: (1) Δημιουργήστε 1 γενική επικεφαλίδα για έλεγχο, 3 επικεφαλίδες με αριθμούς για παραλλαγή. από 3 λάθη που θα μπορούσαν να ακυρώσουν το τεστ. Μην προβλέπετε ποιο θα κερδίσει. Τα δεδομένα θα το καθορίσουν.
Ο δεύτερος ισχυρισμός απομονώνει μια μεμονωμένη μεταβλητή, περιλαμβάνει υπόθεση και μέτρηση. αφήνει τον νικητή στα δεδομένα.
Συνήθη λάθη
- Αλλαγή πολλών στοιχείων ταυτόχρονα. Ο λόγος για τον νικητή γίνεται ασαφής. Πρέπει να απομονωθεί μια μεμονωμένη μεταβλητή.
- Λήψη αποφάσεων με ανεπαρκή δείγματα. Η διαφορά στις πρώτες ώρες είναι συχνά συμπτωματική.
- Δοκιμές χωρίς υποθέσεις. «Ας δούμε τι θα συμβεί» η δοκιμή δεν παράγει μάθηση. Πρώτα γράψτε τι περιμένετε.
- Παρεξήγηση του αποτελέσματος «Καμία διαφορά» ως αποτυχία. Η έλλειψη σημαντικής διαφοράς είναι επίσης κατατοπιστική.
- Επιλογή του νικητή με βάση το γούστο. Η δοκιμή είναι ακριβώς για να αποκλείσει το προσωπικό γούστο. Ακολουθήστε τα δεδομένα.
- Ξεχνώντας τους εξωτερικούς παράγοντες. Σεζόν, ημέρα καμπάνιας, ροή ειδήσεων μπορεί να στρεβλώσουν το αποτέλεσμα. Διατηρήστε τις συνθήκες δοκιμών δίκαιες.
Προσοχή: Σκοπός του A/B testing δεν είναι να «κερδίζεις» αλλά να μαθαίνεις. Ακόμη και μια παραλλαγή που χάνει είναι πολύτιμη πληροφορία. Η πραγματική απώλεια είναι να βασιστείς στο λάθος αποτέλεσμα με ανεπαρκή δεδομένα και να δεσμεύσεις τον προϋπολογισμό σε αυτό.
Συνοπτικά
Το A/B testing είναι μια ισχυρή μέθοδος που μετακινεί τις διαφημιστικές αποφάσεις από ιδέα σε δεδομένα. Ο χρυσός κανόνας είναι να απομονώσετε μια μεμονωμένη μεταβλητή: μόνο ένα στοιχείο πρέπει να αλλάξει σε μια δοκιμή, τα υπόλοιπα πρέπει να παραμένουν σταθερά. Ο δεύτερος πυλώνας είναι η επαρκής δειγματοληψία και η στατιστική σημασία. Η ανακήρυξη νικητή με λίγα δεδομένα είναι το πιο ακριβό λάθος. Η τεχνητή νοημοσύνη είναι χρήσιμη για τη δημιουργία πολλαπλών παραλλαγών και τον υπολογισμό και την ερμηνεία των πιθανοτήτων, αλλά τα δεδομένα καθορίζουν τον νικητή και όχι το AI. Ακόμη και το αποτέλεσμα "καμία διαφορά" είναι μάθηση. Η υπόθεση, η μέτρηση και το όριο απόφασης θα πρέπει να γραφτούν πριν από την έναρξη του τεστ.
Εργασία εφαρμογής
Επιλέξτε ένα δημιουργικό (επικεφαλίδα, εικόνα ή CTA). (1) Γράψτε μια μεμονωμένη ελεγχόμενη υπόθεση και απομονωμένη μεταβλητή με "Υπόθεση και σχεδιασμός δοκιμής". (2) Δημιουργήστε 1 στοιχείο ελέγχου + 3 παραλλαγές με "Γεννήτρια παραλλαγής". Απλώς αλλάξτε αυτό το στοιχείο. (3) Σχεδιάστε ποια μέτρηση θα εξετάσετε, για πόσο καιρό και με ποια δεδομένα, με το «σχέδιο μέτρησης». (4) Σημειώστε εκ των προτέρων το όριο για την ανακήρυξη του νικητή (πόσες μετατροπές / τι σημασία). (5) Εξετάστε τα υποθετικά αποτελέσματα με έναν «ερμηνευτή αποτελεσμάτων» και σημειώστε γιατί δεν θα λάβατε μια απόφαση σε ένα σενάριο όπου τα δεδομένα είναι ανεπαρκή.
λίστα ελέγχου
- [ ] Απομόνωσα μόνο μία μεταβλητή στη δοκιμή.
- [ ] Έγραψα μια σαφή υπόθεση πριν από τη δοκιμή.
- [ ] Έχω ήδη καθορίσει το δείγμα και τον χρόνο που απαιτείται για τον νικητή.
- [ ] Επέλεξα τον νικητή βάσει δεδομένων, όχι προσωπικού γούστου.
- [ ] Θεώρησα το αποτέλεσμα "καμία διαφορά" ως έγκυρη μάθηση.
- [ ] Έλεγξα για εξωτερικούς παράγοντες που θα μπορούσαν να αλλοιώσουν το αποτέλεσμα.