Κέρδη:
- Δυνατότητα μετατροπής εγγραφών δοκιμών χρηστικότητας και σημειώσεων παρατήρησης σε ευρήματα, βάρη και συστάσεις με τεχνητή νοημοσύνη
- Δυνατότητα ταξινόμησης ευρημάτων ανάλογα με τη σοβαρότητα και δημιουργία πίνακα προτεραιοτήτων
- Δυνατότητα διόρθωσης ευρημάτων που η τεχνητή νοημοσύνη παραλείπει ή υπερβάλλει με πραγματικά στοιχεία παρατήρησης
Η δοκιμή ευχρηστίας είναι μια μέθοδος παρατήρησης του πού λειτουργεί ο σχεδιασμός και πού κολλάει δίνοντας συγκεκριμένες εργασίες σε πραγματικούς χρήστες και παρακολουθώντας τους. Η ίδια η δοκιμή είναι εύκολη. Η πραγματική πρόκληση βρίσκεται στη συνέχεια: μετατροπή ωρών εγγραφής, σελίδων σημειώσεων παρατήρησης και διάσπαρτων στιγμιότυπων οθόνης σε σαφή, με προτεραιότητα ευρήματα. Αυτή η σύνθεση διαρκεί μέρες με το χέρι και οι ομάδες συχνά την αφήνουν ημιτελή. Η τεχνητή νοημοσύνη ανοίγει αυτό το σημείο συμφόρησης: μετατρέποντας τα αρχεία και τις σημειώσεις σε ευρήματα, βάρος και συστάσεις. Αλλά είναι η ανθρώπινη κρίση να αποφασίσει αν μια παρατήρηση είναι πραγματικά πρόβλημα και πόσο σημαντική είναι.
Διαφορά μεταξύ παρατήρησης, εύρεσης και πρότασης
Είναι κρίσιμο να διαχωριστούν τρία στρώματα στη σύνθεση:
- Παρατήρηση: Τι έγινε, κανένα σχόλιο. "Ο συμμετέχων 3 αναζήτησε το κουμπί "συνέχεια" για 40 δευτερόλεπτα."
- Διαπίστωση: Το μοτίβο που προκύπτει από τις παρατηρήσεις. "Οι χρήστες δυσκολεύονται να βρουν την κύρια ενέργεια."
- Σύσταση: Τι να κάνετε. "Κάνει το κύριο κουμπί να ξεχωρίζει οπτικά."
Η τεχνητή νοημοσύνη παράγει γρήγορα αυτά τα τρία επίπεδα, αλλά συχνά συγχέει την παρατήρηση με την εύρεση ή συνάγει ένα ολόκληρο εύρημα από μία μόνο παρατήρηση. Η δουλειά σας είναι να επαληθεύσετε ότι υπάρχουν αρκετές παρατηρήσεις (πόσοι συμμετέχοντες, πόσες φορές) πίσω από κάθε εύρημα.
Συμβουλή: Ζητήστε από την τεχνητή νοημοσύνη να πει "κάτω από κάθε εύρημα, προσθέστε παρατηρήσεις που το υποστηρίζουν και σε πόσους συμμετέχοντες εμφανίστηκε". Με αυτόν τον τρόπο μπορείτε να διακρίνετε αμέσως τα διογκωμένα ευρήματα από μία μόνο παρατήρηση.
Σοβαρότητα: τι να διορθώσετε πρώτα;
Δεν είναι όλα τα ευρήματα ίσα. Η σοβαρότητα υποδεικνύει πόσο επειγόντως πρέπει να διορθωθεί ένα πρόβλημα και καθορίζεται από τρεις παράγοντες:
- Αποτέλεσμα: Το πρόβλημα εμποδίζει τον χρήστη να ολοκληρώσει την εργασία ή απλώς τον ενοχλεί;
- Συχνότητα: Πόσοι χρήστες και πόσο συχνά;
- Επιχειρηματικός αντίκτυπος: Πόσο επηρεάζει αυτό το ζήτημα τη μετατροπή, τα έσοδα ή την εμπιστοσύνη;
Μια τυπική κλίμακα: Κρίσιμη (εμποδίζει εντελώς την αποστολή), Υψηλή (σοβαρή δυσκολία), Μέτρια (επιβραδύνει), Χαμηλή (καλλυντική). Η τεχνητή νοημοσύνη μπορεί να προτείνει μια αρχική κατάταξη, αλλά η τελική απόφαση στάθμισης - ειδικά ο αντίκτυπος στην επιχείρηση - απαιτεί τη γνώση του πλαισίου από την ομάδα.
διαπίστωση
Αντίκτυπος
συχνότητα
σημασία
Πρόταση
Δεν είναι δυνατή η εύρεση του κύριου κουμπιού
Παρεμβαίνει στην εργασία
4/6 συμμετέχοντες
κριτικό
Κουμπί επισήμανσης
Το μήνυμα σφάλματος είναι ασαφές
επιβραδύνοντας
3/6
ψηλά
Διευκρινίστε το μήνυμα
Εικονίδιο που σημαίνει ασαφές
ελαφρύ δισταγμό
2/6
μεσαίο
Προσθήκη ετικέτας
Ο χρωματικός τόνος δεν άρεσε
καλλυντικά
1/6
χαμηλά
αφήστε το για αργότερα
τρεις μίνι θήκες
Περίπτωση 1 — 5 ώρες καταγραφή, ευρήματα σε μισή μέρα. Μια ομάδα τροφοδότησε τις σημειώσεις 6 δοκιμών χρηστών (5 ώρες συνολικά) στο AI. Το μοντέλο πρότεινε 14 ευρήματα. Η ομάδα έλεγξε το καθένα με βάση τον αριθμό των παρατηρήσεων, τον μείωσε στο 9 και τα κατέταξε με σειρά σπουδαιότητας. Η σύνθεση, η οποία θα χρειαζόταν 2 ημέρες με το χέρι, μειώθηκε σε μισή ημέρα.
Περίπτωση 2 — Πιάστηκε διογκωμένο εύρημα. «Οι χρήστες δεν καταλαβαίνουν την πλοήγηση», έγραψε το AI σε ένα κρίσιμο εύρημα. Όταν η ομάδα εξέτασε τις υποστηρικτικές παρατηρήσεις, διαπίστωσε ότι βασίστηκε σε μια στιγμή από έναν μόνο συμμετέχοντα. Το εύρημα υποβαθμίστηκε σε "μέτρια" και ζητήθηκαν περισσότερα δεδομένα. Μάθημα: μια και μόνο παρατήρηση δεν κάνει κριτική διαπίστωση.
Περίπτωση 3 — Αναπάντητο κρίσιμο ζήτημα. Το μοντέλο υπολόγισε ένα επαναλαμβανόμενο αλλά φαινομενικά μικρό πρόβλημα (η φόρμα δεν κάνει αυτόματη κύλιση) ως "χαμηλό". Όταν ο σχεδιαστής κοίταξε τις παρατηρήσεις, συνειδητοποίησε ότι αυτό προκάλεσε εγκατάλειψη εργασίας σε 5 συμμετέχοντες και το έθεσε στο "υψηλό". Μάθημα: Η εκτίμηση της σπουδαιότητας του AI διορθώνεται με στοιχεία παρατήρησης.
Ανάγνωση ποσοτικών και ποιοτικών δεδομένων μαζί
Η δοκιμή ευχρηστίας είναι ως επί το πλείστον ποιοτική (βασισμένη σε παρατήρηση), αλλά υπάρχουν και ποσοτικά (αριθμητικά) σήματα: ρυθμός ολοκλήρωσης εργασίας, διάρκεια εργασίας, αριθμός σφαλμάτων, βαθμολογία ικανοποίησης. Η πιο ισχυρή σύνθεση συνδυάζει τα δύο: «Μόνο το 33% των συμμετεχόντων ολοκλήρωσαν την εργασία ολοκλήρωσης (ποσοτικά) και όλοι όσοι απέτυχαν να ολοκληρώσουν κόλλησαν στο στάδιο αποστολής (ποιοτικά).» Η τεχνητή νοημοσύνη βοηθά στο συνδυασμό αυτών των δύο δεδομένων όταν τα δίνετε ξεχωριστά. αλλά επιβεβαιώνετε την ακρίβεια των αριθμών και το μέγεθος του δείγματος. Το να μιλάμε για ποσοστά μπορεί να είναι παραπλανητικό σε μικρά δείγματα (π.χ. 5 χρήστες). Το να πείτε "3 στους 5 χρήστες" είναι πιο ειλικρινές από το να πείτε "60%". Ζητήστε από το μοντέλο να μιλήσει με απόλυτους αριθμούς.
Συμβουλή: Βάλτε το AI να πει "να γράψει ως "πόσοι χρήστες" αντί για ένα ποσοστό". Σε μικρά δείγματα, το ποσοστό δίνει την εντύπωση μεγαλύτερης ακρίβειας από ό,τι είναι στην πραγματικότητα.
Αντιγράψιμα μηνύματα
Ο ρόλος σας: αναλυτής ευχρηστίας. Σχεδιάστε ευρήματα από τις ακόλουθες ανώνυμες σημειώσεις δοκιμής. Για κάθε εύρημα: 1) σαφής δήλωση, 2) υποστηρικτικές παρατηρήσεις και πόσοι συμμετέχοντες το είδαν, 3) αποτέλεσμα (μπλοκάρισμα/επιβράδυνση/καλλυντικό). Επισημάνετε τα ευρήματα που βασίζονται σε μία μόνο παρατήρηση ως "ΑΔΥΝΑΤΕΣ ΑΠΟΔΕΙΞΕΙΣ". Σημειώσεις: <<κείμενο>>
Ταξινόμηση αυτής της λίστας ευρημάτων κατά σημασία. Κριτήρια: αντίκτυπος (εμπόδιο εργασίας;), συχνότητα (πόσοι συμμετέχοντες;), επιχειρηματικός αντίκτυπος. Αντιστοιχίστε σε κάθε εύρημα Κρίσιμο/Υψηλό/Μεσαίο/Χαμηλό και γράψτε ένα σκεπτικό. Εάν δεν είστε σίγουροι για τον αντίκτυπο της επιχείρησης, πείτε "η ομάδα πρέπει να αξιολογήσει". Ευρήματα: <<λίστα>>
Γράψτε μια συγκεκριμένη, εφαρμόσιμη πρόταση σχεδίασης για κάθε εύρημα. Σύσταση: τι θα αλλάξει + γιατί αυτό λύνει το πρόβλημα + ποια οθόνη επηρεάζει. Αποφύγετε ασαφείς ("κάντε καλύτερα") συστάσεις. Ευρήματα: <<λίστα>>
Συνοψίστε αυτήν την αναφορά ευρημάτων για παρουσίαση των ενδιαφερομένων: γράψτε μια σύντομη εκτελεστική περίληψη που περιλαμβάνει τα 3 πιο κρίσιμα ευρήματα, στοιχεία (πόσοι χρήστες) και προτεινόμενη δράση. Υπερβολή; παίρνω αριθμούς από σημειώσεις.Αναφορά: <<κείμενο>>
Αδύναμη προτροπή / Ισχυρή προτροπή
Αδύναμο: "Βγάλτε συμπεράσματα από αυτές τις βαθμολογίες των τεστ."
Αποτέλεσμα: Μια μικτή λίστα χωρίς αποδεικτικά στοιχεία, χωρίς σειρά σπουδαιότητας και παρεξήγηση μιας μόνο παρατήρησης ως εύρημα.
Ισχυρό: "Σχεδιάστε ένα εύρημα από τις σημειώσεις. Κάτω από κάθε εύρημα, προσθέστε υποστηρικτικές παρατηρήσεις και σε πόσους συμμετέχοντες φάνηκε. Σημειώστε αυτό που βασίζεται σε μία μόνο παρατήρηση ως "αδύναμη απόδειξη" και, στη συνέχεια, κατατάξτε το κατά σειρά σπουδαιότητας ανάλογα με το αποτέλεσμα-συχνότητα-εργασία."
Αποτέλεσμα: Τεκμηριωμένα, ιεραρχημένα, υπερασπιστή ευρήματα.
Διαφορά: ισχυρή προτροπή προτρέπει αριθμό αποδεικτικών στοιχείων + αδύναμη προτροπή + κριτήριο σημασίας.
Συνήθη λάθη
- Μπερδεμένη παρατήρηση με εύρεση. Μετατρέποντας ένα μόνο «τι συνέβη» σε ένα συνολικό συμπέρασμα.
- Εξαγωγή κρίσιμων πορισμάτων από μία μόνο παρατήρηση. Δεν θα δοθεί βάρος μέχρι να επαληθευτεί η συχνότητα.
- Αποφασισμός του επιχειρηματικού αντίκτυπου στην τεχνητή νοημοσύνη. Ο αντίκτυπος εσόδων/μετατροπής απαιτεί πλαίσιο. Είναι στην ομάδα του.
- Μην βάζετε προτεραιότητες. Η αποδιοργανωμένη λίστα ευρημάτων παραλύει την ομάδα. Δεν μπορούν να διορθωθούν όλα ταυτόχρονα.
- Αφήνοντας τις προτάσεις ασαφείς. Το «Κάνε καλύτερα» δεν ισχύει. Τι, γιατί και πού πρέπει να είναι ξεκάθαρο.
Συνοπτικά
Η αξία των δοκιμών χρηστικότητας προέρχεται από τη μετατροπή των εγγραφών και των σημειώσεων σε ξεκάθαρα ευρήματα με προτεραιότητα. Η τεχνητή νοημοσύνη επιταχύνει πολύ αυτή τη σύνθεση: συγκεντρώνει τις παρατηρήσεις σε ευρήματα, συντάσσει συστάσεις, προτείνει σειρά σπουδαιότητας. Αλλά είναι ανθρώπινο έργο να επαληθεύσουμε τον αριθμό των παρατηρήσεων πίσω από κάθε εύρημα, να εξαλείψουμε τα διογκωμένα ευρήματα που βασίζονται σε μεμονωμένες παρατηρήσεις και να σταθμίσουμε τον επιχειρηματικό αντίκτυπο με το πλαίσιο. Μια έκθεση ευρημάτων που βασίζεται σε στοιχεία, έχει μια ορισμένη συχνότητα και είναι διατεταγμένη κατά σειρά σπουδαιότητας, θα είναι τόσο γρήγορη όσο και αξιόπιστη για τα ενδιαφερόμενα μέρη.
Εργασία εφαρμογής
- Ανωνυμοποιήστε σημειώσεις από ένα τεστ χρηστικότητας (πραγματικό ή φανταστικό).
- Αφαιρέστε τα ευρήματα με την πρώτη προτροπή. Ελέγξτε τον αριθμό των παρατηρήσεων κάτω από το καθένα.
- Απομονώστε τα ευρήματα με την ένδειξη "αδύναμα στοιχεία" και αποφασίστε εάν χρειάζονται πρόσθετα δεδομένα.
- Με τη δεύτερη προτροπή, ταξινομήστε τα ευρήματα με σειρά σπουδαιότητας. Αξιολογήστε τον αντίκτυπο της επιχείρησης ως ομάδα.
- Με την τρίτη προτροπή, γράψτε συγκεκριμένες προτάσεις για κάθε εύρημα και δημιουργήστε έναν πίνακα προτεραιοτήτων.
λίστα ελέγχου
- [ ] Κράτησα την παρατήρηση, τα ευρήματα και τις προτάσεις ως ξεχωριστά στρώματα.
- [ ] Επιβεβαίωσα πόσοι συμμετέχοντες έδειξαν κάθε εύρημα.
- [ ] Σημείωσα τα ευρήματα που βασίστηκαν σε μία μόνο παρατήρηση ως αδύναμα στοιχεία.
- [ ] Προσδιόρισα το επίπεδο σοβαρότητας με βάση τον αντίκτυπο-συχνότητα-εργασία.
- [ ] Αξιολόγησε την απόφαση για τον επιχειρηματικό αντίκτυπο με την ομάδα.
- [ ] Έγραψα τις προτάσεις συγκεκριμένα (τι/γιατί/που).