Κέρδη:
- Ικανότητα κατανόησης της φύσης των διερευνητικών δοκιμών που βασίζεται στην ανθρώπινη περιέργεια και χρήσης τεχνητής νοημοσύνης ως συνεργάτης για τη δημιουργία χαρτών δοκιμών και διαισθητικών ενδείξεων
- Δυνατότητα διαφοροποίησης αξόνων ανακάλυψης όπως εισαγωγή, χρονισμός, μορφή, εξουσιοδότηση και διακοπή και καταγραφή κάθε ανωμαλίας με το βήμα παραγωγής ξανά
- Δυνατότητα εφαρμογής του ορίου χρήσης της τεχνητής νοημοσύνης μόνο κατά την προετοιμασία και την ολοκλήρωση ενώ η ίδια η συνεδρία ανακάλυψης διεξάγεται από ανθρώπους
Κάθε γραπτή περίπτωση δοκιμής ελέγχει κάτι που έχει ήδη σκεφτεί. Όμως τα πιο επικίνδυνα λάθη συχνά κρύβονται σε μέρη που κανείς δεν είχε σκεφτεί πριν. Η διερευνητική δοκιμή — μια δοκιμαστική προσέγγιση στην οποία ο ελεγκτής μαθαίνει, σχεδιάζει και εκτελεί ταυτόχρονα το προϊόν εξερευνώντας το, χωρίς να βασίζεται σε προκαθορισμένο σενάριο — στοχεύει ακριβώς αυτό το κενό. Σε διερευνητικές δοκιμές, ο ειδικός παίζει ελεύθερα με το προϊόν, ρωτά «τι γίνεται αν το κάνω αυτό» και αντιλαμβάνεται την απροσδόκητη συμπεριφορά του συστήματος. Αυτός είναι ο τύπος δοκιμών που βασίζεται περισσότερο στην ανθρώπινη διαίσθηση και περιέργεια — και γι' αυτό ακριβώς ο ρόλος της τεχνητής νοημοσύνης (AI) εδώ δεν είναι να «αντικαθιστά», αλλά να ενισχύει την περιέργεια, να προκαλεί τυφλά σημεία και να δημιουργεί ιδέες.
Σε αυτή την ενότητα θα μάθετε πώς να χρησιμοποιείτε την τεχνητή νοημοσύνη ως συνεργάτη διερευνητικών δοκιμών: από την εκτύπωση χαρτών δοκιμών, την πρόκληση ευρετικών μέχρι τη σύνοψη σημειώσεων μετά τη συνεδρία.
Γιατί οι διερευνητικές δοκιμές είναι ακόμα ανθρώπινο έργο;
Η δοκιμή με σενάριο — μια δοκιμή με βήματα γραμμένα εκ των προτέρων και επαναλαμβανόμενα κατά λέξη — επιβεβαιώνει αυτό που είναι γνωστό. Οι διερευνητικές δοκιμές αναζητούν το άγνωστο. Η αξία στις διερευνητικές δοκιμές προέρχεται από τη στιγμή που ο ελεγκτής βλέπει το προϊόν και διαισθάνεται ότι "υπάρχει κάτι περίεργο εδώ". Η τεχνητή νοημοσύνη δεν μπορεί να δει το προϊόν όπως το βλέπετε εσείς, δεν μπορεί να αντιληφθεί τι θα ενοχλούσε τον πραγματικό χρήστη, δεν μπορεί να ενοχληθεί λέγοντας "αυτό το κουμπί βρίσκεται στο λάθος μέρος". Αλλά η τεχνητή νοημοσύνη είναι ένα πολύ ισχυρό βοήθημα με τρεις τρόπους: (1) την παραγωγή συστηματικών λιστών ιδεών δοκιμών, (2) την υπενθύμιση των δοκιμαστικών αξόνων που έχετε ξεχάσει, (3) τη μετατροπή των διάσπαρτων σημειώσεων ανακάλυψης σε μια οργανωμένη αναφορά.
Συμβουλή: Ζητήστε από την τεχνητή νοημοσύνη για μια «προθέρμανση δοκιμαστικής ιδέας» πριν ξεκινήσετε τη συνεδρία ανακάλυψης. Μην αφήνετε την οθόνη στο AI κατά τη διάρκεια της συνεδρίας. Το AI είναι χρήσιμο πριν και μετά τη συνεδρία. Η ίδια η συνεδρία καθοδηγείται από την περιέργειά σας.
Ευρετική και AI
Οι εξερευνητικοί ελεγκτές χρησιμοποιούν ευρετικές μεθόδους, οι οποίες είναι σύντομες υπενθυμίσεις που παρέχουν κατεύθυνση στο κυνήγι σφαλμάτων. Το AI μπορεί να σας τα υπενθυμίσει προσαρμόζοντάς τα στο περιβάλλον σας. Μερικά κλασικά:
- CRUD: Δοκιμάστε τη ροή Δημιουργία, Ανάγνωση, Ενημέρωση, Διαγραφή για κάθε δεδομένα. διακόπτω κάποιον.
- Goldilocks (λίγο/πλήρες/πολύ): Εισαγάγετε πολύ λίγα, πλήρη και πολλά δεδομένα σε ένα πεδίο (0 χαρακτήρες, 1 χαρακτήρας, 10.000 χαρακτήρες).
- CRUD + προγραμματισμός: Επεξεργαστείτε την ίδια εγγραφή σε δύο καρτέλες ταυτόχρονα και, στη συνέχεια, αποθηκεύστε και τις δύο.
- Διακοπή: Ανανέωση σελίδας κατά τη διάρκεια της δράσης, αποσύνδεση δικτύου, πατήστε το πλήκτρο backspace.
- Αντίστροφη σειρά: Κάντε τα βήματα με αντίστροφη σειρά (πρώτα πληρώστε και μετά προσθέστε στο καλάθι).
Όταν λέτε στην τεχνητή νοημοσύνη να «προτείνει συγκεκριμένες δοκιμές εφαρμόζοντας αυτές τις διαισθητικές ενδείξεις για αυτήν την οθόνη», λαμβάνετε μια λίστα ελέγχου έτοιμη για πεδίο.
Σύνταξη μιας συνθήκης δοκιμής (χάρτης)
Οι διερευνητικές δοκιμές δεν αφορούν την περιπλάνηση. Επικεντρώνεται στον χάρτη δοκιμών (μια σύντομη οδηγία που ορίζει τι θα εξερευνήσει μια συνεδρία εξερεύνησης και για ποιο σκοπό). Ένας καλός χάρτης ακολουθεί αυτό το μοτίβο: «Εξερευνήστε τον [τομέα στόχου], χρησιμοποιώντας [εργαλεία/δεδομένα], για να αποκαλύψετε [ποιες πληροφορίες/κίνδυνο]». Το AI συντάσσει γρήγορα αυτούς τους όρους.
Εξισορρόπηση σεναριακών δοκιμών με διερευνητικές δοκιμές
Μια στρατηγική δοκιμής ήχου χρησιμοποιεί έναν συνδυασμό δοκιμών σεναρίου (αυτοματοποιημένου, επαναλαμβανόμενου) και διερευνητικών δοκιμών. Οι σεναριακές δοκιμές επαληθεύουν φθηνά ότι οι γνωστές συμπεριφορές δεν είναι κατεστραμμένες, κάθε έκδοση. Οι διερευνητικές δοκιμές, από την άλλη πλευρά, αναζητούν νέους κινδύνους που αυτά τα σενάρια δεν έχουν ποτέ εξετάσει. Και οι δύο δεν είναι ανταγωνιστές, αλλά συμπληρωματικοί. Ένα συνηθισμένο λάθος είναι να σκεφτόμαστε «ας αυτοματοποιήσουμε τα πάντα για να μην υπάρχει ανάγκη για ανακάλυψη». ενώ ο αυτοματισμός ελέγχει μόνο για όσα ήδη γνωρίζετε, δεν μπορεί ποτέ να βρει αυτά που δεν γνωρίζετε. Ένα άλλο λάθος είναι το αντίθετο: να βασίζεστε στη μη αυτόματη ανακάλυψη με κάθε έκδοση χωρίς να ρυθμίζετε κανέναν αυτοματισμό — αυτό οδηγεί στο να εμφανίζονται τα ίδια βασικά σφάλματα ξανά και ξανά.
Η τεχνητή νοημοσύνη συμβάλλει στη δημιουργία αυτής της ισορροπίας: μπορείτε να μετατρέψετε μια ανωμαλία που βρίσκετε στη συνεδρία ανακάλυψης σε μια μόνιμη δοκιμασία παλινδρόμησης με σενάριο δίνοντάς την στην τεχνητή νοημοσύνη. Έτσι, το σφάλμα που ανακαλύφθηκε στην ανακάλυψη δεν μπορεί ποτέ να επιστρέψει ξανά απαρατήρητο. Η Discovery φροντίζει για το «βρείτε το νέο ρίσκο», η αυτοματοποίηση φροντίζει για το «μην αφήσετε τα ευρήματα». Το AI επιταχύνει τη γέφυρα μεταξύ των δύο.
Συμβουλή: Διαχωρίστε την έξοδο κάθε περιόδου σύνδεσης εντοπισμού σε δύο κουβάδες: "σφάλματα για άμεση διόρθωση" και "σενάρια που θα μετατραπούν σε μόνιμο αυτοματισμό". Ο δεύτερος κάδος μεταφέρει τη μακροπρόθεσμη αξία της ανακάλυψης στο πακέτο παλινδρόμησης.
Αδύναμη προτροπή / Ισχυρή προτροπή
Αδύναμο: "Τι πρέπει να δοκιμάσω σε αυτήν την οθόνη;"
Ισχυρή: "Για μια λειτουργία "μεταφόρτωση φωτογραφίας προφίλ", διαιρέστε την περίοδο διερευνητικής δοκιμής διάρκειας 90 λεπτών σε 3 συνθήκες δοκιμής. Για κάθε συνθήκη: δώστε στον στόχο, εύχρηστες ενδείξεις για χρήση (μέγεθος αρχείου/μορφή/χρυσοκόλλητα/περικοπή), 5 συγκεκριμένες ενέργειες που πρέπει να δοκιμάσετε και σήματα κινδύνου που πρέπει να προσέξετε (επιβράδυνση, κακόβουλη φόρτωση αρχείων, κατεστραμμένα αρχεία). (πολύ μεγάλο αρχείο, λάθος επέκταση) αμυντικά."
Ισχυρή προτροπή. δίνει διάρκεια, δομή, ενδείξεις και εστίαση στον κίνδυνο. Το αποτέλεσμα είναι ένας οδικός χάρτης που θα έχετε στη διάθεσή σας καθ' όλη τη διάρκεια της συνεδρίας.
Πίνακας αξόνων εξερεύνησης
άξονα
ερώτηση να κάνω
δείγμα δοκιμίου
Όρια εισόδου
Τι κάνει το πεδίο σε ακραίες τιμές;
Όνομα 10.000 χαρακτήρων
χρονοδιάγραμμα
Τι συμβαίνει σε ταυτόχρονη/διακεκομμένη επεξεργασία;
Αποθηκεύστε την ίδια εγγραφή σε δύο καρτέλες
Μορφοποίηση
Πώς να χειριστείτε την απροσδόκητη μορφή;
Emoji, κείμενο από δεξιά προς τα αριστερά, HTML
αρχή
Μπορεί να έχει πρόσβαση μη εξουσιοδοτημένος χρήστης;
Αλλάξτε τη διεύθυνση URL με μη αυτόματο τρόπο
Κατάσταση
Είναι δυνατή η μετάβαση σε μη έγκυρη κατάσταση;
Προσπαθήστε να πληρώσετε για ακυρωμένη παραγγελία
έκπτωση
Είναι τα δεδομένα συνεπή όταν διακόπτεται το δίκτυο/η περίοδος σύνδεσης;
Αποκοπή δικτύου κατά την εγγραφή
Τέσσερα πρότυπα με δυνατότητα αντιγραφής
1) Γεννήτρια συνθηκών δοκιμής:
Ο ρόλος σας: ανώτερος διερευνητικός ελεγκτής. Διαχωρίστε τη διερευνητική περίοδο [διάρκεια] λεπτών σε 3-4 συνθήκες δοκιμής για το χαρακτηριστικό:[feature]. Κάθε συνθήκη: στόχος, διαισθητικές ενδείξεις για χρήση, 5 συγκεκριμένες ενέργειες που πρέπει να δοκιμάσετε, σήματα κινδύνου για παρακολούθηση. Μοτίβο συνθήκης: "Εξερεύνηση [τομέα] με [εργαλείο/δεδομένα] για [κίνδυνο/πληροφορίες]."
2) Διαισθητικός προσαρμογέας cue:
Μεταφράστε αυτές τις διαισθητικές ενδείξεις σε συγκεκριμένα πειράματα για την ακόλουθη οθόνη: CRUD, χρυσαφί (λιγότερο/γεμάτο/περισσότερο), διακοπή, αντίστροφη σειρά, εξουσιοδότηση παράκαμψης. Οθόνη: [περιγραφή οθόνης/ροής]. Γράψτε 2 πειράματα ειδικά για κάθε οθόνη για κάθε ένδειξη.
3) Υπενθύμιση τυφλού σημείου:
Δοκιμάζω την ακόλουθη λειτουργία: [χαρακτηριστικό]. Αναφέρετε τις 10 περιπτώσεις όπου οι έμπειροι δοκιμαστές χάνουν ΠΕΡΙΣΣΟΤΕΡΑ αυτό το είδος λειτουργίας. Συμπεριλάβετε τους άξονες προσβασιμότητας, τοπικής προσαρμογής (γλώσσα/ημερομηνία/νόμισμα), συγχρονισμό, ασφάλεια και απόδοση.
4) Σύνοψη σημειώσεων συνεδρίας:
Παρακάτω είναι οι ακατέργαστες σημειώσεις από τη συνεδρία ανακάλυψής μου. Οργανώστε τα σε αυτήν τη δομή: - Βρέθηκαν ανωμαλίες (με εκτιμώμενη σοβαρότητα) - Εκείνες με γνωστό βήμα αναπαραγωγής - Εκείνες που απαιτούν περαιτέρω διερεύνηση - Πρόταση για την επόμενη συνεδρία Ακατέργαστες σημειώσεις: [επικόλληση σημειώσεων]
τρεις μίνι θήκες
Περίπτωση 1 — Υπενθύμιση τυφλού σημείου σε δράση. Ένας ειδικός δοκίμαζε τη δυνατότητα αναζήτησης σε μια πολύγλωσση εφαρμογή. Μετά την υπενθύμιση του AI να "μην ξεχνάτε τον άξονα εντοπισμού", δοκίμασε τη μετατροπή του γράμματος "i/I" ειδικά για την Τουρκία. Η αναζήτηση για "Istanbul" δεν έδωσε κανένα αποτέλεσμα. Εντοπίστηκε σφάλμα μετατροπής πεζών. Ο άξονας AI υπενθύμισε, ο ειδικός προσπάθησε και το βρήκε.
Περίπτωση 2 — Εστίαση του χάρτη. Ένας νέος δοκιμαστής πέρασε 2 ώρες «σερφάροντας» σε μια οθόνη πληρωμής αλλά έκανε μόνο 2 μικρές σημειώσεις επειδή δεν ήταν δομημένη. Αφού σχεδίασε μια συνεδρία με το AI που χωρίστηκε σε 3 συνθήκες δοκιμής, κατέγραψε 11 ανωμαλίες την ίδια περίοδο. δύο από αυτούς ήταν σοβαροί. Ο ίδιος χρόνος ήταν 5 φορές πιο αποτελεσματικός χάρη στη δομή.
Περίπτωση 3 — Αμυντική δοκιμή αποστολής αρχείων. Μια ομάδα δοκίμασε τη "λάθος επέκταση/πολύ μεγάλο αρχείο" που πρότεινε η YZ για τη μεταφόρτωση μιας φωτογραφίας προφίλ, στα δικά της προϊόντα. Διαπιστώθηκε ότι ένα αρχείο 50 MB διέκοψε τον διακομιστή για 40 δευτερόλεπτα και πρόσθεσε όριο μεγέθους και χρονικό όριο. Οι δοκιμές έγιναν μόνο στα δικά της προϊόντα, για αμυντικούς σκοπούς.
Συνήθη λάθη
- Αντικατάσταση AI με συνεδρία. Η αξία της ανακάλυψης βρίσκεται στην παρατήρηση και τη διαίσθησή σας. Η τεχνητή νοημοσύνη βοηθά στην προετοιμασία και την αποκατάσταση.
- Περιήγηση χωρίς κράτηση. Περνώντας ώρες χωρίς εστίαση και βρίσκοντας λίγα. Η συνθήκη δοκιμής δίνει εστίαση.
- Δεν συλλέγει σημειώσεις. Εάν δεν αποθηκεύσετε ξανά την ανωμαλία που βρέθηκε στην ανακάλυψη με το βήμα παραγωγής, αυτό το εύρημα θα χαθεί.
- Όντας κολλημένος σε έναν άξονα. Πάντα δοκιμάζοντας τα όρια εισόδου. Παράκαμψη αξόνων αρχής, προγραμματισμού, εντοπισμού.
- Διενέργεια μη εξουσιοδοτημένων δοκιμών ασφαλείας. Προσπαθήστε μόνο χειρισμό αρχείου/URL στο δικό σας προϊόν και με άδεια.
Συνοπτικά
Οι διερευνητικές δοκιμές είναι το είδος της δοκιμής που βασίζεται περισσότερο στην ανθρώπινη περιέργεια, στην αναζήτηση του άγραφου. Το AI δεν θα σας αντικαταστήσει εδώ. Περιγράφει τις συνθήκες δοκιμής, προσαρμόζει διαισθητικές ενδείξεις στο περιβάλλον σας, σας υπενθυμίζει τυφλά σημεία και μετατρέπει τις ακατάστατες σημειώσεις της συνεδρίας σας σε μια οργανωμένη αναφορά. Η αξία προέρχεται από την παρατήρηση και τη διαίσθησή σας. Το AI εστιάζει και πολλαπλασιάζει αυτήν την τιμή. Γράψτε συνθήκες, διαφοροποιήστε τους άξονες, καταγράψτε τα ευρήματα με το βήμα παραγωγής ξανά, πραγματοποιήστε δοκιμές ασφαλείας μόνο εντός εξουσιοδότησης.
Εργασία εφαρμογής
Επιλέξτε ένα χαρακτηριστικό από το δικό σας προϊόν. Διαχωρίστε τη συνεδρία των 60 λεπτών σε 3 συνθήκες χρησιμοποιώντας το πρότυπο «γεννήτρια συνθηκών δοκιμής» με AI. Κάντε τη συνεδρία (χωρίς AI, εξερεύνηση με το χέρι), κρατήστε ακατέργαστες σημειώσεις. Όταν τελειώσετε, οργανώστε τις σημειώσεις με το πρότυπο "Σύνοψη σημειώσεων περιόδου σύνδεσης". Αποτέλεσμα: τουλάχιστον 5 ανωμαλίες, βήμα αναγέννησης για καθεμία και εκτίμηση σοβαρότητας. Σημειώστε ποια συνθήκη δοκιμής και διαισθητική ένδειξη οδήγησαν στην πιο πολύτιμη ανωμαλία που βρήκατε.
λίστα ελέγχου
- [ ] Πριν από τη συνεδρία, δημιούργησα συνθήκες δοκιμής με AI και προσδιόρισα την εστίαση.
- [ ] Δοκίμασα τουλάχιστον 4 διαφορετικούς άξονες ανακάλυψης (εισαγωγή, χρονισμός, μορφή, εξουσιοδότηση, διακοπή).
- [ ] Διεξήγαγα τη συνεδρία χειροκίνητα, με τη δική μου περιέργεια. Δεν αντικατέστησα το AI.
- [ ] Κατέγραψα κάθε ανωμαλία με το βήμα αναπαραγωγής και την εκτίμηση της σοβαρότητάς της.
- [ ] Μετέτρεψα τις σημειώσεις μου σε κανονική αναφορά με AI.
- [ ] Έχω επιχειρήσει μόνο ασφάλεια/χειρισμό στο δικό μου προϊόν και με εξουσιοδότηση.