Κέρδη:
- Να είστε σε θέση να διακρίνετε πού η τεχνητή νοημοσύνη εξοικονομεί πραγματικό χρόνο στη διαδικασία QA και πού οι αποφάσεις ποιότητας, όπως «έτοιμη για δημοσίευση» αφήνονται στους ανθρώπους, ανάλογα με το επίπεδο κινδύνου της εργασίας
- Δυνατότητα αναγνώρισης του κινδύνου ψευδών επιτυχιών και εφαρμογής μιας πειθαρχίας επαλήθευσης που δοκιμάζει κάθε δοκιμή τεχνητής νοημοσύνης παραβιάζοντας σκόπιμα τον κωδικό
- Δυνατότητα προστασίας δεδομένων δοκιμών, προσωπικών δεδομένων και κλειδιών και απόκτηση της συνήθειας να εκτελεί δοκιμές ασφαλείας μόνο εντός εξουσιοδότησης και για αμυντικούς σκοπούς.
Σκεφτείτε μια βραδιά απελευθέρωσης. Έγιναν εκατοντάδες δοκιμές, πήραν όλες το πράσινο φως, η ομάδα ανακουφίστηκε και το λογισμικό κυκλοφόρησε. Το επόμενο πρωί, ο πελάτης ανέφερε ότι η οθόνη πληρωμής είχε κολλήσει. Οι δοκιμές ήταν πράσινες αλλά δεν είδε το σφάλμα. Αυτός είναι ο πιο ύπουλος εφιάλτης του επαγγέλματος της διασφάλισης ποιότητας (QA), δηλαδή η πειθαρχία που διασφαλίζει συστηματικά ότι το λογισμικό είναι της επιθυμητής ποιότητας: το τεστ που ανάβει πράσινο αλλά δεν επιβεβαιώνει τίποτα στην πραγματικότητα. Όταν η τεχνητή νοημοσύνη (AI — λογισμικό που εξάγει μοτίβα από ιστορικά δεδομένα και δημιουργεί κείμενο και κώδικα) εισέρχεται σε αυτό το επάγγελμα, υπάρχει μια τεράστια επιτάχυνση και μια μεγέθυνση ακριβώς αυτού του εφιάλτη. Η αρχική υπόσχεση αυτής της ενότητας είναι ξεκάθαρη: η τεχνητή νοημοσύνη είναι ένας βοηθός δοκιμών, γεννήτρια σχεδίων και πολλαπλασιαστής ιδεών. Είστε ο ελεγκτής που υπογράφει την απόφαση "είναι αυτό το λογισμικό έτοιμο για κυκλοφορία".
Σε αυτή την πρώτη ενότητα θα επικεντρωθούμε στην πειθαρχία, όχι στο εργαλείο. Θα μάθετε πού εξοικονομεί πραγματικό χρόνο η τεχνητή νοημοσύνη στη διαδικασία QA, πού είναι επικίνδυνο, γιατί το παραπλανητικό πράσινο λεγόμενο "false-pass" είναι ο μεγαλύτερος κίνδυνος, πώς να επαληθεύσετε κάθε έξοδο και ποια δεδομένα μπορείτε να δώσετε σε ποιο εργαλείο. Χωρίς να τεθεί αυτό το θεμέλιο, οι επόμενες μονάδες θα παραμείνουν στον αέρα.
Πού είναι χρήσιμο το AI στη διαδικασία δοκιμών;
Ας χωρίσουμε τις εργασίες δοκιμής σε δύο μεγάλες ομάδες. Πρώτη ομάδα: επαναλαμβανόμενες, παραγωγικές, πρόχειρες εργασίες. Σύνταξη μιας δοκιμαστικής περίπτωσης από μια απαίτηση, καταχώριση σημείων διακοπής, σύνταξη ενός σκελετού κώδικα αυτοματισμού για μια οθόνη, μετάφραση μιας περίπλοκης περίπτωσης σφάλματος σε μια τακτοποιημένη αναφορά σφάλματος, συνοψίζοντας εκατοντάδες γραμμές αρχείων καταγραφής, εξαγωγή ενός σχήματος από μια απόκριση API. Σε αυτές τις εργασίες, η τεχνητή νοημοσύνη μειώνει τα λεπτά σε δευτερόλεπτα και δεν κουράζεται.
Δεύτερο σύμπλεγμα: αποφάσεις των οποίων το αποτέλεσμα είναι ποιότητα, εμπιστοσύνη και υπευθυνότητα. Αποφάσεις όπως «μπορεί να κυκλοφορήσει αυτή η έκδοση», «είναι αυτό το σφάλμα κρίσιμο ή μπορεί να αναβληθεί», «είναι επαρκής αυτή η κάλυψη δοκιμής», «απολαμβάνει αυτό το σενάριο πραγματικό κίνδυνο χρήστη» κ.λπ. απαιτούν πλαίσιο, γνώση του προϊόντος και υπευθυνότητα. Εδώ η τεχνητή νοημοσύνη δημιουργεί επιλογές, προσχέδια — αλλά εσείς αποφασίζετε «περάστε/αποτυχία» και «go/no go».
Ας διευκρινίσουμε τη διάκριση με μια φράση: Η τεχνητή νοημοσύνη είναι ισχυρή στο "ποιες καταστάσεις μπορούν να δοκιμαστούν και πώς να γράψετε κώδικα που το δοκιμάζει". Η απόφαση είναι δική σας όταν πρόκειται για την ερώτηση "Λειτουργεί πραγματικά αυτό το λογισμικό και ποιος εγγυάται γι' αυτό;"
Συμβουλή: Πριν παραδώσετε μια εργασία στην τεχνητή νοημοσύνη, ρωτήστε: "Τι θα συμβεί εάν αυτή η έξοδος είναι λάθος και δεν το προσέξω;" Εάν η απάντηση είναι "Θα χάσω λίγα λεπτά", αναθέστε εύκολα. Εάν η απάντηση είναι "ελαττωματικό λογισμικό βγαίνει ζωντανά", αφήστε το AI να παράγει το προσχέδιο και εσείς λάβετε την απόφαση και την επαλήθευση.
False pass: ο νούμερο ένα κίνδυνος AI στο QA
Όταν μια δοκιμή ανάβει με πράσινο χρώμα, μπορεί να σημαίνει δύο πράγματα: είτε το λογισμικό λειτουργεί σωστά ή δεν βλέπει το σφάλμα επειδή η δοκιμή γράφτηκε λανθασμένα. Το δεύτερο ονομάζεται ψευδές πέρασμα - το τεστ λέει "περάσω" αλλά στην πραγματικότητα δεν επιβεβαιώνει τίποτα. Αυτός ο κίνδυνος αυξάνεται σημαντικά σε δοκιμές που παράγονται με τεχνητή νοημοσύνη, επειδή η τεχνητή νοημοσύνη είναι πολύ επιτυχημένη στο να γράφει άπταιστα, ομαλά αλλά κενά τεστ.
Οι τρεις πιο κοινές μορφές ψευδοπερασμάτων είναι: (1) Δοκιμή χωρίς ισχυρισμό — ο κώδικας εκτελείται, δεν περιέχει ισχυρισμούς, πάντα περνάει. (2) Δοκιμή αυτοεπαλήθευσης — η αναμενόμενη τιμή της δοκιμής υπολογίζεται από την έξοδο του υπό δοκιμή κωδικού. Δηλαδή, ό,τι παράγει ο κώδικας, το τεστ δέχεται ως "σωστό". (3) Δοκιμή που επαληθεύει το λάθος πράγμα — ο ισχυρισμός υπάρχει, αλλά ελέγχει κάτι ασήμαντο (π.χ. "η απάντηση δεν είναι μηδενική"), όχι τον πραγματικό επιχειρηματικό κανόνα.
Προσοχή: Ένας πράσινος πίνακας δοκιμών δεν αποτελεί απόδειξη ποιότητας. Στην καλύτερη περίπτωση λέει "τα χειριστήρια που γράψαμε δεν έχουν σπάσει αυτήν τη στιγμή". Μην παρηγορηθείτε βλέποντας ένα «πάσο» στο τεστ που παράγει η τεχνητή νοημοσύνη — το πραγματικό ερώτημα είναι: θα γίνει κόκκινο αυτό το τεστ εάν παραβιάσω εσκεμμένα τον κωδικό; Εάν δεν περιστρέφεται, αυτή η δοκιμή είναι μια διακόσμηση.
Ο χρυσός κανόνας που επαναλαμβάνεται σε αυτήν την ενότητα: δοκιμάστε κάθε δοκιμή AI παραβιάζοντας σκόπιμα τον κώδικα. Εάν η δοκιμή είναι ακόμα πράσινη, αυτή η δοκιμή δεν λειτουργεί. (Θα εμβαθύνουμε αυτήν την ιδέα ως δοκιμή μετάλλαξης στην ενότητα 10.)
Πειθαρχία επαλήθευσης: τρία βήματα
Το AI μιλά με σιγουριά. Αυτό δεν σημαίνει ότι είναι αλήθεια. Αναπτύξτε ένα αντανακλαστικό τριών βημάτων για να το εφαρμόσετε σε κάθε αποτέλεσμα:
- Δέστε το στην απαίτηση. Κάθε δοκιμαστική περίπτωση και ο ισχυρισμός ότι η τεχνητή νοημοσύνη παράγει πρέπει να βασίζεται σε μια πραγματική απαίτηση ή κριτήρια αποδοχής (προϋποθέσεις που πρέπει να πληροί μια εργασία για να θεωρηθεί ότι έχει ολοκληρωθεί). "Ποιον κανόνα επιβεβαιώνει αυτό το σενάριο;" παρακαλώ.
- Δείτε κόκκινο. Εκτελέστε το τεστ που δημιουργήθηκε μία φορά, σπάζοντας τον κώδικα. Εάν δεν γίνει κόκκινο, η δοκιμή είναι άκυρη. Αυτό είναι το αδιαπραγμάτευτο βήμα στις δοκιμές AI.
- Περάστε το μέσα από το φίλτρο περιβάλλοντος. Ταιριάζει η έξοδος με αυτό που γνωρίζετε ότι είναι η συμπεριφορά του προϊόντος, η αρχιτεκτονική, η πραγματική ροή χρηστών; Οι γνώσεις σας στον τομέα είναι το τελικό φίλτρο.
Απόρρητο και ασφάλεια δεδομένων: τι πάει πού;
Τα δεδομένα με τα οποία εργάζεστε στο περιβάλλον δοκιμής είναι συχνά ευαίσθητα: πραγματικές εγγραφές πελατών, αντίγραφα βάσης δεδομένων παραγωγής, κλειδιά API, εσωτερικές διευθύνσεις συστήματος, λειτουργίες που δεν έχουν ακόμη ανακοινωθεί. Κάντε μια απλή ταξινόμηση: Τα ανοιχτά δεδομένα (τεκμηριωμένα, διαθέσιμα στο κοινό) μπορούν να εισέλθουν σε οποιοδήποτε όχημα. Εσωτερικά δεδομένα (θραύσματα πηγαίου κώδικα, εσωτερική τεκμηρίωση) μόνο σε εργαλεία εγκεκριμένα από την εταιρεία. Τα εμπιστευτικά δεδομένα (πραγματικά δεδομένα πελατών, στοιχεία ταυτότητας, στοιχεία ευπάθειας, κλειδιά) εισέρχονται μόνο στα συμβατικά εργαλεία του ιδρύματος, των οποίων τα δεδομένα δεν πηγαίνουν στην εκπαίδευση μοντέλων, κατά προτίμηση καλυμμένα.
Υπάρχει ένα πρόσθετο όριο στο πλαίσιο των δοκιμών ασφαλείας: ό,τι μαθαίνετε σε αυτήν την ενότητα προορίζεται για αμυντικούς σκοπούς — για να ελέγξετε έγκυρα την ασφάλεια του δικού σας προϊόντος. Η χρήση τεχνητής νοημοσύνης για να διεισδύσετε στο σύστημα κάποιου άλλου χωρίς άδεια, να οπλίσετε πραγματικές ευπάθειες ή να δοκιμάσετε ένα σύστημα για το οποίο δεν έχετε καμία εξουσία είναι τόσο ανήθικο όσο και εγκληματικό. Καμία επιθετική δοκιμή δεν θα γίνει χωρίς εξουσιοδότηση (εύρος και άδεια).
Συμβουλή: Χρησιμοποιήστε συνθετικά (τεχνητά παραγόμενα) δεδομένα δοκιμής αντί για πραγματικά δεδομένα πελατών. Ζητώντας από την τεχνητή νοημοσύνη να «δημιουργήσει ρεαλιστικά αλλά εντελώς φανταστικά δεδομένα δοκιμών» διατηρεί τόσο το απόρρητο όσο και διαφοροποιεί τις ακραίες περιπτώσεις.
τρεις μίνι θήκες
Περίπτωση 1 — Εξοικονόμηση χρόνου στο σωστό μέρος. Ο υπεύθυνος δοκιμών μιας ομάδας Ekomerce ξόδεψε 6 ώρες μη αυτόματα δημιουργώντας ένα σενάριο δοκιμής από το έγγραφο απαιτήσεων 30 σελίδων για κάθε κυκλοφορία. Έδωσε το έγγραφο (το μέρος που δεν περιείχε εμπορικά μυστικά) στον YZ και ζήτησε ένα σχέδιο δομημένου σεναρίου. Ο χρόνος μειώθηκε στα 90 λεπτά. Αφιέρωσε τον χρόνο που εξοικονόμησε για να επαληθεύσει μόνος του προσθέτοντας περιπτώσεις αιχμής επιχειρηματικών κανόνων που είχε χάσει το AI. Το AI αφαίρεσε το επαναλαμβανόμενο έργο, αφήνοντας την κρίση στον άνθρωπο.
Υπόθεση 2 — Έπιασε ψεύτικο πέρασμα. Ένας προγραμματιστής έβαλε το AI να γράψει 12 δοκιμές μονάδων για μια συνάρτηση υπολογισμού. ήταν όλα πράσινα. Ο ελεγκτής εφάρμοσε το βήμα "δείτε το κόκκινο": αλλάζοντας σκόπιμα το πρόσθετο πρόσημο μέσα στη συνάρτηση σε πολλαπλασιασμό. Μόνο 3 από τις 12 δοκιμές επέστρεψαν κόκκινο. Οι άλλες 9 δοκιμές δεν παρείχαν πραγματική επιβεβαίωση. Απλώς έλεγε "δεν έκανε λάθος". 9 διακοσμητικά τεστ διαγράφηκαν και αντ' αυτού γράφτηκαν 5 πραγματικές δοκιμές.
Περίπτωση 3 — Επιστροφή από παραβίαση απορρήτου. Ένας ασκούμενος επικόλλησε ένα αρχείο καταγραφής σφαλμάτων που περιείχε πραγματικά email πελατών και τα τελευταία τέσσερα ψηφία της κάρτας από τη βάση δεδομένων παραγωγής σε ένα δημόσιο εργαλείο και είπε "εξηγήστε αυτό το σφάλμα". Ο αρχηγός του QA παρενέβη: επρόκειτο για προσωπικά δεδομένα εκτός ελέγχου και παραβίαση του KVKK (Νόμος για την Προστασία Δεδομένων Προσωπικού Χαρακτήρα). Η ίδια εργασία έγινε σε όχημα εγκεκριμένο από το ίδρυμα, καλύπτοντας προσωπικές περιοχές και αφήνοντας μόνο ένα ίχνος στοίβας.
Τέσσερα πρότυπα με δυνατότητα αντιγραφής
1) Αξιολόγηση εργασιακής καταλληλότητας:
Ο ρόλος σας: ανώτερος ηγέτης QA. Θα σας περιγράψω μια δοκιμαστική εργασία. Πείτε μου (1) εάν αυτή η εργασία είναι εργασία σύνταξης/ανάλυσης που μπορεί να ανατεθεί με ασφάλεια στην τεχνητή νοημοσύνη ή μια ποιοτική απόφαση που πρέπει να λάβει ο άνθρωπος, (2) το πιθανό κόστος της λανθασμένης παραγωγής, (3) η επαλήθευση που πρέπει να κάνω πριν την ανάθεση. Εργασία: [εισαγάγετε την εργασία εδώ]
2) Έλεγχος ψευδοπερασμάτων:
Δείτε το τεστ παρακάτω. Πες μου:- Ποια συμπεριφορά επιβεβαιώνει αυτό το τεστ; (μία φράση)- Πώς μπορώ να σπάσω τον υπό δοκιμή κώδικα, ώστε το τεστ να γίνει ΚΟΚΚΙΝΟ;- Υπάρχει κάποια αδυναμία που θα μπορούσε να κάνει αυτή τη δοκιμασία να περνά πάντα (έλλειπε ο ισχυρισμός, αυτοεπικύρωση, ασήμαντος έλεγχος); Δοκιμή: [επικολλήστε τη δοκιμή εδώ]
3) Έλεγχος κάλυψης δεδομένων δοκιμής:
Το αρχείο καταγραφής/δεδομένα που θα σας δώσω μπορεί να περιέχει προσωπικά ή εμπιστευτικά πεδία (e-mail, όνομα, κάρτα, κλειδί, εσωτερική διεύθυνση). Αρχικά, απαριθμήστε τα πεδία που πρέπει να καλυφθούν. Θα το καλύψω και θα το στείλω ξανά. Μην το αναλύεις όπως είναι.
4) Δημιουργία δεδομένων συνθετικών δοκιμών:
Δημιουργήστε 20 σειρές εντελώς φανταστικών, ρεαλιστικών δεδομένων δοκιμής για [την ακόλουθη δομή πεδίου]. Μην χρησιμοποιείτε δεδομένα πραγματικού προσώπου/οργανισμού. Συμπεριλάβετε επίσης περιπτώσεις ακμών: κενό διάστημα, πολύ μεγάλο κείμενο, οριακές τιμές, μη έγκυρη μορφή.
Αδύναμη προτροπή / Ισχυρή προτροπή
Αδύναμο: "Γράψτε δοκιμές σε αυτόν τον κώδικα."
Ισχυρό: "Υπολογίστε αυτό Γράψτε δοκιμές μονάδας για τη συνάρτηση έκπτωσης. Κριτήρια αποδοχής για τη συνάρτηση: 10% έκπτωση πάνω από 1000 TL, 20% έκπτωση πάνω από 5000 TL. Το αρνητικό ποσό θα πρέπει να προκαλεί σφάλμα. Καθορίστε με μια γραμμή σχολίου ποιον κανόνα επικυρώνετε για κάθε δοκιμή. Δοκιμάστε τις οριακές τιμές (9010,500, 1 -1) Χρησιμοποιήστε πραγματικούς ισχυρισμούς που θα γίνουν κόκκινοι εάν σπάσω τον κωδικό ή δεν γράψω ασήμαντο ισχυρισμό.
Ισχυρή προτροπή. Παρέχει κριτήρια αποδοχής, οριακές τιμές, προσδοκίες επικύρωσης και ρητές οδηγίες κατά της πλαστογράφησης. Το αδύναμο μήνυμα καλεί το AI να γράψει ένα διακοσμητικό τεστ.
Συνήθη λάθη
- Εμπιστοσύνη στο πράσινο. Η σκέψη ότι η επιτυχία του τεστ είναι απόδειξη. Το πραγματικό ερώτημα είναι: γίνεται κόκκινο όταν σπας τον κωδικό;
- Ζητώντας μια δοκιμή χωρίς να αναφέρετε κανένα λόγο. Η τεχνητή νοημοσύνη παράγει γενικά, συχνά άχρηστα τεστ χωρίς να γνωρίζει τι πρέπει να επαληθευτεί.
- Παράβλεψη επαλήθευσης. Λέγοντας «το έγραψε η AI, μάλλον είναι αλήθεια». Η ευθύνη ανήκει στο άτομο που χρησιμοποιεί την έξοδο.
- Επικόλληση πραγματικών/ευαίσθητων δεδομένων στο εργαλείο. Εργασία με δεδομένα παραγωγής, κλειδιά ή προσωπικά δεδομένα.
- Μη εξουσιοδοτημένη δοκιμή ασφαλείας. Απόπειρα επιθετικής δοκιμής χωρίς πεδίο εφαρμογής και άδεια.
- Χρήση τεχνητής νοημοσύνης για την ανάθεση λήψης αποφάσεων. Θέτοντας την ερώτηση "Μπορεί να κυκλοφορήσει αυτή η έκδοση;" στο AI και βάζοντας την απάντηση στην υπογραφή.
Συνοπτικά
Το AI είναι ένας ισχυρός βοηθός στη διαδικασία QA που επιταχύνει την επαναλαμβανόμενη και παραγωγική εργασία. Όμως η ευθύνη για την ποιοτική απόφαση ανήκει στον άνθρωπο. Ο νούμερο ένα κίνδυνος της τεχνητής νοημοσύνης σε αυτό το επάγγελμα είναι το ψευδο-πάσο: πράσινα τεστ που φαίνονται προσεγμένα αλλά δεν επιβεβαιώνουν τίποτα. Δοκιμάστε κάθε δοκιμή AI παραβιάζοντας σκόπιμα τον κώδικα. Αν δεν γίνει κόκκινο, αυτή η δοκιμή είναι μια διακόσμηση. Δέστε το στην απαίτηση, δείτε το κόκκινο, περάστε το από το φίλτρο περιβάλλοντος. Καλύψτε τα εμπιστευτικά δεδομένα, πραγματοποιήστε δοκιμές ασφαλείας μόνο για εξουσιοδοτημένους και αμυντικούς σκοπούς.
Εργασία εφαρμογής
Κάντε 5 δοκιμές μονάδων που δημιουργήθηκαν από AI (ή AI) από το δικό σας έργο. Για καθένα: (1) γράψτε σε μία πρόταση ποια συμπεριφορά επαληθεύει, (2) σπάστε και εκτελέστε σκόπιμα τον υπό δοκιμή κώδικα και σημειώστε πόσα γίνονται κόκκινο, (3) σημειώστε αυτά που δεν γίνονται κόκκινα ως "διακοσμητικά τεστ" και ξαναγράψτε τα με την πραγματική δήλωση. Βάλτε το αποτέλεσμα σε έναν πίνακα: όνομα δοκιμής / κανόνας που επαληθεύτηκε / ήταν σπασμένο όταν ήταν σπασμένο / ενέργεια.
λίστα ελέγχου
- [ ] Πριν παραδώσω το έργο, έκανα την ερώτηση "τι θα χάσω αν πάει στραβά;"
- [ ] Δοκίμασα κάθε δοκιμή AI σπάζοντας τον κωδικό. Αντικατέστησα αυτό που δεν κοκκίνισε με το πραγματικό τεστ.
- [ ] Συνέδεσα τις δοκιμαστικές περιπτώσεις με την πραγματική απαίτηση/κριτήρια αποδοχής.
- [ ] Κάλυψα ευαίσθητα/πραγματικά δεδομένα χωρίς να τα δώσω στο εργαλείο. Χρησιμοποίησα συνθετικά δεδομένα αν ήταν δυνατόν.
- [ ] Σκέφτηκα τη δοκιμή ασφαλείας μόνο εντός εξουσίας και για αμυντικούς σκοπούς.
- [ ] Άφησα την απόφαση για το «αν θα κυκλοφορήσει η έκδοση» σε μένα, όχι στην τεχνητή νοημοσύνη.