Unitate 3 / 11

Testare exploratorie și generare de idei de testare: vânătoare creativă de erori cu AI

Câștiguri:

  • Abilitatea de a înțelege natura bazată pe curiozitatea umană a testării exploratorii și de a utiliza inteligența artificială ca partener pentru a genera documente de testare și indicii intuitive
  • Abilitatea de a diversifica axele de descoperire, cum ar fi intrare, sincronizare, format, autorizare și întrerupere și de a înregistra din nou fiecare anomalie cu pasul de producție
  • Abilitatea de a aplica limita utilizării AI numai în pregătire și încheiere, în timp ce sesiunea de descoperire în sine este condusă de oameni

Fiecare caz de testare scris verifică ceva la care sa gândit deja. Dar cele mai periculoase greșeli se ascund adesea în locuri la care nimeni nu s-a gândit până acum. Testarea exploratorie – o abordare de testare în care testatorul învață, proiectează și rulează simultan produsul prin explorarea acestuia, fără a se baza pe un script pre-scris – vizează exact acest decalaj. În testarea exploratorie, expertul se joacă liber cu produsul, întreabă „ce-ar fi dacă fac asta” și surprinde comportamentul neașteptat al sistemului. Acesta este tipul de testare care se bazează cel mai mult pe intuiția și curiozitatea umană – și tocmai de aceea rolul inteligenței artificiale (AI) aici nu este de a „înlocui”, ci de a amplifica curiozitatea, de a evoca punctele moarte și de a genera idei.

În această unitate veți învăța cum să utilizați inteligența artificială ca partener de testare exploratorie: de la tipărirea documentelor de testare, evocarea euristicii până la rezumarea notelor de după sesiune.

De ce testarea exploratorie este încă lucru uman?

Testarea scriptată — un test cu pași scriși în prealabil și repeți textual — confirmă ceea ce se știe; Testele exploratorii caută necunoscutul. Valoarea testării exploratorii vine din momentul în care testerul vede produsul și simte că „e ceva ciudat aici”. AI nu poate vedea produsul așa cum îl vedeți dvs., nu poate simți ce l-ar deranja pe utilizatorul real, nu poate fi deranjat spunând „acest buton este în locul greșit”. Dar AI este un ajutor foarte puternic în trei moduri: (1) producerea de liste sistematice de idei de testare, (2) amintindu-vă de axele de testare pe care le-ați uitat, (3) transformarea notelor de descoperire împrăștiate într-un raport organizat.

Sfat: cereți AI pentru o „încălzire a ideii de testare” înainte de a începe sesiunea de descoperire; Nu lăsați ecranul pe seama AI în timpul sesiunii. AI este de ajutor înainte și după sesiune; Sesiunea în sine este condusă de curiozitatea ta.

Euristică și IA

Testerii exploratori folosesc euristici, care sunt scurte mementouri care oferă direcție în vânătoarea de erori. AI vă poate aminti de acestea adaptându-le la contextul dvs. Câteva clasici:

  • CRUD: Încercați fluxul Creare, Citire, Actualizare, Ștergere pentru fiecare dată; întrerupe pe cineva.
  • Goldilocks (puțin/plin/lot): Introduceți foarte puține, complete și multe date într-un câmp (0 caractere, 1 caracter, 10.000 de caractere).
  • CRUD + programare: editați aceeași înregistrare în două file simultan, apoi salvați ambele.
  • Întrerupere: reîmprospătați pagina la mijlocul acțiunii, deconectați rețeaua, apăsați backspace.
  • Ordine inversă: faceți pașii în ordine inversă (plătiți mai întâi, apoi adăugați în coș).

Când îi spui AI „să sugereze încercări concrete prin aplicarea acestor indicii intuitive pentru acel ecran”, obții o listă de verificare pregătită pe teren.

Scrierea unei condiții de testare (charter)

Testarea exploratorie nu este despre rătăcire; Este axat pe carta de testare (o directivă scurtă care definește ce va explora o sesiune de explorare și în ce scop). O carte bună urmează acest model: „Explorați [domeniul țintă], folosind [instrumente/date], pentru a descoperi [ce informații/risc]”. AI redactează rapid acești termeni.

Echilibrarea testării scriptate cu testarea exploratorie

O strategie de testare solidă utilizează o combinație de testare scriptată (automatizată, repetabilă) și testare exploratorie. Testele scriptate verifică ieftin că comportamentele cunoscute nu sunt sparte, versiune după versiune; Testele exploratorii, pe de altă parte, caută noi riscuri pe care aceste scripturi nu le-au luat niciodată în considerare. Cei doi nu sunt concurenți, ci complemente. O greșeală comună este să ne gândim „să automatizăm totul, astfel încât să nu fie nevoie de descoperire”; în timp ce automatizarea verifică doar ceea ce știi deja, nu poate găsi niciodată ceea ce nu știi. O altă greșeală este opusul: te bazezi pe descoperirea manuală cu fiecare lansare fără a configura nicio automatizare - acest lucru duce la aceleași erori de bază care apar din nou și din nou.

AI ajută la stabilirea acestui echilibru: poți transforma o anomalie pe care o găsești în sesiunea ta de descoperire într-un test de regresie scriptat permanent, dându-l AI. Astfel, eroarea odată descoperită în descoperire nu poate reveni niciodată nedetectată. Discovery se ocupă de „găsește noul risc”, automatizarea se ocupă de „nu renunța la găsit”; AI accelerează puntea dintre cele două.

Sfat: Separați rezultatul fiecărei sesiuni de descoperire în două compartimente: „defecțiuni de remediat imediat” și „scenarii de transformat în automatizare permanentă”. A doua găleată conține valoarea pe termen lung a descoperirii în pachetul dvs. de regresie.

Prompt slab / Prompt puternic

Slab: „Ce ar trebui să testez pe acest ecran?”
Puternic: „Pentru o funcție de „încărcare a fotografiilor de profil”, împărțiți sesiunea de testare exploratorie de 90 de minute în 3 condiții de testare. Pentru fiecare condiție: dați țintă, indicii intuitive de utilizat (dimensiune fișier/format/bucături de aur/trunchiere), 5 acțiuni concrete de încercat și semnale de risc de urmărit (încetinire, imagine coruptă, risc de încărcare de fișiere greșite, extinderea de fișiere greșită, mai ales greșită). defensiv.”

prompt puternic; oferă durată, structură, indicii și concentrarea riscului. Rezultatul este o foaie de parcurs pe care o veți păstra la îndemână pe tot parcursul sesiunii.

Tabelul axelor de explorare

axa

întrebare de pus

eseu exemplu

Limite de intrare

Ce face câmpul la valori extreme?

nume de 10.000 de caractere

sincronizare

Ce se întâmplă în procesarea concomitentă/întreruptă?

Salvați aceeași înregistrare în două file

Format

Cum să gestionezi formatul neașteptat?

Emoji, text de la dreapta la stânga, HTML

autoritate

Utilizatorii neautorizați pot accesa?

Schimbați manual adresa URL

Stare

Este posibilă o tranziție de stare nevalidă?

Încercați să plătiți comanda anulată

deducere

Sunt datele consecvente atunci când rețeaua/sesiunea este întreruptă?

Tăiați rețeaua în timpul înregistrării

Patru șabloane copiabile

1) Generator de condiții de testare:

Rolul tău: tester explorator senior. Împărțiți [durată] sesiune de minut exploratorie în 3-4 condiții de testare pentru caracteristica:[funcție]. Fiecare condiție: obiectiv, indicii intuitive de folosit, 5 acțiuni concrete de încercat, semnale de risc de urmărit. Model de condiție: „Explorați [domeniul] cu [instrument/date] pentru [risc/informații]”.

2) Adaptor cue intuitiv:

Traduceți aceste indicii intuitive în experimente concrete pentru următorul ecran: CRUD, bucăți de aur (mai puțin/plin/mai mult), întrerupere, ordine inversă, autorizare de ocolire. Ecran: [descriere ecran/flux]. Scrieți 2 experimente specifice ecranului pentru fiecare indiciu.

3) Memento pentru punctul mort:

Testez următoarea caracteristică: [funcție].Enumerați cele 10 cazuri în care testerii cu experiență dor cel mai mult acest tip de caracteristică. Includeți axe de accesibilitate, localizare (limbă/data/monedă), concurență, securitate și performanță.

4) Rezumatul notei de sesiune:

Mai jos sunt notele brute din sesiunea mea de descoperire. Organizați-le în această structură: - Anomalii găsite (cu severitate estimată) - Cele cu o etapă de reproducere cunoscută - Cele care necesită investigații suplimentare - Sugestie pentru următoarea ședință Note brute: [paste note]

trei mini cutii

Cazul 1 — Memento de punct mort în acțiune. Un expert testa funcția de căutare într-o aplicație multilingvă. La mementoul lui AI să „nu uitați axa de localizare”, el a încercat conversia literelor „i/I” specific turcesc. Căutarea după „Istanbul” nu a dat niciun rezultat; A fost detectată o eroare de conversie cu litere mici. Axa AI a amintit, expertul a încercat și a găsit-o.

Cazul 2 — Focusul cartei. Un nou tester a petrecut 2 ore „surfând” printr-un ecran de plată, dar a făcut doar 2 note mici pentru că era nestructurat. După planificarea unei sesiuni cu IA împărțită în 3 condiții de testare, a înregistrat 11 anomalii în aceeași perioadă; doi dintre ei erau serioși. Același timp a fost de 5 ori mai eficient datorită structurii.

Cazul 3 — Testarea defensivă a încărcării fișierelor. O echipă a încercat „extensia greșită/fișierul prea mare” sugerată de YZ în încărcarea unei fotografii de profil, în cadrul propriilor produse. Am constatat că un fișier de 50 MB a blocat serverul timp de 40 de secunde și a adăugat o limită de dimensiune și un timeout. Testarea s-a făcut doar pe produse proprii, în scop defensiv.

Greșeli comune

  • Înlocuirea AI cu sesiune. Valoarea descoperirii este în observația și intuiția voastră; AI ajută la pregătire și recuperare.
  • Navigați fără rezervare. Petrece ore fără concentrare și găsește puțin. Condiția de testare oferă focus.
  • Nu colectează note. Dacă nu salvați din nou anomalia găsită în descoperire cu etapa de producție, acea constatare se va pierde.
  • A fi blocat pe o axă. Testează întotdeauna limitele de intrare; Ocolirea axelor de autoritate, programare, localizare.
  • Efectuarea de teste de securitate neautorizate. Încercați să manipulați fișierul/URL-ul doar pe propriul dvs. produs și cu permisiunea.

În concluzie

Testarea exploratorie este tipul de testare care se bazează cel mai mult pe curiozitatea umană, căutarea nescrisului. AI nu te va înlocui aici; Subliniază condițiile de testare, adaptează indicii intuitive la contextul dvs., vă amintește de punctele moarte și vă transformă notele dezordonate ale sesiunii într-un raport organizat. Valoarea vine din observația și intuiția ta; AI concentrează și înmulțește această valoare. Scrieți condiții, variați axele, înregistrați din nou constatările cu etapa de producție, efectuați teste de securitate doar în limita autorizației.

Sarcina de aplicare

Alegeți o caracteristică din propriul dvs. produs. Împărțiți sesiunea de 60 de minute în 3 condiții folosind șablonul „generator de condiții de testare” cu AI. Faceți sesiunea (fără AI, explorând manual), păstrați notele brute. Când ați terminat, organizați notele cu șablonul „Rezumat note de sesiune”. Rezultat: minim 5 anomalii, pas de regenerare pentru fiecare și estimare de severitate. Rețineți care stare de testare și indiciu intuitiv au dus la cea mai valoroasă anomalie pe care ați găsit-o.

lista de verificare

  • [ ] Înainte de sesiune, am creat condiții de testare cu AI și am determinat focalizarea.
  • [ ] Am încercat cel puțin 4 axe diferite de descoperire (intrare, sincronizare, format, autorizare, întrerupere).
  • [ ] Am condus sesiunea manual, cu propria mea curiozitate; Nu am înlocuit AI.
  • [ ] Am înregistrat fiecare anomalie cu pasul său de reproducere și estimarea severității.
  • [ ] Mi-am transformat notele într-un raport regulat cu AI.
  • [ ] Am încercat doar securitate/manipulare pe propriul meu produs și cu autorizație.