Dobici:
- Sposobnost razumijevanja prirode istraživačkog testiranja zasnovane na ljudskoj radoznalosti i korištenja umjetne inteligencije kao partnera za generiranje testnih povelja i intuitivnih naznaka
- Sposobnost diverzifikacije osa otkrivanja kao što su unos, vrijeme, format, autorizacija i prekid i ponovno snimanje svake anomalije s korakom proizvodnje
- Sposobnost primjene ograničenja korištenja AI samo u pripremi i završetku dok samu sesiju otkrivanja provode ljudi
Svaki napisani test slučaj provjerava nešto o čemu se već razmišljalo. Ali najopasnije greške se često kriju na mjestima na koja se niko prije nije sjetio. Istraživačko testiranje — pristup testiranju u kojem tester istovremeno uči, dizajnira i pokreće proizvod istražujući ga, bez oslanjanja na unaprijed napisanu skriptu — cilja upravo na ovu prazninu. U istraživačkom testiranju, stručnjak se slobodno igra s proizvodom, pita „šta ako uradim ovo“ i hvata neočekivano ponašanje sistema. Ovo je tip testiranja koji se najviše oslanja na ljudsku intuiciju i radoznalost - i upravo zato uloga umjetne inteligencije (AI) ovdje nije da "zamijeni", već da pojača radoznalost, izazove slijepe tačke i generiše ideje.
U ovoj jedinici naučit ćete kako koristiti AI kao istraživačkog partnera za testiranje: od štampanja testnih povelja, evociranja heuristike, do rezimiranja bilješki nakon sesije.
Zašto je istraživačko testiranje još uvijek ljudski posao?
Skriptno testiranje — test sa koracima napisanim unapred i ponovljenim doslovno — potvrđuje ono što je poznato; Eksploratorno testiranje traži nepoznato. Vrijednost istraživačkog testiranja dolazi od trenutka kada tester vidi proizvod i osjeti "ovdje je nešto čudno". AI ne može vidjeti proizvod na način na koji ga vi vidite, ne može osjetiti šta bi smetalo stvarnom korisniku, ne može se uznemiravati govoreći "ovo dugme je na pogrešnom mjestu". Ali AI je vrlo moćna pomoć na tri načina: (1) stvaranje sistematskih lista ideja za testiranje, (2) podsjećanje na testne osi koje ste zaboravili, (3) pretvaranje vaših raštrkanih bilješki otkrića u organizirani izvještaj.
Savjet: Zamolite AI za “zagrijavanje ideje za testiranje” prije početka sesije otkrivanja; Ne ostavljajte ekran AI tokom sesije. AI je od pomoći prije i poslije sesije; Sama sesija je vođena vašom radoznalošću.
Heuristika i AI
Istraživački testeri koriste heuristiku, koja su kratki podsjetnici koji daju smjer u potrazi za greškama. AI vas može podsjetiti na njih prilagođavajući ih vašem kontekstu. Nekoliko klasika:
- CRUD: Isprobajte tok Kreiraj, Čitaj, Ažuriraj, Izbriši za svaki podatak; prekinuti nekoga.
- Zlatokosa (malo/puno/puno): Unesite vrlo malo, puno i puno podataka u polje (0 znakova, 1 znak, 10.000 znakova).
- CRUD + zakazivanje: Uredite isti zapis u dvije kartice odjednom, a zatim spremite oba.
- Prekid: Osvježite stranicu usred radnje, isključite mrežu, pritisnite backspace.
- Obrnuti redosled: Uradite korake obrnutim redosledom (prvo platite, a zatim dodajte u korpu).
Kada kažete AI da „predloži konkretna ispitivanja primjenom ovih intuitivnih znakova za taj ekran“, dobićete kontrolnu listu za teren.
Pisanje uslova za testiranje (čarter)
Istraživačko testiranje nije lutanje; Fokusiran je na test povelju (kratka direktiva koja definira šta će sesija istraživanja istraživati i u koju svrhu). Dobra povelja slijedi ovaj obrazac: “Istražite [ciljnu domenu], koristeći [alatke/podatke], da biste otkrili [koje informacije/rizik].” AI brzo sastavlja ove uslove.
Balansiranje skriptiranog testiranja sa istraživačkim testiranjem
Zdrava strategija testiranja koristi kombinaciju skriptiranog (automatiziranog, ponovljivog) testiranja i istraživačkog testiranja. Skriptirani testovi jeftino potvrđuju da poznata ponašanja nisu pokvarena, verzija za verzijom; Eksploratorno testiranje, s druge strane, traži nove rizike koje ove skripte nikada nisu uzele u obzir. Njih dvoje nisu konkurenti, već komplementarni. Uobičajena greška je razmišljanje “hajde da sve automatizujemo tako da nema potrebe za otkrivanjem”; dok automatizacija provjerava samo ono što već znate, nikada ne može pronaći ono što ne znate. Druga greška je suprotna: oslanjanje na ručno otkrivanje sa svakim izdanjem bez postavljanja bilo kakve automatizacije — to dovodi do istih osnovnih grešaka koje se uvlače iznova i iznova.
AI pomaže u uspostavljanju ove ravnoteže: anomaliju koju pronađete u sesiji otkrivanja možete pretvoriti u trajni skriptni regresijski test tako što ćete je dati AI. Dakle, greška jednom otkrivena u otkrivanju nikada se više ne može vratiti neotkrivena. Discovery se brine za „pronađi novi rizik“, automatizacija se brine za „ne puštaj pronađeno“; AI ubrzava most između njih dvoje.
Savjet: Odvojite izlaz svake sesije otkrivanja u dva segmenta: “greške koje treba odmah popraviti” i “scenarije za pretvaranje u trajnu automatizaciju”. Druga kantica nosi dugoročnu vrijednost otkrića u vaš paket regresije.
Slaba prompt / Jaka prompt
Slabo: "Šta da testiram na ovom ekranu?"
Snažno: "Za funkciju 'otpremanja fotografije profila', podijelite 90-minutnu sesiju istraživačkog testiranja na 3 uvjeta testiranja. Za svaki uslov: dajte cilju, intuitivne naznake za korištenje (veličina/format/zlatokosa/skraćenje), 5 konkretnih radnji koje treba isprobati i signale rizika na koje treba obratiti pažnju (usporavanje zlonamjernog učitavanja slike, sigurnosni rizik od oštećenja datoteke). (prevelika datoteka, pogrešna ekstenzija) odbrambeno."
Snažan prompt; daje trajanje, strukturu, tragove i fokus rizika. Rezultat je mapa puta koju ćete imati pri ruci tokom cijele sesije.
Tabela osi istraživanja
osovina
pitanje za postaviti
ogledni esej
Ograničenja unosa
Šta polje radi pri ekstremnim vrijednostima?
Ime od 10.000 znakova
tajming
Šta se dešava u istovremenoj/prekinutoj obradi?
Sačuvajte isti zapis u dvije kartice
Format
Kako se nositi s neočekivanim formatom?
Emoji, tekst s desna na lijevo, HTML
autoritet
Može li neovlašteni korisnik pristupiti?
Promijenite URL ručno
Status
Da li je moguća nevažeća tranzicija stanja?
Pokušajte da platite otkazanu narudžbu
odbitak
Da li su podaci konzistentni kada je mreža/sesija prekinuta?
Prekinite mrežu tokom snimanja
Četiri šablona za kopiranje
1) Test uvjet generatora:
Vaša uloga: viši istraživački ispitivač. Podijelite [trajanje] minutnu istraživačku sesiju na 3-4 uslova testiranja za funkciju:[feature]. Svaki uslov: cilj, intuitivni tragovi za korištenje, 5 konkretnih radnji koje treba isprobati, signali rizika za promatranje. Obrazac uslova: "Istražite [domen] pomoću [alata/podataka] za [rizik/informacije]."
2) Intuitivni cue adapter:
Prevedite ove intuitivne naznake u konkretne eksperimente za sledeći ekran: CRUD, zlatokosa (manje/puna/više), prekid, obrnuti redosled, autorizacija zaobilaženja. Ekran: [opis ekrana/toka]. Napišite 2 eksperimenta specifična za ekran za svaki trag.
3) Podsjetnik za mrtvu tačku:
Testiram sljedeću funkciju: [funkcija]. Navedite 10 slučajeva u kojima iskusnim testerima NAJVIŠE nedostaje ova vrsta funkcije. Uključuje dostupnost, lokalizaciju (jezik/datum/valuta), istovremenost, sigurnost i osi performansi.
4) Sažetak bilješke sa sesije:
Ispod su sirove bilješke sa moje sesije otkrivanja. Organizirajte ih u ovu strukturu: - Pronađene anomalije (sa procijenjenom ozbiljnošću) - One s poznatim korakom reprodukcije - One koje zahtijevaju daljnje istraživanje - Prijedlog za sljedeću sesiju Neobrađene napomene: [zalijepi bilješke]
tri mini kofera
Slučaj 1 — Podsjetnik mrtvog ugla u akciji. Stručnjak je testirao funkciju pretraživanja u višejezičnoj aplikaciji. Na podsjetnik AI-a da "ne zaboravi osovinu lokalizacije", pokušao je pretvoriti slova "i/I" specifičnu za turski jezik. Traženje "Istanbul" nije dalo rezultata; Otkrivena je greška konverzije malim slovima. AI axis podsjetio, stručnjak je pokušao i našao.
Slučaj 2 — Fokus povelje. Novi tester je proveo 2 sata "surfajući" kroz ekran za plaćanje, ali je napravio samo 2 male bilješke jer je bio nestrukturiran. Nakon planiranja sesije sa AI podijeljenom u 3 testna stanja, zabilježeno je 11 anomalija u istom periodu; dvojica su bila ozbiljna. Isto vrijeme je bilo 5 puta efikasnije zahvaljujući strukturi.
Slučaj 3 — Odbrambeno testiranje otpremanja datoteka. Tim je isprobao "pogrešnu ekstenziju/preveliku datoteku" koju je predložio YZ prilikom postavljanja fotografije profila, unutar svojih proizvoda. Otkrili smo da je datoteka od 50 MB srušila server na 40 sekundi i dodala ograničenje veličine i vremensko ograničenje. Testiranje je rađeno samo na vlastitim proizvodima, u obrambene svrhe.
Uobičajene greške
- Zamjena AI sa sesijom. Vrijednost otkrića je u vašem zapažanju i intuiciji; AI pomaže u pripremi i oporavku.
- Pretražujte bez rezervacije. Provodite sate bez fokusa i nalazite malo. Uslov testiranja daje fokus.
- Ne skupljam beleške. Ako ne sačuvate anomaliju pronađenu u otkriću sa korakom proizvodnje ponovo, taj nalaz će biti izgubljen.
- Zaglavljeni na jednoj osi. Uvijek testirati granice unosa; Zaobilaženje osi ovlaštenja, raspoređivanja, lokalizacije.
- Provođenje neovlaštenih sigurnosnih testova. Pokušaj manipulaciju datotekama/URL-om samo na svom proizvodu i uz dopuštenje.
Ukratko
Istraživačko testiranje je vrsta testiranja koja se najviše oslanja na ljudsku radoznalost, tražeći nenapisano. AI vas ovdje neće zamijeniti; Ocrtava uslove testiranja, prilagođava intuitivne naznake vašem kontekstu, podseća vas na slepe tačke i pretvara vaše neuredne beleške sesije u organizovan izveštaj. Vrijednost dolazi iz vašeg zapažanja i intuicije; AI fokusira i umnožava ovu vrijednost. Napišite uvjete, mijenjajte ose, ponovo zabilježite nalaze u koraku proizvodnje, izvršite sigurnosne testove samo u okviru autorizacije.
Zadatak aplikacije
Odaberite funkciju iz vlastitog proizvoda. Podijelite 60-minutnu sesiju na 3 stanja pomoću šablona „generator uslova testiranja“ sa AI. Uradite sesiju (bez AI, istražujući ručno), vodite neobrađene bilješke. Kada završite, organizirajte bilješke pomoću predloška „sažimač bilješki o sesiji“. Rezultat: najmanje 5 anomalija, korak regeneracije za svaku i procjena ozbiljnosti. Zabilježite koji uvjet testiranja i intuitivni trag su rezultirali najvrednijom anomalijom koju ste pronašli.
kontrolna lista
- [ ] Prije sesije, kreirao sam uslove testiranja sa AI i odredio fokus.
- [ ] Probao sam najmanje 4 različite ose otkrivanja (unos, tajming, format, autorizacija, prekid).
- [ ] Sesiju sam vodio ručno, sa svojom radoznalošću; Nisam zamijenio AI.
- [ ] Zabilježio sam svaku anomaliju s njenim korakom reprodukcije i procjenom ozbiljnosti.
- [ ] Pretvorio sam svoje bilješke u običan izvještaj sa AI.
- [ ] Pokušao sam samo sigurnost/manipulaciju na svom proizvodu i uz ovlaštenje.