Kasu:
- Võime mõista uuriva testimise inimese uudishimupõhist olemust ja kasutada tehisintellekti partnerina testide hartade ja intuitiivsete vihjete loomiseks
- Võimalus mitmekesistada avastustelgesid, nagu sisend, ajastus, vorming, autoriseerimine ja katkestus, ning salvestada iga anomaalia koos tootmisetapiga uuesti
- Võimalus rakendada tehisintellekti kasutamise limiiti ainult ettevalmistamisel ja kokkuvõttes, samal ajal kui avastamisseanssi juhivad inimesed
Iga kirjutatud testjuhtum kontrollib midagi, millele on juba mõelnud. Kuid kõige ohtlikumad vead peidavad end sageli kohtades, millele keegi pole varem mõelnud. Uurimuslik testimine – testimisviis, mille puhul testija õpib, kujundab ja käitab toodet samaaegselt seda uurides, ilma eelnevalt kirjutatud skriptile tuginemata – sihib täpselt seda lünka. Uuriva testimise käigus mängib ekspert vabalt tootega, küsib "mis siis, kui ma seda teen" ja tabab süsteemi ootamatu käitumise. See on seda tüüpi testimine, mis tugineb kõige enam inimese intuitsioonile ja uudishimule – ja just seepärast ei ole tehisintellekti (AI) roll siin mitte "asendada", vaid võimendada uudishimu, tekitada pimealasid ja genereerida ideid.
Selles üksuses saate teada, kuidas kasutada AI-d uurimusliku testimise partnerina: alates testkaartide printimisest, heuristika esilekutsumisest ja lõpetades seansijärgsete märkmete kokkuvõtte tegemisega.
Miks on uurimuslik katsetamine ikkagi inimese töö?
Skriptitud testimine – test, mille sammud on ette kirjutatud ja sõna-sõnalt korratud – kinnitab teadaolevat; Uurimuslik katsetamine otsib tundmatut. Uurimusliku testimise väärtus tuleneb hetkest, kui testija näeb toodet ja tajub, et "siin on midagi imelikku". Tehisintellekt ei näe toodet nii, nagu sina seda näed, ei suuda tajuda, mis tegelikku kasutajat häiriks, teda ei saa häirida sõnadega "see nupp on vales kohas". Kuid tehisintellekt on väga võimas abivahend kolmel viisil: (1) testiideede süstemaatiliste loendite koostamine, (2) unustatud testitelgede meeldetuletamine, (3) hajutatud avastusmärkmete korrastatud aruande muutmine.
Nõuanne: paluge tehisintellektilt enne avastusseansi alustamist "testidee soojendus"; Ärge jätke ekraani seansi ajal AI-le. AI on abiks enne ja pärast seanssi; Seansi ise juhib teie uudishimu.
Heuristika ja AI
Uurivad testijad kasutavad heuristikat, mis on lühikesed meeldetuletused, mis annavad veajahis suuna. AI võib teile neid meelde tuletada, kohandades neid teie kontekstiga. Paar klassikat:
- CRUD: proovige iga andmete jaoks voogu Loo, loe, värskenda, kustuta; kedagi katkestama.
- Kuldvillak (little/full/lot): sisestage väljale väga vähe, täis ja palju andmeid (0 tähemärki, 1 märk, 10 000 tähemärki).
- CRUD + ajastamine: redigeerige sama kirjet korraga kahel vahekaardil, seejärel salvestage mõlemad.
- Katkestamine: värskendage lehte toimingu ajal, katkestage võrguühendus, vajutage tagasilükkeklahvi.
- Vastupidine järjekord: tehke toimingud vastupidises järjekorras (makske esmalt, seejärel lisage ostukorvi).
Kui kästate tehisintellektil „soovitada konkreetseid katseid, rakendades sellel ekraanil neid intuitiivseid näpunäiteid”, saate välja jaoks valmis kontroll-loendi.
Testitingimuse (harta) kirjutamine
Uurimuslik katsetamine ei tähenda ekslemist; See keskendub testi hartale (lühike direktiiv, mis määratleb, mida uurimisseansil uuritakse ja mis eesmärgil). Hea harta järgib järgmist mustrit: „Uurige [sihtdomeen], kasutades [tööriistu/andmeid], et leida [milline teave/risk].” AI koostab need tingimused kiiresti.
Skriptitud testimise tasakaalustamine uurimusliku testimisega
Hea testimisstrateegia kasutab skriptitud (automaatse, korratava) testimise ja uurimusliku testimise kombinatsiooni. Skriptitud testid kontrollivad odavalt, et teadaolevad käitumised pole rikutud, versioon versioonist; Uurimuslik testimine seevastu otsib uusi riske, mida need skriptid pole kunagi arvestanud. Need kaks ei ole konkurendid, vaid täiendavad. Levinud viga on arvata, et "automaatikame kõik, et poleks vaja avastamist"; Kui automatiseerimine kontrollib ainult seda, mida te juba teate, ei leia see kunagi seda, mida te ei tea. Teine viga on vastupidine: iga väljalaske puhul toetumine käsitsi leidmisele ilma automatiseerimist seadistamata – see toob kaasa samad põhivead, mis hiilivad ikka ja jälle sisse.
Tehisintellekt aitab seda tasakaalu luua: saate muuta oma avastusseansil leitud anomaalia püsivaks skriptitud regressioonitestiks, andes selle AI-le. Seega ei saa kord avastamisel avastatud viga enam kunagi avastamata tagasi tulla. Discovery hoolitseb selle eest, et "leida uus risk", automatiseerimine hoolitseb selle eest, et "ära lase leitust lahti"; AI kiirendab silda nende kahe vahel.
Näpunäide. Eraldage iga avastusseansi väljund kahte gruppi: "vead, mida tuleb kohe parandada" ja "stsenaariumid, mis muutuvad püsivaks automatiseerimiseks". Teine ämber kannab avastuse pikaajalise väärtuse teie regressioonipaketti.
Nõrk viip / Tugev viip
Nõrk: "Mida peaksin sellel ekraanil testima?"
Tugev: "Profiilifoto üleslaadimise funktsiooni jaoks jagage 90-minutiline uurimuslik testimise seanss kolmeks katsetingimuseks. Iga tingimuse jaoks: andke sihtmärk, intuitiivsed vihjed, mida kasutada (faili suurus/vorming/kuldlukud/kärpimine), 5 konkreetset toimingut, mida proovida, ja riskisignaalid, millele tähelepanu pöörata (aeglustumine, rikutud faililaiend, eriti suure faililaiendi riskid, turberiskid). kaitseks."
Võimas viip; annab kestuse, struktuuri, vihjeid ja riskifookuse. Tulemuseks on teekaart, mida hoiate kogu seansi jooksul käepärast.
Uurimistelgede tabel
telg
küsimus esitada
näidisessee
Sisestuspiirangud
Mida teeb väli äärmuslike väärtuste juures?
10 000 tähemärgist koosnev nimi
ajastus
Mis juhtub samaaegsel/katkestatud töötlemisel?
Salvestage sama kirje kahele vahelehele
Vorming
Kuidas ootamatu vorminguga toime tulla?
Emotikonid, paremalt vasakule tekst, HTML
asutus
Kas volitamata kasutaja pääseb juurde?
Muutke URL-i käsitsi
Olek
Kas kehtetu oleku üleminek on võimalik?
Proovige maksta tühistatud tellimuse eest
mahaarvamine
Kas andmed on võrgu/seansi katkestamisel järjepidevad?
Katkesta võrk salvestamise ajal
Neli kopeeritavat malli
1) Testimistingimuste generaator:
Teie roll: vanemuurimuslik testija. Jagage [kestus]-minutiline uurimisseanss 3–4 funktsiooni:[funktsioon] testimistingimuseks. Iga tingimus: eesmärk, intuitiivsed vihjed kasutamiseks, 5 konkreetset tegevust, mida proovida, riskisignaalid, mida jälgida. Tingimuste muster: "Uurige [domeen] rakendusega [tööriist/andmed], et leida [risk/teave]."
2) Intuitiivne vihjeadapter:
Tõlgi need intuitiivsed vihjed konkreetseteks eksperimentideks järgmisel ekraanil: CRUD, kuldkindel (vähem/täis/rohkem), katkestus, vastupidine järjestus, möödaviigu autoriseerimine. Ekraan: [ekraani/voo kirjeldus]. Kirjutage iga vihje jaoks 2 ekraanispetsiifilist katset.
3) Pimeala meeldetuletus:
Testin järgmist funktsiooni: [funktsioon]. Loetlege 10 juhtumit, mille puhul kogenud testijad KÕIGE seda tüüpi funktsioonist puudust tunnevad. Kaasake juurdepääsetavuse, lokaliseerimise (keel/kuupäev/valuuta), samaaegsuse, turvalisuse ja jõudluse telgi.
4) Seansi märkmete kokkuvõte:
Allpool on toored märkmed minu avastusseansist. Korraldage need sellesse struktuuri: - leitud kõrvalekalded (hinnangulise raskusastmega) - need, millel on teadaolev paljunemisetapp - need, mis vajavad täiendavat uurimist - Soovitus järgmiseks seansiks Toormärkmed: [kleepige märkmed]
kolm minikarpi
Juhtum 1 – pimeala meeldetuletus tegevuses. Ekspert katsetas otsingufunktsiooni mitmekeelses rakenduses. Pärast tehisintellekti meeldetuletust "ärge unustage lokaliseerimistelge", proovis ta Türgi-spetsiifilist "i / I" tähe teisendust. Otsing "Istanbul" ei andnud tulemusi; Tuvastati väiketähtede teisendamise viga. AI telg meenutas, ekspert proovis ja leidis.
Juhtum 2 – harta fookus. Uus testija veetis 2 tundi makseekraanil "surfates", kuid tegi ainult 2 väikest märget, kuna see oli struktureerimata. Pärast seansi kavandamist, kus tehisintellekt oli jagatud kolmeks katsetingimuseks, registreeris see samal perioodil 11 kõrvalekallet; kaks neist olid tõsised. Sama aeg oli tänu struktuurile 5 korda efektiivsem.
Juhtum 3 – kaitsva faili üleslaadimise testimine. Meeskond proovis oma toodetes profiilifoto üleslaadimisel YZ soovitatud vale laiendit/liiga suurt faili. Leiti, et 50 MB fail jooksis serveris 40 sekundiks kokku ning lisati suurusepiirangu ja ajalõpu. Testimine viidi läbi ainult tema enda toodetega kaitseotstarbel.
Levinud vead
- AI asendamine seansiga. Avastuse väärtus on teie vaatluses ja intuitsioonis; AI aitab valmistumisel ja taastumisel.
- Sirvige ilma reservatsioonita. Veeta tunde keskendumata ja vähe leida. Katsetingimus annab fookuse.
- Ei kogu märkmeid. Kui te ei salvesta avastuses leitud anomaaliat tootmisetapiga uuesti, läheb see leid kaotsi.
- Ühele teljele kinni jäämine. Alati sisendi piiride testimine; Autoriteedist, ajakavast, lokaliseerimistelgedest möödahiilimine.
- Volitamata turvatestide läbiviimine. Proovige faili/URL-i manipuleerida ainult oma tootega ja loal.
Kokkuvõttes
Uurimuslik testimine on seda tüüpi testimine, mis tugineb kõige enam inimese uudishimule, kirjutamata otsimisele. AI ei asenda teid siin; See kirjeldab katsetingimusi, kohandab intuitiivseid vihjeid teie kontekstiga, tuletab teile meelde pimealasid ja muudab teie segased seansimärkmed organiseeritud raportiks. Väärtus tuleneb teie tähelepanekust ja intuitsioonist; AI keskendub ja korrutab selle väärtuse. Kirjutage tingimused, muutke telgi, salvestage leiud koos tootmisetapiga uuesti, tehke turvateste ainult volituse piires.
Rakenduse ülesanne
Valige oma toote hulgast funktsioon. Jagage 60-minutiline seanss kolmeks tingimuseks, kasutades tehisintellektiga testitingimuste generaatori malli. Tehke seanss (ilma tehisintellektita, uurige käsitsi), tehke tooreid märkmeid. Kui olete lõpetanud, korraldage märkmed malliga "seansi märkmete kokkuvõte". Tulemus: vähemalt 5 anomaaliat, iga regeneratsioonietapp ja raskusastme hinnang. Pange tähele, milline katsetingimus ja intuitiivne vihje põhjustasid teie leitud kõige väärtuslikuma anomaalia.
kontrollnimekiri
- [ ] Enne seanssi lõin AI-ga katsetingimused ja määrasin fookuse.
- [ ] Proovisin vähemalt 4 erinevat avastamistelge (sisend, ajastus, vorming, autoriseerimine, katkestus).
- [ ] Viisin seansi läbi käsitsi, oma uudishimuga; Ma ei asendanud AI-d.
- [ ] Salvestasin iga anomaalia koos selle reprodutseerimisetapi ja raskusastme hinnanguga.
- [ ] Muutsin oma märkmed tehisintellektiga tavaliseks aruandeks.
- [ ] Olen proovinud turvalisust/manipuleerimist ainult oma tootega ja volitusega.