Pelnas:
- Gebėjimas suprasti žmogaus smalsumu pagrįstą tiriamųjų bandymų pobūdį ir naudoti dirbtinį intelektą kaip partnerį kuriant testų chartijas ir intuityvius patarimus.
- Galimybė įvairinti aptikimo ašis, tokias kaip įvestis, laikas, formatas, autorizacija ir pertraukimas, ir vėl įrašyti kiekvieną anomaliją gamybos etape
- Galimybė taikyti AI naudojimo ribą tik ruošiantis ir baigiant, kol patį atradimo seansą vykdo žmonės
Kiekvienas parašytas bandomasis atvejis patikrina tai, apie ką jau buvo pagalvota. Tačiau pavojingiausios klaidos dažnai slepiasi vietose, apie kurias anksčiau niekas negalvojo. Tiriamasis testavimas – testavimo metodas, kai bandytojas vienu metu mokosi, kuria ir paleidžia gaminį jį tyrinėdamas, nepasikliaudamas iš anksto parašytu scenarijumi – taiko būtent šią spragą. Atliekant tiriamąjį testavimą, ekspertas laisvai žaidžia su produktu, klausia „o jei aš tai padarysiu“ ir užfiksuoja netikėtą sistemos elgesį. Tai yra testavimo tipas, kuris labiausiai priklauso nuo žmogaus intuicijos ir smalsumo – būtent todėl dirbtinio intelekto (DI) vaidmuo čia yra ne „pakeisti“, o sustiprinti smalsumą, sukelti akląsias vietas ir generuoti idėjas.
Šiame skyriuje sužinosite, kaip dirbtinį intelektą naudoti kaip tiriamąjį testavimo partnerį: nuo bandymų chartijų spausdinimo, euristikos sužadinimo iki pastabų po seanso apibendrinimo.
Kodėl tiriamieji bandymai vis dar yra žmogaus darbas?
Testavimas pagal scenarijų – testas, kurio žingsniai yra parašyti iš anksto ir kartojami pažodžiui – patvirtina tai, kas žinoma; Tiriamieji bandymai ieško nežinomybės. Tiriamieji bandymai yra naudingi nuo to momento, kai bandytojas pamato gaminį ir pajunta, kad „čia yra kažkas keisto“. AI negali matyti produkto taip, kaip jį matote jūs, jis negali nujausti, kas trukdytų tikram vartotojui, jo negalima trikdyti sakydamas „šis mygtukas yra netinkamoje vietoje“. Tačiau dirbtinis intelektas yra labai galinga pagalba trimis būdais: (1) sudaryti sistemingus bandymų idėjų sąrašus, (2) primindama jums pamirštas bandymo ašis, (3) paverčiant išsklaidytus atradimų užrašus į organizuotą ataskaitą.
Patarimas: prieš pradėdami atradimo sesiją paprašykite AI „apšildyti idėją“. Seanso metu nepalikite ekrano dirbtiniam intelektui. AI yra naudingas prieš ir po seanso; Pats seansas yra skatinamas jūsų smalsumo.
Euristika ir AI
Tiriamieji bandytojai naudoja euristiką, kuri yra trumpi priminimai, nurodantys klaidų medžioklę. AI gali jums tai priminti, pritaikydamas juos jūsų kontekstui. Keletas klasikų:
- CRUD: išbandykite kiekvieno duomenų kūrimo, skaitymo, atnaujinimo, ištrynimo srautą; ką nors pertraukti.
- Auksaplaukė (mažai/pilna/daug): į lauką įveskite labai mažai, pilną ir daug duomenų (0 simbolių, 1 simbolis, 10 000 simbolių).
- CRUD + planavimas: redaguokite tą patį įrašą dviejuose skirtukuose vienu metu, tada išsaugokite abu.
- Pertraukimas: atnaujinkite puslapį įpusėjus veiksmui, atjunkite tinklą, paspauskite grįžimo klavišą.
- Atvirkštinė tvarka: atlikite veiksmus atvirkštine tvarka (pirmiausia mokėkite, tada įdėkite į krepšelį).
Kai liepiate AI „pasiūlyti konkrečius bandymus, taikydami šiuos intuityvius nurodymus tam ekranui“, gausite lauke paruoštą kontrolinį sąrašą.
Testo sąlygos (chartijos) rašymas
Tiriamasis bandymas nėra susijęs su klajojimu; Jame pagrindinis dėmesys skiriamas bandymo chartijai (trumpa direktyva, apibrėžianti, kas ir kokiu tikslu bus tiriama per žvalgymo sesiją). Geroje chartijoje laikomasi šio modelio: „Naršykite [tikslinį domeną] naudodami [įrankius/duomenis], kad sužinotumėte [kokią informaciją / riziką]“. AI greitai parengia šias sąlygas.
Scenarijų testavimo ir tiriamojo testavimo pusiausvyra
Garso testavimo strategija naudoja scenarijų (automatizuoto, pakartojamo) testavimo ir tiriamojo testavimo derinį. Scenarijų testai pigiai patikrina, ar žinomos elgsenos nėra pažeistos, versija po versijos; Kita vertus, tiriamasis bandymas ieško naujų pavojų, į kuriuos šie scenarijai niekada neatsižvelgė. Jiedu ne konkurentai, o papildo. Dažna klaida yra mąstymas „automatizuosime viską, kad nereikėtų atradimų“; kadangi automatika tikrina tik tai, ką jau žinote, ji niekada negali rasti to, ko nežinote. Kita klaida yra priešinga: pasikliauti rankiniu atradimu su kiekvienu leidimu nenustatant jokio automatizavimo – dėl to vėl ir vėl atsiranda tos pačios pagrindinės klaidos.
AI padeda nustatyti šią pusiausvyrą: galite paversti anomaliją, kurią radote atradimo seanso metu, nuolatiniu regresijos testu pagal scenarijų, pateikdami jį dirbtiniam intelektui. Taigi, vieną kartą atradimo metu aptikta klaida niekada nebegali grįžti nepastebėta. „Discovery“ rūpinasi „rasti naują riziką“, automatika – „nepaleisti rasto“; AI pagreitina tiltą tarp jų.
Patarimas: atskirkite kiekvieno atradimo seanso išvestį į du segmentus: „klaidos, kurias reikia nedelsiant pataisyti“ ir „scenarijai, kuriuos reikia paversti nuolatiniu automatizavimu“. Antrasis segmentas perkelia ilgalaikę atradimo vertę į jūsų regresijos paketą.
Silpnas raginimas / Stiprus raginimas
Silpnas: "Ką turėčiau išbandyti šiame ekrane?"
Stiprus: „Jei norite naudoti „profilio nuotraukų įkėlimo“ funkciją, 90 minučių trukmės tiriamojo bandymo sesiją padalykite į 3 bandymo sąlygas. Kiekvienai sąlygai: nurodykite tikslą, intuityvius patarimus, kuriuos reikia naudoti (failo dydis / formatas / aukso spynos / sutrumpinimas), 5 konkrečius veiksmus, į kuriuos reikia atkreipti dėmesį, ir rizikos signalus, į kuriuos reikia atkreipti dėmesį (lėtėjimas, sugadintas failo plėtinys, ypač didelis failo plėtinio pavojus, saugumas). gynybai“.
Galingas raginimas; suteikia trukmę, struktūrą, užuominas ir rizikos dėmesį. Rezultatas yra planas, kurį turėsite po ranka per visą sesiją.
Žvalgymų ašių lentelė
ašį
klausimą užduoti
rašinio pavyzdys
Įvesties ribos
Ką laukas veikia esant kraštutinėms vertėms?
10 000 simbolių pavadinimas
laiko nustatymas
Kas nutinka tuo pačiu metu / pertraukus apdorojimą?
Išsaugokite tą patį įrašą dviejuose skirtukuose
Formatas
Kaip elgtis su netikėtu formatu?
Jaustukai, tekstas iš dešinės į kairę, HTML
institucija
Ar gali prieiti neleistinas vartotojas?
Pakeiskite URL rankiniu būdu
Būsena
Ar įmanomas netinkamos būsenos perėjimas?
Pabandykite sumokėti už atšauktą užsakymą
atskaitymas
Ar duomenys yra nuoseklūs, kai tinklas / sesija nutraukiama?
Iškirpkite tinklą įrašydami
Keturi kopijuojami šablonai
1) Bandymo sąlygų generatorius:
Jūsų vaidmuo: vyresnysis tiriamasis testuotojas. Padalinkite [trukmės] minutės tyrinėjimo seansą į 3–4 funkcijos: [funkcija] testavimo sąlygas. Kiekviena sąlyga: tikslas, intuityvi patarimai, kuriuos reikia naudoti, 5 konkretūs veiksmai, kuriuos reikia išbandyti, rizikos signalai, kuriuos reikia stebėti. Sąlygos modelis: „Naršykite [domeną] naudodami [įrankį/duomenis], kad gautumėte [riziką/informaciją]“.
2) Intuityvus signalo adapteris:
Išverskite šiuos intuityvius patarimus į konkrečius šio ekrano eksperimentus: CRUD, auksarankė (mažiau/pilna/daugiau), pertraukimas, atvirkštinė tvarka, apėjimo leidimas. Ekranas: [ekrano/srauto aprašymas]. Kiekvienam užuominai parašykite 2 su ekranu susijusius eksperimentus.
3) Aklosios zonos priminimas:
Bandau šią funkciją: [funkcija]. Išvardykite 10 atvejų, kai patyrę bandytojai DAUGIAUSIAI pasigenda šios funkcijos. Įtraukite prieinamumo, lokalizacijos (kalba / data / valiuta), lygiagretumo, saugumo ir našumo ašis.
4) Sesijos pastabų santrauka:
Žemiau pateikiamos neapdorotos mano atradimų sesijos pastabos. Suskirstykite jas į šią struktūrą: - Rastos anomalijos (su įvertintu sunkumu) - Tie, kurių dauginimosi etapas žinomas - Tie, kuriuos reikia toliau tirti - Pasiūlymas kitai seansui Neapdorotos pastabos: [įklijuoti užrašus]
trys mini dėklai
1 atvejis – aklosios zonos priminimas veikiant. Ekspertas išbandė paieškos funkciją daugiakalbėje programoje. AI priminęs „nepamiršk lokalizacijos ašies“, jis išbandė Turkijai būdingą „i/I“ raidžių konvertavimą. „Stambulo“ paieška nedavė jokių rezultatų; Aptikta mažųjų raidžių konvertavimo klaida. AI ašis priminė, ekspertas bandė ir rado.
2 atvejis. Chartijos tikslas. Naujas bandytojas praleido 2 valandas naršydamas mokėjimo ekrane, bet padarė tik 2 mažas pastabas, nes jis buvo nestruktūrizuotas. Suplanavus seansą su AI suskirstytu į 3 bandymo sąlygas, per tą patį laikotarpį buvo užfiksuota 11 anomalijų; du iš jų buvo rimti. Dėl konstrukcijos tas pats laikas buvo 5 kartus efektyvesnis.
3 atvejis – gynybinio failo įkėlimo bandymas. Komanda išbandė „neteisingą plėtinį / per didelį failą“, kurį pasiūlė YZ, įkeldama profilio nuotrauką savo produktuose. Nustatyta, kad 50 MB failas sugedo serveriui 40 sekundžių ir buvo pridėtas dydžio apribojimas bei skirtasis laikas. Bandymai buvo atlikti tik su savo gaminiais, gynybiniais tikslais.
Dažnos klaidos
- AI pakeitimas sesija. Atradimo vertė yra jūsų stebėjimas ir intuicija; AI padeda pasiruošti ir atsigauti.
- Naršykite be išlygų. Valandų praleidimas nesusitelkęs ir mažai randantis. Bandymo sąlyga suteikia dėmesio.
- Nerenka užrašų. Jei dar kartą neišsaugosite atradimo anomalijos atlikdami gamybos etapą, šis radinys bus prarastas.
- Užstrigęs vienoje ašyje. Visada tikriname įvesties ribas; Valdžios, planavimo, lokalizavimo ašių aplenkimas.
- Neteisėtų saugumo testų atlikimas. Bandykite manipuliuoti failais / URL tik savo gaminyje ir turėdami leidimą.
Apibendrinant
Tiriamasis testavimas yra toks bandymas, kuris labiausiai priklauso nuo žmogaus smalsumo, ieškant to, kas nerašyta. AI čia jūsų nepakeis; Jis apibūdina bandymo sąlygas, pritaiko intuityvius patarimus prie jūsų konteksto, primena apie akląsias vietas ir paverčia jūsų netvarkingus seanso užrašus sutvarkyta ataskaita. Vertė kyla iš jūsų stebėjimo ir intuicijos; AI sutelkia ir padaugina šią vertę. Rašykite sąlygas, keiskite ašis, vėl užrašykite išvadas su gamybos etapais, atlikite saugumo testus tik pagal įgaliojimą.
Taikymo užduotis
Pasirinkite funkciją iš savo gaminio. Padalinkite 60 minučių seansą į 3 sąlygas, naudodami „bandymo sąlygų generatoriaus“ šabloną su AI. Atlikite sesiją (be AI, tyrinėkite ranka), užsirašykite neapdorotus užrašus. Baigę sutvarkykite užrašus naudodami „sesijos pastabų suvestinės“ šabloną. Rezultatas: mažiausiai 5 anomalijos, kiekvieno regeneravimo etapas ir sunkumo įvertinimas. Atkreipkite dėmesį, kuri bandymo sąlyga ir intuityvus užuomina lėmė vertingiausią jūsų aptiktą anomaliją.
kontrolinis sąrašas
- [ ] Prieš sesiją sukūriau bandymo sąlygas su AI ir nustačiau fokusą.
- [ ] Išbandžiau bent 4 skirtingas atradimo ašis (įvestis, laikas, formatas, autorizacija, pertraukimas).
- [ ] Seansą vedžiau rankiniu būdu, su savo smalsumu; Aš nepakeičiau AI.
- [ ] Užfiksavau kiekvieną anomaliją su jos atkūrimo žingsniu ir sunkumo įvertinimu.
- [ ] Savo užrašus paverčiau įprastu AI pranešimu.
- [ ] Bandžiau saugoti/manipuliuoti tik savo gaminį ir turėdamas leidimą.