Ieguvumi:
- Spēja izprast pētnieciskās testēšanas uz cilvēka zinātkāri balstīto raksturu un izmantot mākslīgo intelektu kā partneri, lai radītu testa hartas un intuitīvus pavedienus
- Iespēja dažādot atklāšanas asis, piemēram, ievadi, laiku, formātu, autorizāciju un pārtraukumus, un atkārtoti reģistrēt katru anomāliju ar ražošanas posmu.
- Iespēja piemērot mākslīgā intelekta izmantošanas ierobežojumu tikai sagatavošanās un noslēguma laikā, kamēr pašu atklāšanas sesiju vada cilvēki
Katrs uzrakstītais pārbaudes gadījums pārbauda kaut ko, par ko jau ir padomāts. Taču visbīstamākās kļūdas nereti slēpjas vietās, par kurām neviens iepriekš nav domājis. Izpētes testēšana — testēšanas pieeja, kurā testētājs vienlaikus apgūst, izstrādā un palaiž produktu, to izpētot, nepaļaujoties uz iepriekš uzrakstītu skriptu, — ir vērsta tieši uz šo trūkumu. Izpētes testēšanā eksperts brīvi spēlējas ar produktu, jautā “ko darīt, ja es to daru” un uztver negaidītu sistēmas uzvedību. Šis ir testēšanas veids, kas visvairāk balstās uz cilvēka intuīciju un zinātkāri, un tieši tāpēc mākslīgā intelekta (AI) loma šeit ir nevis "aizstāt", bet gan pastiprināt zinātkāri, izraisīt aklās zonas un radīt idejas.
Šajā nodaļā jūs uzzināsit, kā izmantot mākslīgo intelektu kā izpētes testēšanas partneri: sākot ar testa hartu drukāšanu, heiristikas izsaukšanu un beidzot ar pēcsesijas piezīmju apkopošanu.
Kāpēc izpētes testēšana joprojām ir cilvēka darbs?
Skriptu testēšana — tests ar iepriekš uzrakstītiem soļiem un burtiski atkārtotu — apstiprina zināmo; Izpētes testēšana meklē nezināmo. Izpētes testēšanas vērtība rodas no brīža, kad testētājs redz produktu un sajūt, ka "šeit ir kaut kas dīvains". AI nevar redzēt produktu tā, kā jūs to redzat, tas nevar nojaust, kas traucētu reālajam lietotājam, to nevar traucēt, sakot "šī poga atrodas nepareizā vietā". Taču AI ir ļoti spēcīgs palīglīdzeklis trīs veidos: (1) veidojot sistemātiskus testēšanas ideju sarakstus, (2) atgādinot par testa asīm, kuras esat aizmirsis, (3) pārvēršot jūsu izkaisītās atklājumu piezīmes organizētā ziņojumā.
Padoms: pirms atklāšanas sesijas sākšanas lūdziet AI “iesildīt ideju”; Sesijas laikā neatstājiet ekrānu AI. AI ir noderīga pirms un pēc sesijas; Pašu sesiju vada jūsu zinātkāre.
Heiristika un AI
Izpētes testētāji izmanto heiristiku, kas ir īsi atgādinājumi, kas sniedz virzienu kļūdu medībās. AI var jums to atgādināt, pielāgojot tos jūsu kontekstam. Dažas klasikas:
- CRUD: izmēģiniet katra datu plūsmas izveidi, lasīšanu, atjaunināšanu, dzēšanu; pārtrauc kādu.
- Goldilocks (mazs/pilns/daudz): laukā ievadiet ļoti maz, pilnu un daudz datu (0 rakstzīmes, 1 rakstzīme, 10 000 rakstzīmes).
- CRUD + plānošana: rediģējiet vienu un to pašu ierakstu divās cilnēs vienlaikus, pēc tam saglabājiet abas.
- Pārtraukšana: darbības laikā atsvaidziniet lapu, atvienojiet tīklu, nospiediet atpakaļatkāpes taustiņu.
- Apgrieztā secībā: veiciet darbības apgrieztā secībā (vispirms samaksājiet, pēc tam pievienojiet grozam).
Kad jūs sakāt AI “ieteikt konkrētus izmēģinājumus, izmantojot šīs intuitīvās norādes šim ekrānam”, jūs saņemat laukā gatavu kontrolsarakstu.
Pārbaudes nosacījuma (hartas) rakstīšana
Izpētes pārbaude nav saistīta ar klaiņošanu; Tā ir vērsta uz testa hartu (īsa direktīva, kas nosaka, kas izpētes sesijā tiks pētīts un kādam nolūkam). Laba harta ir šāda: “Izpētiet [mērķa domēnu], izmantojot [rīkus/datus], lai atklātu [kādu informāciju/risku].” AI ātri izstrādā šos noteikumus.
Skriptu testēšanas līdzsvarošana ar izpētes testēšanu
Pareizas testēšanas stratēģija izmanto skriptu (automatizētu, atkārtojamu) testēšanu un izpētes testēšanu. Skriptu testi lēti pārbauda, vai zināmā uzvedība nav bojāta, versija pēc versijas; No otras puses, izpētes testēšana meklē jaunus riskus, kurus šie skripti nekad nav ņēmuši vērā. Abi nav konkurenti, bet gan papildina. Izplatīta kļūda ir uzskats, ka “automatizēsim visu, lai nebūtu nepieciešams atklāt”; Tā kā automatizācija pārbauda tikai to, ko jūs jau zināt, tā nekad nevar atrast to, ko jūs nezināt. Vēl viena kļūda ir pretēja: paļaušanās uz manuālu atklāšanu katrā laidienā, neiestatot nekādu automatizāciju — tas noved pie tā, ka tās pašas pamata kļūdas parādās atkal un atkal.
AI palīdz izveidot šo līdzsvaru: varat pārvērst anomāliju, ko atklājat savā atklāšanas sesijā, par pastāvīgu skriptu regresijas testu, piešķirot to AI. Tādējādi kļūda, kas reiz atklāta atklāšanā, nekad nevar atgriezties neatklāta. Discovery rūpējas par “jaunā riska atrašanu”, automatizācija – par “neatlaist atrasto”; AI paātrina tiltu starp abiem.
Padoms. Sadaliet katras atklāšanas sesijas izvadi divos segmentos: “kļūdas, kas nekavējoties jālabo” un “scenāriji, kas pārvēršas pastāvīgā automatizācijā”. Otrais segments atklāj atklājuma ilgtermiņa vērtību jūsu regresijas paketē.
Vāja uzvedne / spēcīga uzvedne
Vāji: "Ko man vajadzētu pārbaudīt šajā ekrānā?"
Spēcīgs: "Profila fotoattēlu augšupielādes funkcijai sadaliet 90 minūšu pētnieciskās testēšanas sesiju 3 testa nosacījumos. Katram nosacījumam: norādiet mērķi, intuitīvus norādījumus, ko izmantot (faila lielums/formāts/zelta slēdzenes/saīsināšana), 5 konkrētas darbības, kurām jāpievērš uzmanība, un riska signālus, kam jāpievērš uzmanība (palēninājums, bojāts faila paplašinājums, īpaši nepareizs faila paplašinājuma risks, pārmērīgi drošības riski). aizsardzībā."
Spēcīga uzvedne; sniedz ilgumu, struktūru, norādes un riska fokusu. Rezultāts ir ceļvedis, kas jums būs pieejams visas sesijas laikā.
Izpētes asu tabula
ass
uzdot jautājumu
esejas paraugs
Ievades ierobežojumi
Ko lauks dara pie galējām vērtībām?
10 000 rakstzīmju nosaukums
laika noteikšana
Kas notiek vienlaicīgas/pārtrauktas apstrādes laikā?
Saglabājiet to pašu ierakstu divās cilnēs
Formāts
Kā rīkoties ar negaidītu formātu?
Emocijzīmes, teksts no labās puses uz kreiso, HTML
iestāde
Vai nesankcionēts lietotājs var piekļūt?
Mainiet URL manuāli
Statuss
Vai ir iespējama nederīga stāvokļa pāreja?
Mēģiniet samaksāt par atceltu pasūtījumu
atskaitījums
Vai dati ir konsekventi, kad tīkls/sesija tiek pārtraukta?
Izgrieziet tīklu ierakstīšanas laikā
Četras kopējamas veidnes
1) Testa stāvokļa ģenerators:
Jūsu loma: vecākais izpētes testētājs. Sadaliet [ilgums] minūšu izpētes sesiju 3–4 funkcijas [funkcijas] testēšanas nosacījumos. Katrs nosacījums: mērķis, intuitīvi lietojami norādījumi, 5 konkrētas darbības, kuras jāizmēģina, riska signāli, kas jāvēro. Nosacījuma modelis: "Izpētiet [domēnu], izmantojot [rīku/datus], lai iegūtu [risks/informācija]."
2) Intuitīvs norādes adapteris:
Pārvērtiet šīs intuitīvās norādes konkrētos eksperimentos šādam ekrānam: CRUD, goldilocks (mazāk/pilns/vairāk), pārtraukums, apgrieztā secībā, apiešanas autorizācija. Ekrāns: [ekrāna/plūsmas apraksts]. Katram pavedienam uzrakstiet 2 eksperimentus ar ekrānu.
3) Aklās zonas atgādinājums:
Es testēju šādu līdzekli: [funkcija]. Norādiet 10 gadījumus, kad pieredzējušiem testētājiem VISĀK palaid garām šāda veida funkcijas. Iekļaujiet pieejamības, lokalizācijas (valoda/datums/valūta), vienlaicīguma, drošības un veiktspējas asis.
4) Sesijas piezīmju apkopotājs:
Tālāk ir sniegtas neapstrādātas piezīmes no manas atklāšanas sesijas. Sakārtojiet tos šādā struktūrā: - atrastās anomālijas (ar aptuveno smagumu) - tās, kurām ir zināms vairošanās posms - tās, kurām nepieciešama turpmāka izmeklēšana - Ieteikums nākamajai sesijai Neapstrādātas piezīmes: [ielīmēt piezīmes]
trīs mini futrāļi
1. gadījums — aklās zonas atgādinājums darbībā. Eksperts testēja meklēšanas funkciju daudzvalodu lietojumprogrammā. Pēc AI atgādinājuma “neaizmirstiet lokalizācijas asi”, viņš izmēģināja turku specifisko “i/I” burtu pārveidošanu. Meklējot "Stambula" nedeva nekādus rezultātus; Tika konstatēta mazo burtu konvertēšanas kļūda. AI ass atgādināja, eksperts izmēģināja un atrada.
2. gadījums — hartas galvenā uzmanība. Jauns testētājs pavadīja 2 stundas, "sērfojot" maksājumu ekrānā, taču veica tikai 2 nelielas piezīmes, jo tas nebija strukturēts. Pēc sesijas plānošanas ar AI, kas sadalīta 3 testa apstākļos, tajā pašā laika posmā tika reģistrētas 11 anomālijas; divi no viņiem bija nopietni. Tas pats laiks bija 5 reizes efektīvāks, pateicoties struktūrai.
3. gadījums — aizsardzības failu augšupielādes pārbaude. Komanda izmēģināja YZ ieteikto "nepareizu paplašinājumu/pārāk lielu failu", augšupielādējot profila fotoattēlu savos produktos. Tika konstatēts, ka 50 MB fails uz 40 sekundēm avarēja serveri un pievienoja lieluma ierobežojumu un taimautu. Testēšana tika veikta tikai ar saviem produktiem aizsardzības nolūkos.
Biežas kļūdas
- AI aizstāšana ar sesiju. Atklājuma vērtība ir jūsu novērojumos un intuīcijā; AI palīdz sagatavoties un atveseļoties.
- Pārlūkojiet bez rezervācijas. Pavadīt stundas bez fokusa un atrast maz. Pārbaudes stāvoklis dod fokusu.
- Nevāc piezīmes. Ja ar ražošanas soli vēlreiz nesaglabāsiet atklājumā atrasto anomāliju, šis atradums tiks zaudēts.
- Būt iestrēdzis uz vienas ass. Vienmēr pārbaudot ievades robežas; Autoritātes, plānošanas, lokalizācijas asis apiešana.
- Neatļautu drošības testu veikšana. Mēģiniet manipulēt ar failu/URL tikai ar savu produktu un ar atļauju.
Rezumējot
Izpētes pārbaude ir testēšanas veids, kas visvairāk balstās uz cilvēka zinātkāri, meklējot nerakstīto. AI jūs šeit neaizstās; Tas iezīmē testa apstākļus, pielāgo intuitīvus pavedienus jūsu kontekstam, atgādina par aklo zonu un pārvērš jūsu netīrās sesijas piezīmes sakārtotā ziņojumā. Vērtība nāk no jūsu novērojumiem un intuīcijas; AI fokusē un reizina šo vērtību. Ierakstiet nosacījumus, mainiet asis, vēlreiz ierakstiet konstatējumus ar ražošanas posmu, veiciet drošības pārbaudes tikai autorizācijas ietvaros.
Lietojumprogrammas uzdevums
Izvēlieties funkciju no sava produkta. Sadaliet 60 minūšu sesiju 3 nosacījumos, izmantojot “testa nosacījumu ģeneratora” veidni ar AI. Veiciet sesiju (bez AI, izpētiet ar roku), saglabājiet neapstrādātas piezīmes. Kad esat pabeidzis, sakārtojiet piezīmes, izmantojot veidni “sesijas piezīmju apkopotājs”. Rezultāts: vismaz 5 anomālijas, katras reģenerācijas posms un smaguma novērtējums. Ņemiet vērā, kurš testa nosacījums un intuitīvs pavediens izraisīja visvērtīgāko atrasto anomāliju.
kontrolsaraksts
- [ ] Pirms sesijas es izveidoju testa apstākļus ar AI un noteicu fokusu.
- [ ] Es izmēģināju vismaz 4 dažādas atklāšanas asis (ievade, laiks, formāts, autorizācija, pārtraukums).
- [ ] Sesiju vadīju manuāli, ar savu zinātkāri; Es neaizstāju AI.
- [ ] Es reģistrēju katru anomāliju ar tās pavairošanas pakāpi un smaguma novērtējumu.
- [ ] Es pārveidoju savas piezīmes par parastu ziņojumu ar AI.
- [ ] Esmu mēģinājis nodrošināt/manipulēt tikai ar savu produktu un ar atļauju.