Nyereség:
- Képes megérteni a felfedező tesztelés emberi kíváncsiságon alapuló természetét, és a mesterséges intelligenciát partnerként használni teszt charták és intuitív nyomok létrehozásához
- Képes diverzifikálni a felderítési tengelyeket, például a bevitelt, az időzítést, a formátumot, az engedélyezést és a megszakítást, és minden anomáliát újra rögzíteni a gyártási lépéssel
- A mesterséges intelligencia használatának korlátjának alkalmazása csak az előkészítés és a befejezés során, miközben magát a felfedezési munkamenetet emberek végzik
Minden megírt teszteset olyasvalamit ellenőriz, amelyen már gondolkodtak. De a legveszélyesebb hibák gyakran olyan helyeken bújnak meg, amelyekre korábban senki sem gondolt. Feltáró tesztelés – egy olyan tesztelési megközelítés, amelyben a tesztelő egyidejűleg tanulja meg, tervezi és futtatja a terméket annak feltárásával anélkül, hogy egy előre megírt szkriptre hagyatkozna – pontosan ezt a hiányosságot célozza meg. A feltáró tesztelés során a szakértő szabadon játszik a termékkel, megkérdezi „mi van, ha ezt csinálom”, és felfogja a rendszer váratlan viselkedését. Ez az a fajta tesztelés, amely leginkább az emberi intuíción és kíváncsiságon támaszkodik – és pontosan ezért a mesterséges intelligencia (AI) szerepe itt nem a „helyettesítés”, hanem a kíváncsiság felerősítése, a vakfoltok előidézése és az ötletek generálása.
Ebben az egységben megtanulhatja, hogyan használhatja az AI-t felfedező tesztelési partnerként: a teszt charták kinyomtatásától, a heurisztika felidézésén át a munkamenet utáni jegyzetek összefoglalásáig.
Miért még mindig emberi munka a feltáró tesztelés?
A szkriptelt tesztelés – előre megírt és szó szerint ismételt lépésekből álló teszt – megerősíti az ismerteket; A feltáró tesztelés az ismeretlent keresi. A feltáró tesztelés értéke attól a pillanattól származik, amikor a tesztelő meglátja a terméket, és megérzi, hogy "van itt valami furcsa". Az AI nem látja úgy a terméket, ahogy te látod, nem érzékeli, mi zavarná a valódi felhasználót, nem zavarhatja meg azzal, hogy "rossz helyen van ez a gomb". A mesterséges intelligencia azonban nagyon hatékony segítség háromféleképpen: (1) rendszeres tesztötletek készítése, (2) elfelejtett teszttengelyekre emlékeztető, (3) szétszórt felfedezési jegyzetek szervezett jelentéslé alakítása.
Tipp: Kérje meg az AI-t egy „tesztötlet-bemelegítésre” a felfedezési munkamenet megkezdése előtt; A munkamenet során ne hagyja a képernyőt az AI-ra. Az AI hasznos a munkamenet előtt és után; Magát a foglalkozást az Ön kíváncsisága vezérli.
Heurisztika és mesterséges intelligencia
A feltáró tesztelők heurisztikákat használnak, amelyek rövid emlékeztetők, amelyek irányt adnak a hibakeresésben. A mesterséges intelligencia emlékeztetheti Önt ezekre, ha a környezetéhez igazítja őket. Néhány klasszikus:
- CRUD: Próbálja ki a Create, Read, Update, Delete folyamatot minden adatnál; félbeszakítani valakit.
- Aranyhaj (kicsi/teljes/sok): Nagyon kevés, teljes és sok adatot írjon be egy mezőbe (0 karakter, 1 karakter, 10 000 karakter).
- CRUD + ütemezés: Szerkessze ugyanazt a rekordot egyszerre két lapon, majd mentse el mindkettőt.
- Megszakítás: Frissítse az oldalt a művelet közben, válassza le a hálózatról, nyomja meg a Backspace billentyűt.
- Fordított sorrendben: Végezze el a lépéseket fordított sorrendben (először fizessen, majd tegye a kosárba).
Ha azt mondja az AI-nak, hogy „konkrét próbákat javasoljon azáltal, hogy alkalmazza ezeket az intuitív jelzéseket az adott képernyőre”, akkor egy terepkész ellenőrzőlistát kap.
Tesztfeltétel megírása (charta)
A feltáró tesztelés nem a vándorlásról szól; Középpontjában a teszt charta áll (egy rövid irányelv, amely meghatározza, hogy a feltáró munkamenet mit és milyen célból vizsgáljon meg). Egy jó charta ezt a mintát követi: „Fedezze fel a [céltartományt] az [eszközök/adatok] segítségével, hogy feltárja [milyen információ/kockázat].” Az AI gyorsan megfogalmazza ezeket a feltételeket.
A szkriptes tesztelés és a feltáró tesztelés egyensúlya
A megbízható tesztelési stratégia a szkriptezett (automatizált, megismételhető) tesztelés és a feltáró tesztelés kombinációját használja. A szkriptelt tesztek olcsón ellenőrzik, hogy az ismert viselkedések nem sérültek-e meg, verzióról verzióra; A feltáró tesztelés viszont olyan új kockázatokat keres, amelyeket ezek a szkriptek soha nem vettek figyelembe. A kettő nem versenytárs, hanem kiegészíti egymást. Gyakori hiba az, hogy „automatizáljunk mindent, hogy ne kelljen felfedezni”; míg az automatizálás csak azt ellenőrzi, amit már tud, azt soha nem találja meg, amit nem ismer. Egy másik hiba ennek az ellenkezője: minden kiadásnál a manuális felfedezésre hagyatkozni automatizálás beállítása nélkül – ez ahhoz vezet, hogy újra és újra ugyanazok az alapvető hibák kúsznak be.
A mesterséges intelligencia segít megteremteni ezt az egyensúlyt: a felfedezési munkamenet során talált anomáliát állandó forgatókönyvezett regressziós tesztté változtathatja, ha megadja azt az MI-nek. Így a felfedezés során egyszer felfedezett hiba soha többé nem térhet vissza észrevétlenül. A Discovery gondoskodik az „új kockázat megtalálásáról”, az automatizálás gondoskodik arról, hogy „ne engedjük el a találtakat”; Az AI felgyorsítja a kettő közötti hidat.
Tipp: Az egyes felderítési munkamenetek kimenetét bontsa két csoportba: „azonnal javítandó hibák” és „permanens automatizálássá alakítandó forgatókönyvek”. A második vödör a felfedezés hosszú távú értékét hordozza a regressziós csomagban.
Gyenge felszólítás / Erős felszólítás
Gyenge: "Mit teszteljek ezen a képernyőn?"
Erős: „A profilfotó-feltöltés funkcióhoz osszuk fel a 90 perces felfedező tesztelési munkamenetet 3 tesztkörülményre. Mindegyik feltételhez: adja meg a célt, a használható intuitív támpontokat (fájlméret/formátum/aranyzár/csonkítás), 5 konkrét kipróbálandó műveletet, és kockázati jelzéseket, amelyekre figyelni kell (lassulás, hibás fájlkiterjesztés, nagy fájlkiterjesztés, túlzottan rossz címkép, biztonsági kockázatok). védekezően."
Erőteljes felszólítás; időtartamot, szerkezetet, támpontokat és kockázati fókuszt ad. Az eredmény egy ütemterv, amelyet az egész munkamenet során kéznél fog tartani.
Kutatási tengelyek táblázat
tengely
kérdést feltenni
minta esszé
Beviteli korlátok
Mit csinál a mező szélső értékek mellett?
10 000 karakteres név
időzítés
Mi történik az egyidejű/megszakított feldolgozás során?
Mentse el ugyanazt a rekordot két lapon
Formátum
Hogyan kezeljük a váratlan formátumot?
Emoji, jobbról balra haladó szöveg, HTML
hatóság
Hozzáférhet illetéktelen felhasználó?
Módosítsa manuálisan az URL-t
Állapot
Lehetséges érvénytelen állapotátmenet?
Próbáljon meg fizetni a törölt rendelésért
levonás
Konzisztensek az adatok, amikor a hálózat/munkamenet megszakad?
Hálózat megszakítása felvétel közben
Négy másolható sablon
1) Tesztállapot generátor:
Az Ön szerepe: vezető feltáró tesztelő. Oszd fel a [duration] perces felfedező munkamenetet 3-4 tesztelési feltételre a következőhöz: [feature]. Mindegyik feltétel: cél, intuitív használható nyomok, 5 konkrét kipróbálandó cselekvés, figyelnivaló kockázati jelek. Feltételminta: "Fedezze fel a [domaint] a [tool/data] segítségével a [kockázat/információ] érdekében."
2) Intuitív cue adapter:
Fordítsa le ezeket az intuitív nyomokat konkrét kísérletekké a következő képernyőhöz: CRUD, goldilocks (kevesebb/teli/több), megszakítás, fordított sorrend, megkerülő engedélyezés. Képernyő: [képernyő/folyamat leírása]. Írjon 2 képernyő-specifikus kísérletet minden nyomhoz.
3) Holttér emlékeztető:
A következő funkciót tesztelem: [feature]. Sorolja fel azt a 10 esetet, amikor a tapasztalt tesztelők LEGJOBBAN hiányolják ezt a fajta funkciót. Tartalmazza a hozzáférhetőséget, a lokalizációt (nyelv/dátum/pénznem), a párhuzamosságot, a biztonságot és a teljesítménytengelyeket.
4) A munkamenet jegyzeteinek összefoglalója:
Az alábbiakban a felfedező munkamenetem nyers jegyzetei találhatók. Rendezze őket ebben a struktúrában: - Talált rendellenességek (becsült súlyossággal) - Olyanok, amelyeknél ismert a szaporodási lépés - Olyanok, amelyek további vizsgálatot igényelnek - Javaslat a következő munkamenethez Nyers megjegyzések: [jegyzetek beillesztése]
három mini tok
1. eset – Holttér-emlékeztető működés közben. Egy szakértő egy többnyelvű alkalmazásban tesztelte a keresési funkciót. Az AI emlékeztetésére, hogy "ne felejtsd el a lokalizációs tengelyt", megpróbálta a török specifikus "i/I" betűkonverziót. "Isztambul" keresése nem hozott eredményt; A rendszer kisbetűs átalakítási hibát észlelt. AI tengely emlékeztetett, a szakértő megpróbálta és megtalálta.
2. eset – A charta fókusza. Egy új tesztelő 2 órát töltött a fizetési képernyőn való "szörföléssel", de csak 2 apró megjegyzést készített, mert az strukturálatlan volt. Miután megterveztek egy munkamenetet az AI-val, amelyet 3 tesztkörülményre osztottak, ugyanabban az időszakban 11 anomáliát rögzített; ketten közülük komolyan beszéltek. Ugyanez az idő ötször hatékonyabb volt a szerkezetnek köszönhetően.
3. eset – Védekező fájlfeltöltési tesztelés. Egy csapat kipróbálta az YZ által javasolt "rossz kiterjesztést/túl nagy fájlt" profilfotó feltöltésekor a saját termékeiken belül. Azt találtuk, hogy egy 50 MB-os fájl 40 másodpercre összeomlott a szerverben, és méretkorlátozást és időtúllépést adott. A tesztelést csak saját termékein végezték, védekezési céllal.
Gyakori hibák
- Az AI lecserélése munkamenetre. A felfedezés értéke a megfigyelésedben és az intuíciódban rejlik; Az AI segíti a felkészülést és a felépülést.
- Böngésszen foglalás nélkül. Órákat tölteni összpontosítás nélkül, és keveset találni. A tesztkörülmény fókuszt ad.
- Nem jegyzeteket gyűjteni. Ha nem menti el újra a felfedezésben talált anomáliát a gyártási lépéssel, akkor ez a megállapítás elvész.
- Egy tengelyen megragadva. Mindig teszteljük a bevitel határait; Jogosultság, ütemezés, lokalizációs tengelyek megkerülése.
- Jogosulatlan biztonsági tesztek lefolytatása. Csak a saját termékén és engedéllyel próbálja meg a fájl-/URL-kezelést.
Összefoglalva
A feltáró tesztelés az a fajta tesztelés, amely leginkább az emberi kíváncsiságra, az íratlan keresésére támaszkodik. A mesterséges intelligencia itt nem helyettesít téged; Felvázolja a tesztkörülményeket, az intuitív nyomokat a kontextushoz igazítja, emlékezteti Önt a vakfoltokra, és rendezett jelentéslé alakítja a zavaros munkamenet jegyzeteit. Az érték a megfigyelésedből és az intuíciódból fakad; Az AI ezt az értéket fókuszálja és megsokszorozza. Feltételek írása, tengelyek változtatása, megállapítások rögzítése a gyártási lépéssel ismét, biztonsági tesztek végrehajtása csak jogosultságon belül.
Pályázati feladat
Válasszon egy funkciót a saját termékéből. Ossza fel a 60 perces munkamenetet 3 feltételre a „tesztfeltétel-generátor” sablon segítségével az AI-val. Végezze el a munkamenetet (AI nélkül, kézzel fedezze fel), készítsen nyers jegyzeteket. Ha végzett, rendszerezze a jegyzeteket a „munkamenetjegyzet-összefoglaló” sablon segítségével. Eredmény: legalább 5 anomália, regenerációs lépés mindegyikhez és a súlyosság becslése. Jegyezze meg, hogy melyik tesztkörülmény és intuitív nyom eredményezte a talált legértékesebb anomáliát.
ellenőrző lista
- [ ] A munkamenet előtt tesztfeltételeket készítettem AI-val, és meghatároztam a fókuszt.
- [ ] Legalább 4 különböző felderítési tengelyt próbáltam ki (bemenet, időzítés, formátum, engedélyezés, megszakítás).
- [ ] A foglalkozást manuálisan, saját kíváncsiságomból vezettem le; Nem cseréltem le az AI-t.
- [ ] Minden anomáliát a szaporodási lépésével és a súlyossági becslésével rögzítettem.
- [ ] Feljegyzéseimből rendszeres jelentést készítettem az AI-val.
- [ ] Csak a saját termékemen és engedéllyel kíséreltem meg a biztonságot/manipulációt.