zisky:
- Schopnost porozumět povaze průzkumného testování založeného na lidské zvědavosti a využívat umělou inteligenci jako partnera pro vytváření zkušebních chart a intuitivních vodítek
- Schopnost diverzifikovat osy zjišťování, jako je vstup, načasování, formát, autorizace a přerušení, a znovu zaznamenat každou anomálii s výrobním krokem
- Schopnost uplatnit limit použití umělé inteligence pouze při přípravě a ukončení, zatímco samotné objevování je řízeno lidmi
Každý napsaný testovací případ ověřuje něco, o čem již bylo uvažováno. Ty nejnebezpečnější chyby se ale často skrývají na místech, která dosud nikoho nenapadla. Průzkumné testování – testovací přístup, ve kterém se tester současně učí, navrhuje a provozuje produkt tím, že jej zkoumá, aniž by se spoléhal na předem napsaný skript – se přesně zaměřuje na tuto mezeru. Při průzkumném testování si odborník volně hraje s produktem, ptá se „co když to udělám“ a zachytí neočekávané chování systému. Toto je typ testování, který nejvíce spoléhá na lidskou intuici a zvědavost – a to je přesně důvod, proč zde není úlohou umělé inteligence (AI) „nahrazovat“, ale zesilovat zvědavost, vyvolávat slepá místa a generovat nápady.
V této lekci se naučíte, jak používat umělou inteligenci jako partnera pro průzkumné testování: od tisku zkušebních chart, vyvolání heuristiky až po shrnutí poznámek po sezení.
Proč je průzkumné testování stále lidskou prací?
Skriptované testování – test s předem napsanými kroky a opakovanými doslovnými zápisy – potvrzuje to, co je známo; Průzkumné testování pátrá po neznámém. Hodnota průzkumného testování pochází od okamžiku, kdy tester vidí produkt a vycítí „tady je něco divného“. Umělá inteligence nevidí produkt tak, jak ho vidíte vy, nedokáže vycítit, co by skutečnému uživateli vadilo, nemůže být rušeno tím, že řekne „toto tlačítko je na špatném místě“. Umělá inteligence je však velmi mocná pomůcka ve třech směrech: (1) vytváření systematických seznamů testovacích nápadů, (2) připomenutí testovacích os, na které jste zapomněli, (3) přeměna vašich roztroušených poznámek k objevům do organizované zprávy.
Tip: Před zahájením relace objevování požádejte umělou inteligenci o „zahřátí testovacích nápadů“; Během relace nenechávejte obrazovku na AI. AI je užitečná před a po relaci; Samotné sezení je řízeno vaší zvědavostí.
Heuristika a AI
Průzkumní testeři používají heuristiku, což jsou krátká upozornění, která poskytují směr při hledání chyb. AI vám je může připomenout tím, že je přizpůsobí vašemu kontextu. Pár klasik:
- CRUD: Vyzkoušejte tok Create, Read, Update, Delete pro jednotlivá data; někoho přerušit.
- Zlatovláska (málo/plný/lot): Do pole zadejte velmi málo, plných a hodně údajů (0 znaků, 1 znak, 10 000 znaků).
- CRUD + plánování: Upravte stejný záznam na dvou kartách najednou a poté oba uložte.
- Přerušení: Obnovte stránku uprostřed akce, odpojte síť, stiskněte backspace.
- Opačné pořadí: Proveďte kroky v opačném pořadí (nejprve zaplaťte, poté přidejte do košíku).
Když řeknete AI, aby „navrhla konkrétní pokusy použitím těchto intuitivních vodítek pro tuto obrazovku“, dostanete kontrolní seznam připravený na provoz.
Sepsání zkušební podmínky (charty)
Průzkumné testování není o bloudění; Zaměřuje se na zkušební chartu (krátká směrnice, která definuje, co bude průzkumná relace zkoumat a za jakým účelem). Dobrá charta se řídí tímto vzorem: „Prozkoumejte [cílovou doménu] pomocí [nástrojů/dat], abyste odhalili [jaké informace/riziko].“ AI rychle navrhne tyto podmínky.
Vyvážení skriptovaného testování s průzkumným testováním
Strategie zdravého testování využívá kombinaci skriptovaného (automatizovaného, opakovatelného) testování a průzkumného testování. Skriptované testy levně ověřují, že známé chování není narušeno, verze po verzi; Průzkumné testování na druhou stranu hledá nová rizika, se kterými tyto skripty nikdy nepočítaly. Ti dva nejsou konkurenti, ale doplňky. Častou chybou je myslet si „zautomatizujme vše, aby nebylo potřeba objevování“; zatímco automatizace kontroluje pouze to, co již znáte, nikdy nemůže najít to, co neznáte. Další chybou je opak: spoléhat se na ruční zjišťování s každým vydáním bez nastavování jakékoli automatizace – to vede k tomu, že se stále znovu vkrádají stejné základní chyby.
Umělá inteligence pomáhá nastolit tuto rovnováhu: anomálii, kterou najdete ve své relaci zjišťování, můžete proměnit v permanentní skriptovaný regresní test tím, že ji předáte AI. Chyba jednou objevená při zjišťování se tedy již nikdy nemůže vrátit nedetekována. Discovery se stará o „najděte nové riziko“, automatizace se stará o „nepouštějte nalezené“; AI zrychluje most mezi nimi.
Tip: Rozdělte výstup každé relace zjišťování do dvou skupin: „chyby, které je třeba okamžitě opravit“ a „scénáře, které se promění v trvalou automatizaci“. Druhý kbelík nese dlouhodobou hodnotu objevu do vašeho regresního balíčku.
Slabá výzva / Silná výzva
Slabý: "Co mám na této obrazovce otestovat?"
Strong: "Pro funkci 'profilové fotografie' rozdělte 90minutovou průzkumnou testovací relaci do 3 testovacích podmínek. Pro každou podmínku: poskytněte cíl, intuitivní vodítka k použití (velikost souboru/formát/zlaté zámky/zkrácení), 5 konkrétních akcí k vyzkoušení a rizikové signály, které je třeba hledat (zpomalení, poškozený obrázek, nesprávné nahrání souboru). Zejména řeší rizika (velký škodlivý soubor) nahrání souboru.
Výkonná výzva; poskytuje trvání, strukturu, vodítka a zaměření na riziko. Výsledkem je cestovní mapa, kterou budete mít po ruce po celou dobu sezení.
Tabulka os průzkumu
osa
otázku položit
ukázka eseje
Vstupní limity
Co dělá pole při extrémních hodnotách?
Jméno 10 000 znaků
načasování
Co se stane při souběžném/přerušeném zpracování?
Uložte stejný záznam do dvou záložek
Formát
Jak zvládnout nečekaný formát?
Emoji, text zprava doleva, HTML
autorita
Může neoprávněný uživatel získat přístup?
Změňte URL ručně
Stav
Je možný neplatný přechod stavu?
Zkuste zaplatit za zrušenou objednávku
srážka
Jsou data konzistentní, když je síť/relace přerušena?
Přerušte síť během nahrávání
Čtyři kopírovatelné šablony
1) Generátor testovacích podmínek:
Vaše role: senior průzkumný tester. Rozdělte [trvání] minutovou průzkumnou relaci do 3–4 testovacích podmínek pro vlastnost:[vlastnost]. Každá podmínka: cíl, intuitivní vodítka k použití, 5 konkrétních akcí k vyzkoušení, rizikové signály, které je třeba sledovat. Vzor podmínky: „Prozkoumejte [doménu] pomocí [nástroje/dat] pro [riziko/informace].“
2) Intuitivní cue adaptér:
Převeďte tato intuitivní vodítka do konkrétních experimentů pro následující obrazovku: CRUD, zlatovláska (méně/plná/více), přerušení, obrácené pořadí, autorizace bypassu. Obrazovka: [popis obrazovky/toku]. Napište 2 experimenty specifické pro obrazovku pro každou stopu.
3) Připomenutí mrtvého úhlu:
Testuji následující funkci: [funkce]. Uveďte 10 případů, kdy zkušení testeři NEJVÍCE postrádají tento typ funkce. Zahrňte dostupnost, lokalizaci (jazyk/datum/měna), souběžnost, zabezpečení a výkonnostní osy.
4) Shrnutí poznámek z relace:
Níže jsou surové poznámky z mého objevování. Uspořádejte je do této struktury: - Nalezené anomálie (s odhadovanou závažností) - Anomálie se známým reprodukčním krokem - Ty, které vyžadují další vyšetření - Návrh na další sezení Nezpracované poznámky: [vložit poznámky]
tři mini pouzdra
Případ 1 – Připomenutí mrtvého úhlu v akci. Expert testoval funkci vyhledávání ve vícejazyčné aplikaci. Po připomenutí AI „nezapomeňte na lokalizační osu“ zkusil tureckou specifickou konverzi písmen „i/I“. Hledání "Istanbul" nepřineslo žádné výsledky; Byla zjištěna chyba převodu malých písmen. AI osa připomněla, expert to zkusil a našel.
Případ 2 – Zaměření charty. Nový tester strávil 2 hodiny „surfováním“ přes platební obrazovku, ale udělal si pouze 2 malé poznámky, protože byl nestrukturovaný. Po naplánování relace s AI rozdělenou do 3 testovacích podmínek zaznamenala ve stejném období 11 anomálií; dva z nich byli vážní. Zároveň byl díky struktuře 5x efektivnější.
Případ 3 – Testování obranného nahrávání souborů. Tým vyzkoušel „nesprávné rozšíření/příliš velký soubor“ navržený YZ při nahrávání profilové fotografie v rámci svých vlastních produktů. Zjistilo se, že soubor o velikosti 50 MB zhroutil server na 40 sekund a přidal limit velikosti a časový limit. Testování bylo prováděno pouze na vlastních produktech, pro obranné účely.
Časté chyby
- Nahrazení AI relací. Hodnota objevování je ve vašem pozorování a intuici; AI pomáhá s přípravou a zotavením.
- Procházet bez rezervace. Trávit hodiny bez soustředění a nacházet málo. Testovací podmínka dává zaměření.
- Nesbírání poznámek. Pokud anomálii nalezenou v objevu znovu neuložíte produkčním krokem, bude tento nález ztracen.
- Být přilepený na jedné ose. Vždy testujte limity vstupu; Obcházení pravomocí, plánování, lokalizace os.
- Provádění neautorizovaných bezpečnostních testů. O manipulaci se soubory/URL se pokoušejte pouze na svém vlastním produktu a se svolením.
V souhrnu
Průzkumné testování je typ testování, který nejvíce spoléhá na lidskou zvědavost, hledání nepsaného. AI vás zde nenahradí; Nastiňuje testovací podmínky, přizpůsobuje intuitivní vodítka vašemu kontextu, připomíná vám slepá místa a přeměňuje vaše chaotické poznámky z relace do organizované zprávy. Hodnota pochází z vašeho pozorování a intuice; AI tuto hodnotu zaměří a znásobí. Napište podmínky, měňte osy, znovu zaznamenejte zjištění s výrobním krokem, provádějte bezpečnostní testy pouze v rámci autorizace.
Aplikační úkol
Vyberte si funkci ze svého vlastního produktu. Rozdělte 60minutovou relaci na 3 podmínky pomocí šablony „generátor testovacích podmínek“ s AI. Proveďte relaci (bez umělé inteligence, prozkoumávejte ručně), mějte syrové poznámky. Po dokončení uspořádejte poznámky pomocí šablony „sumár poznámek relace“. Výsledek: alespoň 5 anomálií, krok regenerace pro každou a odhad závažnosti. Všimněte si, které testovací podmínky a intuitivní vodítko vedly k nejcennější anomálii, kterou jste našli.
kontrolní seznam
- [ ] Před sezením jsem vytvořil testovací podmínky s AI a určil zaměření.
- [ ] Zkoušel jsem alespoň 4 různé osy objevování (vstup, načasování, formát, autorizace, přerušení).
- [ ] Sezení jsem vedl ručně, se svou vlastní zvědavostí; AI jsem nevyměnil.
- [ ] Zaznamenal jsem každou anomálii s jejím reprodukčním krokem a odhadem závažnosti.
- [ ] Své poznámky jsem proměnil v běžnou zprávu s AI.
- [ ] Pokoušel jsem se o zabezpečení/manipulaci pouze na svém vlastním produktu as oprávněním.