Zyski:
- Umiejętność zrozumienia natury testów eksploracyjnych opartej na ludzkiej ciekawości i wykorzystania sztucznej inteligencji jako partnera do generowania kart testów i intuicyjnych wskazówek
- Możliwość dywersyfikacji osi wykrywania, takich jak dane wejściowe, czas, format, autoryzacja i przerwanie, oraz ponowne rejestrowanie każdej anomalii na etapie produkcyjnym
- Możliwość zastosowania limitu wykorzystania sztucznej inteligencji jedynie w przygotowaniu i podsumowaniu, podczas gdy sama sesja odkrywcza jest prowadzona przez ludzi
Każdy napisany przypadek testowy sprawdza coś, o czym już pomyślano. Ale najniebezpieczniejsze błędy często kryją się w miejscach, o których nikt wcześniej nie pomyślał. Testowanie eksploracyjne — podejście do testowania, w którym tester jednocześnie uczy się, projektuje i uruchamia produkt poprzez jego eksplorację, bez polegania na wcześniej napisanym skrypcie — celuje dokładnie w tę lukę. W testach eksploracyjnych ekspert swobodnie bawi się produktem, zadaje pytanie „a co jeśli to zrobię” i wychwytuje nieoczekiwane zachowanie systemu. Jest to rodzaj testów, który w największym stopniu opiera się na ludzkiej intuicji i ciekawości — i właśnie dlatego rolą sztucznej inteligencji (AI) nie jest tutaj „zastępowanie”, ale wzmacnianie ciekawości, wywoływanie martwych punktów i generowanie pomysłów.
W tej części dowiesz się, jak wykorzystywać sztuczną inteligencję jako partnera w testach eksploracyjnych: od drukowania kart testów, przywoływania heurystyk, po podsumowywanie notatek po sesji.
Dlaczego testowanie eksploracyjne to wciąż dzieło człowieka?
Testowanie skryptowe — test składający się z kroków zapisanych z wyprzedzeniem i powtarzanych dosłownie — potwierdza to, co wiadomo; Testy eksploracyjne poszukują nieznanego. Wartość testów eksploracyjnych zaczyna się w momencie, gdy tester zobaczy produkt i wyczuje, że „jest tu coś dziwnego”. Sztuczna inteligencja nie może zobaczyć produktu tak, jak Ty go widzisz, nie może wyczuć, co przeszkadzałoby prawdziwemu użytkownikowi, nie można jej przeszkodzić stwierdzeniem „ten przycisk jest w złym miejscu”. Jednak sztuczna inteligencja jest bardzo potężną pomocą na trzy sposoby: (1) tworzenie systematycznych list pomysłów na testy, (2) przypominanie o osiach testowych, o których zapomniałeś, (3) przekształcanie rozproszonych notatek z odkryć w uporządkowany raport.
Wskazówka: poproś sztuczną inteligencję o „rozgrzewkę pomysłów na test” przed rozpoczęciem sesji odkrywania; Nie zostawiaj ekranu AI podczas sesji. AI jest pomocna przed i po sesji; Sama sesja wynika z Twojej ciekawości.
Heurystyka i sztuczna inteligencja
Testerzy eksploracyjni korzystają z heurystyk, czyli krótkich przypomnień wskazujących kierunek w poszukiwaniu błędów. Sztuczna inteligencja może Ci o tym przypomnieć, dostosowując je do Twojego kontekstu. Kilka klasyków:
- CRUD: wypróbuj przepływ tworzenia, odczytu, aktualizacji i usuwania dla każdego danych; przeszkadzać komuś.
- Złotowłosa (mała/pełna/duża): Wprowadź bardzo mało, pełne i dużo danych w polu (0 znaków, 1 znak, 10 000 znaków).
- CRUD + planowanie: edytuj ten sam rekord na dwóch kartach jednocześnie, a następnie zapisz oba.
- Przerwanie: Odśwież stronę w trakcie działania, odłącz sieć, naciśnij klawisz Backspace.
- Odwrotna kolejność: wykonaj kroki w odwrotnej kolejności (najpierw zapłać, a następnie dodaj do koszyka).
Kiedy powiesz sztucznej inteligencji, aby „zasugerowała konkretne próby, stosując te intuicyjne wskazówki dla tego ekranu”, otrzymasz listę kontrolną gotową do użycia w terenie.
Napisanie warunku testowego (karta)
Testowanie eksploracyjne nie polega na wędrówce; Koncentruje się na karcie testu (krótkiej dyrektywie, która określa, czego i w jakim celu będzie eksplorować sesja poszukiwawcza). Dobra karta jest zgodna z następującym schematem: „Odkryj [docelową domenę], używając [narzędzi/danych], aby odkryć [jakie informacje/ryzyko]”. AI szybko opracowuje te warunki.
Równoważenie testów skryptowych z testowaniem eksploracyjnym
Solidna strategia testowania wykorzystuje kombinację testów skryptowych (automatycznych, powtarzalnych) i testów eksploracyjnych. Testy skryptowe tanio sprawdzają, czy znane zachowania nie są zepsute, wersja po wersji; Z drugiej strony testy eksploracyjne wyszukują nowe zagrożenia, których te skrypty nigdy nie brały pod uwagę. Obaj nie są konkurentami, ale uzupełnieniem. Częstym błędem jest myślenie: „zautomatyzujmy wszystko, aby nie było potrzeby odkrywania”; podczas gdy automatyzacja sprawdza tylko to, co już wiesz, nigdy nie znajdzie tego, czego nie wiesz. Innym błędem jest odwrotność: poleganie na ręcznym odkrywaniu każdej wersji bez konfigurowania jakiejkolwiek automatyzacji — prowadzi to do ciągłego wkradania się tych samych podstawowych błędów.
Sztuczna inteligencja pomaga ustalić tę równowagę: możesz zamienić anomalię znalezioną podczas sesji odkrywania w stały, skryptowy test regresyjny, przekazując ją sztucznej inteligencji. Zatem raz wykryty błąd nie może już nigdy powrócić niewykryty. Discovery zajmuje się „znalezieniem nowego ryzyka”, automatyzacja dba o „nie puszczanie znalezionego”; Sztuczna inteligencja przyspiesza most między nimi.
Wskazówka: podziel wyniki każdej sesji odkrywania na dwa segmenty: „błędy do natychmiastowego naprawienia” i „scenariusze do przekształcenia w trwałą automatyzację”. Drugi segment przenosi długoterminową wartość odkrycia do pakietu regresyjnego.
Słaba zachęta/silna zachęta
Słabe: „Co powinienem przetestować na tym ekranie?”
Mocne: „W przypadku funkcji „przesyłania zdjęć profilowych” podziel 90-minutową sesję testów eksploracyjnych na 3 warunki testowe. Dla każdego warunku: daj celowi intuicyjne wskazówki do użycia (rozmiar pliku/format/złotowłosa/obcięcie), 5 konkretnych działań do wypróbowania oraz sygnały ryzyka, na które należy zwrócić uwagę (spowolnienie, uszkodzony obraz, bezpieczeństwo). W szczególności zajmij się defensywnie ryzykiem przesyłania złośliwych plików (zbyt duży plik, nieprawidłowe rozszerzenie).
Potężny monit; podaje czas trwania, strukturę, wskazówki i ukierunkowanie na ryzyko. Rezultatem jest plan działania, który będziesz mieć pod ręką przez całą sesję.
Tabela osi eksploracji
oś
pytanie, które należy zadać
przykładowy esej
Limity wejściowe
Co robi pole przy wartościach ekstremalnych?
Nazwa zawierająca 10 000 znaków
czas
Co się dzieje w przypadku przetwarzania współbieżnego/przerwanego?
Zapisz ten sam rekord w dwóch zakładkach
Sformatuj
Jak poradzić sobie z nieoczekiwanym formatem?
Emoji, tekst pisany od prawej do lewej, HTML
autorytet
Czy nieautoryzowany użytkownik może uzyskać dostęp?
Zmień adres URL ręcznie
Stan
Czy możliwa jest nieprawidłowa zmiana stanu?
Spróbuj zapłacić za anulowane zamówienie
odliczenie
Czy dane są spójne, gdy sieć/sesja zostanie przerwana?
Odetnij sieć podczas nagrywania
Cztery szablony do kopiowania
1) Generator warunków testowych:
Twoja rola: starszy tester eksploracyjny. Podziel [czas trwania] minutowej sesji eksploracyjnej na 3–4 warunki testowe dla funkcji: [funkcja]. Każdy warunek: cel, intuicyjne wskazówki do wykorzystania, 5 konkretnych działań do wypróbowania, sygnały ryzyka do obejrzenia. Wzorzec warunku: „Eksploruj [domenę] za pomocą [narzędzia/danych] w poszukiwaniu [ryzyka/informacji]”.
2) Intuicyjny adapter cue:
Przetłumacz te intuicyjne wskazówki na konkretne eksperymenty na następującym ekranie: CRUD, złotowłosa (mniej/pełna/więcej), przerwanie, odwrócenie kolejności, obejście autoryzacji. Ekran: [opis ekranu/przepływu]. Dla każdej wskazówki napisz 2 eksperymenty specyficzne dla danego ekranu.
3) Przypomnienie o martwym polu:
Testuję następującą funkcję: [funkcja]. Wymień 10 przypadków, w których doświadczonym testerom NAJBARDZIEJ brakuje tego typu funkcji. Uwzględnij dostępność, lokalizację (język/data/waluta), współbieżność, bezpieczeństwo i wydajność.
4) Podsumowanie notatki z sesji:
Poniżej znajdują się surowe notatki z mojej sesji odkrywczej. Uporządkuj je w następującej strukturze: - Znaleziono anomalie (o szacunkowej dotkliwości) - Te ze znanym etapem reprodukcji - Te, które wymagają dalszego zbadania - Sugestia na następną sesję Surowe notatki: [wklej notatki]
trzy mini etui
Przypadek 1 — Przypomnienie o martwym polu działa. Ekspert testował funkcję wyszukiwania w aplikacji wielojęzycznej. Po przypomnieniu AI, aby „nie zapomnieć o osi lokalizacji”, spróbował specyficznej dla Turcji konwersji liter „i/I”. Wyszukiwanie „Stambuł” nie dało żadnych wyników; Wykryto błąd konwersji małych liter. Przypomniano oś AI, ekspert próbował i znalazł.
Przypadek 2 – Przedmiot Karty. Nowy tester spędził 2 godziny „surfując” po ekranie płatności, ale sporządził tylko 2 małe notatki, ponieważ był on nieustrukturyzowany. Po zaplanowaniu sesji z AI podzieloną na 3 warunki testowe, w tym samym okresie zarejestrowała 11 anomalii; dwa z nich były poważne. Jednocześnie czas był 5 razy efektywniejszy dzięki konstrukcji.
Przypadek 3 — Defensywne testowanie przesyłania plików. Zespół wypróbował opcję „złe rozszerzenie/zbyt duży plik” zasugerowaną przez YZ podczas przesyłania zdjęcia profilowego w ramach własnych produktów. Stwierdzono, że plik o rozmiarze 50 MB powodował awarię serwera na 40 sekund oraz dodał limit rozmiaru i limit czasu. Testy przeprowadzono wyłącznie na własnych produktach, w celach obronnych.
Typowe błędy
- Zastąpienie AI sesją. Wartość odkrycia leży w twojej obserwacji i intuicji; AI pomaga w przygotowaniach i regeneracji.
- Przeglądaj bez rezerwacji. Spędzanie godzin bez skupienia i znajdowanie niewiele. Warunek testowy daje ostrość.
- Nie zbieram notatek. Jeśli ponownie nie zapiszesz anomalii znalezionej w odkryciu na etapie produkcyjnym, to ustalenie zostanie utracone.
- Utknięcie na jednej osi. Zawsze testujemy granice danych wejściowych; Omijanie uprawnień, harmonogramowanie, osie lokalizacyjne.
- Przeprowadzanie nieautoryzowanych testów bezpieczeństwa. Próbuj manipulować plikami/adresami URL we własnym produkcie wyłącznie za pozwoleniem.
Podsumowując
Testowanie eksploracyjne to rodzaj testów, który w największym stopniu opiera się na ludzkiej ciekawości, poszukiwaniu niepisanego. AI Cię tutaj nie zastąpi; Opisuje warunki testowe, dostosowuje intuicyjne wskazówki do kontekstu, przypomina o martwych punktach i zamienia niechlujne notatki z sesji w uporządkowany raport. Wartość pochodzi z twoich obserwacji i intuicji; AI skupia i pomnaża tę wartość. Zapisz warunki, zmień osie, ponownie zapisz ustalenia na etapie produkcyjnym, wykonaj testy bezpieczeństwa tylko w ramach autoryzacji.
Zadanie aplikacji
Wybierz funkcję ze swojego produktu. Podziel 60-minutową sesję na 3 warunki, korzystając z szablonu „generatora warunków testowych” z AI. Wykonaj sesję (bez AI, eksplorując ręcznie), zachowaj surowe notatki. Po zakończeniu uporządkuj notatki za pomocą szablonu „podsumowania notatek z sesji”. Wynik: co najmniej 5 anomalii, etap regeneracji dla każdej i szacunkowa waga. Zanotuj, który warunek testowy i intuicyjna wskazówka spowodowały najcenniejszą znalezioną anomalię.
lista kontrolna
- [ ] Przed sesją stworzyłem warunki testowe z AI i ustaliłem fokus.
- [ ] Próbowałem co najmniej 4 różnych osi wykrywania (wejście, czas, format, autoryzacja, przerwanie).
- [ ] Sesję przeprowadziłem ręcznie, z własnej ciekawości; Nie zastąpiłem AI.
- [ ] Zarejestrowałem każdą anomalię wraz z etapem reprodukcji i szacunkową dotkliwością.
- [ ] Zamieniłem swoje notatki w zwykły raport dzięki AI.
- [ ] Próbowałem jedynie zabezpieczać/manipulować na własnym produkcie i za zgodą.