Печалби:
- Способност за разбиране на основаното на човешкото любопитство естество на проучвателното тестване и използване на изкуствения интелект като партньор за генериране на тестови харти и интуитивни улики
- Възможност за разнообразяване на оси за откриване като въвеждане, време, формат, оторизация и прекъсване и записване на всяка аномалия с производствената стъпка отново
- Възможност за прилагане на ограничението за използване на AI само в подготовката и приключването, докато самата сесия за откриване се провежда от хора
Всеки писмен тест проверява нещо, за което вече е обмислено. Но най-опасните грешки често се крият на места, за които никой не е мислил преди. Проучвателно тестване — подход за тестване, при който тестерът едновременно научава, проектира и управлява продукта, като го изследва, без да разчита на предварително написан скрипт — е насочен точно към тази празнина. При проучвателното тестване експертът си играе свободно с продукта, пита „какво ще стане, ако направя това“ и улавя неочаквано поведение на системата. Това е типът тестване, който разчита най-много на човешката интуиция и любопитство – и точно затова ролята на изкуствения интелект (AI) тук не е да „замени“, а да засили любопитството, да предизвика слепи петна и да генерира идеи.
В този модул ще научите как да използвате AI като проучвателен партньор за тестване: от отпечатване на тестови харти, предизвикване на евристики, до обобщаване на бележки след сесията.
Защо проучвателното тестване все още е човешка работа?
Тестване по сценарий — тест с стъпки, написани предварително и повторени дословно — потвърждава това, което е известно; Проучвателното тестване търси неизвестното. Стойността на проучвателното тестване идва от момента, в който тестерът вижда продукта и усеща, че „тук има нещо странно“. AI не може да види продукта така, както го виждате вие, не може да усети какво би притеснило истинския потребител, не може да бъде обезпокоен, като каже „този бутон е на грешното място“. Но AI е много мощна помощ по три начина: (1) създаване на систематични списъци с идеи за тестове, (2) напомняне за тестови оси, които сте забравили, (3) превръщане на вашите разпръснати бележки за открития в организиран отчет.
Съвет: Помолете AI за „загряване на идея за тест“, преди да започнете сесията за откриване; Не оставяйте екрана на AI по време на сесията. AI е полезен преди и след сесията; Самата сесия е водена от вашето любопитство.
Евристика и AI
Проучвателните тестери използват евристики, които са кратки напомняния, които дават насока в търсенето на грешки. AI може да ви напомня за тях, като ги адаптира към вашия контекст. Малко класики:
- CRUD: Опитайте потока Създаване, Четене, Актуализиране, Изтриване за всяка информация; прекъсвам някого.
- Златокоска (малко/пълно/много): Въведете много малко, пълно и много данни в поле (0 знака, 1 знак, 10 000 знака).
- CRUD + планиране: Редактирайте един и същ запис в два раздела едновременно, след което запазете и двата.
- Прекъсване: Опреснете страницата по време на действие, прекъснете връзката с мрежата, натиснете Backspace.
- Обратен ред: Изпълнете стъпките в обратен ред (първо платете, след това добавете в количката).
Когато кажете на AI да „предложи конкретни изпитания чрез прилагане на тези интуитивни знаци за този екран“, вие получавате контролен списък, готов за работа.
Писане на тестово условие (харта)
Проучвателното тестване не е лутане; Фокусиран е върху тестовата харта (кратка директива, която определя какво ще изследва сесията за проучване и с каква цел). Една добра харта следва този модел: „Изследвайте [целевия домейн], като използвате [инструменти/данни], за да разкриете [каква информация/риск].“ AI бързо съставя тези условия.
Балансиране на скриптово тестване с проучвателно тестване
Стратегията за добро тестване използва комбинация от скриптово (автоматизирано, повтарящо се) тестване и проучвателно тестване. Скриптираните тестове евтино проверяват дали известните поведения не са нарушени, версия след версия; Проучвателното тестване, от друга страна, търси нови рискове, които тези скриптове никога не са разглеждали. Двамата не са конкуренти, а се допълват. Често срещана грешка е да се мисли „нека автоматизираме всичко, така че да няма нужда от открития“; докато автоматизацията проверява само това, което вече знаете, тя никога не може да намери това, което не знаете. Друга грешка е обратното: разчитането на ръчно откриване с всяко издание, без да се настройва каквато и да е автоматизация — това води до едни и същи основни грешки, които се прокрадват отново и отново.
AI помага за установяването на този баланс: можете да превърнете аномалия, която откриете в сесията си за откриване, в постоянен скриптов регресионен тест, като го предоставите на AI. По този начин грешката, веднъж открита при откриването, никога повече не може да се върне незабелязана. Откриването се грижи за „намерете новия риск“, автоматизацията се грижи за „не изпускайте намереното“; AI ускорява моста между двете.
Съвет: Разделете резултата от всяка сесия за откриване на две кофи: „бъгове за незабавно коригиране“ и „сценарии за превръщане в постоянна автоматизация“. Втората кофа носи дългосрочната стойност на откритието във вашия пакет за регресия.
Слаба подкана / Силна подкана
Слаб: „Какво да тествам на този екран?“
Силно: „За функция „качване на профилна снимка“ разделете 90-минутната проучвателна тестова сесия на 3 тестови условия. За всяко условие: дайте на целта, интуитивни улики за използване (размер на файла/формат/златокоска/отрязване), 5 конкретни действия, които да опитате, и рискови сигнали, за които да внимавате (забавяне, повредено изображение, сигурност). Обърнете специално внимание на рисковете от злонамерени качвания на файлове (твърде големи) файл, грешно разширение) отбранително."
Мощна подсказка; дава продължителност, структура, улики и фокус върху риска. Резултатът е пътна карта, която ще държите подръка през цялата сесия.
Таблица на осите за изследване
ос
въпрос да задам
примерно есе
Входни ограничения
Какво прави полето при екстремни стойности?
Име от 10 000 знака
синхронизация
Какво се случва при едновременна/прекъсната обработка?
Запазете същия запис в два раздела
формат
Как да се справим с неочаквания формат?
Емотикони, текст отдясно наляво, HTML
власт
Може ли неупълномощен потребител да има достъп?
Променете URL ръчно
Статус
Възможен ли е невалиден преход на състояние?
Опитайте да платите за анулирана поръчка
приспадане
Съгласувани ли са данните, когато мрежата/сесията е прекъсната?
Прекъснете мрежата по време на запис
Четири копируеми шаблона
1) Генератор на тестови условия:
Вашата роля: старши проучвателен тестер. Разделете [продължителност] минута проучвателна сесия на 3-4 условия за тестване за функция:[функция]. Всяко условие: цел, интуитивни улики за използване, 5 конкретни действия за изпробване, рискови сигнали за наблюдение. Образец на условие: „Изследвайте [домейн] с [инструмент/данни] за [риск/информация].“
2) Интуитивен адаптер за реплики:
Преведете тези интуитивни улики в конкретни експерименти за следния екран: CRUD, goldilocks (по-малко/пълно/повече), прекъсване, обратен ред, разрешение за заобикаляне. Екран: [екран/описание на потока]. Напишете 2 експеримента, специфични за екрана, за всяка следа.
3) Напомняне за мъртва зона:
Тествам следната функция: [функция]. Избройте 10 случая, в които опитни тестери НАЙ-МНОГО пропускат този тип функция. Включете оси за достъпност, локализация (език/дата/валута), паралелност, сигурност и производителност.
4) Обобщаващ запис на сесия:
По-долу са необработените бележки от моята открита сесия. Организирайте ги в тази структура: - Намерени аномалии (с приблизителна тежест) - Тези с известна стъпка на възпроизвеждане - Тези, които изискват допълнително изследване - Предложение за следващата сесия Необработени бележки: [поставете бележки]
три мини калъфа
Случай 1 — Напомняне за мъртва точка в действие. Експерт тества функцията за търсене в многоезично приложение. След напомнянето на AI „не забравяйте оста за локализация“, той опита преобразуването на буквата „i/I“, специфично за турския език. Търсенето на „Истанбул“ не даде никакви резултати; Беше открита грешка при преобразуване на малки букви. AI ос напомня, експертът се опита и го намери.
Случай 2 — Фокус на хартата. Нов тестер прекара 2 часа в „сърфиране“ през екран за плащане, но направи само 2 малки бележки, защото беше неструктуриран. След планиране на сесия с AI, разделен на 3 тестови условия, той записва 11 аномалии за същия период; двама от тях бяха сериозни. Същото време беше 5 пъти по-ефективно благодарение на структурата.
Случай 3 — Защитно тестване за качване на файлове. Екип изпробва „грешно разширение/твърде голям файл“, предложено от YZ при качване на профилна снимка в техните собствени продукти. Установено е, че файл от 50 MB срива сървъра за 40 секунди и добавя ограничение на размера и изчакване. Тестването беше извършено само върху собствени продукти, за отбранителни цели.
Често срещани грешки
- Замяна на AI със сесия. Стойността на откритието е във вашето наблюдение и интуиция; AI помага при подготовката и възстановяването.
- Разгледайте без резервация. Прекарване на часове без фокус и намиране на малко. Тестовото условие дава фокус.
- Не събира бележки. Ако не запазите аномалията, открита при откриването, с производствената стъпка отново, тази находка ще бъде загубена.
- Заседнал на една ос. Винаги тестване на границите на въвеждане; Заобикаляне на правомощия, планиране, оси на локализация.
- Провеждане на неоторизирани тестове за сигурност. Опитвайте да манипулирате файл/URL само на вашия собствен продукт и с разрешение.
В обобщение
Проучвателното тестване е вид тестване, което разчита най-много на човешкото любопитство, търсейки неписаното. AI няма да ви замени тук; Той очертава условията на теста, адаптира интуитивните улики към вашия контекст, напомня ви за слепи петна и превръща вашите разхвърляни бележки от сесията в организиран отчет. Стойността идва от вашето наблюдение и интуиция; AI фокусира и умножава тази стойност. Напишете условия, променяйте осите, записвайте констатациите с производствената стъпка отново, извършвайте тестове за сигурност само в рамките на разрешение.
Задача за приложение
Изберете функция от собствения си продукт. Разделете 60-минутната сесия на 3 условия, като използвате шаблона „генератор на тестови условия“ с AI. Направете сесията (без AI, изследване на ръка), водете необработени бележки. Когато приключите, организирайте бележките с шаблона „резюмиране на бележки за сесии“. Резултат: най-малко 5 аномалии, стъпка на регенерация за всяка и оценка на тежестта. Отбележете кои тестови условия и интуитивна следа са довели до най-ценната аномалия, която сте открили.
контролен списък
- [ ] Преди сесията създадох тестови условия с AI и определих фокуса.
- [ ] Опитах най-малко 4 различни оси на откриване (вход, време, формат, оторизация, прекъсване).
- [ ] Проведох сесията ръчно, със собственото си любопитство; Не съм заменил AI.
- [ ] Записах всяка аномалия с нейната стъпка на възпроизвеждане и оценка на тежестта.
- [ ] Превърнах бележките си в обикновен отчет с AI.
- [ ] Правил съм само опит за защита/манипулация на собствения си продукт и с разрешение.