Прибуток:
- Здатність зрозуміти природу дослідницького тестування, що базується на людській цікавості, і використовувати штучний інтелект як партнера для створення тестових статутів та інтуїтивно зрозумілих підказок
- Можливість урізноманітнити осі виявлення, такі як введення, час, формат, авторизація та переривання, і знову записувати кожну аномалію на етапі виробництва
- Можливість застосувати обмеження на використання штучного інтелекту лише під час підготовки та підведення підсумків, тоді як сама сесія відкриття проводиться людьми
Кожен написаний тест перевіряє те, про що вже думали. Але найнебезпечніші помилки часто ховаються в місцях, про які раніше ніхто не думав. Експлоративне тестування — підхід до тестування, за якого тестувальник одночасно вивчає, проектує та запускає продукт, досліджуючи його, не покладаючись на заздалегідь написаний сценарій — спрямований саме на цю прогалину. У дослідницькому тестуванні експерт вільно грає з продуктом, запитує «а що, якщо я це зроблю», і вловлює неочікувану поведінку системи. Це тип тестування, який найбільше покладається на людську інтуїцію та цікавість — і саме тому роль штучного інтелекту (ШІ) полягає не в тому, щоб «замінити», а в тому, щоб посилити цікавість, викликати сліпі зони та генерувати ідеї.
У цьому розділі ви дізнаєтесь, як використовувати штучний інтелект як партнера в дослідницькому тестуванні: від друку статутів тестів, виклику евристик до підведення підсумків після сеансу.
Чому пошукове тестування все ще є роботою людини?
Тестування за сценарієм — тест з кроками, написаними заздалегідь і повторюваними дослівно — підтверджує те, що відомо; Дослідницьке тестування шукає невідоме. Цінність дослідницького тестування виникає з того моменту, коли тестувальник бачить продукт і відчуває, що «тут є щось дивне». ШІ не може побачити продукт так, як його бачите ви, він не може відчути, що може заважати справжньому користувачу, його не можна турбувати, кажучи «ця кнопка знаходиться не в тому місці». Але штучний інтелект є дуже потужним помічником у трьох напрямках: (1) створення систематичних списків тестових ідей, (2) нагадування про тестові осі, про які ви забули, (3) перетворення ваших розрізнених нотаток про відкриття в упорядкований звіт.
Порада: попросіть ШІ «розігріти ідею для тестування» перед початком сеансу відкриття; Не залишайте екран для ШІ під час сеансу. AI корисний до і після сеансу; Сама сесія проходить через вашу цікавість.
Евристика та ШІ
Дослідницькі тестувальники використовують евристики, які є короткими нагадуваннями, які дають напрямок у пошуку помилок. ШІ може нагадати вам про це, адаптувавши їх до вашого контексту. Трохи класики:
- CRUD: спробуйте створити, прочитати, оновити, видалити потік для кожного з даних; перебивати когось.
- Золотовласка (мало/повно/багато): введіть дуже мало, повно та багато даних у поле (0 символів, 1 символ, 10 000 символів).
- CRUD + планування: редагуйте той самий запис у двох вкладках одночасно, а потім збережіть обидві.
- Переривання: оновити сторінку під час дії, відключити мережу, натиснути Backspace.
- Зворотний порядок: виконайте кроки у зворотному порядку (спочатку оплатіть, а потім додайте в кошик).
Коли ви наказуєте штучному інтелекту «запропонувати конкретні випробування, застосовуючи ці інтуїтивно зрозумілі підказки для цього екрана», ви отримуєте готовий контрольний список.
Написання тестової умови (статуту)
Дослідницьке тестування — це не блукання; Він зосереджений на тестовій хартії (короткій директиві, яка визначає, що досліджуватиме сесія дослідження та з якою метою). Хороший статут дотримується такої моделі: «Досліджуйте [цільовий домен], використовуючи [інструменти/дані], щоб виявити [яку інформацію/ризик]». ШІ швидко складає ці умови.
Збалансування тестування за сценарієм і дослідницького тестування
Стратегія звукового тестування використовує комбінацію сценарного (автоматичного, повторюваного) тестування та дослідницького тестування. Скриптові тести дешево перевіряють, що відома поведінка не порушена, версія за версією; Дослідницьке тестування, з іншого боку, шукає нові ризики, які ці сценарії ніколи не розглядалися. Вони не конкуренти, а доповнюють один одного. Поширеною помилкою є думка «давайте автоматизуємо все, щоб не було потреби в відкритті»; тоді як автоматизація перевіряє лише те, що ви вже знаєте, вона ніколи не зможе знайти те, чого ви не знаєте. Інша помилка полягає в протилежному: покладатися на ручне виявлення з кожним випуском без налаштування будь-якої автоматизації — це призводить до тих самих основних помилок, які з’являються знову і знову.
Штучний інтелект допомагає встановити цей баланс: ви можете перетворити аномалію, яку виявите під час сеансу відкриття, на постійний сценарій регресійного тесту, передавши його ШІ. Таким чином, помилка, одного разу виявлена під час відкриття, ніколи не може повернутися непоміченою знову. Discovery піклується про «знайти новий ризик», автоматизація піклується про «не відпускати знайдене»; ШІ прискорює зв’язок між ними.
Порада. Розділіть результати кожного сеансу виявлення на два сегменти: «помилки, які потрібно негайно виправити» та «сценарії, які потрібно перетворити на постійну автоматизацію». Друге відро переносить довгострокову цінність відкриття у ваш пакет регресії.
Слабка підказка / Сильна підказка
Слабкий: "Що мені перевірити на цьому екрані?"
Сильний: «Для функції «завантаження фотографії профілю» розділіть 90-хвилинний дослідницький сеанс тестування на 3 умови тестування. Для кожної умови: дайте цільові інтуїтивно зрозумілі підказки для використання (розмір файлу/формат/золотовласка/усічення), 5 конкретних дій, які слід спробувати, і сигнали ризику, на які слід звернути увагу (уповільнення, пошкоджене зображення, безпека). Особливо звертайте увагу на ризики завантаження зловмисних файлів (занадто великі). файл, неправильне розширення) для захисту."
Потужна підказка; дає тривалість, структуру, підказки та фокус ризику. У результаті ви отримаєте дорожню карту, яку ви будете мати під рукою протягом усього сеансу.
Таблиця осей розвідки
вісь
питання, щоб поставити
зразок есе
Вхідні межі
Що робить поле при екстремальних значеннях?
Назва з 10 000 символів
терміни
Що відбувається під час одночасної/перерваної обробки?
Збережіть той самий запис у двох вкладках
Формат
Як впоратися з неочікуваним форматом?
Емодзі, текст справа наліво, HTML
авторитет
Чи може отримати доступ неавторизований користувач?
Змініть URL вручну
Статус
Чи можливий недійсний перехід стану?
Спробуйте оплатити скасоване замовлення
дедукція
Чи узгоджуються дані, коли мережа/сеанс переривається?
Розірвати мережу під час запису
Чотири шаблони, які можна копіювати
1) Генератор тестових умов:
Ваша роль: старший дослідницький випробувач. Розділіть [тривалість] хвилину дослідницького сеансу на 3-4 умови тестування для функції:[функція]. Кожна умова: мета, інтуїтивно зрозумілі підказки для використання, 5 конкретних дій, які потрібно спробувати, сигнали ризику, які слід спостерігати. Шаблон умови: «Дослідіть [домен] за допомогою [інструмента/даних] на предмет [ризику/інформації].»
2) Інтуїтивно зрозумілий адаптер сигналу:
Перетворіть ці інтуїтивно зрозумілі підказки в конкретні експерименти для наступного екрана: CRUD, goldilocks (менше/повно/більше), переривання, зворотний порядок, обхід авторизації. Екран: [екран/опис потоку]. Напишіть 2 експерименти на екрані для кожної підказки.
3) Нагадування про сліпу зону:
Я тестую таку функцію: [функція]. Перелічіть 10 випадків, коли досвідчені тестувальники НАЙБІЛЬШЕ пропускають цей тип функції. Включіть доступність, локалізацію (мова/дата/валюта), паралелізм, безпеку та продуктивність.
4) Резюме сесії:
Нижче наведені необроблені нотатки з мого сеансу відкриття. Упорядкуйте їх у такій структурі: - Виявлені аномалії (з приблизним ступенем тяжкості) - Аномалії з відомим етапом відтворення - Ті, які потребують подальшого дослідження - Пропозиція для наступного сеансу Необроблені нотатки: [вставити нотатки]
три міні-чохла
Випадок 1 — нагадування про сліпу зону в дії. Експерт тестував функцію пошуку в багатомовній програмі. Після нагадування штучного інтелекту «не забувайте про вісь локалізації» він спробував конвертувати букви «i/I» для турецької мови. Пошук "Стамбул" не дав результатів; Виявлено помилку перетворення нижнього регістру. Вісь AI нагадала, експерт спробував і знайшов.
Випадок 2 — Фокус статуту. Новий тестер витратив 2 години на «серфінг» по платіжному екрану, але зробив лише 2 невеликі нотатки, оскільки вони були неструктурованими. Після планування сеансу з ШІ, розділеним на 3 тестові умови, він зафіксував 11 аномалій за той самий період; двоє з них були серйозними. Цей же час був у 5 разів ефективнішим завдяки структурі.
Випадок 3 — Тестування захисного завантаження файлів. Команда спробувала використати «неправильне розширення/занадто великий файл», запропонований YZ, під час завантаження фотографії профілю у власні продукти. Виявлено, що файл розміром 50 МБ призводив до збою сервера на 40 секунд і додав обмеження розміру та час очікування. Тестування проводилося лише на власних продуктах з оборонною метою.
Поширені помилки
- Заміна AI сеансом. Цінність відкриття полягає у вашій спостережливості та інтуїції; AI допомагає з підготовкою та відновленням.
- Переглядайте без застережень. Проводити години без уваги та мало що знаходити. Умова перевірки дає фокус.
- Не збирає нотатки. Якщо ви знову не збережете аномалію, знайдену в відкритті, на етапі виробництва, цю знахідку буде втрачено.
- Застрягти на одній осі. Завжди перевіряйте межі введення; Обхід осей повноважень, планування, локалізації.
- Проведення несанкціонованих перевірок безпеки. Намагайтеся маніпулювати файлами/URL-адресами лише у вашому власному продукті та з дозволу.
Підсумовуючи
Дослідницьке тестування – це тип тестування, який найбільше покладається на людську цікавість, пошук ненаписаного. ШІ тут вас не замінить; Він описує умови тестування, адаптує інтуїтивно зрозумілі підказки до вашого контексту, нагадує вам про сліпі плями та перетворює ваші безладні нотатки сеансу на організований звіт. Цінність походить від вашої спостережливості та інтуїції; AI фокусує та примножує це значення. Пишіть умови, змінюйте осі, записуйте висновки на етапі виробництва ще раз, виконуйте перевірки безпеки лише в межах авторизації.
Аплікаційне завдання
Виберіть функцію з власного продукту. Розділіть 60-хвилинний сеанс на 3 умови за допомогою шаблону «генератор умов тестування» за допомогою ШІ. Проведіть сеанс (без штучного інтелекту, досліджуйте вручну), ведіть необроблені нотатки. Завершивши, упорядкуйте нотатки за допомогою шаблону «підсумок нотаток сеансу». Результат: принаймні 5 аномалій, етап регенерації для кожної та оцінка тяжкості. Зверніть увагу, які умови тестування та інтуїтивно зрозуміла підказка призвели до найціннішої знайденої аномалії.
контрольний список
- [ ] Перед сеансом я створив тестові умови з ШІ та визначив фокус.
- [ ] Я спробував принаймні 4 різні осі виявлення (введення, час, формат, авторизація, переривання).
- [ ] Я проводив сеанс вручну, з власної цікавості; Я не замінив ШІ.
- [ ] Я записав кожну аномалію з її кроком відтворення та оцінкою тяжкості.
- [ ] Я перетворив свої нотатки на звичайний звіт за допомогою ШІ.
- [ ] Я лише намагався захистити/маніпулювати своїм продуктом із авторизацією.