Добици:
- Способност разумевања природе истраживачког тестирања засноване на људској радозналости и коришћења вештачке интелигенције као партнера за генерисање тестних повеља и интуитивних трагова
- Способност диверзификације осе открића као што су унос, време, формат, ауторизација и прекид и снимање сваке аномалије са кораком производње поново
- Могућност примене ограничења употребе АИ само у припреми и завршној фази, док саму сесију откривања воде људи
Сваки написани тест случај проверава нешто о чему се већ размишљало. Али најопасније грешке се често крију на местима на која нико раније није помислио. Истраживачко тестирање — приступ тестирању у коме тестер истовремено учи, дизајнира и покреће производ тако што га истражује, без ослањања на унапред написану скрипту — циља управо на ову празнину. У истраживачком тестирању, стручњак се слободно игра са производом, пита „шта ако урадим ово“ и хвата неочекивано понашање система. Ово је тип тестирања који се највише ослања на људску интуицију и радозналост — и управо зато улога вештачке интелигенције (АИ) овде није да „замени“, већ да појача радозналост, изазове слепе тачке и генерише идеје.
У овој јединици ћете научити како да користите вештачку интелигенцију као партнера за истраживачко тестирање: од штампања тестних повеља, евоцирања хеуристике, до резимирања белешки након сесије.
Зашто је истраживачко тестирање и даље људски посао?
Скриптно тестирање — тест са корацима написаним унапред и поновљеним дословно — потврђује оно што је познато; Експлораторно тестирање тражи непознато. Вредност у истраживачком тестирању долази од тренутка када тестер види производ и осети „овде је нешто чудно“. АИ не може да види производ на начин на који га ви видите, не може да осети шта би сметало стварном кориснику, не може га узнемиравати речима „ово дугме је на погрешном месту“. Али вештачка интелигенција је веома моћна помоћ на три начина: (1) прављење систематских листа идеја за тестирање, (2) подсећање на тестне осе које сте заборавили, (3) претварање ваших раштрканих белешки о открићима у организован извештај.
Савет: Замолите АИ за „загревање идеје за тестирање“ пре него што започнете сесију откривања; Не остављајте екран АИ током сесије. АИ је од помоћи пре и после сесије; Сама сесија је вођена вашом радозналошћу.
Хеуристика и АИ
Истраживачки тестери користе хеуристику, што су кратки подсетници који дају правац у потрази за грешкама. АИ вас може подсетити на њих прилагођавајући их вашем контексту. Неколико класика:
- ЦРУД: Испробајте ток Креирај, Читај, Ажурирај, Избриши за сваки податак; прекинути некога.
- Златокоса (мало/пуно/пуно): Унесите врло мало, пуно и пуно података у поље (0 знакова, 1 знак, 10.000 знакова).
- ЦРУД + заказивање: Уредите исти запис у две картице одједном, а затим сачувајте оба.
- Прекид: Освежите страницу усред радње, искључите мрежу, притисните бацкспаце.
- Обрнути редослед: Урадите кораке обрнутим редоследом (прво платите, а затим додајте у корпу).
Када кажете АИ да „предлаже конкретна испитивања применом ових интуитивних знакова за тај екран“, добићете контролну листу за терен.
Писање услова теста (повеља)
Истраживачко тестирање није лутање; Фокусиран је на тест повељу (кратка директива која дефинише шта ће сесија истраживања истраживати и у коју сврху). Добра повеља прати овај образац: „Истражите [циљни домен], користећи [алатке/податке], да бисте открили [које информације/ризик].“ АИ брзо саставља ове услове.
Балансирање тестирања са скриптом са истраживачким тестирањем
Здрава стратегија тестирања користи комбинацију скриптираног (аутоматизованог, поновљивог) тестирања и истраживачког тестирања. Скриптни тестови јефтино потврђују да позната понашања нису нарушена, верзија за верзијом; Експлораторно тестирање, с друге стране, тражи нове ризике које ове скрипте никада нису разматрале. Њих двоје нису конкуренти, већ комплементарни. Уобичајена грешка је мишљење „хајде да све аутоматизујемо тако да нема потребе за откривањем“; док аутоматизација проверава само оно што већ знате, никада не може пронаћи оно што не знате. Друга грешка је супротна: ослањање на ручно откривање са сваким издањем без подешавања аутоматизације — то доводи до истих основних грешака које се увлаче изнова и изнова.
АИ помаже у успостављању ове равнотеже: аномалију коју пронађете у сесији откривања можете претворити у трајни скриптни регресијски тест тако што ћете је дати АИ. Дакле, грешка једном откривена у откривању никада се више не може вратити неоткривена. Дисцовери се брине за „пронађи нови ризик“, аутоматизација се брине за „не пуштај пронађено“; АИ убрзава мост између њих двоје.
Савет: Одвојите излаз сваке сесије откривања у две групе: „грешке које треба одмах исправити“ и „сценарије које треба претворити у трајну аутоматизацију“. Друга корпа носи дугорочну вредност открића у ваш пакет регресије.
Слаби промпт / Јаки промпт
Слабо: „Шта да тестирам на овом екрану?“
Снажно: „За функцију 'отпремања фотографије профила', поделите 90-минутну сесију истраживачког тестирања на 3 услова тестирања. За сваки услов: дајте циљ, интуитивне назнаке за коришћење (величина/формат/златокоса/скраћивање), 5 конкретних радњи које треба испробати и сигнале ризика на које треба обратити пажњу (успоравање, ризик од злонамерног учитавања датотеке, е-специфични ризик). (превелика датотека, погрешна екстензија) одбрамбено."
Снажан промпт; даје трајање, структуру, трагове и фокус ризика. Резултат је мапа пута коју ћете имати при руци током сесије.
Табела оса истраживања
осовина
питање које треба поставити
огледни есеј
Ограничења уноса
Шта поље ради при екстремним вредностима?
Име од 10.000 знакова
тајминг
Шта се дешава у истовременој/прекинутој обради?
Сачувајте исти запис у две картице
Формат
Како се носити са неочекиваним форматом?
Емоџи, текст са десна на лево, ХТМЛ
ауторитет
Може ли неовлашћени корисник приступити?
Промените УРЛ ручно
Статус
Да ли је неважећи прелаз могућ?
Покушајте да платите отказану поруџбину
одбитак
Да ли су подаци доследни када је мрежа/сесија прекинута?
Прекините мрежу током снимања
Четири шаблона за копирање
1) Генератор услова тестирања:
Ваша улога: старији истраживачки тестер. Поделите [трајање] минутну истраживачку сесију на 3-4 услова тестирања за функцију:[функција]. Сваки услов: циљ, интуитивни трагови за коришћење, 5 конкретних акција које треба испробати, сигнали ризика за посматрање. Образац услова: „Истражите [домен] са [алатом/подацима] за [ризик/информације].“
2) Интуитивни адаптер за цуе:
Преведите ове интуитивне назнаке у конкретне експерименте за следећи екран: ЦРУД, златокоса (мање/пуна/више), прекид, обрнути редослед, ауторизација заобилажења. Екран: [опис екрана/тока]. Напишите 2 експеримента специфична за екран за сваки траг.
3) Подсетник за мртву тачку:
Тестирам следећу функцију: [функција]. Наведите 10 случајева у којима искусни тестери НАЈВИШЕ пропуштају ову врсту функције. Укључује приступачност, локализацију (језик/датум/валута), истовременост, безбедност и осе перформанси.
4) Сажетак белешке сесије:
Испод су сирове белешке са моје сесије откривања. Организујте их у ову структуру: - Пронађене аномалије (са процењеном озбиљношћу) - Оне са познатим кораком репродукције - Оне које захтевају даљу истрагу - Предлог за следећу сесију Необрађене белешке: [налепите белешке]
три мини кофера
Случај 1 — Подсетник за мртве тачке у акцији. Стручњак је тестирао функцију претраге у вишејезичној апликацији. На подсетник АИ да „не заборави осу локализације“, покушао је са конверзијом слова „и/И“ специфичним за турски језик. Трагање за „Истанбулом“ није дало никакве резултате; Откривена је грешка конверзије малим словима. АИ ос је подсетила, стручњак је покушао и нашао.
Случај 2 — Фокус повеље. Нови тестер је провео 2 сата "сурфујући" кроз екран за плаћање, али је направио само 2 мале белешке јер је био неструктуриран. Након планирања сесије са АИ подељеном на 3 услова тестирања, забележио је 11 аномалија у истом периоду; двојица су била озбиљна. Исто време је било 5 пута ефикасније захваљујући структури.
Случај 3 — Одбрамбено тестирање отпремања датотека. Тим је испробао „погрешну екстензију/превелику датотеку“ коју је предложио ИЗ приликом отпремања фотографије профила, у оквиру сопствених производа. Открили смо да је датотека од 50 МБ срушила сервер на 40 секунди и додала ограничење величине и временско ограничење. Тестирање је вршено само на сопственим производима, у одбрамбене сврхе.
Уобичајене грешке
- Замена АИ са сесијом. Вредност открића је у вашем запажању и интуицији; АИ помаже у припреми и опоравку.
- Претражујте без резервације. Проводите сате без фокуса и налазите мало. Услов тестирања даје фокус.
- Не прикупља белешке. Ако поново не сачувате аномалију пронађену у открићу са кораком производње, тај налаз ће бити изгубљен.
- Бити заглављен на једној оси. Увек тестирати границе уноса; Заобилажење оси овлашћења, распореда, локализације.
- Спровођење неовлашћених безбедносних тестова. Покушајте да манипулишете датотеком/УРЛ-ом само на свом производу и уз дозволу.
Укратко
Истраживачко тестирање је врста тестирања која се највише ослања на људску радозналост, тражење неписаног. АИ вас овде неће заменити; Он оцртава услове тестирања, прилагођава интуитивне назнаке вашем контексту, подсећа вас на слепе тачке и претвара ваше неуредне белешке сесије у организован извештај. Вредност долази из вашег запажања и интуиције; АИ фокусира и умножава ову вредност. Напишите услове, промените осе, поново забележите налазе са кораком производње, извршите безбедносне тестове само у оквиру ауторизације.
Задатак апликације
Изаберите функцију из сопственог производа. Поделите 60-минутну сесију на 3 услова користећи шаблон „генератор услова за тестирање“ са АИ. Урадите сесију (без вештачке интелигенције, истражујући ручно), водите необрађене белешке. Када завршите, организујте белешке помоћу шаблона „сажетак белешки о сесији“. Резултат: најмање 5 аномалија, корак регенерације за сваку и процена озбиљности. Запазите који услов тестирања и интуитивни траг су резултирали највреднијом аномалијом коју сте пронашли.
контролна листа
- [ ] Пре сесије, направио сам услове за тестирање са АИ и одредио фокус.
- [ ] Покушао сам са најмање 4 различите осе откривања (унос, тајминг, формат, ауторизација, прекид).
- [ ] Сесију сам водио ручно, са сопственом радозналошћу; Нисам заменио АИ.
- [ ] Снимио сам сваку аномалију са њеним кораком репродукције и проценом озбиљности.
- [ ] Претворио сам своје белешке у обичан извештај са АИ.
- [ ] Покушао сам само безбедност/манипулацију на свом производу и уз овлашћење.