Добивки:
- Способност да се разбере природата на човечката љубопитност на истражувачко тестирање и да се користи вештачката интелигенција како партнер за да се генерираат тест повелби и интуитивни индиции
- Способност да се диверзифицираат оските за откривање како што се внесување, тајминг, формат, овластување и прекин и повторно да се евидентира секоја аномалија со чекорот на производство
- Способност да се примени границата за користење на вештачка интелигенција само при подготовка и завршување додека самата сесија за откривање ја спроведуваат луѓе
Секој напишан тест случај проверува нешто за што веќе е размислувано. Но, најопасните грешки често се кријат на места на кои никој досега не помислил. Истражувачко тестирање - пристап на тестирање во кој тестерот истовремено учи, дизајнира и работи на производот истражувајќи го, без да се потпира на однапред напишана скрипта - ја таргетира токму оваа празнина. Во истражувачкото тестирање, експертот слободно си игра со производот, прашува „што ако го направам ова“ и фаќа неочекувано однесување на системот. Ова е тип на тестирање што најмногу се потпира на човечката интуиција и љубопитност - и токму затоа улогата на вештачката интелигенција (ВИ) овде не е да ја „замени“, туку да ја засили љубопитноста, да предизвикува слепи точки и да генерира идеи.
Во оваа единица ќе научите како да ја користите вештачката интелигенција како партнер за истражување за тестирање: од печатење на повелби за тестирање, евоцирање хеуристики, до сумирање на белешки по сесијата.
Зошто истражувачкото тестирање сè уште е човечка работа?
Скриптирано тестирање - тест со однапред напишани чекори и повторени дословно - го потврдува она што е познато; Истражувачкото тестирање го бара непознатото. Вредноста во истражувачкото тестирање доаѓа од моментот кога тестерот ќе го види производот и ќе почувствува „има нешто чудно овде“. Вештачката интелигенција не може да го види производот како што вие го гледате, не може да насети што би му пречело на вистинскиот корисник, не може да се вознемири со велејќи „ова копче е на погрешно место“. Но, вештачката интелигенција е многу моќна помош на три начини: (1) создавање систематски листи на идеи за тестирање, (2) потсетување на тест оските што сте ги заборавиле, (3) претворање на вашите расфрлани белешки за откритија во организиран извештај.
Совет: Прашајте ја вештачката интелигенција за „загревање на идејата за тестирање“ пред да започнете со сесијата за откривање; Не оставајте го екранот на вештачката интелигенција за време на сесијата. ВИ е корисна пред и по сесијата; Самата сесија е поттикната од вашата љубопитност.
Хеуристика и вештачка интелигенција
Истражувачките тестери користат хеуристика, кои се кратки потсетници кои обезбедуваат насока во ловот на бубачки. Вештачката интелигенција може да ве потсети на нив со прилагодување на вашиот контекст. Неколку класици:
- CRUD: Пробајте го протокот Креирај, читање, ажурирање, бришење за секој податок; прекини некого.
- Goldilocks (малку/целосно/многу): Внесете многу малку, полни и многу податоци во полето (0 знаци, 1 знак, 10.000 знаци).
- CRUD + распоред: уредете го истиот запис во две јазичиња одеднаш, а потоа зачувајте ги двете.
- Прекин: освежете ја страницата во средината на дејството, исклучете ја мрежата, притиснете backspace.
- Обратен редослед: направете ги чекорите во обратен редослед (платете прво, а потоа додајте во кошничката).
Кога ќе ѝ кажете на вештачката интелигенција да „предложи конкретни испитувања со примена на овие интуитивни знаци за тој екран“, добивате список за проверка подготвена за терен.
Пишување услов за тест (повелба)
Истражувачкото тестирање не е за талкање; Тој е фокусиран на тест повелбата (кратка директива која дефинира што ќе истражува сесијата за истражување и за каква цел). Добрата повелба ја следи оваа шема: „Истражете го [целниот домен], користејќи [алатки/податоци], за да откриете [какви информации/ризици]“. Вештачката интелигенција брзо ги подготвува овие услови.
Балансирање на скриптираното тестирање со истражувачко тестирање
Стратегијата за тестирање на звук користи комбинација од скриптирано (автоматизирано, повторливо) тестирање и истражувачко тестирање. Скриптираните тестови поевтино потврдуваат дека познатите однесувања не се скршени, верзија по верзија; Истражувачкото тестирање, од друга страна, бара нови ризици кои овие скрипти никогаш не ги разгледале. Тие двајца не се конкуренти, туку надополнети. Честа грешка е да се мисли „да автоматизираме сè за да нема потреба од откривање“; додека автоматизацијата проверува само за она што веќе го знаете, никогаш не може да го најде она што не го знаете. Друга грешка е спротивната: потпирајќи се на рачно откривање со секое издание без поставување автоматизација - ова води до истите основни грешки кои се појавуваат одново и одново.
Вештачката интелигенција помага да се воспостави оваа рамнотежа: можете да ја претворите аномалијата што ќе ја најдете во вашата сесија за откривање во постојан тест за регресија со скрипта со тоа што ќе ја дадете на вештачката интелигенција. Така, грешката еднаш откриена при откривањето никогаш повеќе не може да се врати неоткриена. Дискавери се грижи за „пронајди го новиот ризик“, автоматиката се грижи за „не пуштај го пронајденото“; ВИ го забрзува мостот меѓу двете.
Совет: Одделете го излезот од секоја сесија за откривање во две корпи: „бубачки за веднаш да се поправат“ и „сценарија за претворање во трајна автоматизација“. Втората кофа ја носи долгорочната вредност на откритието во вашиот пакет за регресија.
Слаб промпт / Силен промпт
Слаб: "Што треба да тестирам на овој екран?"
Силно: „За функцијата „поставување фотографија на профил“, поделете ја 90-минутната сесија за истражување на тестирање на 3 услови за тестирање. За секоја состојба: дајте ѝ на целта, интуитивни индиции за употреба (големина/формат/златни блокови/кратење), 5 конкретни активности што треба да се обидат и сигнали за ризик на кои треба да внимавате (забавување, ризично оптоварување на датотеки). (премногу голема датотека, погрешна екстензија) дефанзивно."
Моќен потсетник; дава времетраење, структура, индиции и фокус на ризик. Резултатот е патоказ што ќе ви биде при рака во текот на целата сесија.
Табела со оски за истражување
оска
прашање да се постави
примерок есеј
Влезни граници
Што прави полето при екстремни вредности?
Име од 10.000 знаци
тајмингот
Што се случува при истовремена/прекината обработка?
Зачувајте го истиот запис во две јазичиња
Формат
Како да се справите со неочекуваниот формат?
Емоџи, текст од десно кон лево, HTML
авторитет
Дали може неовластен корисник да пристапи?
Променете го URL-то рачно
Статус
Дали е можна транзиција на неважечка состојба?
Обидете се да платите за откажана нарачка
одбивање
Дали податоците се конзистентни кога мрежата/сесијата е прекината?
Пресечете ја мрежата додека снимате
Четири шаблони за копирање
1) Генератор на тест услови:
Вашата улога: виш истражувачки тестер. Поделете [времетраење] минутна истражувачка сесија на 3-4 услови за тестирање за карактеристика:[функција]. Секој услов: цел, интуитивни индиции за користење, 5 конкретни дејства што треба да се обидат, сигнали за ризик за гледање. Шема на состојба: „Истражете го [доменот] со [алатка/податоци] за [ризик/информации].
2) Интуитивен адаптер за знаци:
Преведете ги овие интуитивни индиции во конкретни експерименти за следниот екран: CRUD, златни брави (помалку/целосни/повеќе), прекини, обратен редослед, заобиколување овластување. Екран: [опис на екран/проток]. Напишете 2 експерименти специфични за екранот за секој поим.
3) Потсетник за слепа точка:
Ја тестирам следната карактеристика: [feature]. Наведете ги 10-те случаи каде што искусните тестери НАЈМНОГУ го пропуштаат овој тип на функции. Вклучете ги оските за пристапност, локализација (јазик/датум/валута), истовременост, безбедност и перформанси.
4) Резимирање на белешки од сесијата:
Подолу се необработените белешки од мојата сесија за откривање. Организирајте ги во оваа структура: - Пронајдени аномалии (со проценета сериозност) - Оние со познат чекор на репродукција - Оние кои бараат дополнително истражување - Предлог за следната сесија Необработени белешки: [залепете белешки]
три мини футроли
Случај 1 - Потсетник за слепа точка во акција. Експерт ја тестираше функцијата за пребарување во повеќејазична апликација. По потсетувањето на вештачката интелигенција да „не ја заборави оската за локализација“, тој се обиде со конверзија на буквите „i/I“ специфично за турски јазик. Пребарувањето за „Истанбул“ не даде никакви резултати; Откриена е грешка при конверзија со мали букви. AI axis потсети, вештакот се обиде и го најде.
Случај 2 - Фокус на повелбата. Новиот тестер поминал 2 часа сурфајќи низ екранот за плаќање, но направил само 2 мали белешки бидејќи бил неструктуриран. По планирањето на сесијата со вештачката интелигенција поделена на 3 тест услови, забележа 11 аномалии во истиот период; двајца од нив биле сериозни. Истото време беше 5 пати поефикасно благодарение на структурата.
Случај 3 - Одбранбено тестирање за поставување датотеки. Тим ја испроба „погрешната екстензија/преголема датотека“ предложена од YZ при поставувањето фотографија на профилот, во нивните сопствени производи. Откривме дека датотека од 50 MB го урна серверот 40 секунди и додаде ограничување на големината и истек на време. Тестирањето беше направено само на сопствени производи, за одбранбени цели.
Вообичаени грешки
- Замена на вештачката интелигенција со сесија. Вредноста на откритието е во вашето набљудување и интуиција; ВИ помага при подготовка и закрепнување.
- Прелистајте без резервација. Поминување часови без фокус и наоѓање малку. Условот за тестирање дава фокус.
- Не собирање белешки. Ако повторно не ја зачувате аномалијата пронајдена во откритието со чекорот на производството, тој наод ќе се изгуби.
- Заглавување на една оска. Секогаш тестирање на границите на внесување; Заобиколувајќи ги оските на авторитетот, распоредот, локализацијата.
- Спроведување на неовластени безбедносни тестови. Обидете се само со манипулација со датотека/URL на вашиот сопствен производ и со дозвола.
Сумирано
Истражувачкото тестирање е тип на тестирање што најмногу се потпира на човечката љубопитност, барајќи го непишаното. ВИ нема да ве замени овде; Ги прикажува условите за тестирање, ги прилагодува интуитивните индиции на вашиот контекст, ве потсетува на слепи точки и ги претвора вашите неуредни белешки од сесијата во организиран извештај. Вредноста доаѓа од вашето набљудување и интуиција; ВИ ја фокусира и ја множи оваа вредност. Напишете ги условите, менувајте ги оските, запишете ги наодите повторно со чекорот за производство, извршете безбедносни тестови само во рамките на овластувањето.
Задача за апликација
Изберете карактеристика од вашиот сопствен производ. Поделете ја сесијата од 60 минути на 3 услови користејќи го шаблонот „генератор на услови за тестирање“ со вештачка интелигенција. Направете ја сесијата (без вештачка интелигенција, истражување со рака), чувајте необработени белешки. Кога ќе завршите, организирајте ги белешките со шаблонот „Сумаризатор на белешки за сесија“. Резултат: најмалку 5 аномалии, чекор на регенерација за секоја и проценка на сериозноста. Забележете која состојба на тестот и интуитивна трага резултираа со највредната аномалија што сте ја нашле.
листа за проверка
- [ ] Пред сесијата, создадов услови за тестирање со вештачка интелигенција и го одредив фокусот.
- [ ] Пробав најмалку 4 различни оски на откривање (влез, тајминг, формат, авторизација, прекин).
- [ ] Сесијата ја водев рачно, со моја љубопитност; Не ја заменив вештачката интелигенција.
- [ ] Ја забележав секоја аномалија со нејзиниот чекор на репродукција и проценка на сериозноста.
- [ ] Ги претворив моите белешки во редовен извештај со вештачка интелигенција.
- [ ] Се обидов само за безбедност/манипулација на мојот сопствен производ и со овластување.