Прибуток:
- Можливість трансформувати розрізнені спостереження у звіт із чіткою назвою, детермінованими кроками відтворення, очікуваними/фактичними результатами та доказами за підтримки штучного інтелекту
- Можливість нав’язати штучному інтелекту правило «використовувати лише ту інформацію, яку я надаю, не вигадувати» та гарантувати відтворюваність із власним контролем
- Вміти розрізняти серйозність (технічний вплив) і пріоритет (терміновість бізнесу) і дати остаточну позначку бізнес-контексту
Помилка, яку виявив тестер, має цінність, лише якщо її виправлено; Виправлення значною мірою залежить від якості звіту про помилку — запису, який документує дефект у спосіб, який розробник може зрозуміти, відтворити та виправити. Погано написаний звіт про помилку («вхід не працює») зупинить розробника на години, призведе до зворотного листування та часто закриється як «неможливо відтворити». Хороший звіт містить чіткі кроки, очікувані та фактичні результати, контекстну інформацію та докази. Штучний інтелект (ШІ) дуже добре перетворює ваші розрізнені спостереження на професійний, структурований звіт. Але головне застереження стосується і тут: штучний інтелект не може вигадувати кроки, яких ви не бачите; може заповнити відсутню інформацію «розумними», але неточними припущеннями. Ваше завдання полягає в тому, щоб переконатися, що кожен рядок звіту базується на тому, що ви фактично спостерігали.
Анатомія хорошого звіту про помилку
Ефективний звіт включає такі компоненти:
- Заголовок: короткий, конкретний, доступний для пошуку. Не "Є помилка"; «Неможливо натиснути кнопку «Оформити замовлення», якщо в кошику понад 10 товарів (Chrome)».
- Кроки для відтворення: пронумеровані, відстежувані з нуля, детерміновані. Після виконання цих кроків розробник повинен побачити помилку.
- Очікуваний результат: те, що мало статися згідно з критеріями прийнятності.
- Фактичний результат: що сталося (повідомлення про помилку, екран, поведінка).
- Середовище: браузер/пристрій, версія, середовище (тестове/живе), роль користувача, дані.
- Докази: знімок екрана, відео, журнал, трасування помилок (трасування стека).
- Серйозність і пріоритет: детально описано нижче.
Порада. Перш ніж надіслати звіт, запитайте: "Якщо я передам ці кроки комусь іншому, чи зможуть вони побачити помилку без моєї допомоги?" запитати. Якщо відповідь «ні», то звіт неповний. ШІ може зробити звіт красивим, але тільки ви можете гарантувати відтворюваність.
Насильство і пріоритет: два плутаних поняття
Серйозність – це технічний ефект помилки: система дає збій, дані втрачаються чи це помилка? Пріоритет - це те, наскільки терміново це потрібно виправити; стосується впливу на бізнес. Вони не завжди йдуть в одному напрямку: орфографічна помилка в назві компанії на домашній сторінці є незначною серйозністю, але високим пріоритетом (репутація). У рідкісних крайніх випадках колапс може мати високу серйозність, але низький пріоритет. AI допомагає вам розрізняти це, коли ви даєте спостереження; але остаточну позначку даєш ти, хто знає бізнес-контекст.
насильство
приклад
пріоритет
приклад
Критичний (блокувальник)
Неможливо здійснити оплату
Терміново (P1)
Втрата доходу в реальному часі
Високий (майор)
Звіт містить неправильну суму
Високий (P2)
Обов’язковий для майбутнього випуску
Середній (незначний)
Рідкісна гранична помилка
Середній (P3)
У плановому спринті
Низький (тривіальний)
Вирівнювання кнопок вимкнено
Низький (P4)
Коли є шанс
Слабка підказка / Сильна підказка
Слабкий: «Повідомити про цю помилку: платіж не працює».
Сильний: «Перекладіть мої спостереження нижче у стандартний формат звіту про помилку: заголовок, кроки відтворення (пронумеровані), очікуваний результат, фактичний результат, середовище, серйозність і пріоритетність рекомендацій (обґрунтовано). Використовуйте лише надану мною інформацію; заповніть усі відсутні поля, позначте «ІНФОРМАЦІЯ ВІДСУТНА: ...». Спостереження: Chrome 120, тестове середовище, 12 елементів у кошику, нічого не відбувається, коли я натискаю «Оформити замовлення», Помилка «undefined is not a function» у консолі. З 11 продуктами проблем немає».
Потужна підказка; накладає формат, правило «підгонки» та позначення відсутньої інформації. Таким чином звіт буде точним і чесним.
Виявлення дублікатів помилок
У великих командах ту саму помилку повідомляють знову і знову. Штучний інтелект може порівняти ваш новий звіт із наявними відкритими помилками та позначити потенційні дублікати — це збереже вашу систему відстеження помилок (проблеми Jira, Azure DevOps, GitHub) чистою. Але будьте обережні: дві помилки, які виглядають схожими на поверхні, можуть мати різні причини; Порівняйте повторювані етапи виробництва та середовище обох звітів, перш ніж закрити пропозицію штучного інтелекту про «дублікат». У випадково закритому "дублікаті" фактично відсутня окрема помилка.
Від трасування помилки до першопричини: потужність ШІ для читання журналів
Найбільш технічною частиною звіту про помилку є трасування помилки (трасування стека — розбивка того, який рядок коду, з яким ланцюжком викликів викликав помилку). Довгі та складні журнали можуть втомити навіть розробника. AI зчитує журнал із сотень рядків і підсумовує за секунди найбільш критичні рядки, можливу гіпотезу першопричини та точку коду, де була спровокована помилка. Це скорочує звіт і дає розробнику пряму відправну точку.
Однак пам’ятайте про два обмеження. По-перше, першопричина, наведена ШІ, є гіпотезою, а не доказом; Розробник не повинен намагатися виправити це без перевірки. По-друге, журнали часто містять особисті дані (електронна пошта, ідентифікатор користувача, маркер сеансу); Замаскуйте ці ділянки перед тим, як покласти колоду на автомобіль. Хороша практика полягає в тому, щоб спочатку ШІ сказав «перерахувати поля, які потрібно замаскувати в цьому журналі», а потім проаналізувати очищений журнал.
Порада. Замість того, щоб вставляти весь журнал у звіт, додайте найважливіші 3-5 рядків, які ШІ підсумовує, і посилання на повний журнал. Таким чином звіт залишається читабельним, а розробник, якому потрібні деталі, може отримати доступ до повного журналу.
Чотири шаблони, які можна копіювати
1) Від спостереження до звіту:
Ваша роль: старший QA. Перекладіть такі необроблені спостереження в стандартний звіт про помилку: Назва / Етапи відтворення (пронумеровані) / Очікувані / Фактичні / Середовище / Примітка про докази / Серйозність + Пріоритет (вирівняний). ПРАВИЛО: використовувати лише ту інформацію, яку я надаю; позначте відсутнє поле як "ВІДСУТНЯ ІНФОРМАЦІЯ:..." Спостереження: [необроблені примітки]
2) Контроль відтворюваності:
Прочитайте цей звіт про помилку з точки зору розробника, який ніколи не бачив помилки. Виконайте кроки та позначте місця, де помилка не виникне: неоднозначний крок, відсутня передумова, відсутні тестові дані, пропущена умова. Скажіть мені, яку інформацію я повинен додати для кожного пропуску. Звіт: [вставити звіт]
3) Порадник щодо серйозності/пріоритету:
Я описую таку помилку: [помилка + бізнес-контекст]. Надайте пропозиції та обґрунтування окремо за ступенем серйозності (технічний вплив) та пріоритетом (терміновість для бізнесу). Поясніть, чому вони можуть бути різними. Я прийму остаточне рішення.
4) Підсумок трасування журналу/помилок:
Перегляньте трасування/журнал помилок нижче. Дайте мені короткий виклад (1) гіпотези першопричини, (2) вірогідної точки коду, де сталася помилка, (3) 3 найважливіших рядків для додавання до звіту. Маска, якщо є особисті дані. Журнал: [вставити журнал]
три міні-чохла
Випадок 1 — Звільнення від «Я не міг створювати». В одній команді 30% помилок було закрито як «неможливе відтворення». До процесу звіту додано шаблон «перевірка відтворюваності»; Перед надсиланням кожного звіту AI позначав відсутні кроки та передумови. Через три місяці рівень «не вдалося виробити» знизився з 30% до 8%. Різниця полягала в тому, що кроки були точними з самого початку.
Випадок 2 — Небезпека фальшивих кроків. Тестер попросив штучний інтелект написати звіт із неповними спостереженнями; AI додав крок, який ніколи не відбувався, наприклад «користувач вмикає сповіщення зі сторінки налаштувань». Коли розробник виконав цей крок, він не зміг знайти помилку та втратив час. Команда дотримувалася правила «використовуйте лише ту інформацію, яку я надаю, не вигадуйте»; Надумані кроки усуваються.
Випадок 3 — Розрізнення серйозності/пріоритету. Була друкарська помилка в слогані компанії на головній сторінці. Тестер видасть це за "низький"; Консультант AI нагадав, що технічне насильство є низьким, але бізнес-пріоритет високий (елемент репутації, який отримує кожен відвідувач). Помилка була виправлена в той же день з тегом «високий пріоритет».
Поширені помилки
- Розпливчаста назва. Недоступні для пошуку, недискримінаційні заголовки, такі як "Не працює".
- Відсутні/пропущені кроки. Не писати те, що є очевидним у вашому контексті; невиконання розробником продукції.
- Дозвольте ШІ це вигадати. Заповнення відсутньої інформації за допомогою «розумної оцінки»; неправильні кроки.
- Не написання очікуваного результату. Говорити «неправильно», але не вказувати, що правильно.
- Плутання насильства та пріоритету. Помилково сприймаючи ці дві мітки як одну; Неправильна оцінка впливу на бізнес.
- Конфіденційні дані в доказах. Обмін справжніми особистими даними на скріншотах/журналах без їх маскування.
Підсумовуючи
Цінність звіту про помилку полягає в тому, що розробник може відтворити та виправити помилку без вашої допомоги. ШІ дуже добре перетворює розрізнені спостереження на професійний, структурований звіт; Він упорядковує назву, кроки, очікуваний/фактичний результат, середовище та докази, а також надає консультації щодо розмежування між серйозністю та пріоритетом. Але ШІ може компенсувати відсутню інформацію; Дотримуйтеся правила «використовуйте лише ту інформацію, яку я надаю, позначайте відсутню» та гарантуйте відтворюваність самостійно. Замаскуйте особисті дані в доказах.
Аплікаційне завдання
Візьміть помилку, яку ви нещодавно знайшли, і перетворіть свої необроблені спостереження у звіт за шаблоном «спостереження до звіту» (з правилом «підгонки»). Потім виконайте «перевірку відтворюваності» та заповніть позначені пропуски. Передайте звіт колезі та подивіться, чи зможе він вивести помилку без вашої допомоги. Нарешті, визначте мітки з «насильством/пріоритетним консультантом» і завершіть їх на власний розсуд. Зверніть увагу на будь-яку інформацію, яку штучний інтелект намагається отримати в процесі.
контрольний список
- [ ] Моя назва є конкретною та доступною для пошуку.
- [ ] Етапи відтворення виконуються з нуля, детерміновані та завершені.
- [ ] Я написав окремо очікувані та фактичні результати.
- [ ] Інформація про параметри та докази завершена; Я маскував особисті дані.
- [ ] Я нав’язав ШІ правило «придумай, познач пропущене» і сам заповнив прогалини.
- [ ] Я окремо оцінив серйозність і пріоритет і прийняв остаточне рішення.