Прибыль:
- Возможность конвертировать записи тестов юзабилити и записи наблюдений в выводы, веса и рекомендации с помощью искусственного интеллекта.
- Умение ранжировать результаты по серьезности и составлять таблицу приоритетов.
- Способность исправлять выводы, которые искусственный интеллект упускает или преувеличивает, с помощью реальных данных наблюдений.
Юзабилити-тестирование — это метод наблюдения за тем, где дизайн работает, а где он застревает, путем предоставления конкретных задач реальным пользователям и их мониторинга. Сам тест прост; Настоящая проблема заключается в последствиях: превратить часы записей, страницы заметок наблюдений и разрозненные снимки экрана в четкие, расставленные по приоритетам выводы. Этот синтез занимает несколько дней вручную, и команды часто оставляют его незавершенным. Искусственный интеллект открывает это узкое место: превращая записи и заметки в выводы, весомость и рекомендации. Но человеческое суждение решает, действительно ли наблюдение представляет собой проблему и насколько оно важно.
Разница между наблюдением, обнаружением и внушением
В синтезе крайне важно разделить три слоя:
- Наблюдение: Что произошло, без комментариев. «Участник 3 искал кнопку «Продолжить» в течение 40 секунд».
- Находка: закономерность, возникающая в результате наблюдений. «Пользователи не могут найти основное действие».
- Рекомендация: Что делать. «Делает основную кнопку визуально выделяющейся».
ИИ быстро создает эти три слоя, но часто путает наблюдение с открытием или делает вывод о целом выводе на основе одного наблюдения. Ваша задача — убедиться, что за каждым выводом стоит достаточное количество наблюдений (сколько участников и сколько раз).
Совет: пусть искусственный интеллект скажет: «Под каждым открытием добавьте наблюдения, подтверждающие его, и количество участников, у которых оно было обнаружено». Таким образом, вы можете мгновенно отличить завышенные результаты от одного наблюдения.
Серьезность: что исправить в первую очередь?
Не все результаты одинаковы. Серьезность указывает на то, насколько срочно необходимо устранить проблему, и определяется тремя факторами:
- Влияние: проблема мешает пользователю выполнить задачу или просто раздражает его?
- Частота: сколько пользователей и как часто?
- Влияние на бизнес. Насколько эта проблема влияет на конверсию, доход или доверие?
Типичная шкала: Критический (полностью затрудняет выполнение миссии), Высокий (серьезная сложность), Средний (замедляет), Низкий (косметический). ИИ может предложить первоначальный рейтинг, но окончательное решение о взвешивании — особенно о влиянии на бизнес — требует от команды знания контекста.
нахождение
Воздействие
частота
важность
Предложение
Основная кнопка не найдена
Это мешает выполнению задачи
4/6 участников
критический
Кнопка выделения
Сообщение об ошибке неясно
замедление
3/6
высокий
Уточните сообщение
Значение значка неясно
небольшое колебание
2/6
средний
Добавить тег
Цветовой тон не понравился
косметика
1/6
низкий
оставь это на потом
три мини-кейса
Случай 1 — 5 часов записи, выводы через полдня. Одна команда передала ИИ записи шести пользовательских тестов (всего 5 часов). Модель предложила 14 результатов; Команда сверила каждое из них с количеством наблюдений, сузила их до 9 и расположила в порядке важности. Синтез, который вручную занял бы 2 дня, сократился до половины дня.
Случай 2 — Задутая находка поймана. «Пользователи не понимают навигацию», — написал ИИ в критическом выводе. Когда команда изучила подтверждающие наблюдения, они обнаружили, что они основаны на одном моменте одного участника. Результат был понижен до «среднего», и были запрошены дополнительные данные. Урок: одно наблюдение не приводит к критическому выводу.
Случай 3 — Пропущена критическая проблема. Модель посчитала повторяющуюся, но, казалось бы, незначительную проблему (форма не имеет автоматической прокрутки) как «низкую». Когда дизайнер посмотрел на наблюдения, он понял, что это привело к отказу от выполнения задания у 5 участников, и установил для него значение «высокое». Урок: оценка важности ИИ корректируется данными наблюдений.
Совместное чтение количественных и качественных данных
Юзабилити-тестирование в основном качественное (основано на наблюдениях), но есть и количественные (числовые) сигналы: скорость выполнения задачи, продолжительность задачи, количество ошибок, оценка удовлетворенности. Самый мощный синтез объединяет эти два фактора: «Только 33% участников выполнили задачу оформления заказа (количественный показатель), а все, кто не смог его выполнить, застряли на этапе доставки (качественный показатель)». Искусственный интеллект помогает объединить эти две данные, если вы предоставляете их по отдельности; но вы подтверждаете точность цифр и размер выборки. Разговоры о процентах могут ввести в заблуждение в случае небольших выборок (например, 5 пользователей); Сказать «3 из 5 пользователей» честнее, чем сказать «60%». Попросите модель говорить в абсолютных цифрах.
Совет: пусть ИИ скажет: «Напишите «сколько пользователей», а не процент». В небольших выборках процентное соотношение создает впечатление большей точности, чем оно есть на самом деле.
Копируемые подсказки
Ваша роль: юзабилити-аналитик. Сделайте выводы из следующих анонимных записей испытаний. Для каждого результата: 1) четкое утверждение, 2) подтверждающие наблюдения и количество участников, которые это видели, 3) эффект (блокировка/замедление/косметический эффект). Отметьте выводы, основанные на одном наблюдении, как «СЛАБЫЕ ДОКАЗАТЕЛЬСТВА». Примечания: <<текст>>
Отсортируйте этот список результатов по важности. Критерии: влияние (препятствие выполнения задачи?), частота (сколько участников?), влияние на бизнес. Назначьте каждому результату «Критический/Высокий/Средний/Низкий» и напишите обоснование. Если вы не уверены в влиянии на бизнес, скажите: «Команда должна оценить». Результаты: <<список>>
Напишите конкретные, действенные рекомендации по дизайну для каждого вывода. Рекомендация: что изменится + почему это решает проблему + на какой экран это влияет. Избегайте расплывчатых рекомендаций («сделайте лучше»). Результаты: <<список>>
Подведите итоги этого отчета о результатах для презентации заинтересованным сторонам: напишите краткое резюме, включающее 3 наиболее важных вывода, доказательства (количество пользователей) и рекомендуемые действия. Преувеличение; брать цифры из заметок.Отчет: <<текст>>
Слабая подсказка / Сильная подсказка
Слабое: «Сделайте выводы на основе результатов этих тестов».
Результат: смешанный список без доказательств, без порядка важности и ошибочное принятие одного наблюдения за вывод.
Сильный: «Сделайте вывод из заметок; под каждым выводом добавьте подтверждающие наблюдения и укажите, у скольких участников он был замечен; отметьте результат, основанный на одном наблюдении, как «слабое доказательство»; затем ранжируйте его в порядке важности в соответствии с эффектом-частотой-эффектом работы».
Результат: Основанные на фактических данных, приоритетные и обоснованные выводы.
Разница: сильная подсказка подсказывает количество доказательств + слабая подсказка + критерий важности.
Распространенные ошибки
- Путаница наблюдения с находкой. Превращение одного «то, что произошло» в общий вывод.
- Делать критические выводы на основе одного наблюдения. Никакой вес не будет присвоен до тех пор, пока частота не будет проверена.
- Решение о влиянии бизнеса на искусственный интеллект. Влияние на доход/конверсию требует контекста; Он в своей команде.
- Не расставляйте приоритеты. Неорганизованный список результатов парализует команду; Не все можно исправить сразу.
- Оставляя предложения расплывчатыми. «Делать лучше» неприменимо; Что, почему и где должно быть понятно.
В итоге
Ценность юзабилити-тестирования заключается в том, что записи и заметки превращаются в четкие и приоритетные выводы. Искусственный интеллект значительно ускоряет этот синтез: агрегирует наблюдения в выводы, составляет рекомендации, предлагает порядок важности. Но это человеческая работа — проверять количество наблюдений, лежащих в основе каждого вывода, отсеивать завышенные результаты, основанные на отдельных наблюдениях, и сопоставлять влияние бизнеса с контекстом. Отчет о результатах, основанный на фактических данных, имеющий определенную периодичность и упорядоченный в порядке важности, будет одновременно быстрым и понятным для заинтересованных сторон.
Задача приложения
- Анонимизировать заметки из юзабилити-теста (реального или вымышленного).
- Удалить выводы по первой подсказке; Проверьте количество наблюдений под каждым.
- Выделите результаты, помеченные как «слабые доказательства», и решите, нужны ли дополнительные данные.
- Используя вторую подсказку, расположите результаты в порядке важности; Оцените влияние на бизнес всей командой.
- Используя третью подсказку, напишите конкретные предложения для каждого вывода и создайте таблицу приоритетов.
контрольный список
- [ ] Я сохранил наблюдения, выводы и предложения как отдельные слои.
- [ ] Я проверил, сколько участников продемонстрировали каждый результат.
- [ ] Я отметил выводы, основанные на одном наблюдении, как слабые доказательства.
- [ ] Я определил уровень серьезности по воздействию, частоте и воздействию на работу.
- [ ] Вместе с командой оценили влияние решения на бизнес.
- [ ] Я написал предложения конкретно (что/почему/где).