Zyski:
- Możliwość konwertowania zapisów testów użyteczności i notatek z obserwacji na ustalenia, wagi i rekomendacje za pomocą sztucznej inteligencji
- Możliwość uszeregowania ustaleń według wagi i stworzenia tabeli priorytetów
- Możliwość korygowania ustaleń, które sztuczna inteligencja pomija lub wyolbrzymia, za pomocą rzeczywistych dowodów obserwacyjnych
Testowanie użyteczności to metoda obserwacji, gdzie projekt działa, a gdzie utknie, poprzez przydzielanie konkretnych zadań prawdziwym użytkownikom i ich monitorowanie. Sam test jest łatwy; Prawdziwym wyzwaniem jest następstwo: przekształcenie godzin nagrań, stron notatek z obserwacji i rozproszonych zrzutów ekranu w jasne ustalenia o ustalonych priorytetach. Ta synteza zajmuje wiele dni, a zespoły często pozostawiają ją niedokończoną. Sztuczna inteligencja otwiera to wąskie gardło: przekształcanie zapisów i notatek w ustalenia, wagę i rekomendacje. Jednak to ludzki osąd decyduje, czy obserwacja naprawdę stanowi problem i jak ważna jest.
Różnica między obserwacją, znajdowaniem i sugestią
W syntezie niezwykle istotne jest oddzielenie trzech warstw:
- Obserwacja: Co się stało, bez komentarza. „Uczestnik 3 szukał przycisku „kontynuuj” przez 40 sekund.”
- Wynik: wzór wyłaniający się z obserwacji. „Użytkownicy mają problemy ze znalezieniem głównego działania”.
- Zalecenie: co robić. „Sprawia, że główny przycisk wyróżnia się wizualnie.”
Sztuczna inteligencja szybko tworzy te trzy warstwy, ale często myli obserwację ze znalezieniem lub wnioskuje o całym ustaleniu na podstawie pojedynczej obserwacji. Twoim zadaniem jest sprawdzenie, czy za każdym ustaleniem kryje się wystarczająca liczba obserwacji (ilu uczestników, ile razy).
Wskazówka: poproś sztuczną inteligencję, aby powiedziała „pod każdym znaleziskiem dodaj obserwacje, które to potwierdzają, oraz liczbę uczestników, u których zaobserwowano”. W ten sposób można natychmiast odróżnić zawyżone wyniki od pojedynczej obserwacji.
Ważność: co najpierw naprawić?
Nie wszystkie ustalenia są sobie równe. Ważność wskazuje, jak pilnie należy rozwiązać problem i jest określana na podstawie trzech czynników:
- Wpływ: Czy problem uniemożliwia użytkownikowi wykonanie zadania, czy tylko go denerwuje?
- Częstotliwość: Ilu użytkowników i jak często?
- Wpływ na działalność biznesową: jak bardzo ten problem wpływa na konwersję, przychody lub zaufanie?
Typowa skala: Krytyczna (całkowicie utrudnia misję), Wysoka (poważny poziom trudności), Średnia (spowalnia), Niska (kosmetyczna). Sztuczna inteligencja może sugerować wstępny ranking, ale ostateczna decyzja dotycząca wagi – w szczególności wpływu biznesowego – wymaga od zespołu znajomości kontekstu.
znalezienie
Wpływ
częstotliwość
znaczenie
Sugestia
Nie można znaleźć przycisku podstawowego
To przeszkadza w zadaniu
4/6 uczestników
krytyczny
Przycisk podświetlenia
Komunikat o błędzie jest niejasny
zwalnianie
3/6
wysoki
Wyjaśnij wiadomość
Znaczenie ikony niejasne
slight hesitation
2/6
średni
Dodaj tag
Tonacja kolorów nie przypadła do gustu
kosmetyki
1/6
niski
zostaw to na później
trzy mini etui
Przypadek 1 — 5 godzin nagrań, ustalenia w pół dnia. Jeden zespół przekazał AI notatki z 6 testów użytkowników (łącznie 5 godzin). Model zasugerował 14 ustaleń; Zespół porównał każdą z nich pod kątem liczby obserwacji, zawęził liczbę do 9 i uszeregował je według ważności. Synteza, która ręcznie trwałaby 2 dni, została skrócona do pół dnia.
Przypadek 2 — Wychwycono zawyżone ustalenie. „Użytkownicy nie rozumieją nawigacji” – napisała sztuczna inteligencja w krytycznym ustaleniu. Kiedy zespół przyjrzał się obserwacjom potwierdzającym, odkrył, że opierał się na pojedynczym momencie jednego uczestnika. Wynik obniżono do „umiarkowanego” i zażądano większej ilości danych. Lekcja: pojedyncza obserwacja nie prowadzi do krytycznego ustalenia.
Przypadek 3 — Pominięcie krytycznego problemu. Model uznał powtarzający się, ale pozornie drobny problem (brak automatycznego przewijania formularza) jako „niski”. Kiedy projektant przyjrzał się obserwacjom, zdał sobie sprawę, że spowodowało to porzucenie zadania u 5 uczestników i ustawił je na „wysokie”. Lekcja: Szacunek znaczenia sztucznej inteligencji jest korygowany na podstawie dowodów obserwacyjnych.
Wspólne czytanie danych ilościowych i jakościowych
Testowanie użyteczności ma głównie charakter jakościowy (obserwacyjny), ale istnieją również sygnały ilościowe (liczbowe): stopień wykonania zadania, czas trwania zadania, liczba błędów, wynik satysfakcji. Najpotężniejsza synteza łączy te dwa elementy: „Tylko 33% uczestników ukończyło zadanie związane z kasą (ilościowe), a wszyscy, którym nie udało się tego dokonać, utknęli na etapie wysyłki (jakościowym).” Sztuczna inteligencja pomaga połączyć te dwa dane, jeśli podasz je osobno; ale potwierdzasz dokładność liczb i wielkość próbki. Mówienie o wartościach procentowych może wprowadzać w błąd w przypadku małych próbek (np. 5 użytkowników); Powiedzenie „3 na 5 użytkowników” jest bardziej uczciwe niż powiedzenie „60%”. Poproś modela, aby mówił w liczbach bezwzględnych.
Wskazówka: niech sztuczna inteligencja powie „wpisz„ ilu użytkowników ”zamiast procentu”. W małych próbach procent daje wrażenie większej precyzji niż jest w rzeczywistości.
Monity, które można kopiować
Twoja rola: analityk użyteczności. Wyciągnij wnioski z poniższych anonimowych notatek z testów. Dla każdego ustalenia: 1) jasne stwierdzenie, 2) obserwacje potwierdzające i liczba uczestników, którzy to zauważyli, 3) efekt (blokowanie/spowolnienie/kosmetyka). Oznacz ustalenia oparte na pojedynczej obserwacji jako „SŁABY DOWÓD”. Uwagi: <<tekst>>
Posortuj tę listę ustaleń według ważności. Kryteria: wpływ (przeszkoda w zadaniu?), częstotliwość (ilu uczestników?), wpływ na biznes. Przypisz każdemu stwierdzeniu Krytyczny/Wysoki/Średni/Niski i napisz uzasadnienie. Jeśli nie masz pewności co do wpływu na biznes, powiedz „zespół musi ocenić”. Wyniki: <<lista>>
Napisz konkretne, wykonalne zalecenie projektowe dla każdego ustalenia. Zalecenie: co się zmieni + dlaczego to rozwiązuje problem + na jaki ekran wpływa. Unikaj niejasnych („rób lepiej”) rekomendacji. Wyniki: <<lista>>
Podsumuj ten raport z wynikami do prezentacji dla interesariuszy: napisz krótkie streszczenie zawierające 3 najważniejsze ustalenia, dowody (ilu użytkowników) i zalecane działania. Przesada; weź liczby z notatek. Raport: <<tekst>>
Słaba zachęta/silna zachęta
Słabe: „Wyciągnij wnioski z wyników testów”.
Wynik: mieszana lista pozbawiona dowodów, bez kolejności ważności i błędnie traktująca pojedynczą obserwację jako ustalenie.
Mocny: „Wyciągnij wniosek z notatek; pod każdym wnioskiem dodaj obserwacje potwierdzające oraz informację, u ilu uczestników je zaobserwowano; oznacz ten oparty na pojedynczej obserwacji jako „słaby dowód”; następnie uszereguj go według ważności według efektu-częstotliwości-efektu pracy.
Wynik: oparte na dowodach, uszeregowane pod względem priorytetów i dające się obronić ustalenia.
Różnica: silna zachęta podpowiada liczbę dowodów + słaba podpowiedź + kryterium ważności.
Typowe błędy
- Mylisz obserwację z odkryciem. Zamiana pojedynczego „tego, co się wydarzyło” w ogólny wniosek.
- Dokonywanie kluczowych wniosków na podstawie pojedynczej obserwacji. Do czasu sprawdzenia częstotliwości nie zostanie podana żadna waga.
- Decydowanie o wpływie biznesu na sztuczną inteligencję. Wpływ na przychody/konwersję wymaga kontekstu; Jest w swoim zespole.
- Nie ustalaj priorytetów. Nieuporządkowana lista ustaleń paraliżuje zespół; Nie wszystko da się naprawić od razu.
- Pozostawianie sugestii niejasnych. „Rób lepiej” nie ma zastosowania; What, why and where should be clear.
Podsumowując
Wartość testów użyteczności polega na przekształceniu nagrań i notatek w jasne wnioski o ustalonych priorytetach. Sztuczna inteligencja znacznie przyspiesza tę syntezę: łączy obserwacje w wnioski, formułuje rekomendacje, sugeruje kolejność ważności. Jednak ludzką pracą jest zweryfikowanie liczby obserwacji leżących u podstaw każdego ustalenia, wyeliminowanie zawyżonych wniosków na podstawie pojedynczych obserwacji i zważenie wpływu biznesowego na kontekst. Sprawozdanie z ustaleń oparte na dowodach, sporządzane z określoną częstotliwością i uporządkowane według ważności będzie szybkie i zrozumiałe dla zainteresowanych stron.
Zadanie aplikacji
- Anonimizuj notatki z testu użyteczności (prawdziwego lub fikcyjnego).
- Usuń ustalenia po pierwszym pytaniu; Sprawdź liczbę obserwacji pod każdym z nich.
- Wyodrębnij ustalenia oznaczone jako „słabe dowody” i zdecyduj, czy potrzebne są dodatkowe dane.
- Po wyświetleniu drugiego monitu uszereguj ustalenia według ważności; Oceń wpływ biznesowy jako zespół.
- Po trzecim pytaniu zapisz konkretne sugestie dotyczące każdego ustalenia i utwórz tabelę ustalania priorytetów.
lista kontrolna
- [ ] Obserwacje, ustalenia i sugestie umieściłem w osobnych warstwach.
- [ ] Sprawdziłem, ilu uczestników wykazało każde odkrycie.
- [ ] Ustalenia oparte na pojedynczej obserwacji oznaczyłem jako słaby dowód.
- [ ] Określiłem poziom dotkliwości na podstawie wpływu wpływu-częstotliwości-zadania.
- [ ] Oceniłem z zespołem decyzję o wpływie na działalność biznesową.
- [ ] Napisałem sugestie konkretnie (co/dlaczego/gdzie).