Zyski:
- Możliwość przekształcania surowych transkrypcji wywiadów, odpowiedzi z ankiet otwartych i zgłoszeń do pomocy technicznej w motywy i spostrzeżenia za pomocą sztucznej inteligencji
- Możliwość przyspieszenia etapów analizy jakościowej, takich jak mapowanie i kodowanie powinowactwa, przy wsparciu sztucznej inteligencji oraz weryfikacji wyników ludzkim okiem
- Możliwość usuwania tematów wymyślonych lub przesadzonych przez sztuczną inteligencję poprzez powiązanie ich z prawdziwymi cytatami
Najbardziej żmudną i najłatwiejszą do pominięcia fazą badań użytkowników jest synteza: przekształcanie dziesiątek wywiadów, setek odpowiedzi w ankietach i zgłoszeń do pomocy technicznej (prośby użytkownika o pomoc) w znaczące spostrzeżenia. Ta praca wymaga wielu dni pracy ręcznej; Dlatego zespoły często idą na skróty i podejmują decyzje „na wyczucie”. Sztuczna inteligencja usuwa właśnie to wąskie gardło: dzieli surowy tekst na tematy w ciągu kilku minut, a nie godzin. Ale synteza nie jest zadaniem polegającym na „wytworzeniu podsumowania”; Jest to rozumowanie oparte na dowodach i podlegające kontroli. W tej części dowiesz się, jak zachować autentyczność spostrzeżeń, jednocześnie czyniąc sztuczną inteligencję partnerem w syntezie.
Czym jest wgląd, a nie podsumowanie
Najpierw wyjaśnijmy ten termin. Wgląd to znaczący wzorzec wyłaniający się z danych i kierujący projektem: „Użytkownicy poddają się nie na etapie płatności, ale kiedy po raz pierwszy zobaczą opłatę za wysyłkę”. To nie jest podsumowanie („Użytkownicy skarżą się na płatność”); nie jest to też obserwacja („Uczestnik 4 zatrzymał się, gdy zobaczył opłatę za wysyłkę”). Wgląd pozwala wykryć wspólną przyczynę leżącą u podstaw wielu obserwacji i otwiera drzwi do podjęcia decyzji projektowej.
Sztuczna inteligencja ma naturalną skłonność do tworzenia podsumowań. Twoim zadaniem jest przeciągnięcie wszystkiego od podsumowania do wglądu: „dlaczego?” i „co to zmienia w projekcie?” poprzez umieszczenie pytań w podpowiedzi.
Etapy analizy jakościowej i miejsce sztucznej inteligencji
Analiza jakościowa (nienumeryczna, oparta na tekście/obserwacjach) klasycznie przebiega w następujących etapach:
- Kodowanie: Każdy znaczący fragment tekstu otrzymuje etykietę („problem dotyczący kosztów wysyłki”, „brak pewności”).
- Diagram powinowactwa (mapowanie powinowactwa): Podobne tagi są grupowane; grupy stają się tematami.
- Priorytety motywów: Określa się, który motyw jest widoczny dla ilu użytkowników i z jaką intensywnością.
- Wgląd i porady: Tematy „co robić?” łączy się ze zdaniami.
Sztuczna inteligencja znacznie przyspiesza kroki 1 i 2: wstępne kodowanie i wstępne grupowanie w ciągu kilku minut. Jednakże znaczenie grup, ważność tematów i trafność sugestii wymagają weryfikacji przez człowieka. Sztuczna inteligencja daje „pierwszy projekt mapy”; Poprawiasz mapę zgodnie z rzeczywistością.
Wskazówka: Zanim powiesz AI, aby „wyodrębniła motywy”, podaj jej schemat kodowania (listę tagów). W ten sposób działa w powszechnym dla wszystkich języku, a wyniki są porównywalne.
Łańcuch dowodów: każdy temat prowadzi do cytatu
Złota zasada syntezy: każdy temat jest powiązany z przynajmniej jednym dosłownym cytatem. Cytat jest dowodem na to, że temat jest prawdziwy. Zawsze dołączaj wymóg cytowania, prosząc sztuczną inteligencję o temat; Powiedz mu, żeby nie tworzył tematu, dla którego nie może znaleźć cytatu. W ten sposób zatrzymasz halucynacje u źródła: wymyślony temat zostanie oznaczony jako „bezpodstawny”, ponieważ nie ma odpowiednika w źródle.
warstwa
przykład
źródło
obserwacja
„Uczestnik 4 porzucił koszyk, gdy zobaczył opłatę za wysyłkę”
nagranie jeden na jednego
Kod
„nieoczekiwany koszt”
Etykietowanie
temat
„Ukryte koszty niszczą zaufanie”
powtórz u 5 uczestników
wgląd
„Koszt wysyłki powinien zostać pokazany wcześniej”
Zostawiam temat
Sugestia
„Dodaj szacunkową cenę wysyłki do strony produktu”
Decyzja projektowa
Łańcuch ten rozpoczyna się, gdy interesariusz pyta „skąd to wiemy?” Gdy zapytasz, możesz wrócić od obserwacji do cytatu.
trzy mini etui
Przypadek 1 — 240 odpowiedzi na ankietę, 90 minut. Jeden zespół zakodował 240 otwartych (tekstowych) odpowiedzi na ankietę. Model zaproponował 11 tematów; Zespół przejrzał je w ciągu 90 minut, zawęził je do 7, połączył 2 motywy i usunął 2 jako nieobsługiwane. Dwudniowa praca ręczna została skrócona do pół dnia, a łańcuch dowodów został zachowany.
Przypadek 2 — Uchwycono przesadny motyw. Sztuczna inteligencja stworzyła mocny motyw „użytkownicy nienawidzą aplikacji”. Kiedy zespół przyjrzał się cytatom, odkrył, że tylko 2 uczestników było surowych, a 18 było neutralnych. Temat został przepisany jako „intensywne rozczarowanie pewnym przepływem”. Lekcja: sztuczna inteligencja może wyolbrzymiać intensywność emocjonalną; policz częstotliwość.
Przypadek 3 – Brak opinii mniejszości. Chociaż model podkreślał tematy większości, bagatelizował kluczową kwestię dostępności podniesioną przez 3 uczestników jako „nieistotną”. Projektant to zauważył i zachował jako osobne znalezisko; Później stało się jasne, że problem ten dotyczy wszystkich użytkowników czytników ekranu. Lekcja: sygnał mniejszości nie zawsze jest „mniej ważny”.
Monity, które można kopiować
Twoja rola: analityk badań jakościowych.Schemat kodowania (tagi): <<list>>Zadanie: Zakoduj poniższy zanonimizowany zapis za pomocą tych tagów.Dodaj [Uczestnik
Przekształć następujące zakodowane dane w diagram bliskości: pogrupuj podobne kody, nazwij każdą grupę tematem. Dla każdego tematu: policz, u ilu poszczególnych uczestników się on pojawia, umieść 2 najsilniejsze cytaty i napisz jednozdaniowe wyjaśnienie „dlaczego”. Oznacz oddzielnie tematy ze słabymi dowodami. Dane: <<kody>>
Chcę przetestować następujący motyw: „<<motyw>>”.Wymień oddzielnie cytaty, które WSPIERAJĄ i ODMARZAJĄ ten temat w tekście źródłowym.Na koniec oceń, jak mocno temat jest wspierany (silny/średni/słaby).Źródło: <<transkrypcja>>
Zmień tę listę tematów w spostrzeżenia i sugestie. Dla każdego tematu: 1) jedno zdanie (zawierające „ponieważ…”), 2) konkretna propozycja projektu, 3) na jaki ekran/przepływ wpływa ta sugestia. Nie wymyślaj; Jeśli podstawa jest słaba, napisz „potrzebne są dalsze badania”. Tematy: <<lista>>
Słaba zachęta/silna zachęta
Słabe: „Przeanalizuj te rozmowy i powiedz mi o wynikach”.
Wynik: podsumowanie bez źródeł, bez informacji o częstotliwości i podatne na przesadę.
Strong: „Zakoduj ten zapis za pomocą etykiet, które ci dałem; połącz każdy temat z cytatem z [Participant
Wynik: oparta na dowodach i możliwa do skontrolowania synteza o wysokiej częstotliwości.
Różnica: silna zachęta podpowiada częstotliwość + cytat + słaba podpowiedź zakotwiczenia; zapobiegają one przesadzie i halucynacjom.
Typowe błędy
- Nie licząc częstotliwości. Podejmowanie decyzji bez wiedzy, czy za zdaniem „Użytkownicy chcą X” stoją 2 czy 20 osób.
- Przyjmij intensywność emocji taką, jaka jest. AI ma tendencję do podkreślania mocnych wyrażeń; Może ukryć neutralną większość.
- Eliminacja sygnału mniejszości. Problem, z którym boryka się niewiele osób, może być krytyczny (np. dostępność).
- Nie wymagające cytowania. Motyw bez cudzysłowu jest tematem nieweryfikowalnym.
- Ukończ na jednym okrążeniu. Synteza jest iteracyjna; Przetestuj pierwsze wyjście i udoskonal monit.
Podsumowując
Synteza to rozumowanie, które przekształca surowe dane w spostrzeżenia, które napędzają projekt. Sztuczna inteligencja znacznie przyspiesza etapy mechaniczne, takie jak kodowanie i grupowanie bliskości, ale znaczenie i znaczenie wglądu pozostaje ludzkie. Złotą zasadą jest powiązanie każdego tematu z dosłownym cytatem; policz częstotliwość, popraw ją pod kątem emocjonalnej przesady, nie przegap sygnału mniejszości. Kiedy ustalisz łańcuch dowodów rozciągający się od obserwacji do cytatu, od tematu do sugestii, uzyskasz wyniki badań, które są zarówno szybkie, jak i możliwe do obrony.
Zadanie aplikacji
- Zanonimizuj swoje 8-10 (lub fikcyjne) odpowiedzi w wywiadach/ankietach.
- Napisz własny schemat kodowania (6-8 etykiet) i poproś o zakodowanie go przez sztuczną inteligencję za pierwszym razem.
- Usuń motywy za pomocą drugiego monitu; Zwróć uwagę, ilu uczestników pojawia się w przypadku każdego tematu.
- Przetestuj najsilniejszy motyw za pomocą trzeciego monitu: porównaj cytaty potwierdzające i obalające.
- Napisz temat w formie spostrzeżeń + sugestii + dotkniętego ekranu i nakreśl łańcuch dowodów.
lista kontrolna
- [ ] Z góry przekazałem AI mój schemat kodowania.
- [ ] Powiązałem każdy temat z przynajmniej jednym dosłownym cytatem.
- [ ] Policzyłem, ilu indywidualnych uczestników wystąpiło w każdym temacie.
- [ ] Często poprawiałem przesadne wyrażanie emocji.
- [ ] Podjąłem świadomą decyzję, czy eliminować sygnały mniejszości.
- [ ] Powiązałem spostrzeżenia z konkretną propozycją projektu i ekranem, którego dotyczy problem.