Jednotka 5 / 12

Syntéza uživatelského výzkumu a generování statistik

zisky:

  • Schopnost kódovat data z rozhovorů, průzkumů a pozorování pomocí umělé inteligence a extrahovat témata a vzory
  • Schopnost navrhnout persona, uživatelskou cestu a vhledová prohlášení s podporou umělé inteligence
  • Ochrana proti fabulaci a zkreslení propojením a ověřováním poznatků generovaných umělou inteligencí zpět k nezpracovaným datům

Dobré produkty se rodí ze skutečné potřeby uživatele, nikoli z vkusu designéra. Tuto potřebu lze pochopit pomocí uživatelského výzkumu: rozhovory, průzkumy, pozorování v terénu, testy použitelnosti. Ale nejobtížnější částí výzkumu není sbírat data, ale dát jim smysl. Přečtení desítek stránek přepisů rozhovorů a stovek odpovědí na průzkum a získání skutečných vzorců, potřeb a postřehů (vhled; význam „aha“ za daty) vyžaduje zkušenosti a čas. Zde je umělá inteligence výkonným pomocníkem při syntéze: rychle kóduje velké kusy textu, seskupuje témata, ukazuje vzory. Ale stejná síla, není-li používána opatrně, vytváří falešné citace, zkreslené důrazy a zaujatost. Tato jednotka vysvětluje, jak používat umělou inteligenci jako akcelerátor při syntéze výzkumu a proč byste měli propojit každý náhled zpět s nezpracovanými daty.

Co je to syntéza výzkumu a kam zapadá AI?

Nezpracovaná výzkumná data jsou chaotická: jeden uživatel říká, že „pokaždé hledá nabíjecí kabel“, další říká, že „noční světlo je příliš jasné“, další si stěžuje, že „ve tmě nemůže najít tlačítka“. Syntéza je akt seskupení těchto jednotlivých tvrzení („noční použití je problematické“) a jejich přeměna na náhled („uživatelé používají tento produkt nejlépe ve tmě, ale produkt je navržen pro denní použití“). V klasické metodě to návrháři dělají pomocí diagramu afinity (fyzické/digitální seskupení podobných poznámek).

AI urychluje několik kroků tohoto procesu:

  1. Kódování: Přiřazení značek tématu ke každému prohlášení („noční použití“, „obtížnost instalace“). AI předem označí stovky frází během několika minut.
  2. Téma: Sbírání značek do supersetů. AI poukazuje na opakující se vzory.
  3. Náčrt náhledu: Navrhování „aha“ vět z témat. AI vytváří koncepty, vy filtrujete.
  4. Persona a obrys cesty: Načrtnutí typických uživatelských profilů a kroků použití.

Kritické pravidlo: AI shrnuje a seskupuje, ale nezpracovaná data říkají pravdu. Každé téma a každý citát by měly být propojeny se skutečným přepisem rozhovoru a ověřeny.

Dvě největší rizika: falešné citace a zaujatost

V syntéze výzkumu existují dvě nebezpečná úskalí umělé inteligence. První je vymyšlená citace (halucinace): AI dokáže vygenerovat uživatelskou nabídku, která není v datech, ale „zní správně“. Toto je nejnebezpečnější chyba ve výzkumu, protože děláte skutečné rozhodnutí o designu na základě falešných důkazů. Druhým je zkreslení a zaujatost: umělá inteligence může zveličovat většinový názor a vymazat důležitou, ale málo vyslovovanou potřebu menšiny; nebo stereotypy v tréninkových datech („staří lidé se bojí technologií“) mohou proniknout do vašeho výzkumu. Jediný způsob, jak se chránit před oběma: zapojte každý výstup zpět do nezpracovaných dat a zeptejte se "ve které konverzaci, na kterém řádku se tato citace skutečně vyskytuje?" je položit otázku.

Upozornění: Nezahrnujte do zprávy, osoby nebo prezentace žádné uživatelské citace generované umělou inteligencí, aniž byste je doslovně nenašli a nepotvrdili v nezpracovaném textu rozhovoru. Apokryfní citát zkresluje skutečné rozhodnutí o designu.

Bezpečný tok syntézy krok za krokem

  1. Anonymizovat: Vyčistěte osobní údaje (jméno, kontakt, identifikační údaje) z přepisů rozhovorů. Údaje uživatele jsou osobní údaje; Důvěrnost je nezbytná.
  2. Kódujte, ale požádejte o zdroj: Požádejte AI, aby si vyžádala nezpracovaný výraz a odkaz na řádek/zdroj odpovídající každé značce.
  3. Počet témat: „Kolik uživatelů to zmínilo?“ požádat; Nedovolte, aby jeden člověk prezentoval svůj názor jako obecný vzor.
  4. Svažte náhled zpět: Pod každou větu náhledu vložte skutečné uvozovky, na kterých je založena.
  5. Hledejte protipříklady: Zeptejte se AI ​​„Existují prohlášení, která proti tomuto tématu odporují, řekni opak?“ požádat; tím se odbourává zaujatost a přílišná generalizace.

tři mini pouzdra

Případ 1 – Vymyšlená nabídka zachycena. Tým shrnuje 12 konverzací s AI; AI ​​vygeneruje pozoruhodnou citaci: „Jeden z uživatelů řekl: „Koupil bych tento produkt jako dárek“ a tým ho chtěl zahrnout do prezentace. Výzkumník skenuje nezpracované texty; Taková věta se v žádné konverzaci nenachází. AI „vymyslela“ citát z celkového pozitivního tónu. Citace je odstraněna. Lekce: každá nabídka je doslovně ověřena v nezpracovaných datech.

Případ 2 – Výmaz menšinové potřeby. Designový tým provádí studii kuchyňských spotřebičů s 20 uživateli. Stručný přehled AI zdůrazňuje téma „uživatelům záleží na rychlosti“. Ale když se tým vrátí k nezpracovaným datům, vidí, že 3 uživatelé zmínili potřebu používání jednou rukou (jeden s postiženou paží, jeden neustále nosí dítě); AI to odmítla jako „menšinu“. Jedná se však o kritický náhled na přístupnost, který bude produkt odlišovat. Poučení: číselná váha nemusí vždy znamenat důležitost; menšinová potřeba může být tím nejcennějším poznatkem.

Případ 3 – Správné použití. Výzkumník předá AI 300 otevřených odpovědí průzkumu a řekne: „označte každou odpověď na tato témata, spočítejte, kolik odpovědí připadá na každé téma, a citujte 3 skutečné ukázkové odpovědi doslovně z každého tématu.“ AI generuje 8 témat, čísel a skutečných citací. Výzkumník kontroluje ukázkové citace v hrubých datech, všechny jsou skutečné. Tím se tabulka stává začátkem afinitní studie. Lekce: strukturovaná výzva požadující výčet + doslovná citace poskytuje spolehlivou a ověřitelnou syntézu.

Kopírovatelné šablony výzev

ŠABLONA ZABEZPEČENÉHO KÓDOVÁNÍ "Označte následující (anonymizované) výroky rozhovoru do témat. U každého výroku: (1) téma, které jste přiřadili, (2) PŘESNÝ text výroku, (3) odkaz na zdroj [číslo rozhovoru/řádek]. NEVYMLUVUJTE žádný výrok, který NENÍ v textu. Označte výrok, kterým si nejste jisti], štítkem 'nejistý'. Data: [vložit].

ŠABLONA POČÍTÁNÍ TÉMAT"Extrahujte témata z následujících kódovaných dat. Pro každé téma: kolik RŮZNÝCH uživatelů to vyjádřilo, příklad 3 doslovné citace (se zdrojem). Neprezentujte názor vyjádřený jednou osobou jako 'obecný vzorec'; jasně napište frekvenci. Data: [vložit]."

PROTIPŘÍKLAD / ŠABLONA PRO PORUŠENÍ PŘEDSUDKŮ "Chci otestovat následující šablonu náhledu: '[vhled]'. Uveďte v nezpracovaných datech tvrzení, která PROTI tomuto vhledu naznačují opak nebo jsou v menšině, ale mohou být důležitá. Cílem je zachytit přílišné zobecnění a zkreslení. Data: [vložit]."

ŠABLONA PRO ZPĚTNÉ PROPOJENÍ INSTITUTU "Napište následující větu s náhledem: [vhled]. Okamžitě níže uveďte skutečné citace (doslovně, se zdrojem), které PODPORUJÍ tento náhled. Pokud není dostatek přímých důkazů, řekněte 'nedostatečné důkazy'. NEPŘIDÁVEJTE smyšlené důkazy."

Slabá výzva / Silná výzva

SLABÁ VÝZVA: "Shrňte tyto rozhovory a poskytněte mi postřehy."

DŮRAZNÁ VÝZVA: "Analyzujte níže uvedených 12 anonymizovaných rozhovorů. (1) Označte prohlášení do témat. (2) Spočítejte, kolik různých uživatelů zmínilo každé téma. (3) Uveďte 2 PŘESNÉ citace pro každé téma (s číslem rozhovoru). (4) Sesbírejte menšinové, ale potenciálně důležité potřeby pod samostatným nadpisem. (5) Označte závěry s nedostatečnými důkazy, aby nebyly v textu uvedeny žádné ověřené. NEEXISTUJE. V textu NEEXISTUJE Údaje: [vložit].”

Slabá výzva dává AI svobodu deformovat a vyrábět; Díky tomu je syntéza ověřitelná pomocí silného rychlého počítání, doslovných citací, ochrany menšin a „zákazu výroby“.

Časté chyby

  • Použití nabídky vygenerované AI bez kontroly v nezpracovaných datech. Vymyšlená citace je nejnebezpečnější výzkumnou chybou.
  • Domnívat se, že jediným kritériem důležitosti je početní většina. Potřeba menšin je často tím nejcennějším vhledem.
  • Poskytování osobních údajů AI bez jejich anonymizace. Údaje uživatele jsou osobní údaje; Důvěrnost je povinná.
  • Nehledat protipříklady. Syntéza, která netestuje opak, posiluje předsudky.
  • Záměna zkratky AI za „výzkum“. Syntéza je začátek; Statistiky jsou založeny na nezpracovaných datech.
Tip: Pod každým postřehem se zeptejte „které 2–3 skutečné citace to podporují?“ Napište otázku. Pokud neexistuje odpověď, je tento vhled stále hypotézou, nikoli zjištěním.

V souhrnu

Umělá inteligence je výkonným akcelerátorem syntézy uživatelského výzkumu: kóduje stovky frází, seskupuje témata a vytváří postřehy a persony. Existují však dvě hlavní rizika: vymyšlené citace a zkreslení/předpojatost. Způsob, jak se tomu bránit, je propojit každé téma a citovat zpět na nezpracovaná data, počítat frekvenci, chránit potřeby menšin a hledat protipříklady. Anonymizujte uživatelská data, požádejte AI o doslovné citace a zdroje, zaveďte pravidlo „nevytváření“ a nepovažujte žádné poznatky za zjištění, aniž byste je podložili důkazy.

Aplikační úkol

Mějte 8–10 krátkých uživatelských posudků, skutečných nebo fiktivních. Nejprve je všechny anonymizujte. Mít motivy značek AI se šablonou „bezpečné kódování“; poté požádejte o četnost a doslovné citace pomocí šablony „Počet témat“. Zkontrolujte uvozovky dané AI v surovém textu jeden po druhém a označte, zda jsou skutečné nebo ne. Nakonec pomocí šablony „Protipříklad“ vyhledejte tvrzení, která jsou v rozporu s vaším hlavním tématem, a zapište si, zda shledáváte menšinovou potřebu.

kontrolní seznam

  • [ ] Než jsem je předal AI, anonymizoval jsem uživatelská data.
  • [ ] Požádal jsem AI o doslovné citace a zdroje pro každé téma.
  • [ ] Každou citaci jsem ověřil tak, že jsem ji našel v nezpracovaných datech (kontrola správnosti).
  • [ ] Počítal jsem četnost témat a potřeby menšin jsem ponechal odděleně.
  • [ ] Testoval jsem zaujatost hledáním protipříkladů k mým hlavním tématům.
  • [ ] Úvahy, které nebyly založeny na důkazech, jsem označil za „hypotézy“ a nepočítal s nimi jako s nálezy.