Vartotojo tyrimų sintezė ir įžvalgų generavimas

Pelnas:

• Gebėjimas koduoti interviu, apklausų ir stebėjimo duomenis naudojant dirbtinį intelektą ir išgauti temas bei modelius
• Galimybė kurti asmenybių, naudotojo kelionių ir įžvalgų pareiškimus naudojant dirbtinį intelektą
• Apsauga nuo klastojimo ir šališkumo sujungiant ir patvirtinant dirbtinio intelekto sukurtas įžvalgas su neapdorotais duomenimis

Geri gaminiai gimsta iš tikro vartotojo poreikio, o ne iš dizainerio skonio. Šį poreikį galima suprasti atliekant vartotojų tyrimus: interviu, apklausas, lauko stebėjimus, tinkamumo naudoti testus. Tačiau sunkiausia tyrimo dalis yra ne duomenų rinkimas, o jų įprasminimas. Reikia patirties ir laiko perskaityti dešimtis puslapių interviu stenogramų ir šimtus apklausos atsakymų bei išgauti tikrus modelius, poreikius ir įžvalgas (įžvalga; „aha“ reikšmė už duomenų). Čia dirbtinis intelektas yra galingas sintezės asistentas: jis greitai koduoja didelius teksto gabalus, grupuoja temas, nurodo šablonus. Tačiau ta pati galia, jei ji nėra naudojama atsargiai, sukuria klaidingą citatą, iškraipytą pabrėžimą ir šališkumą. Šiame skyriuje paaiškinama, kaip dirbtinį intelektą naudoti kaip tyrimų sintezės greitintuvą ir kodėl turėtumėte susieti kiekvieną įžvalgą su neapdorotais duomenimis.

Kas yra tyrimų sintezė ir kur tinka dirbtinis intelektas?

Neapdoroti tyrimo duomenys yra netvarkingi: vienas vartotojas sako, kad „kaskart ieško įkrovimo laido“, kitas sako, kad „naktinė lemputė per ryški“, kitas skundžiasi, kad „tamsoje neranda mygtukų“. Sintezė yra šių atskirų teiginių grupavimas („naudojimas naktį yra problemiškas“) ir paverčiamas įžvalga („vartotojai šį produktą geriausiai naudoja tamsoje, bet produktas skirtas naudoti dieną“). Taikant klasikinį metodą, dizaineriai tai daro naudodami giminingumo diagramą (panašių natų fizinę / skaitmeninę grupavimą).

AI pagreitina kelis šio proceso etapus:

1. Kodavimas: temų žymų priskyrimas kiekvienam teiginiui ("naudojimas naktį", "sunku įdiegti"). AI per kelias minutes iš anksto pažymi šimtus frazių.
2. Tematika: žymų rinkimas į superrinkinius. AI nurodo pasikartojančius modelius.
3. Įžvalgos eskizas: „aha“ sakinių siūlymas iš temų. AI gamina juodraščius, jūs filtruojate.
4. Asmens ir kelionės kontūrai: tipiškų vartotojų profilių ir naudojimo veiksmų eskizas.

Kritinė taisyklė: AI apibendrina ir grupuoja, tačiau neapdoroti duomenys sako tiesą. Kiekviena tema ir kiekviena citata turėtų būti susieta su tikruoju interviu stenograma ir patikrinta.

Dvi didžiausios rizikos: netikros citatos ir šališkumas

Mokslinių tyrimų sintezėje yra du pavojingi AI spąstai. Pirmasis yra išgalvota citata (haliucinacija): AI gali sukurti vartotojo citatą, kurios nėra duomenyse, bet „skamba teisingai“. Tai pati pavojingiausia klaida atliekant tyrimus, nes jūs priimate tikrą dizaino sprendimą, remdamiesi netikrais įrodymais. Antrasis yra iškraipymas ir šališkumas: AI gali perdėti daugumos nuomonę ir ištrinti svarbų, bet mažai išsakytą mažumos poreikį; arba mokymo duomenų stereotipai („senieji žmonės bijo technologijų“) gali nutekėti į jūsų tyrimą. Vienintelis būdas apsisaugoti nuo abiejų: prijunkite kiekvieną išvestį atgal į neapdorotus duomenis ir paklauskite „kuriame pokalbyje, kurioje eilutėje ši citata iš tikrųjų pasitaiko? yra užduoti klausimą.

Atsargiai: Neįtraukite jokių dirbtinio intelekto sukurtų naudotojo citatų į ataskaitą, asmenybę ar pristatymą, neradę ir nepatvirtinę jų pažodžiui neapdorotame interviu tekste. Apokrifinė citata klaidingai parodo tikrąjį dizaino sprendimą.

Saugus sintezės srautas žingsnis po žingsnio

1. Anonimizuoti: išvalykite asmeninius duomenis (vardą, pavardę, kontaktą, identifikavimo duomenis) iš pokalbio stenogramų. Vartotojo duomenys yra asmens duomenys; Konfidencialumas yra būtinas.
2. Užkoduokite, bet paprašykite šaltinio: paprašykite AI prašyti neapdorotos išraiškos ir eilutės / šaltinio nuorodos, atitinkančios kiekvieną žymą.
3. Suskaičiuokite temas: „Kiek vartotojų tai paminėjo? paklausti; Neleiskite vienam asmeniui pateikti savo nuomonės kaip bendro modelio.
4. Susiekite įžvalgą: po kiekvienu įžvalgos sakiniu pateikite faktines citatas, kuriomis ji grindžiama.
5. Ieškokite priešingų pavyzdžių: paklauskite AI „ar yra teiginių, kurie prieštarauja šiai temai, sakykite priešingai? paklausti; tai pažeidžia šališkumą ir perdėtą apibendrinimą.

trys mini dėklai

1 atvejis – sugauta sumanyta citata. Komanda apibendrina 12 pokalbių su AI; AI sukuria įspūdingą citatą: „Vienas iš vartotojų pasakė: „Nupirkčiau šį produktą kaip dovaną“, ir komanda norėjo įtraukti jį į pristatymą. Tyrėjas nuskaito neapdorotus tekstus; Tokio sakinio nerasta jokiame pokalbyje. AI „sukūrė“ citatą iš bendro teigiamo tono. Citata pašalinama. Pamoka: kiekviena citata neapdorotuose duomenyse patikrinama pažodžiui.

2 atvejis – mažumos poreikio ištrynimas. Dizainerių komanda atlieka virtuvės prietaisų tyrimą, kuriame dalyvauja 20 vartotojų. AI trumpas aprašymas pabrėžia temą „vartotojams rūpi greitis“. Tačiau kai komanda grįžta prie neapdorotų duomenų, jie mato, kad 3 vartotojai paminėjo naudojimo viena ranka poreikį (vienas su neįgalia ranka, vienas nuolat nešioja kūdikį); AI atmetė tai kaip „mažumą“. Tačiau tai yra svarbi prieinamumo įžvalga, kuri išskirs produktą. Pamoka: skaitinis svoris ne visada reiškia svarbą; mažumos poreikis gali būti vertingiausia įžvalga.

3 atvejis. Tinkamas naudojimas. Tyrėjas pateikia 300 atviro tipo apklausos atsakymų į AI ir sako: „Pažymėkite kiekvieną atsakymą į šias temas, suskaičiuokite, kiek atsakymų tenka kiekvienai temai, ir pasakykite 3 tikrus atsakymų pavyzdžius iš kiekvienos temos“. AI generuoja 8 temas, skaičius ir tikras citatas. Tyrėjas patikrina neapdorotų duomenų pavyzdines citatas, jos visos yra tikros. Dėl to lentelė yra giminingumo tyrimo pradžia. Pamoka: struktūrinis raginimas, kuriame prašoma surašyti + pažodinė citata, duoda patikimą ir patikrinamą sintezę.

Kopijuojami raginimo šablonai

SAUGUS KODAVIMO ŠABLONAS "Pažymėkite šiuos (anoniminius) interviu teiginius į temas. Kiekvienam teiginiui: (1) jūsų priskirta tema, (2) TIKSLUS teiginio tekstas, (3) šaltinio nuoroda [interviu numeris/eilutė]. NESUdarykite teiginių, kurių tekste NĖRA. Pažymėkite „neaiškus“ teiginį, kuriame esate.].

TEMŲ SKAIČIAVIMO ŠABLONAS"Ištraukite temas iš toliau pateiktų koduotų duomenų. Kiekvienai temai: kiek SKIRTINGŲ vartotojų tai išreiškė, 3 pavyzdys pažodinės citatos (su šaltiniu). Nepateikite vieno žmogaus išreikštos nuomonės kaip "bendro modelio", aiškiai parašykite dažnumą. Duomenys: [įklijuoti]."

KONTROLINGAS PAVYZDYS / IŠANKSTINĖS NUOSTATOS NUGALIMO ŠABLONAS „Noriu išbandyti šį įžvalgos šabloną: „[įžvalga]“. Neapdorotuose duomenyse išvardykite teiginius, kurie PRIEŠ šią įžvalgą reiškia priešingai arba yra mažumoje, bet gali būti svarbūs. Tikslas yra sugauti perdėtą apibendrinimą ir šališkumą. Duomenys: [įklijuoti].

ĮŽVALGOS ATGALINIŲ NUORODŲ ŠABLONAS "Parašykite šį įžvalgos sakinį: [įžvalga]. Iš karto žemiau pateikite faktines citatas (pažodžiui, su šaltiniu), kurios PREMIŠKIA šią įžvalgą. Jei nėra pakankamai tiesioginių įrodymų, pasakykite "nepakankamai įrodymų". NEPRIDĖKITE sugalvotų įrodymų."

Silpnas raginimas / Stiprus raginimas

SILPNAS raginimas: „Apibendrinkite šiuos pokalbius ir pateikite man įžvalgų“.

STIPRUS PARAŠYMAS: "Išanalizuokite toliau pateiktus 12 anoniminių interviu. (1) Pažymėkite teiginius pagal temas. (2) Suskaičiuokite, kiek skirtingų vartotojų paminėjo kiekvieną temą. (3) Pateikite 2 TIKSLIUS kiekvienos temos citatas (su interviu numeriu). (4) Surinkite mažumos, bet potencialiai svarbius poreikius atskiroje antraštėje. (5) Pažymėkite nepatvirtintus įrodymus. tekste NESUdarykite jokių neegzistuojančių kabučių: [įklijuoti].

Silpnas raginimas suteikia AI laisvę iškraipyti ir kurti; Tai leidžia patikrinti sintezę naudojant greitą skaičiavimą, pažodinę citatą, mažumų apsaugą ir „gamybos draudimą“.

Dažnos klaidos

• AI sugeneruotos citatos naudojimas nepatikrinus jos neapdorotuose duomenyse. Sugalvota citata yra pati pavojingiausia tyrimo klaida.
• Mąstymas, kad skaitinė dauguma yra vienintelis svarbos kriterijus. Mažumos poreikis dažnai yra pati vertingiausia įžvalga.
• Asmens duomenų suteikimas dirbtiniam intelektui jų neanoniminant. Vartotojo duomenys yra asmens duomenys; Konfidencialumas yra privalomas.
• Neieškoma priešingų pavyzdžių. Sintezė, kuri netikrina priešingai, sustiprina išankstinį nusistatymą.
• AI santrauka klaidingai suprantama kaip „tyrimas“. Sintezė yra pradžia; Įžvalga pagrįsta neapdorotais duomenimis.

Patarimas: po kiekviena įžvalga paklauskite: „Kokios 2–3 tikrosios citatos tai patvirtina? Parašyk klausimą. Jei atsakymo nėra, ta įžvalga vis tiek yra hipotezė, o ne atradimas.

Apibendrinant

AI yra galingas vartotojų tyrimų sintezės greitintuvas: jis koduoja šimtus frazių, grupuoja temas ir sukuria įžvalgas bei asmenybes. Tačiau yra dvi pagrindinės rizikos: išgalvotos citatos ir iškraipymas / šališkumas. Būdas apsisaugoti nuo jų yra susieti kiekvieną temą ir citatą su neapdorotais duomenimis, skaičiuoti dažnumą, išlaikyti mažumos poreikius ir ieškoti priešingų pavyzdžių. Anonimizuoti naudotojų duomenis, prašyti dirbtinio intelekto pažodinių citatų ir šaltinių, taikyti „negaminimo“ taisyklę ir neskaičiuoti jokių įžvalgų kaip išvadų, nepagrindžiant jų įrodymais.

Taikymo užduotis

Turėkite 8–10 trumpų naudotojų atsiliepimų, tikrų ar išgalvotų. Pirmiausia anonimuokite juos visus. Turėkite AI žymų temas su „saugaus kodavimo“ šablonu; tada paprašykite dažnumo ir pažodinių citatų naudodami šabloną „Temų skaičius“. Po vieną patikrinkite AI pateiktas citatas neapdorotame tekste ir pažymėkite, ar jos tikros, ar ne. Galiausiai, naudodami šabloną „Priešinis pavyzdys“, ieškokite teiginių, kurie prieštarauja jūsų pagrindinei temai, ir užsirašykite, ar radote mažumos poreikį.

kontrolinis sąrašas

• [ ] Anonimizuojau naudotojo duomenis prieš pateikdamas juos dirbtiniam intelektui.
• [ ] Paprašiau AI pažodinių citatų ir šaltinių nuorodų kiekvienai temai.
• [ ] Kiekvieną citatą patikrinau radęs ją neapdorotuose duomenyse (tinkamumo patikra).
• [ ] Temų dažnumą skaičiavau ir mažumų poreikius laikiau atskirai.
• [ ] Išbandžiau šališkumą ieškodamas priešingų pavyzdžių pagrindinėms temoms.
• [ ] Išvadas, kurios nebuvo pagrįstos įrodymais, pažymėjau kaip „hipotezes“ ir nelaikiau jų išvadomis.