Synthesis ng Pananaliksik ng User at Pagbuo ng Insight

Mga nadagdag:

• Kakayahang mag-code ng data ng panayam, survey at pagmamasid gamit ang artificial intelligence at kumuha ng mga tema at pattern
• Kakayahang mag-draft ng persona, paglalakbay ng user at mga pahayag ng insight sa suporta ng artificial intelligence
• Pagprotekta laban sa katha at bias sa pamamagitan ng pagkonekta at pagpapatunay sa mga insight na nabuo ng artificial intelligence pabalik sa raw data

Ang magagandang produkto ay ipinanganak mula sa tunay na pangangailangan ng gumagamit, hindi mula sa panlasa ng taga-disenyo. Ang paraan upang maunawaan ang pangangailangang ito ay sa pamamagitan ng pagsasaliksik ng gumagamit: mga panayam, mga survey, mga obserbasyon sa larangan, mga pagsubok sa kakayahang magamit. Ngunit ang pinakamahirap na bahagi ng pananaliksik ay hindi ang pagkolekta ng data, ngunit ang pagbibigay kahulugan nito. Nangangailangan ng karanasan at oras upang basahin ang sampu-sampung pahina ng mga transcript ng panayam at daan-daang mga tugon sa survey at kumuha ng mga tunay na pattern, pangangailangan at insight (insight; ang kahulugan ng "aha" sa likod ng data). Ito ay kung saan ang artificial intelligence ay isang makapangyarihang synthesis assistant: mabilis itong nagko-code ng malalaking tipak ng teksto, nagpapangkat ng mga tema, nagtuturo ng mga pattern. Ngunit ang parehong kapangyarihang ito, kung hindi gagamitin nang mabuti, ay nagbubunga ng huwad na pagsipi, baluktot na diin, at pagkiling. Ipinapaliwanag ng unit na ito kung paano gamitin ang AI bilang isang accelerator sa synthesis ng pananaliksik at kung bakit dapat mong ikonekta ang bawat insight pabalik sa raw data.

Ano ang research synthesis at saan nababagay ang AI?

Ang hilaw na data ng pananaliksik ay magulo: sinabi ng isang user na "hinahanap niya ang charging cable sa bawat oras," sabi ng isa pa "ang liwanag ng gabi ay masyadong maliwanag," ang isa pang nagreklamo na "hindi niya mahanap ang mga pindutan sa dilim." Ang synthesis ay ang pagkilos ng pagpapangkat-pangkat ng mga iisang pahayag na ito ("problema ang paggamit sa gabi") at gawing insight ang mga ito ("pinakamahusay na ginagamit ng mga user ang produktong ito sa dilim, ngunit ang produkto ay idinisenyo para sa paggamit sa araw"). Sa klasikal na paraan, ginagawa ito ng mga designer gamit ang isang affinity diagram (pisikal/digital na pagpapangkat ng mga katulad na tala).

Pinapabilis ng AI ang ilang hakbang ng prosesong ito:

1. Pag-coding: Pagtatalaga ng mga tag ng tema sa bawat pahayag ("paggamit sa gabi", "kahirapan sa pag-install"). Nag-pre-tag ang AI ng daan-daang parirala sa loob ng ilang minuto.
2. Theming: Pagkolekta ng mga tag sa mga superset. Itinuturo ng AI ang mga umuulit na pattern.
3. Insight sketch: Pagmumungkahi ng "aha" na mga pangungusap mula sa mga tema. Gumagawa ang AI ng mga draft, sinasala mo.
4. Persona at journey outline: Pag-sketch ng mga tipikal na profile ng user at mga hakbang sa paggamit.

Kritikal na panuntunan: Ang AI ay nagbubuod at nagpangkat, ngunit ang raw data ay nagsasabi ng totoo. Ang bawat tema at bawat quote ay dapat na maiugnay pabalik sa aktwal na transcript ng panayam at ma-verify.

Ang dalawang pinakamalaking panganib: pekeng mga panipi at bias

Mayroong dalawang mapanganib na pitfalls ng AI sa synthesis ng pananaliksik. Ang una ay gawa-gawa na quote (hallucination): Ang AI ay maaaring bumuo ng isang quote ng user na wala sa data ngunit "parang tama." Ito ang pinakamapanganib na pagkakamali sa pananaliksik dahil gumawa ka ng isang tunay na desisyon sa disenyo batay sa pekeng ebidensya. Ang pangalawa ay pagbaluktot at pagkiling: Maaaring palakihin ng AI ang opinyon ng karamihan at burahin ang mahalaga ngunit hindi gaanong sinasalita na pangangailangan ng minorya; o mga stereotype sa data ng pagsasanay ("takot ang mga matatanda sa teknolohiya") ay maaaring tumagas sa iyong pananaliksik. Ang tanging paraan upang magbantay laban sa pareho: isaksak ang bawat output pabalik sa hilaw na data at itanong "sa aling pag-uusap, sa anong linya, aktwal na nangyayari ang quote na ito?" ay ang magtanong.

Pag-iingat: Huwag isama ang anumang mga quote ng user na binuo ng AI sa isang ulat, persona o presentasyon nang hindi nahanap at kinukumpirma ang mga ito sa verbatim sa raw text ng panayam. Ang isang apocryphal na quote ay maling kumakatawan sa isang aktwal na desisyon sa disenyo.

Ligtas na daloy ng synthesis hakbang-hakbang

1. Anonymize: Linisin ang personal na data (pangalan, contact, detalye ng pagkakakilanlan) mula sa mga transcript ng panayam. Ang data ng gumagamit ay personal na data; Mahalaga ang pagiging kompidensyal.
2. I-encode, ngunit hilingin ang pinagmulan: Hilingin sa AI na humiling ng raw expression at line/source reference na naaayon sa bawat tag.
3. Bilangin ang mga tema: “Ilang user ang nagbanggit nito?” magtanong; Huwag hayaang ipakita ng isang tao ang kanyang opinyon bilang pangkalahatang pattern.
4. Itali ang insight pabalik: Sa ilalim ng bawat insight sentence, ilagay ang aktwal na mga quote kung saan ito nakabatay.
5. Maghanap ng mga counterexamples: Tanungin ang AI "may mga pahayag ba na sumasalungat sa temang ito, sabihin ang kabaligtaran?" magtanong; sinisira nito ang bias at overgeneralization.

tatlong mini case

Case 1 — Nahuli ang gawa-gawang quote. Ang isang koponan ay nagbubuod ng 12 pag-uusap sa AI; Bumubuo ang AI ng isang kapansin-pansing quote, "Sinabi ng isa sa mga gumagamit, 'Bibili ko ang produktong ito bilang regalo,'" at nais ng koponan na isama ito sa pagtatanghal. Sinusuri ng isang mananaliksik ang mga hilaw na teksto; Ang ganitong pangungusap ay hindi matatagpuan sa anumang pag-uusap. Ang AI ay "binuo" ng isang quote mula sa pangkalahatang positibong tono. Ang quote ay tinanggal. Aralin: bawat quote ay verbatim sa raw data.

Kaso 2 — Pagbubura ng pangangailangan ng minorya. Isang team ng disenyo ang nagsasagawa ng pag-aaral ng appliance sa kusina kasama ang 20 user. Binibigyang-diin ng maikling AI ang tema ng "ang mga gumagamit ay nagmamalasakit sa bilis." Ngunit nang bumalik ang koponan sa hilaw na data, nakita nila na binanggit ng 3 user ang pangangailangan para sa isang kamay na paggamit (isa na may kapansanan na braso, isang patuloy na nagdadala ng sanggol); Ibinasura ito ng AI bilang isang "minoridad". Gayunpaman, isa itong kritikal na insight sa accessibility na mag-iiba sa produkto. Aralin: ang numerical na timbang ay hindi palaging nangangahulugang kahalagahan; Ang pangangailangan ng minorya ay maaaring ang pinakamahalagang pananaw.

Kaso 3 — Tamang paggamit. Isang researcher ang nagpapakain ng 300 survey na open-ended na mga sagot sa AI ​​at nagsasabing "lagyan ng label ang bawat sagot sa mga temang ito, bilangin kung gaano karaming mga sagot ang nahuhulog para sa bawat tema, at sumipi ng 3 aktwal na sample na sagot sa verbatim mula sa bawat tema." Bumubuo ang AI ng 8 tema, numero at totoong quote. Sinusuri ng mananaliksik ang mga sample na quote sa raw data, lahat sila ay totoo. Ginagawa nitong simula ang talahanayan ng affinity study. Aralin: ang structured prompt na humihingi ng enumeration + verbatim quotation ay nagbubunga ng maaasahan at nabe-verify na synthesis.

Nakokopya na mga template ng prompt

SECURE CODING TEMPLATE "Tag the following (anonymised) interview statements into themes. Para sa bawat statement: (1) the theme you assigned, (2) the EXACT text of the statement, (3) source reference [interview number/line]. HUWAG gumawa ng anumang statement na WALA sa text. Lagyan ng label na 'uncertain' ang statement na hindi mo sigurado] Data: [paste]."

THEME COUNTING TEMPLATE"I-extract ang mga tema mula sa sumusunod na naka-code na data. Para sa bawat tema: kung gaano karaming MAGKAIBANG user ang nagpahayag nito, halimbawa 3 verbatim quotes (na may pinagmulan). Huwag magpakita ng opinyon na ipinahayag ng isang tao bilang isang 'pangkalahatang pattern'; isulat ang dalas nang malinaw. Data: [i-paste]."

KONTRA-HALIMBAWA / PREJUDICE BREAKING TEMPLATE "Gusto kong subukan ang sumusunod na template ng insight: '[insight]'. Ilista ang mga statement sa raw data na LABAN sa insight na ito, nagpapahiwatig ng kabaligtaran, o nasa minorya ngunit maaaring mahalaga. Ang layunin ay mahuli ang sobrang pangkalahatan at bias. Data: [i-paste]."

INSIGHT BACK-LINKING TEMPLATE "Isulat ang sumusunod na insight sentence: [insight]. Kaagad sa ibaba, maglagay ng mga aktwal na quotes (verbatim, with source) na SUMUSUPORTA sa insight na ito. Kung walang sapat na direktang ebidensya, sabihin ang 'hindi sapat na ebidensya'. HUWAG DAGDAG ang gawa-gawang ebidensya."

Mahinang prompt / Malakas na prompt

WEAK PROMPT: "Ibuod ang mga pag-uusap na ito at bigyan ako ng mga insight."

MALAKAS NA PROMPT: "Suriin ang 12 anonymized na panayam sa ibaba. (1) Lagyan ng label ang mga pahayag ayon sa mga tema. (2) Bilangin kung gaano karaming iba't ibang user ang nagbanggit ng bawat tema. (3) Magbigay ng 2 EKStong sipi para sa bawat tema (na may numero ng panayam). (4) Kolektahin ang minorya ngunit potensyal na mahalagang mga pangangailangan sa ilalim ng isang hiwalay na pamagat. (5) Markahan ang mga patunay na HUWAG ipagpalagay na may sapat na patunay. up ng anumang mga quote na walang Data: [i-paste].”

Ang mahinang prompt ay nagbibigay sa AI ng kalayaan na mag-distort at gumawa; Ginagawa nitong mabe-verify ang synthesis sa pamamagitan ng malakas na pagbibilang ng maagap, verbatim quotation, proteksyon ng minorya, at "fabrication ban."

Mga karaniwang pagkakamali

• Gamit ang AI-generated quote nang hindi ito sinusuri sa raw data. Ang gawa-gawang panipi ay ang pinaka-mapanganib na pagkakamali sa pananaliksik.
• Iniisip na ang numerical majority ay ang tanging pamantayan ng kahalagahan. Ang pangangailangan ng minorya ay kadalasan ang pinakamahalagang pananaw.
• Pagbibigay ng personal na data sa AI nang hindi ito ina-anonymize. Ang data ng gumagamit ay personal na data; Ang pagiging kompidensyal ay sapilitan.
• Hindi naghahanap ng mga kontra-halimbawa. Ang synthesis na hindi sumusubok sa kabaligtaran ay nagpapatibay ng pagtatangi.
• Napagkamalan ang AI brief para sa "pananaliksik." Ang sintesis ay isang simula; Ang insight ay batay sa raw data.

Tip: Sa ilalim ng bawat insight, itanong ang "anong 2-3 totoong quotes ang sumusuporta dito?" Isulat ang tanong. Kung walang sagot, ang pananaw na iyon ay isang hypothesis pa rin, hindi isang paghahanap.

Sa buod

Ang AI ay isang makapangyarihang accelerator sa synthesis ng pananaliksik ng user: nagko-code ito ng daan-daang mga parirala, nagpapangkat ng mga tema, at gumagawa ng mga insight at persona. Ngunit mayroong dalawang pangunahing panganib: gawa-gawa na mga panipi at pagbaluktot/pagkiling. Ang paraan ng pag-iingat laban sa mga ito ay ang pag-link sa bawat tema at pag-quote pabalik sa hilaw na data, pagbibilang ng dalas, pagpapanatili ng pangangailangan ng minorya, at paghahanap ng mga counterexamples. I-anonymize ang data ng user, humingi sa AI ng mga verbatim na quote at source, magpataw ng panuntunang “no-fabrication,” at huwag ibilang ang anumang mga insight bilang mga natuklasan nang hindi bina-back up ang mga ito ng ebidensya.

Gawain ng aplikasyon

Magkaroon ng 8-10 maikling testimonial ng user, totoo man o kathang-isip. Anonymize muna silang lahat. Magkaroon ng mga tema ng AI tag na may template na "secure coding"; pagkatapos ay humingi ng dalas at verbatim na mga quote na may template na "Bilang ng tema". Suriin ang mga quote na ibinigay ng AI sa hilaw na teksto nang isa-isa at markahan kung sila ay totoo o hindi. Panghuli, gamit ang template na "Counter-example", maghanap ng mga pahayag na sumasalungat sa iyong pangunahing tema at isulat kung nakakita ka ng pangangailangan ng minorya.

checklist

• [ ] Nag-anonymize ako ng data ng user bago ito ibigay sa AI.
• [ ] Humingi ako sa AI ng verbatim quotes at source reference para sa bawat tema.
• [ ] Na-verify ko ang bawat quote sa pamamagitan ng paghahanap nito sa raw data (fit check).
• [ ] Binilang ko ang dalas ng mga tema at pinananatiling hiwalay ang mga pangangailangan ng minorya.
• [ ] Sinubukan ko ang bias sa pamamagitan ng paghahanap ng mga kontra-halimbawa sa aking mga pangunahing tema.
• [ ] Minarkahan ko ang mga hinuha na hindi batay sa ebidensya bilang "hypotheses" at hindi binibilang ang mga ito bilang mga natuklasan.