Mga nadagdag:
- Kakayahang hatiin ang mga transcript ng panayam at open-ended na mga tugon sa survey sa mga tema na may artipisyal na katalinuhan at suportahan ang mga ito sa mga pagsipi ng ebidensya
- Kakayahang mag-summarize ng quantitative survey data at maiwasan ang mapanlinlang na interpretasyon (maliit na sample, nangungunang tanong, bias sa pagpili)
- Kakayahang magtrabaho nang etika at sumusunod sa KVKK sa pamamagitan ng pagprotekta sa pagiging kumpidensyal ng kalahok at pag-anonymize ng mga transcript
Ang pinakamayamang insight sa pagkonsulta ay madalas na hindi nasa chart kundi sa sinasabi ng mga tao. Isang panayam ng manager, bukas na mga tugon sa isang survey ng customer, mga tala mula sa isang field visit... Ito ay hindi numerical (qualitative) na data at tumatagal ng ilang oras upang basahin, i-code, at hatiin sa mga tema. Ang artificial intelligence ay lubos na nagpapabilis sa gawaing ito: Pinaghihiwa-hiwalay nito ang 30 mga transcript ng panayam sa mga tema sa loob ng ilang minuto, na naghahanap ng mga umuulit na pattern. Ngunit may dalawang panganib: ang modelo ay maaaring "bumubuo" ng isang tema (magdagdag ng komentong wala sa transcript), at ang pagiging kumpidensyal ng kalahok ay maaaring madaling masira. Sa yunit na ito, matututunan nating suriin ang data ng husay sa isang batay sa ebidensya, ligtas na paraan.
Qualitative analysis: mula sa coding hanggang sa tema
May tatlong hakbang ang qualitative analysis. Pag-coding muna: ang bawat pahayag ay binibigyan ng maikling label ("reklamo sa presyo", "papuri sa paghahatid"). Pagkatapos ay theming: ang mga katulad na code ay kinokolekta sa isang tema ("operational dissatisfaction"). Sa dulo, komentaryo: ang relasyon sa pagitan ng mga tema at ang layer na "so what" ay itinatag. Ang AI ay napakabilis sa unang dalawang hakbang; Ang ikatlong hakbang ay nangangailangan ng paghatol ng tagapayo.
Ang pinaka-kritikal na katiyakan ay ito: ang bawat tema ay dapat na suportado ng isang verbatim quote. Kinukumpirma nito na ang tema ay talagang nagmumula sa data; Ang quote-unquote na tema ay nagdadala ng panganib ng guni-guni.
Ang iyong tungkulin: qualitative research analyst. Nasa ibaba ang isang anonymized na transcript ng 12 mga panayam sa customer (na may label na P1, P2...).Gawain:1) I-extract ang mga umuulit na tema (hanggang sa 7 tema).2) Para sa bawat tema: kung gaano karaming mga kalahok ang nakakita nito + 2 verbatim quotes (na may kalahok na code).3) Magpakita nang hiwalay. ang transcript; Ang bawat tema ay dapat patunayan sa pamamagitan ng pagsipi. - Huwag gumawa ng impormasyon ng pagkakakilanlan maliban sa mga code ng kalahok. - Maglista ng nag-iisang "minoridad ngunit mahalaga" na mga opinyon nang hiwalay sa dulo (dissenting voices).
Ang isa pang mahusay na pamamaraan ay ang hilingin sa modelo na mag-code gamit ang mga nakapirming kategorya na iyong tinukoy, sa halip na i-set up muna nito ang sarili nitong code scheme. Halimbawa, kung magbibigay ka ng mga paunang natukoy na tema sa isang pag-aaral sa kasiyahan ng customer gaya ng "presyo, kalidad ng produkto, paghahatid, suporta, kadalian ng paggamit", iba't ibang transcript ang magiging maihahambing at ang modelo ay pinipigilan na gumawa ng iba't ibang pangalan sa bawat pagkakataon. Ang libreng pagkuha ng tema ay angkop para sa pagtuklas, samantalang ang fixed category coding ay angkop para sa paghahambing at pagsukat; Para sa karamihan ng mga proyekto, ang paggamit ng pareho ay pinakamahusay na gumagana: ang libreng paggalugad muna, pagkatapos ay i-digitize gamit ang isang nakapirming schema.
Ang iyong tungkulin: qualitative coding assistant. Mga nakapirming kategorya: [presyo, kalidad, paghahatid, suporta, kadalian ng paggamit, iba pa]. Gawain: Italaga ang bawat bukas na sagot sa ibaba sa isa o higit pa sa mga kategoryang ito. - Isulat ang trigger phrase sa tugon (verbatim) sa tabi ng bawat takdang-aralin. - Lagyan ng tsek kung ang tugon ay positibo o negatibo sa damdamin. Pagdaragdag ng mga komentong hindi kasama sa sagot.
Tip: Napakahalaga na humiling ng "minoridad ngunit mahalaga" na mga opinyon nang hiwalay. Ang isang minsang salita ngunit kritikal na alerto (hal. isang malaking customer na nagsasabing "isinasaalang-alang namin ang pag-renew ng kontrata") ay nawala sa karamihan ng mga tema; nananatiling nakikita kapag nakalista nang hiwalay.
Privacy at anonymization
Ang mga transcript ng panayam ay personal na data at kadalasang sensitibo (mga reklamo ng empleyado, mga kritisismo ng manager). Bago i-upload ang mga ito sa isang tool ng AI, mahalagang i-anonymize ang mga ito: ang mga pangalan, pamagat, panloob na detalye ng pagkakaiba ay pinapalitan ng code number (K1, K2...). Ang kalahok ay madalas na pinapangako na "kung ano ang iyong sasabihin ay iuulat nang hindi nagpapakilala"; Ang teknikal na katumbas ng pariralang ito ay anonymization.
Uri ng data
Panganib
pag-iingat
Pangalan/pamagat ng kalahok
pagsisiwalat ng pagkakakilanlan
Palitan ng code number
Panloob na detalye
hindi direktang diagnosis
Generalize o mask
sensitibong paningin
Panganib ng paghihiganti
Indibidwal na pagtutugma sa maramihang ulat
Pag-record ng audio/video
pinakamataas na sensitivity
I-render sa aprubadong tool, pagkatapos ay tanggalin
Maaari mong ipagawa sa modelo ang anonymization bilang isang paunang hakbang bago i-upload ang mga transcript sa tool; Ngunit siguraduhing biswal na suriin ang output:
Ang iyong tungkulin: editor sa privacy. Ihanda ang sumusunod na transcript ng panayam para sa pagsusuri; gawin ang sumusunod na masking:- Gawin ang lahat ng pangalan ng contact na K1, K2...- I-generalize ang hindi direktang pagkilala sa mga detalye tulad ng pamagat, departamento, lokasyon ("Ang tanging dayuhang engineer sa R&D" → "isang engineer").- Alisin ang mga pangalan ng kumpanya/customer. Ibigay lamang ang naka-maskarang teksto; Ilista nang maikli kung anong uri ng impormasyon ang iyong tinatago at bakit.
Babala: Ang pagsasabi ng "Anonymous" ay hindi sapat. Ang pariralang "Ang tanging babaeng manager na responsable para sa marketing" ay kinikilala ang tao kahit na ang kanyang pangalan ay hindi nakasulat. Dapat ding isama sa anonymization ang lahat ng mga detalyeng hindi direktang makikilala. Ang paglabag sa KVKK at pagkawala ng tiwala ng kalahok ay nagsisimula dito.
Pagbibigay kahulugan sa quantitative survey data
Ang artificial intelligence ay gumagawa ng buod at breakdown ng closed-ended (numerical) na resulta ng survey. Ngunit ang quantitative analysis ay may sariling mga pitfalls, at maaaring balewalain ng modelo ang mga ito:
- Maliit na sample: Ang pagsasabi na "61% ng mga customer ay nasiyahan" mula sa isang survey ng 18 tao ay nakaliligaw; Kung maliit ang sample, ang raw na numero at kawalan ng katiyakan ang dapat pag-usapan, hindi ang porsyento.
- Nangungunang tanong: "Gaano ka nasisiyahan sa aming mahusay na serbisyo?" Ang tanong ay naka-embed ng sagot; Ang resulta ay biased.
- Bias sa pagpili: Kung tumugon lamang ang pinakanasiyahan o pinakagalit na mga customer, hindi magiging kinatawan ng uniberso ang resulta.
Bago ibuod ang mga resulta ng survey na ito, magsagawa ng methodological check: - Sapat ba ang sample size para ipakita ang mga resulta sa porsyento? - Mayroon bang nangunguna/nangungunang mga pahayag sa mga tanong? Lagyan ng tsek.- Ano ang rate ng pagtugon at panganib ng bias sa pagpili? Magbigay lamang ng ulat sa pag-audit; Pagkatapos ay ibubuod natin ito sa isang hiwalay na mensahe.
tatlong mini case
Case 1 — Nahuli ang gawa-gawang tema. Ang isang consultant ay nagtatalaga ng 20 panayam sa modelo; kinukuha ng modelo ang temang "gusto ng mga kalahok na magtrabaho nang malayuan." Humihingi ng quote ang consultant; Ang modelo ay makakahanap lamang ng 1 hindi maliwanag na quote. Ang tema ay hindi aktwal na umiiral, ang modelo ay ginawa ito mula sa pangkalahatang kalakaran. Kung walang kinakailangan sa pagsipi, ang isang maling paghahanap ay isasama sa ulat.
Kaso 2 — Hindi direktang pagsusuri. Sa isang proyekto sa kasiyahan ng empleyado, kasama sa transcript ang "Sinabi ito ng nag-iisang dayuhang inhinyero sa R&D." Walang pangalan, ngunit ang tao ay malinaw; Kapag napunta ang ulat sa tagapamahala, may panganib ng paghihiganti. Kailangang i-generalize ng consultant mula sa simula ang lahat ng mga natatanging detalye ("isang inhinyero").
Kaso 3 — Maliit na sample na bitag. Sa isang pagsubok sa produkto, nagustuhan ito ng 15 sa 22 na user; ang sabi ng modelo ay "68% satisfaction" at nakalagay sa slide. Tutol ang investment board: "22 tao ang hindi kumakatawan sa uniberso." Tapat na isinulat muli ng consultant ang resulta bilang "positibo ang 15 sa 22 user; kailangan ng indikatibo, kumpirmadong malaking sample"; bumabalik ang tiwala.
Mahinang prompt / Malakas na prompt
Mahinang prompt:
Basahin ang mga panayam na ito at kunin ang mga pangunahing natuklasan.
Ang modelo ay gumagawa ng mga tema na walang mga panipi, walang ebidensya; Ang panganib ng katha at pagiging kumpidensyal ay mataas.
Napakahusay na prompt:
Ang iyong tungkulin: qualitative analyst. Transcript sa ibaba, anonymized (K1..Kn).Gawain: Hanggang 7 tema; bilang ng mga kalahok para sa bawat + 2 verbatim quotes (na may code); magkahiwalay na sumusuporta at magkasalungat na mga pahayag; minorya ngunit kritikal na opinyon hiwalay na listahan. Mga Panuntunan: pagdaragdag ng mga opinyon na wala sa transcript; pagbuo ng pagkakakilanlan; Huwag magbigay ng isang tema nang walang mga panipi; markahan ang temang hindi ka sigurado bilang "mahinang ebidensya".
Saturation at bigat ng mga tema
Sa pagsusuri ng husay, dalawang konsepto ang tumutukoy sa kalidad ng interpretasyon. Ang una ay saturation: ang data ay sinasabing "saturated" kapag ang mga bagong panayam ay hindi na gumagawa ng mga bagong tema; Ito ay isang palatandaan na ang sample ay sapat. Kung lalabas pa rin ang mga bagong tema sa ika-8 panayam, kailangan ng higit pang mga panayam. Pangalawa, ang bigat ng mga tema: kung gaano karaming tao ang nakakakita ng isang tema at ang kahalagahan ng temang iyon ay magkaibang bagay. Ang isang maliit na abala na binanggit ng limang tao at ang panganib ng pagkansela ng kontrata na binanggit ng isang tao ay hindi pantay sa dalas, ngunit ang huli ay maaaring mas kritikal sa kahalagahan. Samakatuwid, ang pagraranggo ng mga tema ayon sa dalas lamang ay nakaliligaw; Suriin ang bawat tema sa mga tuntunin ng parehong "ilang tao" at "gaano kahalaga". Kapag sinabi ng AI na "i-rate ang mga temang ito sa dalawang magkahiwalay na hanay ng dalas at potensyal na epekto sa negosyo" makikita ang pagkakaibang ito; Ginagawa mo ang paghatol sa epekto ng negosyo.
Mga karaniwang pagkakamali
- Pagtanggap ng tema na walang panipi. Ang bawat tema ay dapat na mapatunayan ng isang verbatim quote mula sa transcript; Kung hindi, may panganib ng guni-guni.
- Ginagawang mababaw ang anonymization. Hindi sapat na tanggalin ang pangalan; Ang hindi direktang pagkilala sa mga detalye ay dapat ding nakamaskara.
- Pagpapakita ng maliit na sample na may porsyento. Sa maliit na bilang ng mga kalahok, mga raw na numero at kawalan ng katiyakan ang dapat pag-usapan, hindi mga porsyento.
- Hindi pinapansin ang nangungunang tanong. Ang kinalabasan ng mga nangungunang tanong ay may kinikilingan; Suriin ang pamamaraan.
- Pagkawala ng mga outlier. Sa sandaling sinabi, ang kritikal na babala ay nilalamon ng karamihan sa mga tema; hiwalay ang listahan.
- Paghahalo ng quantitative at qualitative. Iproseso ang mga bukas na komento na may mga numerical na resulta sa iba't ibang paraan.
Sa buod
Ang qualitative data ay ang pinakamayamang pinagmumulan ng insight sa consultancy, at ang artificial intelligence ay nakakatipid ng oras sa coding at theming. Ngunit ang bawat tema ay dapat na patunayan na may verbatim na mga panipi, ang pagiging kompidensiyal ng kalahok ay dapat na ganap na protektahan, kabilang ang hindi direktang pagkakakilanlan, at mga metodolohikal na pitfalls tulad ng sampling, pagkiling sa tanong, at pagpili ay dapat na kontrolin sa mga quantitative survey. Ang modelo ay isang mabilis na mambabasa at taga-label; trabaho ng consultant na i-verify ang ebidensya, panatilihin ang pagiging kumpidensyal, at itatag ang layer na "so what".
Gawain ng aplikasyon
Maghanda ng ilang transcript ng panayam (o open-ended na mga sagot sa survey), totoo man o kinatawan, at i-anonymize muna ang mga ito (kabilang ang pangalan at hindi direktang pagkakakilanlan). I-extract ang mga tema, quote, magkasalungat na pahayag, at hindi sumasang-ayon na mga boses na may malakas na qualitative prompt. Suriin ang pagsipi ng hindi bababa sa isang tema sa transcript upang i-verify na ito ay talagang umiiral. Pagkatapos ay kumuha ng maliit na quantitative survey at suriin ang sample at question bias sa pamamagitan ng paghiling ng methodological audit.
checklist
- [ ] Hindi ko pinakilala ang mga transcript, kasama ang pangalan at hindi direktang pagkakakilanlan.
- [ ] Pinatunayan ko ang bawat tema na may verbatim quote.
- [ ] Nagpakita ako ng magkasalungat na ekspresyon at magkasalungat na boses nang hiwalay.
- [ ] Sa maliit na sample, gumamit ako ng mga raw na numero at kawalan ng katiyakan sa halip na mga porsyento.
- [ ] Minarkahan ko ang mga nangungunang tanong.
- [ ] Sinuri ko ang panganib ng pagkiling sa pagpili.
- [ ] Iniulat ko ang mga sensitibong komento nang sama-sama nang hindi itinutugma ang mga ito sa indibidwal.