Ieguvumi:
- Spēja sadalīt interviju atšifrējumus un atvērtās aptaujas atbildes tēmās ar mākslīgo intelektu un atbalstīt tās ar pierādījumu citātiem
- Spēja apkopot kvantitatīvos aptaujas datus un izvairīties no maldinošas interpretācijas (maza izlase, vadošais jautājums, atlases novirze)
- Spēja strādāt ētiski un saderīgi ar KVKK, aizsargājot dalībnieku konfidencialitāti un anonimizējot stenogrammas
Visbagātīgākās atziņas konsultāciju jomā bieži vien slēpjas nevis diagrammās, bet gan cilvēku teiktajā. Vadītāja intervija, beztermiņa atbildes uz klientu aptauju, piezīmes no lauka apmeklējuma... Tie ir neskaitliski (kvalitatīvi) dati, un to nolasīšana, kodēšana un sadalīšana tēmās aizņem stundas. Mākslīgais intelekts ievērojami paātrina šo darbu: tas dažu minūšu laikā sadala 30 interviju stenogrammas tēmās, atrodot atkārtotus modeļus. Taču pastāv divas briesmas: modelis var “izveidot” tēmu (pievienot komentāru, kas nav stenogrammā), un dalībnieka konfidencialitāte var tikt viegli pārkāpta. Šajā nodaļā mēs iemācīsimies analizēt kvalitatīvos datus uz pierādījumiem balstītā un drošā veidā.
Kvalitatīva analīze: no kodēšanas līdz tēmai
Kvalitatīvā analīze sastāv no trim posmiem. Vispirms kodēšana: katram paziņojumam tiek piešķirts īss apzīmējums (“sūdzība par cenu”, “uzslavēšana par piegādi”). Pēc tam tematizācija: līdzīgi kodi tiek apkopoti tēmā (“darbības neapmierinātība”). Nobeigumā komentārs: tiek noteiktas attiecības starp tēmām un slāni "kā tā". AI pirmajos divos posmos ir ļoti ātrs; Trešais solis prasa advokāta spriedumu.
Vissvarīgākā pārliecība ir šāda: katrai tēmai ir jābūt atbalstītai ar burtisku citātu. Tas apstiprina, ka tēma patiesībā nāk no datiem; Citāta tēma rada halucināciju risku.
Jūsu loma: kvalitatīva pētījuma analītiķis. Zemāk ir anonimizēts 12 klientu interviju atšifrējums (apzīmēts ar P1, P2...).Uzdevums:1) Izvilkt periodiskas tēmas (līdz 7 tēmām).2) Katrai tēmai: cik daudz dalībnieku to redzēja + 2 burtiski citāti (ar dalībnieka kodu).3) Rādīt un nepievienot paziņojumus-CONFLuleR atsevišķi. jebkādi viedokļi, kas nav iekļauti stenogrammā; Katra tēma ir jāpierāda ar citātu. - Nesniedziet citu identifikācijas informāciju, izņemot dalībnieku kodus. - Beigās atsevišķi uzskaitiet atsevišķus "mazākumtautību, bet svarīgus" viedokļus (atšķirīgas balsis).
Vēl viens spēcīgs paņēmiens ir lūgt modelim kodēt ar fiksētām kategorijām, kuras jūs norādāt, nevis vispirms iestatīt savu kodu shēmu. Piemēram, ja klientu apmierinātības pētījumā sniedzat iepriekš definētas tēmas, piemēram, "cena, produkta kvalitāte, piegāde, atbalsts, lietošanas vienkāršība", dažādi atšifrējumi kļūst salīdzināmi, un modelim netiek ļauts katru reizi izveidot dažādus nosaukumus. Bezmaksas tēmas iegūšana ir piemērota atklāšanai, savukārt fiksēto kategoriju kodēšana ir piemērota salīdzināšanai un mērīšanai; Lielākajai daļai projektu vislabāk ir izmantot abus kopā: vispirms veiciet bezmaksas izpēti, pēc tam digitalizējiet, izmantojot fiksētu shēmu.
Jūsu loma: kvalitatīvs kodēšanas palīgs. Fiksētās kategorijas: [cena, kvalitāte, piegāde, atbalsts, lietošanas ērtums, cits]. Uzdevums: Piešķiriet katru tālāk norādīto atvērto atbildi vienai vai vairākām no šīm kategorijām. - Atbildē (burtiski) pie katra uzdevuma ierakstiet sprūda frāzi. - Atzīmējiet, vai atbilde ir pozitīva vai negatīva. Komentāru pievienošana, kas nav iekļauti atbildē.
Padoms: ir ļoti vērtīgi atsevišķi pajautāt “mazākumtautību, bet svarīgu” viedokļus. Vienreiz izteikts, bet kritisks brīdinājums (piemēram, viens liels klients saka "mēs apsveram līguma atjaunošanu") pazūd lielākajā daļā tēmu; paliek redzams, ja ir norādīts atsevišķi.
Privātums un anonimizācija
Interviju atšifrējumi ir personas dati un bieži vien ir sensitīvi (darbinieku sūdzības, vadītāju kritika). Pirms to augšupielādes AI rīkā, ir svarīgi tos anonimizēt: vārdi, nosaukumi, iekšējās atšķirības detaļas tiek aizstātas ar koda numuru (K1, K2...). Dalībniekam bieži tiek solīts, ka "par jūsu teikto tiks ziņots anonīmi"; Šīs frāzes tehniskais ekvivalents ir anonimizācija.
Datu tips
Risks
piesardzība
Dalībnieka vārds/nosaukums
identitātes izpaušana
Aizstāt ar koda numuru
Iekšējā detaļa
netiešā diagnoze
Vispārināt vai maskēt
jutīga redze
Atriebības risks
Individuāla atbilstība ar lielapjoma pārskatu
Audio/video ierakstīšana
augstākā jutība
Renderējiet apstiprinātajā rīkā un pēc tam dzēsiet
Varat likt modelim veikt anonimizāciju kā sākotnējo darbību pirms transkriptu augšupielādes rīkā; Bet noteikti vizuāli pārbaudiet izvadi:
Jūsu loma: privātuma redaktors. Sagatavojiet šādu intervijas stenogrammu analīzei; veiciet šādas maskēšanas darbības:- Iekļaujiet visus kontaktpersonu vārdus K1, K2...- Vispāriniet netieši identificējošu informāciju, piemēram, amatu, nodaļu, atrašanās vietu ("Vienīgais ārzemju inženieris pētniecībā un attīstībā" → "inženieris").- Noņemiet uzņēmumu/klientu nosaukumus. Norādiet tikai maskēto tekstu; Īsi uzskaitiet, kāda veida informāciju maskējat un kāpēc.
Uzmanību: nepietiek ar vārdiem "Anonīms". Frāze "Vienīgā sieviete, kas atbild par mārketingu" identificē personu, lai gan viņas vārds nav rakstīts. Anonimizācijā jāiekļauj arī visa netieši identificējamā informācija. KVKK pārkāpums un dalībnieku uzticības zaudēšana sākas no šejienes.
Kvantitatīvās aptaujas datu interpretācija
Mākslīgais intelekts veido slēgto (skaitlisko) aptauju rezultātu kopsavilkumu un sadalījumu. Taču kvantitatīvajai analīzei ir savas nepilnības, un modelī tās var ignorēt:
- Neliela izlase: apgalvojums "61% klientu ir apmierināti" no 18 cilvēku aptaujas ir maldinošs; Ja izlase ir maza, jāapspriež neapstrādātais skaits un nenoteiktība, nevis procenti.
- Galvenais jautājums: "Cik jūs esat apmierināts ar mūsu lielisko pakalpojumu?" Jautājums ietver atbildi; Rezultāts ir neobjektīvs.
- Atlases novirze: ja atbildētu tikai visapmierinātākie vai dusmīgākie klienti, rezultāts neatspoguļotu visumu.
Pirms šīs aptaujas rezultātu apkopošanas veiciet metodisko pārbaudi: - Vai izlases lielums ir pietiekams, lai rezultātus parādītu procentos? - Vai jautājumos ir vadošie / vadošie apgalvojumi? Atzīmējiet.- Kāds ir atbildes līmenis un atlases aizspriedumu risks? Sniedziet tikai revīzijas ziņojumu; Pēc tam mēs to apkoposim atsevišķā ziņojumā.
trīs mini futrāļi
1. gadījums — noķerta izdomāta tēma. Konsultants modelei piešķir 20 intervijas; modelī ir izvilkta tēma “dalībnieki vēlas strādāt attālināti”. Konsultants lūdz piedāvājumu; Modelis var atrast tikai 1 neviennozīmīgu citātu. Tēma patiesībā neeksistēja, modelis to veidoja no vispārējās tendences. Ja citēšanas prasības nebūtu, ziņojumā tiktu iekļauts nepareizs konstatējums.
2. gadījums — netiešā diagnoze. Darbinieku apmierinātības projektā stenogrammā ir iekļauts "Tā teica vienīgais ārvalstu inženieris pētniecības un attīstības jomā." Vārda nav, bet cilvēks ir skaidrs; Kad ziņojums tiek nosūtīts vadītājam, pastāv atriebības risks. Konsultantam jau no paša sākuma vajadzēja vispārināt visas atšķirīgās detaļas ("inženieris").
3. gadījums — mazs paraugu slazds. Produkta testā tas patika 15 no 22 lietotājiem; modele saka "68% apmierinātība" un tiek novietota uz slaida. Investīciju padome iebilst: "22 cilvēki nepārstāv Visumu." Konsultants godīgi pārraksta rezultātu kā "pozitīvs 15 no 22 lietotājiem; nepieciešams indikatīvs, apstiprinošs liels paraugs"; uzticība atgriežas.
Vāja uzvedne / spēcīga uzvedne
Vāja uzvedne:
Izlasiet šīs intervijas un izņemiet galvenos secinājumus.
Modelis veido tēmas bez pēdiņām, bez pierādījumiem; Izgatavošanas un konfidencialitātes risks ir augsts.
Spēcīga uzvedne:
Jūsu loma: kvalitatīvs analītiķis. Atšifrējums zemāk, anonimizēts (K1..Kn).Uzdevums: Līdz 7 tēmām; dalībnieku skaits katram + 2 burtiski citāti (ar kodu); apstiprinošus un pretrunīgus apgalvojumus atsevišķi; mazākuma, bet kritisko viedokļu atsevišķs saraksts. Noteikumi: atzinumu pievienošana, kas nav stenogrammā; identitātes ģenerēšana; Nesniedziet tēmu bez pēdiņām; atzīmējiet tēmu, par kuru neesat pārliecināts, kā "vāju pierādījumu".
Motīvu piesātinājums un svars
Kvalitatīvajā analīzē interpretācijas kvalitāti nosaka divi jēdzieni. Pirmais ir piesātinājums: tiek uzskatīts, ka dati ir "piesātināti", kad jaunas intervijas vairs nerada jaunas tēmas; Tā ir zīme, ka paraugs ir pietiekams. Ja 8. intervijā joprojām parādās pavisam jaunas tēmas, ir nepieciešamas vairāk interviju. Otrkārt, tēmu svars: cik cilvēku redz kādu tēmu, un šīs tēmas nozīme ir dažādas lietas. Piecu cilvēku pieminētās nelielas neērtības un viena cilvēka pieminētais līguma atcelšanas risks pēc biežuma nav vienāds, taču pēdējam var būt daudz kritiskāka nozīme. Tāpēc tēmu sarindošana pēc biežuma vien ir maldinoša; Novērtējiet katru tēmu gan pēc "cik cilvēku", gan "cik svarīgi". Ja AI saka “novērtējiet šīs tēmas divās atsevišķās biežuma un iespējamās uzņēmējdarbības ietekmes kolonnās”, šī atšķirība kļūst redzama; Jūs veicat spriedumu par uzņēmējdarbības ietekmi.
Biežas kļūdas
- Tēmas pieņemšana bez pēdiņām. Katra tēma jāapliecina ar burtisku citātu no stenogrammas; Pretējā gadījumā pastāv halucināciju risks.
- Padarot anonimizāciju virspusēju. Nepietiek ar vārda dzēšanu; Būtu jāslēpj arī netieši identificējošas detaļas.
- Uzrāda nelielu paraugu ar procentiem. Ar nelielu dalībnieku skaitu ir jāapspriež neapstrādāti skaitļi un nenoteiktība, nevis procenti.
- Ignorējot vadošo jautājumu. Vadošo jautājumu iznākums ir neobjektīvs; Pārbaudiet metodiku.
- Ārējo vērtību zaudēšana. Kad tas ir izrunāts, kritisko brīdinājumu norij vairākuma tēmas; sarakstu atsevišķi.
- Kvantitatīvā un kvalitatīvā sajaukšana. Apstrādājiet atvērtos komentārus ar skaitliskiem rezultātiem dažādos veidos.
Rezumējot
Kvalitatīvie dati ir visbagātākais ieskatu avots konsultāciju jomā, un mākslīgais intelekts ietaupa stundas kodēšanas un tematikas jomā. Taču katra tēma ir jāapliecina ar burtiskiem citātiem, pilnībā jāaizsargā dalībnieku konfidencialitāte, tostarp netiešā identifikācija, un kvantitatīvās aptaujās ir jākontrolē metodoloģiskās nepilnības, piemēram, izlase, jautājumu neobjektivitāte un atlase. Modelis ir ātrs lasītājs un marķētājs; konsultanta uzdevums ir pārbaudīt pierādījumus, saglabāt konfidencialitāti un izveidot "kā nu ko" slāni.
Lietojumprogrammas uzdevums
Sagatavojiet vairākus intervijas atšifrējumus (vai beztermiņa aptaujas atbildes), gan reālus, gan reprezentatīvus, un vispirms padariet tos anonīmus (tostarp vārdu un netiešo identifikāciju). Izņemiet tēmas, citātus, pretrunīgus apgalvojumus un atšķirīgas balsis ar spēcīgu kvalitatīvu pamudinājumu. Atšifrējumā pārbaudiet vismaz vienas tēmas citātu, lai pārliecinātos, ka tā patiešām pastāv. Pēc tam veiciet nelielu kvantitatīvu aptauju un novērtējiet izlases un jautājumu neobjektivitāti, pieprasot metodisko auditu.
kontrolsaraksts
- [ ] Es anonimizēju atšifrējumus, tostarp vārdu un netiešo identifikāciju.
- [ ] Es apliecināju katru tēmu ar burtisku citātu.
- [ ] Atsevišķi rādīju pretrunīgus izteicienus un pretrunīgas balsis.
- [ ] Mazajā izlasē procentuālo vērtību vietā izmantoju neapstrādātus skaitļus un nenoteiktību.
- [ ] Es atzīmēju vadošos jautājumus.
- [ ] Es novērtēju atlases neobjektivitātes risku.
- [ ] Es ziņoju par sensitīviem komentāriem kolektīvi, nesaskaņojot tos ar konkrētu personu.