Njësia 8 / 12

Analiza e intervistave dhe anketave: Nga të dhënat cilësore në temë

Fitimet:

  • Aftësia për të ndarë transkriptet e intervistave dhe përgjigjet e anketës së hapur në tema me inteligjencë artificiale dhe për t'i mbështetur ato me citate provash
  • Aftësia për të përmbledhur të dhënat sasiore të anketës dhe për të shmangur interpretimin mashtrues (kampion i vogël, pyetje kryesore, paragjykim i përzgjedhjes)
  • Aftësi për të punuar në mënyrë etike dhe në përputhje me KVKK duke mbrojtur konfidencialitetin e pjesëmarrësve dhe duke anonimizuar transkriptet

Vështrimet më të pasura në konsultim shpesh nuk qëndrojnë në tabela, por në atë që thonë njerëzit. Një intervistë me menaxherin, përgjigje të hapura ndaj një sondazhi të klientit, shënime nga një vizitë në terren... Këto janë të dhëna jo numerike (cilësore) dhe duhen orë për t'u lexuar, koduar dhe ndarë në tema. Inteligjenca artificiale e përshpejton shumë këtë punë: zbërthen 30 transkripte intervistash në tema në minuta, duke gjetur modele të përsëritura. Por ka dy rreziqe: modeli mund të "përbëjë" një temë (shtoni një koment që nuk është në transkript) dhe konfidencialiteti i pjesëmarrësve mund të shkelet lehtësisht. Në këtë njësi, ne do të mësojmë të analizojmë të dhënat cilësore në një mënyrë të sigurt dhe të bazuar në fakte.

Analiza cilësore: nga kodimi në temë

Analiza cilësore ka tre hapa. Kodimi së pari: çdo deklarate i jepet një etiketë e shkurtër ("ankesë për çmimin", "lavdërim për dorëzimin"). Më pas tematika: kode të ngjashme mblidhen në një temë ("pakënaqësi operacionale"). Në fund, komenti: vendoset marrëdhënia midis temave dhe shtresës "pra çfarë". AI është shumë i shpejtë në dy hapat e parë; Hapi i tretë kërkon gjykimin e avokatit.

Siguria më kritike është kjo: çdo temë duhet të mbështetet nga një citat fjalë për fjalë. Kjo konfirmon se tema në të vërtetë vjen nga të dhënat; Tema kuotim-pacitim mbart rrezikun e halucinacioneve.

Roli juaj: analist kërkimor cilësor. Më poshtë është një transkript i anonimuar i 12 intervistave të klientëve (të emërtuar P1, P2...). Detyra:1) Ekstraktoni tema të përsëritura (deri në 7 tema).2) Për secilën temë: sa pjesëmarrës e panë atë + 2 citate fjalë për fjalë (me kodin e pjesëmarrësit). shtoni ndonjë mendim që nuk është në transkript; Çdo temë duhet të vërtetohet me citat. - Mos prodhoni informacion identifikimi përveç kodeve të pjesëmarrësve. - Rendisni veçmas mendimet e vetme "të pakicës por të rëndësishme" në fund (zërat kundërshtues).

Një teknikë tjetër e fuqishme është t'i kërkoni modelit të kodojë me kategoritë fikse që specifikoni, në vend që ai të vendosë skemën e vet të kodit në fillim. Për shembull, nëse jepni tema të paracaktuara në një studim të kënaqësisë së klientit si "çmimi, cilësia e produktit, shpërndarja, mbështetja, lehtësia e përdorimit", transkriptet e ndryshme bëhen të krahasueshme dhe modeli nuk lejohet të krijojë emra të ndryshëm çdo herë. Nxjerrja e temës falas është e përshtatshme për zbulim, ndërsa kodimi i kategorisë fikse është i përshtatshëm për krahasim dhe matje; Për shumicën e projekteve, përdorimi i të dyjave së bashku funksionon më mirë: fillimisht eksplorimi falas, më pas digjitalizimi me një skemë fikse.

Roli juaj: asistent cilësor i kodimit. Kategoritë fikse: [çmimi, cilësia, shpërndarja, mbështetja, lehtësia e përdorimit, të tjera]. Detyrë: Cakto çdo përgjigje të hapur më poshtë për një ose më shumë nga këto kategori. - Shkruani frazën nxitëse në përgjigje (fjalë për fjalë) pranë çdo detyre. - Shënoni nëse përgjigja është pozitive apo negative në ndjenja. Shtimi i komenteve që nuk përfshihen në përgjigje.

Këshillë: Është shumë e vlefshme të kërkosh veçmas opinione “minoritare por të rëndësishme”. Një alarm i formuluar dikur, por kritik (p.sh. një klient i vetëm i madh që thotë "ne po shqyrtojmë rinovimin e kontratës") humbet në temat e shumicës; mbetet i dukshëm kur renditet veçmas.

Privatësia dhe anonimizimi

Transkriptet e intervistave janë të dhëna personale dhe shpesh janë të ndjeshme (ankesat e punonjësve, kritikat e menaxherit). Përpara se t'i ngarkoni ato në një mjet AI, është thelbësore t'i anonimizoni ato: emrat, titujt, detajet e brendshme dalluese zëvendësohen me numrin e kodit (K1, K2...). Pjesëmarrësit shpesh i premtohet se "ajo që thua do të raportohet në mënyrë anonime"; Ekuivalenti teknik i kësaj fraze është anonimizimi.

Lloji i të dhënave

Rreziku

masë paraprake

Emri/titulli i pjesëmarrësit

zbulimi i identitetit

Zëvendësoni me numrin e kodit

Detaje të brendshme

diagnoza indirekte

Përgjithësoni ose maskoni

vizion i ndjeshëm

Rreziku i hakmarrjes

Përputhja individuale me raportin masiv

Regjistrim audio/video

ndjeshmëria më e lartë

Paraqitni në mjetin e miratuar, më pas fshijeni

Ju mund ta bëni modelin të kryejë anonimizimin si një hap paraprak përpara se të ngarkoni transkriptet në mjet; Por sigurohuni që të kontrolloni vizualisht daljen:

Roli juaj: redaktori i privatësisë. Përgatitni transkriptin e mëposhtëm të intervistës për analizë; bëni maskimin e mëposhtëm:- Bëni të gjithë emrat e kontakteve K1, K2...- Përgjithësoni detajet indirekte identifikuese si titulli, departamenti, vendndodhja ("I vetmi inxhinier i huaj në R&D" → "një inxhinier").- Hiqni emrat e kompanive/klientëve. Jepni vetëm tekstin e maskuar; Rendisni shkurtimisht se çfarë lloj informacioni po maskoni dhe pse.

Kujdes: Të thuash "Anonim" nuk mjafton. Shprehja “E vetmja menaxhere femër përgjegjëse për marketingun” e identifikon personin edhe pse emri i saj nuk është i shkruar. Anonimizimi duhet të përfshijë gjithashtu të gjitha detajet indirekte të identifikueshme. Prej këtu fillon shkelja e KVKK-së dhe humbja e besimit të pjesëmarrësve.

Interpretimi i të dhënave sasiore të anketës

Inteligjenca artificiale prodhon një përmbledhje dhe ndarje të rezultateve të sondazhit të mbyllur (numerike). Por analiza sasiore ka kurthet e veta dhe modeli mund t'i injorojë ato:

  • Mostra e vogël: Të thuash "61% e klientëve janë të kënaqur" nga një anketë me 18 persona është mashtruese; Nëse kampioni është i vogël, duhet të diskutohet numri i papërpunuar dhe pasiguria, jo përqindja.
  • Pyetja kryesore: "Sa jeni të kënaqur me shërbimin tonë të shkëlqyer?" Pyetja përfshin përgjigjen; Rezultati është i njëanshëm.
  • Paragjykimi i përzgjedhjes: Nëse do të përgjigjeshin vetëm klientët më të kënaqur ose më të zemëruar, rezultati nuk do të ishte përfaqësues i universit.

Përpara përmbledhjes së rezultateve të këtij sondazhi, bëni një kontroll metodologjik: - A është e mjaftueshme madhësia e kampionit për të paraqitur rezultatet në përqindje? - A ka deklarata kryesore/drejtuese në pyetje? Shënoni.- Cila është shkalla e përgjigjes dhe rreziku i paragjykimit të përzgjedhjes? Siguroni vetëm raportin e auditimit; Më pas do ta përmbledhim në një mesazh të veçantë.

tre mini kuti

Rasti 1 - Tema e sajuar u kap. Një konsulent i cakton modeles 20 intervista; modeli nxjerr temën "pjesëmarrësit duan të punojnë nga distanca". Konsulenti kërkon një kuotë; Modeli mund të gjejë vetëm 1 citat të paqartë. Tema në fakt nuk ekzistonte, modeli e përbëhej nga tendenca e përgjithshme. Nëse nuk do të kishte kërkesa për citim, një gjetje e pasaktë do të përfshihej në raport.

Rasti 2 - Diagnoza indirekte. Në një projekt për kënaqësinë e punonjësve, transkripti përfshin "I vetmi inxhinier i huaj në R&D tha këtë". Nuk ka emër, por personi është i qartë; Pasi raporti shkon te menaxheri, ekziston rreziku i hakmarrjes. Konsulenti duhej të përgjithësonte që në fillim të gjitha detajet dalluese ("një inxhinier").

Rasti 3 - Kurth i vogël i mostrës. Në një test produkti, 15 nga 22 përdorues e pëlqyen atë; modeli thotë "68% kënaqësi" dhe vendoset në rrëshqitje. Bordi i investimeve kundërshton: “22 persona nuk përfaqësojnë universin”. Konsulenti e rishkruan sinqerisht rezultatin si "15 nga 22 përdorues pozitivë; kërkohet kampion i madh tregues dhe konfirmues"; besimi kthehet.

Prompt i dobët / Prompt i fortë

Njoftim i dobët:

Lexoni këto intervista dhe nxirrni gjetjet kryesore.

Modeli prodhon tema pa thonjëza, pa prova; Rreziku i fabrikimit dhe konfidencialitetit është i lartë.

Njoftim i fuqishëm:

Roli juaj: analist cilësor. Transkripti më poshtë, i anonimuar (K1..Kn). Detyra: Deri në 7 tema; numri i pjesëmarrësve për secilin + 2 thënie fjalë për fjalë (me kod); pohimet mbështetëse dhe kontradiktore veçmas; pakicë por opinione kritike listë të veçantë. Rregullat: shtimi i opinioneve jo në transkript; gjenerimi i identitetit; Mos jepni një temë pa thonjëza; shënoni temën për të cilën nuk jeni të sigurt si "provë e dobët".

Ngopja dhe pesha e temave

Në analizën cilësore, dy koncepte përcaktojnë cilësinë e interpretimit. E para është ngopja: të dhënat thuhet se janë "të ngopura" kur intervistat e reja nuk prodhojnë më tema të reja; Kjo është një shenjë se mostra është e mjaftueshme. Nëse tema krejt të reja shfaqen ende në intervistën e 8-të, nevojiten më shumë intervista. Së dyti, pesha e temave: sa njerëz e shohin një temë dhe rëndësia e asaj teme janë gjëra të ndryshme. Një shqetësim i vogël i përmendur nga pesë persona dhe rreziku i anulimit të kontratës i përmendur nga një person nuk janë të barabarta në frekuencë, por ky i fundit mund të jetë shumë më kritik në rëndësi. Prandaj, renditja e temave vetëm sipas frekuencës është mashtruese; Vlerësoni secilën temë në termat e "sa njerëz" dhe "sa e rëndësishme". Duke thënë se AI "vlerësoni këto tema në dy kolona të veçanta të frekuencës dhe ndikimit të mundshëm të biznesit" e bën këtë dallim të dukshëm; Ju bëni gjykimin e ndikimit të biznesit.

Gabimet e zakonshme

  • Pranimi i temës pa citime. Çdo temë duhet të dëshmohet me një citim fjalë për fjalë nga transkripti; Përndryshe ekziston rreziku i halucinacioneve.
  • Bërja e anonimizimit sipërfaqësor. Nuk mjafton të fshish emrin; Detajet identifikuese indirekte gjithashtu duhet të maskohen.
  • Paraqitja e mostrës së vogël me përqindje. Me një numër të vogël pjesëmarrësish, duhet të diskutohen numrat e papërpunuar dhe pasiguria, jo përqindjet.
  • Duke injoruar pyetjen kryesore. Rezultati i pyetjeve kryesore është i njëanshëm; Kontrolloni metodologjinë.
  • Humbja e vlerave të jashtme. Pasi të flitet, paralajmërimi kritik gëlltitet nga temat e shumicës; listoni veçmas.
  • Përzierja sasiore dhe cilësore. Përpunoni komentet e hapura me rezultate numerike në mënyra të ndryshme.

Në përmbledhje

Të dhënat cilësore janë burimi më i pasur i njohurive në konsulencë dhe inteligjenca artificiale kursen orë të tëra në kodim dhe tematikë. Por çdo temë duhet të evidentohet me citate fjalë për fjalë, konfidencialiteti i pjesëmarrësve duhet të mbrohet plotësisht, duke përfshirë identifikimin indirekt, dhe kurthet metodologjike si marrja e mostrave, paragjykimet e pyetjeve dhe përzgjedhja duhet të kontrollohen në anketat sasiore. Modeli është një lexues dhe etiketues i shpejtë; Është detyra e konsulentit të verifikojë provat, të ruajë konfidencialitetin dhe të vendosë shtresën "pra çfarë".

Detyra e aplikimit

Përgatitni disa transkripte intervistash (ose përgjigje të anketës së hapur), reale ose përfaqësuese, dhe fillimisht anonimizoni ato (duke përfshirë emrin dhe identifikimin indirekt). Nxjerr tema, citate, deklarata kontradiktore dhe zëra kundërshtues me nxitje të forta cilësore. Kontrolloni citimin e të paktën një teme në transkript për të verifikuar që ajo ekziston në të vërtetë. Pastaj bëni një anketë të vogël sasiore dhe vlerësoni paragjykimet e mostrës dhe pyetjeve duke kërkuar një auditim metodologjik.

listë kontrolli

  • [ ] I anonimizova transkriptet, duke përfshirë emrin dhe identifikimin indirekt.
  • [ ] Unë evidentova secilën temë me një citim fjalë për fjalë.
  • [ ] Unë tregova shprehje kontradiktore dhe zëra kontradiktore veçmas.
  • [ ] Në kampionin e vogël, përdora numra të papërpunuar dhe pasiguri në vend të përqindjeve.
  • [ ] Kam shënuar pyetjet kryesore.
  • [ ] Kam vlerësuar rrezikun e paragjykimit të përzgjedhjes.
  • [ ] Kam raportuar komente të ndjeshme kolektivisht pa i përshtatur ato me individin.