Unitate 8 / 12

Interviu și analiză a sondajului: de la date calitative la temă

Câștiguri:

  • Abilitatea de a împărți transcrierile interviurilor și răspunsurile la sondaje deschise în teme cu inteligență artificială și de a le susține cu citate de dovezi
  • Abilitatea de a rezuma datele cantitative ale sondajului și de a evita interpretarea înșelătoare (eșantion mic, întrebare principală, prejudecată de selecție)
  • Abilitatea de a lucra în mod etic și conform KVKK prin protejarea confidențialității participanților și anonimizarea transcrierilor

Cele mai bogate perspective în consultanță se află adesea nu în diagrame, ci în ceea ce spun oamenii. Un interviu cu managerul, răspunsuri deschise la un sondaj cu clienții, note dintr-o vizită pe teren... Acestea sunt date nenumerice (calitative) și este nevoie de ore pentru a citi, codifica și împărți în teme. Inteligența artificială accelerează foarte mult această muncă: descompune 30 de transcriere a interviurilor în teme în câteva minute, găsind modele recurente. Dar există două pericole: modelul poate „inventa” o temă (adăugați un comentariu care nu este în transcriere), iar confidențialitatea participanților poate fi ușor încălcată. În această unitate, vom învăța să analizăm datele calitative într-un mod sigur, bazat pe dovezi.

Analiza calitativă: de la codificare la temă

Analiza calitativă are trei etape. Codificarea mai întâi: fiecare declarație primește o etichetă scurtă („reclamație de preț”, „lauda de livrare”). Apoi tematică: coduri similare sunt colectate într-o temă („insatisfacție operațională”). La final, comentariu: se stabilește relația dintre teme și stratul „deci ce”. AI este foarte rapidă în primii doi pași; Al treilea pas necesită judecata consilierului.

Cea mai critică asigurare este aceasta: fiecare temă trebuie susținută de un citat textual. Acest lucru confirmă că tema provine de fapt din date; Tema citate fără ghilimele prezintă riscul de halucinație.

Rolul dumneavoastră: analist de cercetare calitativă. Mai jos este o transcriere anonimizată a 12 interviuri cu clienții (etichetate P1, P2...). Sarcină: 1) Extrageți teme recurente (până la 7 teme).2) Pentru fiecare temă: câți participanți au văzut-o + 2 citate textuale (cu cod participant). Fiecare temă trebuie dovedită cu citate. - Nu produceți alte informații de identificare decât codurile de participant. - Enumerați separat opiniile „minoritare, dar importante”, la sfârșit (voci divergente).

O altă tehnică puternică este să ceri modelului să codifice cu categorii fixe pe care le specificați, mai degrabă decât să-l setați mai întâi propria sa schemă de cod. De exemplu, dacă oferiți teme predefinite într-un studiu de satisfacție a clienților, cum ar fi „preț, calitatea produsului, livrare, asistență, ușurință în utilizare”, transcrieri diferite devin comparabile și modelul este împiedicat să creeze nume diferite de fiecare dată. Extragerea gratuită a temei este potrivită pentru descoperire, în timp ce codificarea categoriei fixe este potrivită pentru comparare și măsurare; Pentru majoritatea proiectelor, folosirea ambelor împreună funcționează cel mai bine: mai întâi explorarea gratuită, apoi digitalizarea cu o schemă fixă.

Rolul dumneavoastră: asistent de codificare calitativă. Categorii fixe: [preț, calitate, livrare, suport, ușurință în utilizare, altele]. Sarcină: atribuiți fiecare răspuns deschis de mai jos uneia sau mai multor dintre aceste categorii. - Scrieți fraza de declanșare în răspuns (verbatim) lângă fiecare sarcină. - Bifați dacă răspunsul este pozitiv sau negativ în sentiment. Adăugarea de comentarii care nu sunt incluse în răspuns.

Sfat: Este foarte valoros să ceri separat opinii „minoritare, dar importante”. O alertă odată formulată, dar critică (de exemplu, un singur client mare care spune „ne luăm în considerare reînnoirea contractului”) se pierde în temele majoritare; rămâne vizibil atunci când este listat separat.

Confidențialitate și anonimizare

Transcrierile interviurilor sunt date personale și sunt adesea sensibile (plângeri ale angajaților, critici ale managerului). Înainte de a le încărca într-un instrument AI, este esențial să le anonimizați: numele, titlurile, detaliile distinctive interne sunt înlocuite cu numărul de cod (K1, K2...). Participantului i se promite adesea că „ceea ce spui va fi raportat anonim”; Echivalentul tehnic al acestei fraze este anonimizarea.

Tip de date

Risc

precauție

Numele/titlul participantului

dezvăluirea identității

Înlocuiți cu numărul de cod

Detaliu interior

diagnostic indirect

Generalizați sau mascați

vedere sensibilă

Risc de represalii

Potrivire individuală cu raport în bloc

Înregistrare audio/video

cea mai mare sensibilitate

Redați în instrumentul aprobat, apoi ștergeți

Puteți solicita modelului să efectueze anonimizarea ca pas preliminar înainte de a încărca transcrierile în instrument; Dar asigurați-vă că verificați vizual rezultatul:

Rolul tău: editor de confidențialitate. Pregătiți următoarea transcriere a interviului pentru analiză; faceți următoarea mascare:- Faceți toate numele de contact K1, K2...- Generalizați indirect detalii de identificare, cum ar fi titlul, departamentul, locația („Singurul inginer străin în cercetare și dezvoltare” → „un inginer”).- Eliminați numele companiei/clientului. Dați doar textul mascat; Enumerați pe scurt ce tip de informații mascați și de ce.

Atenție: rostirea „Anonim” nu este suficientă. Sintagma „Singura femeie manager responsabilă de marketing” identifică persoana, chiar dacă numele ei nu este scris. Anonimizarea ar trebui să includă, de asemenea, toate detaliile identificabile indirect. Încălcarea KVKK și pierderea încrederii participanților încep de aici.

Interpretarea datelor de anchetă cantitativă

Inteligența artificială produce un rezumat și o defalcare a rezultatelor sondajului cu caracter închis (numerice). Dar analiza cantitativă are propriile sale capcane, iar modelul le poate ignora:

  • Eșantion mic: a spune „61% dintre clienți sunt mulțumiți” dintr-un sondaj de 18 persoane este înșelător; Dacă eșantionul este mic, ar trebui discutate numărul brut și incertitudinea, nu procentul.
  • Întrebare principală: „Cât de mulțumit sunteți de serviciile noastre excelente?” Întrebarea încorporează răspunsul; Rezultatul este părtinitor.
  • Prejudecăți de selecție: dacă doar clienții cei mai mulțumiți sau cei mai supărați ar răspunde, rezultatul nu ar fi reprezentativ pentru univers.

Înainte de a rezuma rezultatele acestui sondaj, efectuați o verificare metodologică: - Mărimea eșantionului este suficientă pentru a prezenta rezultatele în procente? - Există declarații de orientare/de orientare în întrebări? Bifați.- Care este rata de răspuns și riscul de părtinire a selecției? Furnizați numai raportul de audit; O vom rezuma apoi într-un mesaj separat.

trei mini cutii

Cazul 1 — Temă inventată prinsă. Un consultant atribuie modelului 20 de interviuri; modelul extrage tema „participanții vor să lucreze de la distanță”. Consultantul cere o ofertă; Modelul poate găsi doar un citat ambiguu. Tema nu a existat de fapt, modelul a alcătuit-o din tendința generală. Dacă nu ar exista o cerință de citare, o constatare incorectă ar fi inclusă în raport.

Cazul 2 — Diagnostic indirect. Într-un proiect de satisfacție a angajaților, transcrierea include „Singurul inginer străin în cercetare și dezvoltare a spus asta”. Nu există nume, dar persoana este clară; Odată ce raportul ajunge la manager, există riscul de represalii. Consultantul a trebuit să generalizeze de la început toate detaliile distinctive („un inginer”).

Cazul 3 – Capcană de probă mică. Într-un test de produs, 15 din 22 de utilizatori le-au plăcut; modelul scrie „68% satisfacție” și este așezat pe tobogan. Consiliul de investiții obiectează: „22 de oameni nu reprezintă universul”. Consultantul rescrie sincer rezultatul ca „15 din 22 de utilizatori pozitivi; este necesar un eșantion mare indicativ, de confirmare”; încrederea revine.

Prompt slab / Prompt puternic

Prompt slab:

Citiți aceste interviuri și extrageți principalele constatări.

Modelul produce teme fără ghilimele, fără dovezi; Riscul de fabricație și confidențialitate este mare.

Solicitare puternică:

Rolul dumneavoastră: analist calitativ. Transcriere de mai jos, anonimizată (K1..Kn). Sarcină: Până la 7 teme; numărul de participanți pentru fiecare + 2 ghilimele textuale (cu cod); declarații justificative și contradictorii separat; lista separată a opiniilor minoritare, dar critice. Reguli: adăugarea de opinii care nu sunt în transcriere; generarea identității; Nu da o temă fără ghilimele; marcați tema de care nu sunteți sigur drept „dovezi slabe”.

Saturația și ponderea temelor

În analiza calitativă, două concepte determină calitatea interpretării. Prima este saturația: se spune că datele sunt „saturate” atunci când interviurile noi nu mai produc teme noi; Acesta este un semn că eșantionul este suficient. Dacă încă la cel de-al 8-lea interviu apar teme noi, sunt necesare mai multe interviuri. În al doilea rând, ponderea temelor: câți oameni văd o temă și importanța acelei teme sunt lucruri diferite. Un inconvenient minor menționat de cinci persoane și riscul de anulare a contractului menționat de o persoană nu sunt egale ca frecvență, dar acestea din urmă pot fi mult mai critice ca importanță. Prin urmare, clasarea temelor numai după frecvență este înșelătoare; Evaluează fiecare temă atât în ​​ceea ce privește „câți oameni”, cât și „cât de important”. Dacă AI spune „evaluează aceste teme în două coloane separate de frecvență și impact potențial asupra afacerii” face ca această distincție să fie vizibilă; Tu faci judecata de impact asupra afacerii.

Greșeli comune

  • Acceptarea temei fără citate. Fiecare temă trebuie evidențiată printr-un citat textual din stenogramă; În caz contrar, există riscul de halucinație.
  • Faceți anonimizarea superficială. Nu este suficient să ștergeți numele; De asemenea, detaliile de identificare indirectă ar trebui mascate.
  • Prezentarea eșantionului mic cu procent. Cu un număr mic de participanți, ar trebui discutate cifrele brute și incertitudinea, nu procentele.
  • Ignorând întrebarea principală. Rezultatul întrebărilor conducătoare este părtinitor; Verificați metodologia.
  • Pierderea valorilor aberante. Odată rostită, avertismentul critic este înghițit de temele majoritare; enumerați separat.
  • Amestecarea cantitativă și calitativă. Procesați comentarii deschise cu rezultate numerice în moduri diferite.

Pe scurt

Datele calitative sunt cea mai bogată sursă de informații în consultanță, iar inteligența artificială economisește ore în codare și tematică. Dar fiecare temă trebuie evidențiată cu citate textuale, confidențialitatea participanților ar trebui să fie pe deplin protejată, inclusiv identificarea indirectă, iar capcanele metodologice, cum ar fi eșantionarea, părtinirea întrebărilor și selecția ar trebui controlate în anchetele cantitative. Modelul este un cititor rapid și etichetator; este datoria consultantului să verifice dovezile, să mențină confidențialitatea și să stabilească stratul „deci ce”.

Sarcina de aplicare

Pregătiți mai multe transcrieri ale interviului (sau răspunsuri deschise la sondaj), fie reale, fie reprezentative, și anonimizați-le mai întâi (inclusiv numele și identificarea indirectă). Extrageți teme, citate, declarații contradictorii și voci divergente cu un puternic îndemn calitativ. Verificați citarea a cel puțin unei teme din transcriere pentru a verifica dacă există efectiv. Apoi faceți un mic sondaj cantitativ și evaluați părtinirea eșantionului și a întrebării solicitând un audit metodologic.

lista de verificare

  • [ ] Am anonimizat transcrierile, inclusiv numele și identificarea indirectă.
  • [ ] Am evidențiat fiecare temă cu un citat textual.
  • [ ] Am arătat separat expresii contradictorii și voci contradictorii.
  • [ ] În eșantionul mic, am folosit numere brute și incertitudine în loc de procente.
  • [ ] Am marcat întrebările principale.
  • [ ] Am evaluat riscul de părtinire a selecției.
  • [ ] Am raportat comentarii sensibile în mod colectiv, fără a le potrivi individual.