Pelnas:
- Gebėjimas suskirstyti interviu stenogramas ir atviros apklausos atsakymus į temas su dirbtiniu intelektu ir paremti jas įrodymų citatomis
- Gebėjimas apibendrinti kiekybinius tyrimo duomenis ir išvengti klaidinančio aiškinimo (maža imtis, pagrindinis klausimas, atrankos šališkumas)
- Galimybė dirbti etiškai ir pagal KVKK reikalavimus, apsaugant dalyvių konfidencialumą ir anonimizuojant nuorašus
Turtingiausios konsultavimo įžvalgos dažnai slypi ne diagramose, o žmonių kalboje. Vadovo interviu, atviri atsakymai į klientų apklausą, pastabos iš apsilankymo vietoje... Tai neskaitiniai (kokybiniai) duomenys, kuriuos perskaityti, koduoti ir skirstyti į temas užtrunka valandų valandas. Dirbtinis intelektas labai pagreitina šį darbą: jis per kelias minutes suskaido 30 interviu stenogramų į temas, surasdamas pasikartojančius modelius. Tačiau yra du pavojai: modelis gali „sudaryti“ temą (pridėti komentarą, kurio nėra stenogramoje), o dalyvio konfidencialumas gali būti lengvai pažeistas. Šiame skyriuje išmoksime analizuoti kokybinius duomenis įrodymais pagrįstu, saugiu būdu.
Kokybinė analizė: nuo kodavimo iki temos
Kokybinė analizė susideda iš trijų etapų. Pirmiausia kodavimas: kiekvienas teiginys ženklinamas trumpa etikete („skundas dėl kainos“, „pagirimas už pristatymą“). Tada tematika: panašūs kodai surenkami į temą („nepasitenkinimas veikla“). Pabaigoje komentaras: nustatomas santykis tarp temų ir „na ką“ sluoksnio. Pirmaisiais dviem žingsniais dirbtinis intelektas yra labai greitas; Trečiame žingsnyje reikalingas advokato sprendimas.
Svarbiausias garantas yra toks: kiekviena tema turi būti paremta pažodine citata. Tai patvirtina, kad tema iš tikrųjų kyla iš duomenų; Citatos necituojama tema kelia haliucinacijų riziką.
Jūsų vaidmuo: kokybinio tyrimo analitikas. Toliau pateikiama anoniminė 12 klientų interviu stenograma (pažymėta P1, P2...).Užduotis:1) Išskleisti pasikartojančias temas (iki 7 temų).2) Kiekvienai temai: kiek dalyvių ją matė + 2 pažodinės citatos (su dalyvio kodu).3) Rodyti ir atskirai pridėti teiginius CONFLIC. visas nuomones, kurios nėra stenogramoje; Kiekviena tema turi būti įrodyta citata. - Neteikite kitos identifikavimo informacijos, išskyrus dalyvio kodus. - Pabaigoje atskirai išvardykite atskiras „mažumos, bet svarbias“ nuomones (nesitariantys balsai).
Kitas veiksmingas būdas yra paprašyti modelio koduoti pagal jūsų nurodytas fiksuotas kategorijas, o ne pirmiausia nustatyti savo kodo schemą. Pavyzdžiui, jei klientų pasitenkinimo tyrime pateikiate iš anksto nustatytas temas, pvz., „kaina, produkto kokybė, pristatymas, palaikymas, naudojimo paprastumas“, skirtingi nuorašai tampa palyginami ir modeliui neleidžiama kiekvieną kartą sudaryti skirtingų pavadinimų. Nemokamas temų ištraukimas tinkamas atradimui, o fiksuotų kategorijų kodavimas tinka palyginimui ir matavimui; Daugumoje projektų geriausia naudoti abu kartu: pirmiausia nemokamai tyrinėkite, tada skaitmeninkite pagal fiksuotą schemą.
Jūsų vaidmuo: kokybiško kodavimo asistentas. Fiksuotos kategorijos: [kaina, kokybė, pristatymas, palaikymas, naudojimo paprastumas, kita]. Užduotis: kiekvieną toliau pateiktą atvirąjį atsakymą priskirkite vienai ar kelioms iš šių kategorijų. - Atsakyme (pažodžiui) prie kiekvienos užduoties parašykite paleidimo frazę. - Pažymėkite, ar atsakymas yra teigiamas, ar neigiamas. Į atsakymus neįtrauktų komentarų pridėjimas.
Patarimas: labai vertinga atskirai paklausti „mažumos, bet svarbios“ nuomonės. Vieną kartą suformuluotas, bet kritiškas įspėjimas (pvz., vienas didelis klientas sako „svarstome atnaujinti sutartį“) pasimeta daugelyje temų; lieka matomas, kai nurodytas atskirai.
Privatumas ir anonimiškumas
Interviu stenogramos yra asmens duomenys ir dažnai yra jautrūs (darbuotojų skundai, vadovų kritika). Prieš įkeliant juos į AI įrankį, būtina juos anonimizuoti: vardai, pavadinimai, vidiniai skiriamieji duomenys pakeičiami kodo numeriu (K1, K2...). Dalyviui dažnai žadama, kad „ką pasakysi, bus pranešta anonimiškai“; Techninis šios frazės atitikmuo yra anonimiškumas.
Duomenų tipas
Rizika
atsargumo priemonė
Dalyvio vardas/titulas
tapatybės atskleidimas
Pakeiskite kodo numeriu
Vidinė detalė
netiesioginė diagnozė
Apibendrinti arba užmaskuoti
jautrus regėjimas
Rizika sulaukti atsakomųjų veiksmų
Individualus atitikimas su masine ataskaita
Garso/vaizdo įrašymas
didžiausias jautrumas
Pateikite patvirtintame įrankyje, tada ištrinkite
Prieš įkeldami nuorašus į įrankį, galite nustatyti, kad modelis atliktų anonimiškumą kaip išankstinį veiksmą; Tačiau būtinai vizualiai patikrinkite išvestį:
Jūsų vaidmuo: privatumo redaktorius. Analizei paruoškite šį pokalbio stenogramą; atlikite šiuos maskavimo veiksmus: - Nurodykite visus kontaktų vardus K1, K2... - Apibendrinkite netiesiogiai identifikuojančią informaciją, pvz., pareigas, padalinį, vietą ("Vienintelis užsienio inžinierius MTTP srityje" → "inžinierius"). - Pašalinkite įmonių / klientų pavadinimus. Pateikite tik užmaskuotą tekstą; Trumpai nurodykite, kokio tipo informaciją maskuojate ir kodėl.
Atsargiai: nepakanka pasakyti „Anonimas“. Frazė „Vienintelė moteris vadybininkė, atsakinga už rinkodarą“ identifikuoja asmenį, nors jo vardas ir neparašytas. Anonimizavimas taip pat turėtų apimti visą netiesiogiai identifikuojamą informaciją. Nuo čia prasideda KVKK pažeidimas ir dalyvių pasitikėjimo praradimas.
Kiekybinių tyrimo duomenų interpretavimas
Dirbtinis intelektas sukuria uždarų (skaitinių) tyrimų rezultatų santrauką ir suskirstymą. Tačiau kiekybinė analizė turi savų spąstų, ir modelis gali jų nepaisyti:
- Maža imtis: 18 žmonių apklausos teiginys „61 % klientų yra patenkinti“ yra klaidinantis; Jei imtis maža, reikėtų aptarti neapdorotą skaičių ir neapibrėžtumą, o ne procentą.
- Pagrindinis klausimas: "Ar esate patenkinti mūsų puikiu aptarnavimu?" Klausimas apima atsakymą; Rezultatas yra šališkas.
- Atrankos šališkumas: jei atsakytų tik labiausiai patenkinti ar piktiausi klientai, rezultatas neatitiktų visatos.
Prieš apibendrindami šios apklausos rezultatus, atlikite metodinį patikrinimą: - Ar imties dydis yra pakankamas rezultatams pateikti procentais? - Ar klausimuose yra pirmaujančių / pirmaujančių teiginių? Pažymėkite. Koks yra atsako dažnis ir atrankos šališkumo rizika? Pateikite tik audito ataskaitą; Tada apibendrinsime jį atskirame pranešime.
trys mini dėklai
1 atvejis – sugauta sumanyta tema. Konsultantas modeliui skiria 20 interviu; modelis ištraukia temą „dalyviai nori dirbti nuotoliniu būdu“. Konsultantas prašo pasiūlymo; Modelis gali rasti tik 1 dviprasmišką citatą. Tema iš tikrųjų neegzistavo, modelis buvo sukurtas iš bendros tendencijos. Jei citavimo reikalavimo nebūtų, į ataskaitą būtų įtraukta neteisinga išvada.
2 atvejis – netiesioginė diagnostika. Darbuotojų pasitenkinimo projekte stenogramoje yra „Tai pasakė vienintelis užsienio inžinierius mokslinių tyrimų ir plėtros srityje“. Vardo nėra, bet žmogus aiškus; Kai ataskaita patenka į vadovą, kyla atsakomųjų veiksmų rizika. Konsultantas turėjo nuo pat pradžių apibendrinti visas skiriančias detales („inžinierius“).
3 atvejis – mažas mėginių gaudyklė. Produkto teste jis patiko 15 iš 22 vartotojų; modelis sako „68% pasitenkinimas“ ir yra padėtas ant skaidrės. Investicijų valdyba prieštarauja: „22 žmonės neatstovauja visatai“. Konsultantas sąžiningai perrašo rezultatą į „15 iš 22 vartotojų teigiami; reikalingas orientacinis, patvirtinantis didelis mėginys“; pasitikėjimas grįžta.
Silpnas raginimas / Stiprus raginimas
Silpnas raginimas:
Perskaitykite šiuos interviu ir ištraukite pagrindines išvadas.
Modelis kuria temas be kabučių, be įrodymų; Gamybos ir konfidencialumo rizika yra didelė.
Galingas raginimas:
Jūsų vaidmuo: kokybinis analitikas. Nuorašas žemiau, anonimizuotas (K1..Kn).Užduotis: Iki 7 temų; dalyvių skaičius kiekvienam + 2 pažodinės citatos (su kodu); pagrindžiančius ir prieštaraujančius teiginius atskirai; mažumos, bet kritiškos nuomonės atskiras sąrašas. Taisyklės: nuomonių, kurios nėra stenogramoje, įtraukimas; tapatybės generavimas; Nenurodykite temos be kabučių; pažymėkite temą, dėl kurios nesate tikri, kaip „silpnus įrodymus“.
Temų sodrumas ir svoris
Kokybinėje analizėje interpretacijos kokybę lemia dvi sąvokos. Pirmasis yra prisotinimas: sakoma, kad duomenys yra „prisotinti“, kai nauji interviu nebekuria naujų temų; Tai ženklas, kad mėginio pakanka. Jei 8-ajame interviu vis dar iškyla visiškai naujos temos, reikia daugiau interviu. Antra, temų svoris: kiek žmonių mato temą ir tos temos svarba yra skirtingi dalykai. Penkių žmonių minimas nedidelis nepatogumas ir vieno asmens minima sutarties nutraukimo rizika nėra vienodi dažniu, tačiau pastarasis gali būti daug svarbesnis. Todėl vien temų reitingavimas pagal dažnumą yra klaidinantis; Įvertinkite kiekvieną temą pagal „kiek žmonių“ ir „kiek svarbu“. Kai AI sako „įvertinkite šias temas dviejuose atskiruose dažnio ir galimo poveikio verslui stulpeliuose“, šis skirtumas tampa matomas; Jūs priimate sprendimą dėl verslo poveikio.
Dažnos klaidos
- Temos priėmimas be kabučių. Kiekviena tema turi būti patvirtinta pažodine citata iš nuorašo; Priešingu atveju kyla haliucinacijų pavojus.
- Paviršutiniškas anonimiškumas. Nepakanka ištrinti pavadinimą; Netiesiogiai identifikuojančios detalės taip pat turėtų būti užmaskuotos.
- Pateikiamas mažas mėginys su procentais. Esant nedideliam dalyvių skaičiui, reikėtų aptarti neapdorotus skaičius ir neapibrėžtumą, o ne procentus.
- Ignoruojant pagrindinį klausimą. Pagrindinių klausimų rezultatas yra šališkas; Patikrinkite metodiką.
- Prarasti nuokrypius. Vieną kartą ištartą kritinį įspėjimą praryja daugumos temos; sąrašą atskirai.
- Kiekybinio ir kokybinio maišymas. Apdorokite atviro tipo komentarus su skaitiniais rezultatais įvairiais būdais.
Apibendrinant
Kokybiniai duomenys yra turtingiausias konsultacijų įžvalgos šaltinis, o dirbtinis intelektas leidžia sutaupyti valandų koduojant ir temomis. Tačiau kiekviena tema turėtų būti įrodyta pažodinėmis citatomis, dalyvių konfidencialumas turėtų būti visiškai apsaugotas, įskaitant netiesioginį identifikavimą, o metodologiniai spąstai, tokie kaip atranka, klausimų šališkumas ir atranka, turėtų būti kontroliuojami atliekant kiekybines apklausas. Modelis greitai nuskaito ir klijuoja etiketes; konsultanto darbas yra patikrinti įrodymus, išlaikyti konfidencialumą ir nustatyti „na ką“ sluoksnį.
Taikymo užduotis
Paruoškite keletą interviu stenogramų (arba atviro tipo apklausos atsakymų), realius arba reprezentatyvius, ir pirmiausia juos anonimuokite (įskaitant vardą ir netiesioginę tapatybę). Išskirkite temas, citatas, prieštaringus teiginius ir nesutariančius balsus naudodami stiprų kokybinį raginimą. Patikrinkite bent vienos temos citatą nuoraše, kad patikrintumėte, ar ji iš tikrųjų egzistuoja. Tada atlikite nedidelę kiekybinę apklausą ir įvertinkite imties ir klausimų šališkumą, paprašydami metodinio audito.
kontrolinis sąrašas
- [ ] Aš anonimizuojau nuorašus, įskaitant vardą ir netiesioginę tapatybę.
- [ ] Kiekvieną temą patvirtinau pažodine citata.
- [ ] Atskirai rodžiau prieštaringus posakius ir prieštaringus balsus.
- [ ] Mažoje imtyje vietoj procentų naudojau neapdorotus skaičius ir neapibrėžtumą.
- [ ] Pažymėjau pagrindinius klausimus.
- [ ] Įvertinau atrankos šališkumo riziką.
- [ ] Pranešiau apie neskelbtinus komentarus bendrai, nesuderindamas jų su asmeniu.