Ieguvumi:
- Spēja sadalīt pacientu apmierinātības aptaujas un bezmaksas teksta atsauksmes pa tēmām un veikt sentimenta analīzi ar mākslīgā intelekta atbalstu
- Spēja sagatavot praktiskus ieskatus un uzlabojumu projektus no sūdzību un ieteikumu tekstiem
- Iespēja novērst kļūdas, piemēram, izlases novirzes, automātiskas noskaņojuma tagu kļūdas un privātuma aizsardzību pirms interpretācijas
Pacienti nenāk tikai tāpēc, lai kļūtu labāki; Viņi arī piedzīvo un atceras, kā viņi tika ārstēti, cik ilgi viņi gaidīja un kam varēja pastāstīt par savām problēmām. Pacientu apmierinātība ir gan ētiska atbildība, gan darbības dimensija, kas ietekmē iestādes reputāciju un dažos gadījumos arī tās atlīdzināšanu. Taču apmierinātības dati bieži tiek sniegti divos veidos: aptaujas, ko mēra ar zvaigznēm/vērtējumiem, un brīvas formas atsauksmes. Ir nepieciešams laiks, lai pa vienam izlasītu simtiem bezmaksas komentāru. Šeit mākslīgais intelekts ir spēcīgs: tas sadala simtiem tekstu tēmās, iegūst emocionālo toni un apkopo ievērojamas sūdzības un uzslavas. Šajā nodaļā mēs redzēsim, kā to izdarīt, bet vēl svarīgāk, kā izvairīties no nepareizas lasīšanas. Robeža: AI apkopo tekstu un izvelk tēmas; bet automātiskā emociju etiķete var būt maldīga, izlase var būt neobjektīva — vispārinājums un lēmums pieder vadītājam.
Teksta ieguves pamatjēdzieni
Daži termini: Teksta ieguve ir process, kurā no rakstītiem tekstiem tiek automātiski iegūti raksti un nozīme. Sentimenta analīze ir teksta pozitīvā/negatīvā/neitrāla toņa automātiska klasifikācija. Tēmas/tēmas izvilkšana ir vairāku komentāru grupēšana kopīgās tēmās (tīrība, gaidīšana, komunikācija, cena). NPS (Net Promoter Score) ir lojalitātes rādītājs, kura pamatā ir jautājums "Vai jūs ieteiktu mūs?" Ir lietderīgi aplūkot apmierinātības datus divās atsevišķās dimensijās: kvantitatīvā dimensija (vērtējumi, NPS) sniedz atbildi uz jautājumu "cik daudz"; Kvalitatīva dimensija (bezmaksas komentāri) nes atbildi uz jautājumu "kāpēc". Abi atsevišķi būtu nepilnīgi; Lasot kopā, jūs redzat gan problēmas lielumu, gan tās avotu.
Šiem transportlīdzekļiem ir spēcīga, bet bīstama puse. Sentimenta analīze paklupa valodas smalkumos. Teikums "Lieliski, es atkal gaidīju 3 stundas" var šķist pozitīvs, skatoties vārdu pa vārdam, jo tajā ir ietverts "lieliski"; Tomēr tas ir ironiski. "Tas nebija slikti" satur negācijas. Sufiksi un idiomas turku valodā to padara vēl grūtāku. Otrs apdraudējums ir izlases neobjektivitāte: aptauju parasti aizpilda cilvēki, kuri ir vai nu ļoti apmierināti, vai ļoti dusmīgi; Klusais vairākums vidū ir neredzams. Tāpēc attēls, ko zīmē AI, ir "autoru", nevis "visu pacientu" viedoklis.
Šo rīku patiesā vērtība ir nevis skaitā, bet gan virzienā. Vērtējums zvaigznītēs norāda "apmierinātība 3,8", bet nenorāda, ko labot; bezmaksas teksts precīzi norāda, kas jūs traucē. AI uzdevums ir pārvērst šo neapstrādāto stāstījumu pārvaldāmos virsrakstos: jūs nevarat izlasīt 600 komentārus, bet jūs varat pārvērst teikumu "30 procenti komentāru piemin maršrutēšanas neskaidrības" darbībā. Tomēr šis samazinājums ietver arī zaudējumus: pārsteidzošs, īpašs, bet svarīgs brīdinājums par drošību no viena pacienta var tikt pazaudēts "mazajā tēmā par 2 procentiem". Tāpēc papildus kvantitatīvajam kopsavilkumam ir nepieciešams papildus pārbaudīt atsevišķus komentārus, kas liecina par drošību vai nopietnām sūdzībām; Skaitlis parāda kopējo attēlu, un atsevišķais komentārs parāda kritisko izņēmumu.
Soli pa solim: atsauksmju analīze ar AI
- Anonimizēt. No komentāriem noņemiet identifikatorus, piemēram, vārdu, ārsta vārdu, telpas numuru.
- Sadaliet to pēc tēmas. Lūdziet AI grupēt komentārus kopīgās tēmās; Jūs nosakāt nosaukumu skaitu.
- Izņemiet emocionālo toni, bet pārbaudiet to. Iegūstiet katras tēmas pozitīvo/negatīvo rādītāju; Pēc tam pats izlasi komentāru paraugus.
- Ieskats darbībā. Izvēlieties biežāko un degošāko tēmu; Tiek izstrādāts konkrēts uzlabojumu priekšlikums.
- Parauga kontrole. Cik cilvēki to uzrakstīja, kas to rakstīja, vai tas ir reprezentatīvs? Veiciet vispārinājumu atbilstoši šai robežai.
- Vadības lēmums. Pilnveidošanas lēmums un prioritāšu noteikšana pieder vadītājam; AI tikai sagatavo ieskatu.
Uzmanību: AI norādītais skaitlis, piemēram, “78 procenti pozitīvi”, iespējams, ir nepareizi sapratis ironiju un noliegumu. Noteikti izlasiet dažus neapstrādātus pārskatus par katru tēmu un pārbaudiet, vai atzīme atbilst realitātei.
trīs mini futrāļi
1. gadījums — slēptā tēma. Viena slimnīca mēnesī uzkrāja 640 bezmaksas komentārus; neviens nevarēja to visu izlasīt. Pacientu tiesību nodaļa sniedza anonīmos komentārus YZ un piešķīra tos tēmai. Lielākā negatīvā tēma bija nevis "gaidīšanas laiks", kā gaidīts, bet gan "maršrutēšanas apjukums" (pacienti nevarēja saprast, uz kuru stāvu doties). Ar vienkāršu izkārtņu un vadības personāla izkārtojumu šī tēma divu mēnešu laikā ievērojami samazinājās. AI padarīja slēpto tēmu redzamu; Risinājums piederēja komandai.
2. gadījums — ironijas slazds. Viena vienība bija apmierināta ar AI "82% pozitīvo" kopsavilkumu un teica vadībai, ka "apmierinātība ir augsta". Kvalitātes speciālists izlasīja komentāru paraugus: Ironiski teikumi, piemēram, "Pārsteidzoši, es saņēmu 2 stundas pēc tikšanās laika" tika uzskatīti par pozitīviem. Faktiskais pozitīvais rādītājs bija zemāks. Apdarinātājs kalibrēja AI tagu, ar roku nolasot vairākus desmitus komentāru un izlaboja prezentāciju.
3. gadījums — izlases novirze. Vienā poliklīnikā uz tiešsaistes aptauju atbildēja tikai 45 cilvēki, un lielākā daļa bija ļoti negatīvi. Viena vadītāja panikā, ka "poliklīnika ir bankrotējusi". Analītiķis atgādināja, ka šie 45 cilvēki bija neliela un neobjektīva daļa no 3200 pacientiem tajā mēnesī un ka dusmīgi cilvēki vairāk atbildēja uz aptauju. Panikas vietā tika uzsākta reprezentatīva izstāšanos aptauja; Reālā aina bija daudz līdzsvarotāka.
Četras kopējamas veidnes
1) Motīvu izvilkšana:
Jūsu loma: pacientu pieredzes analītiķa palīgs. Zemāk ir anonīmi ārštata pacientu komentāri (bez vārda/ārsta vārda). Uzdevums: sadaliet komentārus 6–8 kopīgās tēmās (piemēram, gaidīšana, saziņa, tīrīšana, nosūtīšana, maksa). Norādiet, cik komentāru jums bija par katru tēmu, un sniedziet 2 citātu paraugus. Neizdomājiet komentārus; Vienkārši izmantojiet to, ko es jums dodu.
2) Noskaņojuma un apstiprināšanas brīdinājums:
Atņemiet katras tēmas pozitīvo/negatīvo/neitrālo attiecību. BET norādiet, ka ironija, noliegums un sarkastiski izteicieni var maldināt emociju atzīmi, un atsevišķi norādiet 5 komentārus, par kuriem neesat pārliecināts, kā "manuāli pārbaudītus". Uzrāda kā precīzu procentuālo daļu; dot apm.
3) Uz darbību vērsts ieskats:
Izvēlieties visbiežāk sastopamo un negatīvāko tēmu. Šai tēmai: iespējamā pamatcēloņa izklāsts, 3 uzlabojumi, ko var ieviest īstermiņā, un katra paredzamā ietekme/izmaksas. Norādiet, ka tas ir ieteikums un lēmumu pieņem vadītājs.
4) Kontroles piezīmes paraugs:
Šajā analīzē kopējais atbilžu skaits [N] ir pacientu skaits šajā periodā [M]. Uzrakstiet man brīdinājuma piezīmi par izlases reprezentativitāti: ja atbildes reakcija ir zema vai dusmīgi pacienti ir pārāk pārstāvēti, izskaidrojiet riskus, kas saistīti ar rezultātu vispārināšanu 4 punktos.
Vāja uzvedne / spēcīga uzvedne
Vāja uzvedne:
Pastāstiet man, vai šie komentāri ir labi vai slikti, cik procenti ir apmierināti.
Bez motīviem, bez pārbaudes, bez brīdinājumu paraugiem; Tas atgriež vienu maldinošu procentuālo daļu.
Spēcīga uzvedne:
Zemāk ir [N] anonīmi pacientu komentāri, pacientu skaits tajā laikā [M]. Atdaliet komentārus pēc tēmām, piešķiriet katrai tēmai aptuvenu emocionālo nokrāsu, bet atzīmējiet, ja ironijas/negācijas dēļ tie nav pārliecināti. Uzrakstiet ieteikumu par degošāko tēmu uzlabojumiem un pievienojiet brīdinājuma piezīmi par izlases reprezentativitāti.
solis
AI ieguldījums
cilvēka kontrole
Tēmu atdalīšana
Grupas simtiem komentāru
Vai nosaukumiem ir nozīme?
emociju birka
Rada ātru toni
Ironijas/negācijas kontrole
ieskatu
Uzlabojumu projekts
Pielietojamība, izmaksas
vispārināšana
Sniedz kopsavilkumu
Vai izlase ir reprezentatīva?
Biežas kļūdas
- Emociju etiķetes pieņemšana tādu, kāda tā ir. Ironija un noliegums ir maldinoši; Izlasiet piemērus.
- Vispārinājums no maza/neobjektīva izlases. 45 dusmīgi komentāri neatspoguļo visus pacientus.
- Apejot anonimizāciju. Komentāros var būt norādīts ārsta/pacienta vārds; noņemiet to.
- Koncentrēšanās tikai uz negatīvo. Pozitīvas tēmas arī norāda, ko jūs aizsargāsiet.
- Kļūdains ieskats lēmuma pieņemšanai. Lēmums un uzlabošanas prioritāte ir vadītājam.
Padoms. Katras analīzes beigās pats izlasiet 15–20 nejaušus neapstrādātus komentārus un salīdziniet tos ar AI tagu. Šis 10 minūšu “kalibrēšanas” ieradums uztver ironijas un noliegumu slazdus un iemāca jums uzticēties AI īsumam.
Rezumējot
Pacientu apmierinātības dati tiek sniegti gan vērtējumos, gan brīvā tekstā, un mākslīgais intelekts ir ļoti spēcīgs, sadalot simtiem komentāru tēmās un apkopojot tos. Taču automātiskā emociju etiķete maldās ironijas un negācijas pusē; Aptaujas izlase bieži ir neobjektīva. Tāpēc AI izvadi nevar vispārināt bez verifikācijas ar neapstrādātu interpretāciju un izlases lielumu. Tiek saglabāta anonimitāte, sagatavots ieskats; Taču lēmums un uzlabošanas prioritāte vienmēr ir vadītājam.
Lietojumprogrammas uzdevums
Iegūstiet anonīmu komentāru kopu (20–30 komentāri, reāli vai hipotētiski). Pieprasiet AI motīvu un toni, izmantojot veidnes “Tēmas secinājums” un “Emocijas + validācijas brīdinājums”. Pēc tam pats izlasiet vismaz 10 neapstrādātus komentārus un salīdziniet tos ar AI tagu; Pierakstiet, cik no tiem jūs atrodat vainas ironijas/nolieguma un izlases reprezentativitātes dēļ 5 pozīcijās.
kontrolsaraksts
- [ ] Vai esmu padarījis komentārus anonīmus (nav pacienta/ārsta vārda)?
- [ ] Vai esmu kalibrējis noskaņojuma atzīmi ar neapstrādātiem komentāriem?
- [ ] Vai esmu ņēmis vērā izlases lielumu un neobjektivitāti?
- [ ] Vai esmu meklējis gan pozitīvas, gan negatīvas tēmas?
- [ ] Vai lēmumu par uzlabojumiem un prioritāti esmu atstājis vadītāja ziņā?