Dobički:
- Sposobnost razdelitve anket o zadovoljstvu pacientov in povratnih informacij s prostim besedilom na teme ter izvajanja analize razpoloženja s podporo umetne inteligence
- Sposobnost ustvarjanja uporabnih vpogledov in osnutkov izboljšav iz besedil pritožb in predlogov
- Sposobnost lovljenja pasti, kot so pristranskost vzorčenja, napaka samodejne oznake občutka in zaščita zasebnosti pred interpretacijo
Bolniki ne pridejo le zato, da bi se izboljšali; Doživljajo in spominjajo se tudi, kako so bili obravnavani, koliko časa so čakali in komu so lahko povedali svoje težave. Zadovoljstvo pacientov je tako etična odgovornost kot razsežnost uspešnosti, ki vpliva na ugled ustanove in v nekaterih primerih tudi na povračilo stroškov. Toda podatki o zadovoljstvu so pogosto v dveh oblikah: ankete, merjene z zvezdicami/ocenami, in ocene v prosti obliki. Potreben je čas, da preberete na stotine brezplačnih komentarjev enega za drugim. Tu je umetna inteligenca močna: na stotine besedil razdeli na teme, izlušči čustveni ton in povzema vidne pritožbe in pohvale. V tej enoti bomo videli, kako to storiti, a še pomembneje, kako se izogniti napačnemu branju. Meja: AI povzema besedilo in izloča teme; vendar je avtomatska oznaka čustev lahko zmotljiva, vzorec je lahko pristranski - posploševanje in odločitev pripadata managerju.
Osnovni koncepti rudarjenja besedil
Nekaj izrazov: rudarjenje besedila je postopek samodejnega pridobivanja vzorcev in pomenov iz napisanih besedil. Analiza razpoloženja je samodejno razvrščanje pozitivnega/negativnega/nevtralnega tona besedila. Izločanje teme/teme je združevanje več komentarjev v skupne teme (čistoča, čakanje, komunikacija, cena). NPS (Net Promoter Score) je indikator zvestobe, ki temelji na vprašanju "Bi nas priporočili?" Koristno je razmišljati o podatkih o zadovoljstvu v dveh ločenih dimenzijah: kvantitativna dimenzija (ocene, NPS) vam daje odgovor na vprašanje "koliko"; Kvalitativna dimenzija (brezplačni komentarji) nosi odgovor na vprašanje "zakaj". Oba bi bila nepopolna ločeno; Ko jih berete skupaj, vidite tako razsežnost problema kot njegov izvor.
Ta vozila imajo močno, a nevarno stran. Analiza čustev se spotakne ob tankosti jezika. Stavek "Super, spet sem čakal 3 ure" se lahko zdi pozitiven, če ga pogledamo besedo za besedo, ker vsebuje "super"; Vendar je ironično. "Ni bilo slabo" vsebuje zanikanje. Pripone in idiomi v turščini to še dodatno otežijo. Druga nevarnost je pristranskost vzorčenja: anketo na splošno izpolnjujejo ljudje, ki so bodisi zelo zadovoljni bodisi zelo jezni; Tiha večina v sredini je nevidna. Zato je slika, ki jo nariše AI, mnenje "avtorjev", ne "vseh bolnikov".
Prava vrednost teh orodij ni v številu, temveč v smeri. Ocena z zvezdicami vam pove "zadovoljstvo 3,8", vendar vam ne pove, kaj popraviti; prosto besedilo vam pove, kaj točno vas moti. Naloga umetne inteligence je destilirati to surovo pripoved v obvladljive naslove: ne morete prebrati 600 komentarjev, lahko pa stavek "30 odstotkov komentarjev omenja zmedo pri usmerjanju" spremenite v dejanje. Vendar to zmanjšanje vključuje tudi izgubo: osupljivo, edinstveno, a pomembno varnostno opozorilo enega samega pacienta se lahko izgubi v »majhni temi 2 odstotkov«. Zato je treba poleg kvantitativnega povzetka dodatno pregledati posamezne komentarje, ki signalizirajo varnost ali resne pritožbe; Številka prikazuje celotno sliko, posamezni komentar pa kritično izjemo.
Korak za korakom: Analiza povratnih informacij z AI
- Anonimiziraj. Iz komentarjev odstranite identifikatorje, kot so ime, ime zdravnika, številka sobe.
- Razdelite ga po temah. Prosite AI naj združi komentarje v skupne teme; Vi določite število naslovov.
- Odstranite čustveni ton, vendar ga preverite. Pridobite pozitivno/negativno stopnjo za vsako temo; Nato sami preberite vzorčne komentarje.
- Vpogled v akcijo. Izberite najpogostejšo in perečo temo; Pripravljen je konkreten predlog izboljšav.
- Kontrola vzorcev. Koliko ljudi jo je napisalo, kdo jo je napisal, ali je reprezentativna? Posplošite v skladu s to mejo.
- Vodstvena odločitev. Odločitev o izboljšavah in določanje prioritet pripada upravitelju; AI samo pripravi vpogled.
Pozor: številka, kot je "78 odstotkov pozitivnih", ki jo je podala AI, je morda napačno razumela ironijo in zanikanje. Bodite prepričani, da sami preberete nekaj neobdelanih ocen za vsako temo in preverite, ali se oznaka ujema z resničnostjo.
trije mini kovčki
1. primer – Skrita tema. Ena bolnišnica je nabrala 640 brezplačnih komentarjev na mesec; nihče ni mogel vsega prebrati. Enota za pacientove pravice je dala anonimne komentarje YZ in jih dodelila temi. Največja negativna tema ni bila "čakalna doba", kot je bilo pričakovano, ampak "zmeda pri usmerjanju" (pacienti niso mogli ugotoviti, v katero nadstropje naj gredo). S preprosto signalizacijo in razporeditvijo osebja za usmerjanje se je ta tema v dveh mesecih znatno zmanjšala. AI je naredil skrito temo vidno; Rešitev je pripadala ekipi.
Primer 2 – Past ironije. Ena enota je bila zadovoljna z AI-jevim "82-odstotnim pozitivnim" povzetkom in vodstvu povedala, da je "zadovoljstvo visoko." Pooblaščenec za kakovost je prebral vzorčne komentarje: ironični stavki, kot je "Neverjetno, prišel sem 2 uri po dogovorjenem času", so veljali za pozitivne. Dejanska pozitivna stopnja je bila nižja. Upravljavec je kalibriral oznako AI tako, da je ročno prebral več deset komentarjev in popravil predstavitev.
Primer 3 – pristranskost vzorčenja. V eni ambulanti je na spletno anketo odgovorilo le 45 oseb, večina pa je bila zelo negativna. Enega menedžerja je zgrabila panika, da je »poliklinika propadla«. Analitik je spomnil, da je bilo teh 45 ljudi majhen in pristranski del 3200 bolnikov tistega meseca in da so se na anketo bolj odzvali jezni ljudje. Namesto panike je sprožila reprezentativna exit poll; Realna slika je bila veliko bolj uravnotežena.
Štiri predloge za kopiranje
1) Ekstrakcija teme:
Vaša vloga: pomočnik analitiku bolnikovih izkušenj. Spodaj so anonimni komentarji samostojnih pacientov (brez imena/imena zdravnika). Naloga: razdelite komentarje na 6-8 skupnih tem (npr. čakanje, komunikacija, čiščenje, napotitev, honorar). Navedite, koliko komentarjev ste imeli za vsako temo, in navedite 2 vzorčna citata. Ne izmišljujte si komentarjev; Samo uporabi, kar ti dam.
2) Razpoloženje + potrditveno opozorilo:
Odštejte razmerje pozitivno/negativno/nevtralno za vsako temo. VENDAR poudarite, da lahko ironija, zanikanje in sarkastični izrazi zavedejo oznako čustev, in ločeno navedite 5 komentarjev, o katerih niste prepričani, kot "ročno preverjeno". Predstavitev kot natančen odstotek; dati pribl.
3) Akcijsko usmerjen vpogled:
Izberite najpogostejšo in najbolj negativno temo. Za to temo: oris možnega temeljnega vzroka, 3 izboljšave, ki jih je mogoče izvesti kratkoročno, in ocenjen učinek/strošek vsake. Navedite, da je to predlog, odločitev pa je na upravitelju.
4) Opomba o kontroli vzorca:
V tej analizi je skupno število odgovorov [N] število bolnikov v tem obdobju [M]. Napiši mi opozorilo glede reprezentativnosti vzorca: če je stopnja odziva nizka ali če so jezni bolniki preveč zastopani, v 4 točkah pojasni tveganja posploševanja rezultatov.
Šibek poziv/močan poziv
Šibek poziv:
Povejte mi, ali so ti komentarji dobri ali slabi, koliko odstotkov je zadovoljnih.
Brez tem, brez preverjanja, brez vzorčnih opozoril; Vrne en sam zavajajoč odstotek.
Močan poziv:
Spodaj so [N] komentarji anonimnih pacientov, število pacientov v tistem času [M]. Komentarje ločite po temah, navedite približen čustveni ton za vsako temo, vendar označite, če niso prepričani zaradi ironije/negacije. Pripravite predlog za izboljšavo najbolj pereče teme in dodajte opombo o reprezentativnosti vzorca.
korak
Prispevek AI
človeški nadzor
Ločevanje tem
Združuje na stotine komentarjev
Ali so naslovi smiselni?
oznaka čustva
Proizvaja hiter ton
Kontrola ironije/negacije
vpogled
Osnutek izboljšave
Uporabnost, stroški
posploševanje
Zagotavlja povzetek
Je vzorec reprezentativen?
Pogoste napake
- Sprejemanje oznake čustev takšne, kot je. Ironija in negacija sta zavajajoči; Preberite primere.
- Posploševanje iz majhnega/pristranskega vzorca. 45 jeznih komentarjev ne predstavlja vseh bolnikov.
- Obhod anonimizacije. Komentarji lahko vključujejo ime zdravnika/pacienta; odstranite ga.
- Osredotočanje samo na negativno. Pozitivne teme nakazujejo tudi, kaj boste zaščitili.
- Napačen vpogled za odločitev. Odločitev in prioriteta izboljšav je v rokah vodje.
Nasvet: Na koncu vsake analize sami preberite 15–20 naključnih neobdelanih komentarjev in jih primerjajte z oznako AI. Ta 10-minutna navada »umerjanja« ujame pasti ironije in zanikanja ter vas nauči, koliko zaupati navodilom AI.
Če povzamem
Podatki o zadovoljstvu pacientov so tako v rezultatih kot v prostem besedilu, umetna inteligenca pa je zelo močna pri razčlenjevanju na stotine komentarjev v teme in njihovem povzemanju. Toda samodejna oznaka čustev se moti na strani ironije in zanikanja; Vzorčenje anket je pogosto pristransko. Zato rezultatov umetne inteligence ni mogoče posplošiti brez preverjanja z neobdelanimi interpretacijami in velikostjo vzorca. Anonimnost je ohranjena, vpogled pripravljen; Toda odločitev in prioriteta za izboljšave je vedno v rokah managerja.
Aplikacijska naloga
Pridobite nabor anonimnih komentarjev (20-30 komentarjev, resničnih ali hipotetičnih). Vprašajte AI za temo in ton s predlogama »Sklep o temi« in »Čustvo + opozorilo o potrditvi«. Nato sami preberite vsaj 10 neobdelanih komentarjev in jih primerjajte z oznako AI; Zapiši, koliko jim očitaš zaradi ironije/negacije in reprezentativnosti vzorca pri 5 postavkah.
kontrolni seznam
- [ ] Ali sem anonimiziral komentarje (brez imena bolnika/zdravnika)?
- [ ] Ali sem umeril oznako občutka z neobdelanimi komentarji?
- [ ] Ali sem upošteval velikost vzorca in pristranskost?
- [ ] Ali sem iskal pozitivne in negativne teme?
- [ ] Ali sem odločitev o izboljšavi in prednost prepustil upravitelju?