Pacientų pasitenkinimo ir grįžtamojo ryšio analizė: apklausa ir teksto gavyba

Pelnas:

• Galimybė suskirstyti pacientų pasitenkinimo apklausas ir laisvo teksto grįžtamąjį ryšį į temas ir atlikti nuotaikų analizę naudojant dirbtinio intelekto palaikymą
• Gebėjimas parengti įgyvendinamas įžvalgas ir tobulinimo projektus iš skundų ir pasiūlymų tekstų
• Galimybė pagauti spąstus, pvz., atrankos šališkumą, automatinę nuotaikų žymos klaidą ir privatumo apsaugą prieš interpretuojant

Pacientai ateina ne tik norėdami pasveikti; Jie taip pat patiria ir prisimena, kaip su jais buvo elgiamasi, kiek ilgai laukė ir kam galėjo pasakyti savo problemas. Pacientų pasitenkinimas yra ir etinė atsakomybė, ir veiklos aspektas, turintis įtakos įstaigos reputacijai ir kai kuriais atvejais jos kompensavimui. Tačiau pasitenkinimo duomenys dažnai būna dviejų formų: apklausos, įvertintos žvaigždutėmis / įvertinimais, ir laisvos formos apžvalgos. Reikia laiko, kad po vieną perskaitytumėte šimtus nemokamų komentarų. Čia dirbtinis intelektas yra galingas: jis suskirsto šimtus tekstų į temas, išgauna emocinį toną ir apibendrina ryškius skundus bei pagyrimus. Šiame skyriuje pamatysime, kaip tai padaryti, bet dar svarbiau – kaip išvengti klaidingo skaitymo. Riba: AI apibendrina tekstą ir ištraukia temas; bet automatinė emocijų etiketė gali būti klaidinga, pavyzdys gali būti šališkas – apibendrinimas ir sprendimas priklauso vadovui.

Pagrindinės teksto gavybos sąvokos

Keletas terminų: teksto gavyba yra automatinio raštų ir prasmės ištraukimo iš rašytinių tekstų procesas. Sentimentų analizė yra automatinis teigiamo / neigiamo / neutralaus teksto tono klasifikavimas. Temos / temos ištraukimas yra kelių komentarų grupavimas į bendras temas (švara, laukimas, bendravimas, kaina). NPS (Net Promoter Score) yra lojalumo rodiklis, pagrįstas klausimu "Ar rekomenduotumėte mus?" Naudinga vertinti pasitenkinimo duomenis dviem skirtingais aspektais: kiekybinė dimensija (reitingai, NPS) suteikia atsakymą į klausimą „kiek“; Kokybinė dimensija (nemokami komentarai) neša atsakymą į klausimą „kodėl“. Abu jie atskirai būtų nepilni; Skaitydami kartu, matote ir problemos mastą, ir jos šaltinį.

Šios transporto priemonės turi galingą, bet pavojingą pusę. Sentimentų analizė užkliūva už kalbos subtilybių. Sakinys „Puiku, aš vėl laukiau 3 valandas“ gali atrodyti teigiamas, kai žiūrime į žodį, nes jame yra „puiku“; Tačiau tai ironiška. „Nebuvo blogai“ yra neigimas. Turkų kalbos priesagos ir idiomos tai dar labiau apsunkina. Antrasis pavojus yra atrankos šališkumas: apklausą paprastai užpildo žmonės, kurie yra labai patenkinti arba labai pikti; Tylioji dauguma viduryje yra nematoma. Todėl paveikslas, kurį piešia AI, yra „autorių“, o ne „visų pacientų“ nuomonė.

Tikroji šių įrankių vertė yra ne skaičius, o kryptis. Įvertinimas žvaigždutėmis nurodo „pasitenkinimą 3,8“, bet nenurodo, ką taisyti; nemokamas tekstas tiksliai nurodo, kas jus vargina. AI užduotis yra paversti šį neapdorotą pasakojimą valdomomis antraštėmis: Jūs negalite perskaityti 600 komentarų, bet galite paversti sakinį „30 procentų komentarų mini maršruto painiavą“ į veiksmą. Tačiau šis sumažinimas taip pat apima nuostolius: ryškus, išskirtinis, bet svarbus vieno paciento įspėjimas apie saugumą gali būti prarastas „mažoje 2 procentų temoje“. Todėl, be kiekybinės suvestinės, būtina papildomai atrinkti atskirus komentarus, signalizuojančius apie saugumą ar rimtus skundus; Skaičius rodo bendrą vaizdą, o atskiras komentaras rodo kritinę išimtį.

Žingsnis po žingsnio: atsiliepimų analizė naudojant AI

1. Anonimizuoti. Iš komentarų pašalinkite tokius identifikatorius kaip vardas, gydytojo vardas, kambario numeris.
2. Padalinkite pagal temą. Paprašykite AI sugrupuoti komentarus į įprastas temas; Jūs nustatote pavadinimų skaičių.
3. Išimkite emocinį toną, bet patikrinkite tai. Gaukite teigiamą / neigiamą kiekvienos temos rodiklį; Tada patys perskaitykite pavyzdinius komentarus.
4. Įžvalga apie veiksmus. Pasirinkite labiausiai paplitusią ir deginančią temą; Parengiamas konkretus tobulinimo pasiūlymas.
5. Mėginio kontrolė. Kiek žmonių tai parašė, kas parašė, ar tai reprezentatyvi? Atlikite apibendrinimą pagal šią ribą.
6. Vadovybės sprendimas. Tobulinimo sprendimas ir prioritetų nustatymas priklauso vadovui; AI tik ruošia įžvalgą.

Atsargiai: AI pateiktas skaičius, pvz., „78 procentai teigiamas“, gali klaidingai suprasti ironiją ir neigimą. Būtinai patys perskaitykite keletą neapdorotų atsiliepimų apie kiekvieną temą ir patikrinkite, ar žyma atitinka tikrovę.

trys mini dėklai

1 atvejis – paslėpta tema. Viena ligoninė per mėnesį sukaupdavo 640 nemokamų komentarų; niekas negalėjo visko perskaityti. Pacientų teisių skyrius anoniminius komentarus perdavė YZ ir priskyrė prie temos. Didžiausia neigiama tema buvo ne „laukimo laikas“, kaip tikėtasi, o „maršruto sumaištis“ (pacientai negalėjo suprasti, į kurį aukštą eiti). Dėl paprasto ženklų ir vadovo personalo susitarimo ši tema per du mėnesius gerokai sumažėjo. AI padarė paslėptą temą matomą; Sprendimas priklausė komandai.

2 atvejis – ironijos spąstai. Vienas padalinys buvo patenkintas AI „82 procentų teigiama“ santrauka ir pasakė vadovybei, kad „patenkinimas yra didelis“. Kokybės pareigūnas perskaitė pavyzdinius komentarus: Ironiški sakiniai, tokie kaip „Nuostabu, gavau 2 valandas po susitikimo laiko“, buvo laikomi teigiamais. Faktinis teigiamas rodiklis buvo mažesnis. Prižiūrėtojas sukalibravo AI žymą ranka perskaitęs kelias dešimtis komentarų ir pataisė pristatymą.

3 atvejis – atrankos šališkumas. Vienoje poliklinikoje į internetinę apklausą atsakė tik 45 žmonės, dauguma – labai neigiamai. Vienas vadovas panikavo, kad „poliklinika bankrutavo“. Analitikas priminė, kad šie 45 žmonės buvo maža ir šališka dalis iš 3200 pacientų tą mėnesį, o pikti žmonės į apklausą atsiliepė daugiau. Vietoj panikos buvo pradėta reprezentatyvi pasitraukimo apklausa; Tikras vaizdas buvo daug labiau subalansuotas.

Keturi kopijuojami šablonai

1) Temos ištraukimas:

Jūsų vaidmuo: pacientų patirties analitiko padėjėjas. Žemiau pateikiami anoniminiai laisvai samdomų pacientų komentarai (be vardo / gydytojo vardo). Užduotis: suskirstykite komentarus į 6-8 bendras temas (pvz., laukimas, bendravimas, valymas, nukreipimas, mokestis). Nurodykite, kiek komentarų turėjote kiekvienai temai ir pateikite 2 citatų pavyzdžius. Negalvok komentarų; Tiesiog naudokis tuo, ką tau duodu.

2) Nuotaikos + patvirtinimo įspėjimas:

Atimkite kiekvienos temos teigiamą / neigiamą / neutralų santykį. TAČIAU atkreipkite dėmesį, kad ironija, neigimas ir sarkastiški posakiai gali suklaidinti emocijų žymą, ir 5 komentarus, dėl kurių nesate tikri, nurodykite atskirai kaip „patikrintas rankiniu būdu“. Pateikti kaip tiksli procentinė dalis; duoti apytiksliai.

3) Į veiksmus orientuota įžvalga:

Pasirinkite labiausiai paplitusią ir neigiamą temą. Šiai temai: galimos pagrindinės priežasties apibūdinimas, 3 patobulinimai, kuriuos galima įgyvendinti per trumpą laiką, ir numatomas kiekvieno iš jų poveikis / kaina. Nurodykite, kad tai yra pasiūlymas ir sprendimas priklauso nuo vadovo.

4) Kontrolės pastabos pavyzdys:

Šioje analizėje bendras atsakymų skaičius [N] yra pacientų skaičius per tą laikotarpį [M]. Parašykite man įspėjamąjį pastabą apie imties reprezentatyvumą: jei atsakymų dažnis mažas arba piktų pacientų yra per daug, paaiškinkite riziką apibendrinti rezultatus 4 balais.

Silpnas raginimas / Stiprus raginimas

Silpnas raginimas:

Pasakykite man, ar šie komentarai yra geri ar blogi, kiek procentų yra patenkinta.

Jokių temų, jokio patikrinimo, jokių įspėjimų pavyzdžių; Jis pateikia vieną klaidinantį procentą.

Galingas raginimas:

Žemiau yra [N] anoniminių pacientų komentarų, pacientų skaičius tuo metu [M]. Atskirkite komentarus pagal temas, kiekvienai temai nurodykite apytikslį emocinį atspalvį, bet pažymėkite, jei nesate tikri dėl ironijos/neigimo. Parašykite pasiūlymą, kaip patobulinti labiausiai deginančią temą, ir pridėkite įspėjamąjį pastabą apie imties reprezentatyvumą.

žingsnis

AI indėlis

žmogaus valdymas

Temos atskyrimas

Sugrupuoja šimtus komentarų

Ar pavadinimai prasmingi?

emocijų žyma

Sukuria greitą toną

Ironijos/neigimo kontrolė

įžvalga

Tobulinimo projektas

Pritaikymas, kaina

apibendrinimas

Pateikiama santrauka

Ar pavyzdys yra reprezentatyvus?

Dažnos klaidos

• Emocijų etiketės priėmimas tokią, kokia ji yra. Ironija ir neigimas yra klaidinantys; Skaitykite pavyzdžius.
• Apibendrinimas iš mažos/šališkos imties. 45 pikti komentarai neatspindi visų pacientų.
• Apeinant anonimiškumą. Komentaruose gali būti nurodytas gydytojo/paciento vardas; jį pašalinti.
• Sutelkti dėmesį tik į negatyvą. Teigiamos temos taip pat nurodo, ką saugosite.
• Klaidinga įžvalga priimant sprendimą. Sprendimas ir tobulinimo prioritetas priklauso vadovui.

Patarimas: kiekvienos analizės pabaigoje patys perskaitykite 15–20 atsitiktinių neapdorotų komentarų ir palyginkite juos su AI žyma. Šis 10 minučių „kalibravimo“ įprotis pagauna ironijos ir neigimo spąstus ir moko, kaip pasitikėti AI trumpu.

Apibendrinant

Pacientų pasitenkinimo duomenys pateikiami ir balais, ir laisvu tekstu, o dirbtinis intelektas yra labai galingas suskirstydamas šimtus komentarų į temas ir apibendrindamas juos. Tačiau automatinė emocijų etiketė klysta ironijos ir neigimo pusėje; Apklausos atranka dažnai yra šališka. Todėl dirbtinio intelekto išvestis negali būti apibendrinta be neapdorotų interpretacijų ir imties dydžio patikrinimo. Išlaikomas anonimiškumas, ruošiamas įžvalgumas; Tačiau sprendimas ir tobulėjimo prioritetas visada priklauso vadovui.

Taikymo užduotis

Gaukite anoniminių komentarų rinkinį (20–30 komentarų, tikrų arba hipotetinių). Paprašykite dirbtinio intelekto temos ir tono naudodami šablonus „Temos išvada“ ir „Emotion + patvirtinimo įspėjimas“. Tada patys perskaitykite bent 10 neapdorotų komentarų ir palyginkite juos su AI žyma; Surašykite, kiek iš jų kaltinate dėl ironijos/neigimo ir imties reprezentatyvumo 5 punktuose.

kontrolinis sąrašas

• [ ] Ar anonimizuojau komentarus (be paciento / gydytojo vardo)?
• [ ] Ar sukalibravau nuotaikų žymą su neapdorotais komentarais?
• [ ] Ar atsižvelgiau į imties dydį ir šališkumą?
• [ ] Ar ieškojau ir teigiamų, ir neigiamų temų?
• [ ] Ar sprendimą tobulinti ir prioritetą palikau vadovui?