Patsientide rahulolu ja tagasiside analüüs: uuring ja tekstikaevandamine

Kasu:

• Võimalus jagada patsientide rahuloluküsitlusi ja vaba tekstiga tagasisidet teemadeks ning teha tehisintellekti toega sentimentaalanalüüsi
• Võimalus koostada kaebuste ja ettepanekute tekstidest praktilisi teadmisi ja parenduskavandeid
• Võimalus enne tõlgendamist tabada lõkse, nagu proovivõtu kallutatus, automaatne sentimentimärgendi viga ja privaatsuskaitse

Patsiendid ei tule ainult selleks, et paraneda; Samuti kogevad ja mäletavad nad, kuidas neid raviti, kui kaua nad ootasid ja kellele võisid oma probleemidest rääkida. Patsiendi rahulolu on nii eetiline vastutus kui ka tulemuslikkuse mõõde, mis mõjutab asutuse mainet ja mõnel juhul ka selle hüvitamist. Kuid rahuloluandmed on sageli kahel kujul: tärnide/reitingutega mõõdetud küsitlused ja vabas vormis ülevaated. Sadade tasuta kommentaaride ükshaaval lugemiseks kulub aega. Siin on tehisintellekt võimas: see jagab sadu tekste teemadeks, eraldab emotsionaalset tooni ning võtab kokku silmapaistvad kaebused ja kiitused. Selles üksuses näeme, kuidas seda teha, kuid mis veelgi olulisem, kuidas vältida valesti lugemist. Piir: AI võtab teksti kokku ja eraldab teemasid; kuid automaatne emotsiooni silt võib olla ekslik, valim võib olla kallutatud — üldistus ja otsustamine kuulub juhile.

Tekstikaevandamise põhimõisted

Mõned terminid: Tekstikaevandamine on protsess, mille käigus eraldatakse kirjutatud tekstidest automaatselt mustrid ja tähendused. Tundeanalüüs on teksti positiivse/negatiivse/neutraalse tooni automaatne liigitamine. Teema/teema eraldamine on mitme kommentaari rühmitamine ühisteks teemadeks (puhtus, ootamine, suhtlus, hind). NPS (Net Promoter Score) on lojaalsusnäitaja, mis põhineb küsimusel "Kas te soovitaksite meid?" Kasulik on mõelda rahulolu andmetele kahes erinevas dimensioonis: kvantitatiivne mõõde (reitingud, NPS) annab vastuse küsimusele "kui palju"; Kvalitatiivne mõõde (vaba kommentaarid) kannab vastust küsimusele "miks". Mõlemad oleksid eraldi mittetäielikud; Koos lugedes näete nii probleemi suurust kui ka selle allikat.

Nendel sõidukitel on võimas, kuid ohtlik külg. Tundeanalüüs komistab keele peensuste otsa. Lause "Suurepärane, ootasin jälle 3 tundi" võib sõna-sõnalt vaadates tunduda positiivne, sest see sisaldab sõna "tore"; Siiski on see irooniline. "See ei olnud halb" sisaldab eitust. Türgi keele järelliited ja idioomid muudavad selle veelgi keerulisemaks. Teine oht on valimi kallutatus: küsitluses osalevad üldiselt inimesed, kes on kas väga rahul või väga vihased; Keskel olev vaikne enamus on nähtamatu. Seetõttu on tehisintellekti tehtud pilt "autorite", mitte "kõigi patsientide" arvamus.

Nende tööriistade tegelik väärtus ei seisne mitte arvus, vaid suunas. Tärnireiting ütleb teile "rahulolu 3,8", kuid ei ütle, mida parandada; vaba tekst ütleb teile täpselt, mis teid häirib. Tehisintellekti ülesanne on destilleerida see toores narratiiv hallatavateks pealkirjadeks: te ei saa lugeda 600 kommentaari, kuid saate muuta lause "30 protsenti kommentaaridest mainib marsruutimise segadust" tegudeks. Kuid selle vähendamisega kaasneb ka kaotus: silmatorkav, ainulaadne, kuid oluline ohutushoiatus ühelt patsiendilt võib kaduda "2 protsendi teemas". Seetõttu on lisaks kvantitatiivsele kokkuvõttele vaja täiendavalt sõeluda üksikuid kommentaare, mis annavad märku turvalisusest või tõsistest kaebustest; Arv näitab suurt pilti ja üksikkommentaar näitab kriitilist erandit.

Samm-sammult: tagasiside analüüs tehisintellektiga

1. Anonüümseks muutmine. Eemaldage kommentaaridest identifikaatorid, nagu nimi, arsti nimi, ruumi number.
2. Jagage see teemade kaupa. Paluge AI-l rühmitada kommentaarid ühisteks teemadeks; Pealkirjade arvu määrate ise.
3. Võtke emotsionaalne toon välja, kuid kontrollige seda. Hankige iga teema positiivne/negatiivne määr; Seejärel lugege ise näidiskommentaare.
4. Sissevaade tegevusse. Valige kõige sagedasem ja põletavam teema; Koostatakse konkreetne parendusettepanek.
5. Proovi kontroll. Kui palju inimesi selle kirjutas, kes kirjutas, kas see on esinduslik? Tee üldistus selle piiri järgi.
6. Juhtkonna otsus. Parendusotsus ja prioriseerimine kuulub juhile; AI lihtsalt valmistab ette ülevaate.

Ettevaatust: tehisintellekti antud arv nagu "78 protsenti positiivne" võis irooniat ja eitust valesti lugeda. Lugege kindlasti ise iga teema kohta paar toorarvustust ja kontrollige, kas silt vastab tegelikkusele.

kolm minikarpi

Juhtum 1 – peidetud teema. Ühes haiglas kogunes kuus 640 tasuta kommentaari; keegi ei suutnud seda kõike lugeda. Patsiendiõiguste üksus andis anonüümsed kommentaarid YZ-le ja määras need teema juurde. Suurim negatiivne teema ei olnud ootuspärane "ooteaeg", vaid "segadus marsruudil" (patsiendid ei saanud aru, millisele korrusele minna). Lihtsa siltide ja juhendavate töötajate korraldusega vähenes see teema kahe kuuga oluliselt. AI muutis peidetud teema nähtavaks; Lahendus kuulus meeskonnale.

Juhtum 2 – iroonialõks. Üks üksus oli tehisintellekti "82 protsenti positiivse" kokkuvõttega rahul ja ütles juhtkonnale, et "rahulolu on kõrge". Kvaliteediametnik luges näidiskommentaare: Positiivseks peeti iroonilisi lauseid, nagu "Hämmastav, sain sisse 2 tundi pärast vastuvõtuaega". Tegelik positiivne määr oli madalam. Käitleja kalibreeris AI-märgendi, lugedes käsitsi mitukümmend kommentaari ja parandas esitlust.

3. juhtum – valimi kallutatus. Ühes ambulatoorses kliinikus vastas veebiküsitlusele vaid 45 inimest ja enamik oli väga negatiivselt meelestatud. Üks juhataja sattus paanikasse, et "polikliinik on pankrotti läinud". Analüütik tuletas meelde, et need 45 inimest olid väike ja erapoolik osa selle kuu 3200 patsiendist ning vihased inimesed vastasid küsitlusele rohkem. Paanika asemel käivitati esinduslik lahkumisküsitlus; Tegelik pilt oli palju tasakaalukam.

Neli kopeeritavat malli

1) Teema väljavõte:

Teie roll: patsiendikogemuse analüütiku assistent. Allpool on anonüümsed vabakutseliste patsientide kommentaarid (nimeta/arsti nimi puudub). Ülesanne: jagage kommentaarid 6-8 ühiseks teemaks (nt ootamine, suhtlemine, koristamine, suunamine, tasu). Andke iga teema kohta kommentaaride arv ja 2 näidistsitaati. Ära mõtle välja kommentaare; Kasutage lihtsalt seda, mida ma teile annan.

2) Sentiment + kinnitushoiatus:

Lahutage iga teema positiivne/negatiivne/neutraalne suhe. AGA juhtige tähelepanu sellele, et iroonia, eitus ja sarkastilised väljendid võivad emotsioonide silti eksitada ja loetlege need 5 kommentaari, milles te pole kindel, eraldi kui "käsitsi kontrollitud". Esitades täpse protsendina; anna u.

3) tegevusele orienteeritud ülevaade:

Valige kõige sagedasem ja negatiivseim teema. Selle teema puhul: võimaliku algpõhjuse ülevaade, kolm täiustust, mida saab lühiajaliselt rakendada, ja igaühe hinnanguline mõju/kulu. Öelge, et see on soovitus ja otsuse teeb juht.

4) Kontrollmärkuse näidis:

Selles analüüsis on vastuste koguarv [N] patsientide arv sellel perioodil [M]. Kirjutage mulle valimi esinduslikkuse kohta hoiatus: kui ravivastus on madal või vihased patsiendid on üleesindatud, selgitage tulemuste üldistamise riske 4 punktiga.

Nõrk viip / Tugev viip

Nõrk viip:

Öelge mulle, kas need kommentaarid on head või halvad, kui suur protsent on rahul.

Ei mingeid teemasid, ei kontrolli ega näidishoiatusi; See tagastab ühe eksitava protsendi.

Võimas viip:

Allpool on [N] anonüümseid patsientide kommentaare, patsientide arv sel ajal [M]. Eraldage kommentaarid teemade kaupa, andke iga teema jaoks ligikaudne emotsionaalne toon, kuid märkige, kui need pole iroonia/eituse tõttu kindlad. Koostage kõige põletavama teema parendusettepanek ja lisage hoiatus valimi esinduslikkuse kohta.

samm

AI panus

inimese kontroll

Teema eraldamine

Rühmitab sadu kommentaare

Kas pealkirjad on tähendusrikkad?

emotsiooni silt

Toodab kiiret tooni

Iroonia/eituse kontroll

arusaam

Paranduse eelnõu

Kohaldatavus, maksumus

üldistus

Annab kokkuvõtte

Kas valim on esinduslik?

Levinud vead

• Emotsioonisildi aktsepteerimine sellisena, nagu see on. Iroonia ja eitus on eksitavad; Lugege näiteid.
• Üldistus väikese/kallutatud valimi põhjal. 45 vihast kommentaari ei esinda kõiki patsiente.
• Anonüümseks muutmisest möödaminek. Kommentaarid võivad sisaldada arsti/patsiendi nime; eemaldage see.
• Keskendudes ainult negatiivsele. Positiivsed teemad näitavad ka seda, mida te kaitste.
• Otsuse tegemiseks ekslik arusaam. Parendamise otsus ja prioriteet kuulub juhile.

Näpunäide: iga analüüsi lõpus lugege ise 15-20 juhuslikku toorkommentaari ja võrrelge neid tehisintellekti sildiga. See 10-minutiline "kalibreerimisharjumus" püüab kinni iroonia- ja eituslõksud ning õpetab teile, kui palju tehisintellekti lühikirjeldust usaldada.

Kokkuvõttes

Patsiendi rahulolu andmed on nii hinnete kui ka vabateksti kujul ning tehisintellekt on väga võimas sadade kommentaaride jaotamisel teemadeks ja nendest kokkuvõtete tegemisel. Kuid automaatne emotsiooni silt eksib iroonia ja eituse poole; Küsitluse valimi moodustamine on sageli kallutatud. Seetõttu ei saa AI väljundit üldistada ilma töötlemata tõlgenduste ja valimi suuruse kontrollimiseta. Säilitatakse anonüümsus, valmistatakse ette ülevaade; Kuid otsus ja parendamise prioriteet kuulub alati juhile.

Rakenduse ülesanne

Hankige anonüümne kommentaaride komplekt (20–30 kommentaari, tõelist või hüpoteetilist). Küsige tehisintellektilt teemat ja tooni mallide „Teema järeldus” ja „Emotsioonid + kinnitushoiatus” abil. Seejärel lugege ise vähemalt 10 toores kommentaari ja võrrelge neid tehisintellekti sildiga; Kirjutage 5 punktis üles, kui paljudes neist leiate vigu iroonia/eituse ja valimi esinduslikkuse tõttu.

kontrollnimekiri

• [ ] Kas ma olen anonüümseks muutnud kommentaarid (pole patsiendi/arsti nime)?
• [ ] Kas ma olen kalibreerinud sentimenti märgendi toorete kommentaaridega?
• [ ] Kas olen arvestanud valimi suurust ja kallutatust?
• [ ] Kas olen otsinud nii positiivseid kui ka negatiivseid teemasid?
• [ ] Kas olen jätnud parendusotsuse ja prioriteedi juhi teha?