Добици:
- Способност да се анкете о задовољству пацијената и повратне информације слободног текста поделе на теме и да се изврши анализа осећања уз подршку вештачке интелигенције
- Способност да се из текстова жалби и предлога произведу увиди који се могу применити и нацрти побољшања
- Способност хватања замки као што су пристрасност узорковања, аутоматска грешка у ознаци сентимента и заштита приватности пре интерпретације
Пацијенти не долазе само да оздраве; Такође доживљавају и памте како су лечени, колико су чекали и коме су могли да кажу своје проблеме. Задовољство пацијената је и етичка одговорност и димензија учинка која утиче на репутацију установе и, у неким случајевима, на њену надокнаду. Али подаци о задовољству често долазе у два облика: анкете мерене звездицама/оценама и рецензије слободног облика. Потребно је време да се прочитају стотине бесплатних коментара један по један. Овде је вештачка интелигенција моћна: она раздваја стотине текстова у теме, издваја емоционални тон и сажима истакнуте жалбе и похвале. У овој јединици ћемо видети како то да урадимо, али што је још важније, како да избегнемо погрешно читање. Граница: АИ сажима текст и издваја теме; али аутоматска ознака емоција може бити погрешна, узорак може бити пристрасан — генерализација и одлука припадају менаџеру.
Основни појмови рударења текста
Неколико појмова: Ископавање текста је процес аутоматског издвајања образаца и значења из писаних текстова. Анализа сентимента је аутоматска класификација позитивног/негативног/неутралног тона текста. Издвајање теме/теме је груписање више коментара у заједничке теме (чистоћа, чекање, комуникација, цена). НПС (Нет Промотер Сцоре) је индикатор лојалности заснован на питању „Да ли бисте нас препоручили?“ Корисно је размишљати о подацима о задовољству у две одвојене димензије: квантитативна димензија (оцене, НПС) вам даје одговор на питање „колико“; Квалитативна димензија (бесплатни коментари) носи одговор на питање „зашто“. И једно и друго би било непотпуно одвојено; Када читате заједно, видите и величину проблема и његов извор.
Ова возила имају моћну, али опасну страну. Анализа осећања спотиче се о суптилности језика. Реченица „Супер, опет сам чекала 3 сата“ може изгледати позитивно када се погледа од речи до речи јер садржи „одлично“; Међутим, то је иронично. „Није било лоше“ садржи негацију. Суфикси и идиоми на турском још више отежавају ово. Друга опасност је пристрасност узорковања: анкету углавном попуњавају људи који су или веома задовољни или веома љути; Тиха већина у средини је невидљива. Дакле, слика коју АИ црта је мишљење „аутора“, а не „свих пацијената“.
Права вредност ових алата није у броју, већ у правцу. Оцена у звездицама вам говори „задовољство 3,8“, али вам не говори шта да поправите; слободан текст вам тачно говори шта вас мучи. Посао вештачке интелигенције је да дестилише ову сирову причу у наслове којима се може управљати: Не можете да прочитате 600 коментара, али можете да претворите реченицу „30 процената коментара помиње конфузију рутирања“ у дело. Ипак, ово смањење такође укључује губитак: упадљиво, јединствено, али важно безбедносно упозорење од једног пацијента може бити изгубљено у „малој теми од 2 процента“. Због тога је, поред квантитативног сажетка, потребно додатно прегледати појединачне коментаре који сигнализирају сигурност или озбиљне притужбе; Број показује ширу слику, а појединачни коментар показује критични изузетак.
Корак по корак: Анализа повратних информација са АИ
- Анонимизирај. Уклоните идентификаторе као што су име, име лекара, број собе из коментара.
- Подијелите га по теми. Замолите АИ да групише коментаре у заједничке теме; Ви одређујете број наслова.
- Уклоните емоционални тон, али га проверите. Добијте позитивну/негативну стопу за сваку тему; Затим сами прочитајте примере коментара.
- Увид у акцију. Изаберите најчешћу и горућу тему; Израђује се конкретан предлог побољшања.
- Контрола узорка. Колико је људи то написало, ко је то написао, да ли је репрезентативно? Направите генерализацију према овој граници.
- Менаџерска одлука. Одлука о побољшању и одређивање приоритета припада менаџеру; АИ само припрема увид.
Опрез: Број попут „78 посто позитивних“ који даје АИ можда је погрешно протумачио иронију и негацију. Обавезно прочитајте неколико необрађених рецензија за сваку тему и проверите да ли ознака одговара стварности.
три мини кофера
Случај 1 — Скривена тема. Једна болница је акумулирала 640 бесплатних коментара месечно; нико није могао све да прочита. Јединица за права пацијената дала је анонимне коментаре ИЗ и доделила их теми. Највећа негативна тема није била „време чекања“ како се очекивало, већ „конфузија рутирања“ (пацијенти нису могли да схвате на који спрат да иду). Уз једноставне ознаке и распоред особља за усмеравање, ова тема се значајно смањила за два месеца. АИ је учинио скривену тему видљивом; Решење је припало тиму.
Случај 2 — Замка ироније. Једна јединица била је задовољна резимеом АИ „82 посто позитивног“ и рекла је менаџменту да је „задовољство високо“. Службеник за квалитет је прочитао примере коментара: Ироничне реченице као што је „Невероватно, стигао сам 2 сата после заказаног термина“ сматрале су се позитивним. Стварна позитивна стопа је била нижа. Руковалац је калибрисао АИ ознаку тако што је ручно прочитао неколико десетина коментара и исправио презентацију.
Случај 3 — Пристрасност узорковања. У једној амбуланти, само 45 људи је одговорило на онлајн анкету, а већина је била веома негативна. Један управник се успаничио да је „поликлиника банкротирала“. Аналитичар је подсетио да је ових 45 људи био мали и пристрасан део од 3.200 пацијената тог месеца, а да су љути људи више одговарали на анкету. Уместо панике, покренута је репрезентативна излазна анкета; Права слика је била много уравнотеженија.
Четири шаблона за копирање
1) Извлачење теме:
Ваша улога: помоћник аналитичару искуства пацијената. Испод су анонимни коментари слободних пацијената (без имена/име лекара). Задатак: поделите коментаре на 6-8 уобичајених тема (нпр. чекање, комуникација, чишћење, препорука, накнада). Наведите колико сте коментара имали за сваку тему и дајте 2 узорка цитата. Не измишљајте коментаре; Само искористи оно што ти дам.
2) Сентимент + упозорење о валидацији:
Одузмите позитиван/негативан/неутрални однос за сваку тему. АЛИ истакните да иронија, негација и саркастични изрази могу да доведу у заблуду ознаку емоција и наведите 5 коментара за које нисте сигурни одвојено као „ручно проверене“. Представљање као тачан проценат; дати прибл.
3) Увид оријентисан на акцију:
Изаберите најчешћу и најнегативнију тему. За ову тему: преглед могућег основног узрока, 3 побољшања која се могу применити у кратком року, и процењени утицај/цена сваког од њих. Наведите да је ово сугестија и одлука је на менаџеру.
4) Пример контролне белешке:
У овој анализи, укупан број одговора [Н] је број пацијената у том периоду [М]. Напишите ми упозорење о репрезентативности узорка: ако је стопа одговора ниска или су љути пацијенти презаступљени, објасните ризике генерализације резултата у 4 тачке.
Слаби промпт / Јаки промпт
Слабо обавештење:
Реците ми да ли су ови коментари добри или лоши, који проценат је задовољан.
Нема тема, нема верификације, нема узорка упозорења; Враћа један обмањујући проценат.
Снажан упит:
Испод су [Н] анонимни коментари пацијената, број пацијената у то време [М]. Одвојите коментаре по темама, дајте приближан емоционални тон за сваку тему, али означите ако нису сигурни због ироније/негације. Нацртајте предлог за побољшање најгоруће теме и додајте напомену упозорења о репрезентативности узорка.
корак
Допринос АИ
људска контрола
Раздвајање тема
Групише стотине коментара
Да ли су наслови смислени?
ознака емоција
Производи брз тон
Контрола ироније/негације
увид
Нацрт побољшања
Применљивост, цена
генерализација
Пружа резиме
Да ли је узорак репрезентативан?
Уобичајене грешке
- Прихватање етикете емоција онаква каква јесте. Иронија и негација обмањују; Прочитајте примере.
- Генерализација из малог/пристрасног узорка. 45 љутитих коментара не представљају све пацијенте.
- Заобилазећи анонимизацију. Коментари могу укључивати име лекара/пацијента; уклоните га.
- Фокусирање само на негативно. Позитивне теме такође указују на то шта ћете заштитити.
- Погрешан увид за одлуку. Одлука и приоритет за побољшање припада менаџеру.
Савет: На крају сваке анализе сами прочитајте 15-20 насумичних необрађених коментара и упоредите их са ознаком вештачке интелигенције. Ова 10-минутна навика „калибрације“ хвата иронију и замке негације и учи вас колико да верујете АИ бриефу.
Укратко
Подаци о задовољству пацијената долазе иу резултату иу слободном тексту, а вештачка интелигенција је веома моћна у разбијању стотина коментара на теме и њиховом сумирању. Али аутоматска етикета емоција греши на страни ироније и негације; Узорковање анкете је често пристрасно. Стога, АИ излаз не може бити генерализован без верификације са сировим тумачењима и величином узорка. Одржава се анонимност, припрема се увид; Али одлука и приоритет за побољшање увек припада менаџеру.
Задатак апликације
Набавите скуп анонимних коментара (20-30 коментара, стварних или хипотетичких). Затражите од АИ тему и тон помоћу шаблона „Закључивање теме“ и „Емоција + упозорење о валидацији“. Затим сами прочитајте најмање 10 необрађених коментара и упоредите их са ознаком АИ; Напишите колико од њих налазите замерке због ироније/негације и репрезентативности узорка у 5 ставки.
контролна листа
- [ ] Да ли сам анонимизирао коментаре (без имена пацијента/лекара)?
- [ ] Да ли сам калибрирао ознаку сентимента са сировим коментарима?
- [ ] Да ли сам узео у обзир величину узорка и пристрасност?
- [ ] Да ли сам тражио и позитивне и негативне теме?
- [ ] Да ли сам одлуку о побољшању и приоритет препустио менаџеру?