Добивки:
- Способност да се подели анкетите за задоволството на пациентите и повратните информации за бесплатен текст во теми и да се изврши анализа на чувствата со поддршка за вештачка интелигенција
- Способност да се произведат активни увиди и нацрти за подобрување од текстовите на жалби и предлози
- Способност да се фатат замки како што се пристрасност при земање примероци, автоматска грешка во ознаката на чувствата и заштита на приватноста пред толкувањето
Пациентите не доаѓаат само да се подобрат; Тие исто така доживуваат и паметат како биле третирани, колку долго чекале и кому би можеле да ги кажат своите проблеми. Задоволството на пациентот е и етичка одговорност и димензија на перформансите што влијае на угледот на институцијата и, во некои случаи, на нејзиниот надомест. Но, податоците за задоволството често доаѓаат во две форми: анкети мерени со ѕвезди/оценки и прегледи во бесплатна форма. Потребно е време да се прочитаат стотици бесплатни коментари еден по еден. Ова е местото каде што вештачката интелигенција е моќна: таа одвојува стотици текстови во теми, извлекува емоционален тон и ги сумира истакнатите поплаки и пофалби. Во оваа единица ќе видиме како да го направите ова, но уште поважно, како да избегнете погрешно читање. Граница: ВИ резимира текст и извлекува теми; но автоматската ознака за емоции може да биде погрешна, примерокот може да биде пристрасен - генерализацијата и одлуката му припаѓа на менаџерот.
Основни концепти на текстуално рударство
Неколку термини: Текст рударството е процес на автоматско извлекување на обрасци и значење од пишаните текстови. Анализата на чувствата е автоматска класификација на позитивниот/негативниот/неутрален тон на текстот. Извлекувањето тема/тема е групирање на повеќе коментари во заеднички теми (чистота, чекање, комуникација, цена). NPS (Net Promoter Score) е индикатор за лојалност заснован на прашањето „Дали би нè препорачале?“ Корисно е да размислувате за податоците за задоволството во две посебни димензии: квантитативната димензија (оценки, NPS) ви дава одговор на прашањето „колку“; Квалитативната димензија (бесплатни коментари) го носи одговорот на прашањето „зошто“. И двете би биле нецелосни одделно; Кога се читаат заедно, ја гледате и големината на проблемот и неговиот извор.
Овие возила имаат моќна, но опасна страна. Анализата на чувствата се сопнува на суптилностите на јазикот. Реченицата „Одлично, повторно чекав 3 часа“ може да изгледа позитивна кога ќе се погледне од збор до збор бидејќи содржи „одлично“; Сепак, тоа е иронично. „Не беше лошо“ содржи негација. Суфиксите и идиомите на турскиот јазик го отежнуваат ова. Втората опасност е пристрасноста при земање примероци: анкетата генерално ја пополнуваат луѓе кои се или многу задоволни или многу лути; Тивкото мнозинство во средината е невидливо. Затоа, сликата што ја црта вештачката интелигенција е мислење на „авторите“, а не на „сите пациенти“.
Вистинската вредност на овие алатки не е во број, туку во насока. Оценката со ѕвезда ви кажува „задоволство 3,8“, но не ви кажува што да поправите; бесплатниот текст ви кажува што точно ве мачи. Работата на вештачката интелигенција е да ја дестилира оваа необработена нарација во податливи наслови: не можете да прочитате 600 коментари, но можете да ја претворите реченицата „30 проценти од коментарите споменуваат конфузија во рутирање“ во акција. Сепак, ова намалување вклучува и загуба: впечатливо, единствено, но важно безбедносно предупредување од еден пациент може да биде изгубено во „малата тема од 2 проценти“. Затоа, покрај квантитативното резиме, потребно е дополнително да се прегледаат поединечни коментари кои сигнализираат безбедност или сериозни поплаки; Бројката ја покажува големата слика, а индивидуалниот коментар го покажува критичниот исклучок.
Чекор по чекор: Анализа на повратни информации со вештачка интелигенција
- Анонимизирај. Отстранете ги идентификаторите како име, име на лекар, број на соба од коментарите.
- Поделете го по тема. Побарајте од вештачката интелигенција да ги групира коментарите во заеднички теми; Вие го одредувате бројот на наслови.
- Извадете го емотивниот тон, но потврдете го. Добијте ја позитивната/негативната стапка за секоја тема; Потоа сами прочитајте ги коментарите на примерокот.
- Увид во акција. Изберете ја најчестата и најгорливата тема; Изготвен е конкретен предлог за подобрување.
- Контрола на примерок. Колку луѓе го напишале, кој го напишал, дали е репрезентативен? Направете го генерализирањето според оваа граница.
- Менаџерска одлука. Одлуката за подобрување и приоритизацијата му припаѓа на менаџерот; ВИ само подготвува увид.
Внимание: Бројката како „78 проценти позитивно“ дадена од вештачката интелигенција можеби погрешно ја прочитала иронијата и негацијата. Задолжително прочитајте неколку необработени критики за секоја тема сами и проверете дали ознаката се совпаѓа со реалноста.
три мини футроли
Случај 1 - Скриена тема. Една болница акумулирала 640 бесплатни коментари месечно; никој не можеше да го прочита сето тоа. Единицата за правата на пациентите ги даде анонимните коментари на YZ и ги додели на темата. Најголемата негативна тема не беше „времето на чекање“ како што се очекуваше, туку „рутирачката конфузија“ (пациентите не можеа да сфатат на кој кат да одат). Со едноставна ознака и уредување на персоналот за насочување, оваа тема значително се намали за два месеци. ВИ ја направи скриената тема видлива; Решението му припадна на тимот.
Случај 2 - Замка за иронија. Една единица беше задоволна од резимето „82 проценти позитивно“ на вештачката интелигенција и му кажа на раководството дека „задоволството е високо“. Службеникот за квалитет прочита примерок од коментари: иронични реченици како „Неверојатно, влегов 2 часа по терминот за закажување“ се сметаа за позитивни. Вистинската позитивна стапка беше помала. Раководителот ја калибрирал ознаката AI со рачно читање неколку десетици коментари и ја коригирал презентацијата.
Случај 3 - Пристрасност при земање примероци. Во една амбуланта, само 45 луѓе одговориле на онлајн анкетата, а повеќето биле многу негативни. Еден менаџер испаничил дека „поликлиниката банкротирала“. Аналитичарот потсети дека овие 45 луѓе биле мал и пристрасен дел од 3.200 пациенти тој месец и дека лутите луѓе повеќе реагирале на анкетата. Наместо паника, започна репрезентативна излезна анкета; Вистинската слика беше многу поизбалансирана.
Четири шаблони за копирање
1) Екстракција на тема:
Вашата улога: помошник на аналитичар за искуство на пациентот. Подолу се дадени анонимни коментари на хонорарни пациенти (без име/име на лекар). Задача: поделете ги коментарите на 6-8 вообичаени теми (на пр. чекање, комуникација, чистење, упатување, такса). Наведете колку коментари имавте за секоја тема и дајте 2 примероци на цитати. Не измислувајте коментари; Само искористете го тоа што ви го давам.
2) Чувство + предупредување за валидација:
Одземете го односот позитивен/негативен/неутрален за секоја тема. НО посочете дека иронијата, негацијата и саркастичните изрази може да ја доведат во заблуда ознаката за емоции и наведете ги 5-те коментари за кои не сте сигурни одделно како „рачно проверени“. Претставување како точен процент; дадете прибл.
3) Увид ориентиран кон акција:
Изберете ја најчестата и најнегативната тема. За оваа тема: преглед на можната основна причина, 3 подобрувања што може да се спроведат на краток рок и проценетиот ефект/трошок за секое. Наведете дека ова е предлог и одлуката е на менаџерот.
4) Контролна белешка за примерок:
Во оваа анализа, вкупниот број на одговори [N] е бројот на пациенти во тој период [M]. Напишете ми предупредувачка белешка за репрезентативноста на примерокот: ако стапката на одговор е ниска или лутите пациенти се премногу застапени, објаснете ги ризиците од генерализирање на резултатите во 4 точки.
Слаб промпт / Силен промпт
Слаба навестување:
Кажете ми дали овие коментари се добри или лоши, колкав процент е задоволен.
Без теми, без верификација, без примероци предупредувања; Враќа еден погрешен процент.
Моќен потсетник:
Подолу се [N] анонимни коментари на пациенти, број на пациенти во тоа време [M]. Одделете ги коментарите по тема, дајте приближен емоционален тон за секоја тема, но означете дали се несигурни поради иронија/негирање. Нацртајте предлог за подобрување на најгорливата тема и додајте предупредувачка забелешка за репрезентативноста на примерокот.
чекор
Придонес на ВИ
човечка контрола
Раздвојување на теми
Групи стотици коментари
Дали насловите имаат значење?
ознака за емоции
Произведува брз тон
Контрола на иронија/негирање
увид
Нацрт за подобрување
Применливост, цена
генерализација
Обезбедува резиме
Дали примерокот е репрезентативен?
Вообичаени грешки
- Прифаќање на етикетата за емоции каква што е. Иронијата и негацијата се погрешни; Прочитајте ги примерите.
- Генерализација од мал/пристрасен примерок. 45 лути коментари не ги претставуваат сите пациенти.
- Заобиколувајќи ја анонимизацијата. Коментарите може да го вклучуваат името на лекарот/пациентот; отстранете го.
- Фокусирајќи се само на негативното. Позитивните теми укажуваат и на она што ќе го заштитите.
- Погрешен увид за одлука. Одлуката и приоритетот за подобрување му припаѓаат на менаџерот.
Совет: на крајот од секоја анализа, прочитајте сами 15-20 случајни необработени коментари и споредете ги со ознаката на вештачката интелигенција. Оваа 10-минутна навика за „калибрација“ фаќа замки за иронија и негација и ве учи колку да му верувате на брифот со вештачка интелигенција.
Сумирано
Податоците за задоволството на пациентите доаѓаат и во резултати и во бесплатен текст, а вештачката интелигенција е многу моќна да раздели стотици коментари на теми и да ги сумира. Но, автоматската ознака за емоции греши на страната на иронијата и негацијата; Земањето примероци од истражувањето често е пристрасно. Затоа, излезот на вештачката интелигенција не може да се генерализира без верификација со необработени толкувања и големина на примерокот. Се одржува анонимноста, се подготвува увид; Но, одлуката и приоритетот за подобрување секогаш му припаѓа на менаџерот.
Задача за апликација
Добијте анонимен сет за коментари (20-30 коментари, реални или хипотетички). Прашајте ја вештачката интелигенција за тема и тон со шаблоните „Заклучок за темата“ и „Емоција + предупредување за валидација“. Потоа прочитајте барем 10 необработени коментари и споредете ги со ознаката на вештачката интелигенција; Запишете на колку од нив им замерувате поради иронија/негирање и репрезентативност на примерокот во 5 ставки.
листа за проверка
- [ ] Дали сум ги анонимизирал коментарите (без име на пациент/лекар)?
- [ ] Дали ја калибрирав ознаката за чувство со необработени коментари?
- [ ] Дали ја разгледав големината на примерокот и пристрасноста?
- [ ] Дали барав и позитивни и негативни теми?
- [ ] Дали одлуката и приоритетот за подобрување му ги оставив на менаџерот?