Прибыль:
- Возможность разделить опросы об удовлетворенности пациентов и текстовые отзывы по темам и выполнить анализ настроений с поддержкой искусственного интеллекта.
- Способность генерировать практические идеи и проекты улучшений на основе текстов жалоб и предложений.
- Возможность обнаружить ловушки, такие как систематическая ошибка выборки, автоматическая ошибка тега настроения и защита конфиденциальности перед интерпретацией.
Пациенты приходят не просто для того, чтобы поправиться; Они также переживают и помнят, как с ними обращались, как долго ждали и кому могли рассказать о своих проблемах. Удовлетворенность пациентов – это одновременно этическая ответственность и аспект эффективности, который влияет на репутацию учреждения и, в некоторых случаях, на его возмещение. Но данные об удовлетворенности часто поступают в двух формах: опросы, измеряемые звездами/рейтингами, и обзоры в свободной форме. Чтобы прочитать сотни бесплатных комментариев один за другим, требуется время. Именно здесь силен искусственный интеллект: он разделяет сотни текстов на темы, выделяет эмоциональный тон и суммирует заметные жалобы и похвалы. В этом разделе мы увидим, как это сделать, но, что более важно, как избежать неправильного прочтения. Граница: ИИ обобщает текст и извлекает темы; но автоматическое определение эмоций может быть ошибочным, выборка может быть предвзятой — обобщение и решение принадлежат менеджеру.
Основные понятия интеллектуального анализа текста
Несколько терминов: Анализ текста — это процесс автоматического извлечения закономерностей и значений из письменных текстов. Анализ тональности – это автоматическая классификация положительного/негативного/нейтрального тона текста. Извлечение темы/темы — это группировка множества комментариев по общим темам (чистота, ожидание, общение, цена). NPS (Net Promoter Score) — показатель лояльности, основанный на вопросе «Вы бы нас порекомендовали?» Полезно рассматривать данные об удовлетворенности в двух отдельных измерениях: количественное измерение (рейтинги, NPS) дает вам ответ на вопрос «сколько»; Качественное измерение (свободные комментарии) несет в себе ответ на вопрос «почему». Оба они были бы неполными по отдельности; Если прочитать все вместе, вы увидите как масштаб проблемы, так и ее источник.
У этих транспортных средств есть мощная, но опасная сторона. Анализ настроений натыкается на тонкости языка. Предложение «Отлично, я снова ждал 3 часа» может показаться позитивным, если его прочитать дословно, потому что оно содержит «отлично»; Однако это иронично. «Это было неплохо» содержит отрицание. Суффиксы и идиомы в турецком языке еще больше усложняют задачу. Вторая опасность — систематическая ошибка выборки: в опросе обычно принимают участие люди, которые либо очень довольны, либо очень недовольны; Молчаливое большинство посередине невидимо. Поэтому картина, которую рисует ИИ, — это мнение «авторов», а не «всех пациентов».
Реальная ценность этих инструментов не в количестве, а в направлении. Звездный рейтинг говорит вам «удовлетворение 3,8», но не говорит вам, что исправить; свободный текст точно расскажет вам, что вас беспокоит. Задача ИИ — превратить это сырое повествование в понятные заголовки: вы не можете прочитать 600 комментариев, но можете превратить предложение «30 процентов комментариев упоминают о путанице в маршрутизации» в действие. Однако это сокращение также подразумевает потерю: поразительное, единичное, но важное предупреждение о безопасности от одного пациента может быть потеряно в «маленькой теме 2 процентов». Поэтому помимо количественного резюме необходимо дополнительно проверять отдельные комментарии, сигнализирующие о безопасности или серьезных жалобах; Число показывает общую картину, а отдельный комментарий показывает критическое исключение.
Шаг за шагом: анализ обратной связи с помощью ИИ
- Анонимизировать. Удалите из комментариев такие идентификаторы, как имя, фамилия врача, номер палаты.
- Разделите по темам. Попросите ИИ сгруппировать комментарии по общим темам; Вы сами определяете количество титулов.
- Уберите эмоциональный тон, но проверьте его. Получите положительную/отрицательную оценку по каждой теме; Затем прочитайте примеры комментариев самостоятельно.
- Понимание действия. Выбирайте самую частую и животрепещущую тему; Разработано конкретное предложение по улучшению.
- Выборочный контроль. Сколько человек это написало, кто это написал, это репрезентативно? Сделайте обобщение согласно этому пределу.
- Управленческое решение. Решение об улучшении и установление приоритетов принадлежит менеджеру; ИИ просто готовит понимание.
Внимание: число вроде «78 процентов положительного», данное ИИ, возможно, неверно истолковало иронию и отрицание. Обязательно прочитайте несколько сырых обзоров по каждой теме и проверьте, соответствует ли тег действительности.
три мини-кейса
Случай 1 — Скрытая тема. Одна больница накопила 640 бесплатных комментариев в месяц; никто не мог прочитать все это. Отдел по правам пациентов передал анонимные комментарии YZ и присвоил их теме. Самой большой негативной темой было не «время ожидания», как ожидалось, а «путаница с маршрутами» (пациенты не могли понять, на какой этаж идти). Благодаря простой вывеске и расположению инструктирующего персонала эта тема значительно уменьшилась за два месяца. ИИ сделал скрытую тему видимой; Решение принадлежало команде.
Случай 2 — Ловушка иронии. Одно подразделение было удовлетворено «82-процентным положительным» резюме AI и сообщило руководству, что «удовлетворение высокое». Специалист по качеству зачитал примеры комментариев: Ироничные предложения, такие как «Удивительно, я пришел на 2 часа позже назначенного времени», считались положительными. Фактический положительный показатель был ниже. Обработчик откалибровал AI-тег, прочитав вручную несколько десятков комментариев, и скорректировал представление.
Случай 3. Смещение выборки. В одной поликлинике на онлайн-опрос ответили только 45 человек, и большинство из них были крайне негативными. Один менеджер запаниковал, что «поликлиника обанкротилась». Аналитик напомнил, что эти 45 человек составляли небольшую и предвзятую часть из 3200 пациентов в том месяце, и что на опрос больше откликнулись разгневанные люди. Вместо паники был запущен репрезентативный экзитпол; Реальная картина была гораздо более сбалансированной.
Четыре копируемых шаблона
1) Извлечение темы:
Ваша роль: помощник аналитика по опыту пациентов. Ниже приведены анонимные комментарии пациентов-фрилансеров (без имени/имя врача). Задача: разделить комментарии на 6-8 общих тем (например, ожидание, общение, уборка, направление, плата). Укажите, сколько комментариев у вас было по каждой теме, и приведите 2 примера цитат. Не придумывайте комментарии; Просто используй то, что я тебе даю.
2) Настроения + оповещение о проверке:
Вычтите соотношение положительного/отрицательного/нейтрального для каждой темы. НО обратите внимание, что ирония, отрицание и саркастические выражения могут ввести в заблуждение тег эмоций, и перечислите 5 комментариев, в которых вы не уверены, отдельно как «проверенные вручную». Представление в точном процентном соотношении; дайте ок.
3) Понимание, ориентированное на действие:
Выберите самую частую и самую негативную тему. По этой теме: описание возможной основной причины, 3 улучшения, которые можно реализовать в краткосрочной перспективе, и предполагаемое воздействие/стоимость каждого из них. Укажите, что это предложение и решение остается за руководителем.
4) Образец контрольной записки:
В этом анализе общее количество ответов [N] представляет собой количество пациентов за этот период [M]. Напишите мне предостережение по поводу репрезентативности выборки: если процент ответов низкий или разгневанные пациенты перепредставлены, объясните риски обобщения результатов в 4 пунктах.
Слабая подсказка / Сильная подсказка
Слабая подсказка:
Скажите, хорошие эти комментарии или плохие, какой процент удовлетворенных.
Никаких тем, никаких проверок, никаких образцов предупреждений; Он возвращает один вводящий в заблуждение процент.
Мощная подсказка:
Ниже приведены [N] анонимных комментариев пациентов, количество пациентов на тот момент [M]. Разделите комментарии по темам, дайте примерный эмоциональный тон каждой теме, но отметьте, если они неуверенны из-за иронии/отрицания. Составьте предложение по улучшению наиболее актуальной темы и добавьте предостережение относительно репрезентативности выборки.
шаг
Вклад ИИ
человеческий контроль
Разделение тем
Группирует сотни комментариев
Имеют ли названия смысл?
тег эмоций
Производит быстрый тон
Контроль иронии/отрицания
понимание
Проект улучшения
Применимость, стоимость
обобщение
Предоставляет резюме
Является ли выборка репрезентативной?
Распространенные ошибки
- Принятие ярлыка эмоции таким, какой он есть. Ирония и отрицание вводят в заблуждение; Прочитайте примеры.
- Обобщение на основе небольшой/предвзятой выборки. 45 гневных комментариев отражают не всех пациентов.
- Обход анонимизации. Комментарии могут включать имя врача/пациента; удалите его.
- Фокусировка только на негативе. Позитивные темы также указывают на то, что вы будете защищать.
- Принятие решения за понимание. Решение и приоритет улучшения принадлежит менеджеру.
Совет: в конце каждого анализа самостоятельно прочитайте 15–20 случайных необработанных комментариев и сравните их с тегом ИИ. Эта 10-минутная привычка «калибровки» ловит ловушки иронии и отрицания и учит вас, насколько доверять ИИ-брифам.
В итоге
Данные об удовлетворенности пациентов поступают как в виде оценок, так и в виде произвольного текста, а ИИ очень эффективен в разбиении сотен комментариев на темы и их обобщении. Но автоматический ярлык эмоций ошибается в сторону иронии и отрицания; Выборка опроса часто бывает предвзятой. Следовательно, результаты ИИ не могут быть обобщены без проверки с помощью необработанных интерпретаций и размера выборки. Анонимность сохраняется, инсайт подготовлен; Но решение и приоритет улучшения всегда принадлежат руководителю.
Задача приложения
Получите набор анонимных комментариев (20-30 комментариев, реальных или гипотетических). Запросите у ИИ тему и тон с помощью шаблонов «Вывод темы» и «Эмоция + оповещение о проверке». Затем сами прочитайте хотя бы 10 необработанных комментариев и сравните их с тегом ИИ; Запишите, к скольким из них вы придираетесь из-за иронии/отрицания и репрезентативности выборки по 5 пунктам.
контрольный список
- [ ] Анонимизировал ли я комментарии (без имени пациента/врача)?
- [ ] Откалибровал ли я тег настроений с помощью необработанных комментариев?
- [ ] Учел ли я размер выборки и предвзятость?
- [ ] Искал ли я как положительные, так и отрицательные темы?
- [ ] Оставил ли я решение об улучшении и приоритеты на усмотрение менеджера?