Прибыль:
- Способность объяснить этапы очистки, кодирования и анализа данных электронных медицинских карт (ЭМК) с помощью искусственного интеллекта.
- Способность распознавать риски клинических данных, такие как отсутствие данных, предвзятость, дисбаланс классов и временная утечка.
- Способность проверять результаты прогнозной модели посредством калибровки, производительности подгрупп и клинической полезности.
Памятью современных больниц является электронная медицинская карта (ЭМК): цифровая коллекция диагнозов, результатов лабораторных исследований, лекарств, процедур, записей медсестры и наблюдений врачей. Эти данные — одновременно сокровище и минное поле для искусственного интеллекта. Сокровище, потому что оно содержит миллионы нездоровых годовых закономерностей; минное поле, потому что клинические данные дезорганизованы, неполны, предвзяты и полны временных ловушек. Этот блок включает в себя очистку, кодирование и анализ данных ЭМК с помощью искусственного интеллекта; самые коварные ошибки (утечка времени, предвзятость, классовый дисбаланс); и мы увидим, как проверяются результаты прогнозной модели.
Напомним с самого начала: модель риска может гласить: «у этого пациента высокая вероятность повторной госпитализации»; но это результат поддержки принятия решений, а не решение о диагнозе или лечении. ИИ не ставит диагноз; Решение остается за врачом и клинической командой.
Шаги по работе с данными ЭМК
Шаг 1 — Вычесть и объединить. Данные поступают из разных систем (лаборатория, аптека, радиология); объединяется с идентификатором пациента. На этом этапе конфиденциальность является наивысшим приоритетом (см. Модуль 10).
Шаг 2 — Очистка. Отсутствующие значения, несоответствия единиц измерения (путаница мг/дл и ммоль/л), повторяющиеся записи и маловероятные значения (возраст 200, артериальное давление 0) устраняются. Здесь ИИ силен в маркировке выбросов и структурировании произвольного текста.
Шаг 3 — Кодирование и стандартизация. Диагнозы сопоставляются со стандартными кодами, такими как МКБ (Международная классификация болезней), а лекарства сопоставляются со стандартными словарями. Извлечение структурированной информации из произвольных текстовых заметок называется обработкой естественного языка (НЛП); ИИ здесь ценен, но его результаты требуют проверки.
Шаг 4 — Разработка функций. Входные данные модели генерируются на основе необработанных данных: последние лабораторные показатели, тенденции, количество принимаемых лекарств, показатель сопутствующих заболеваний и т. д.
Шаг 5 — Моделирование и оценка. Прогнозная модель строится и — самая важная часть — оценивается тщательно и без утечек.
Три самые коварные ошибки
Временная утечка. Внесение информации в функцию, которая еще не существует на момент прогнозирования. Например, использование диагностики при выписке или лабораторных исследований в последний день для оценки риска смерти при поступлении. Модель выглядит идеально в лаборатории, но при реальном использовании дает сбой, потому что она видела «будущее».
Предрассудки. Данные отражают прошлые клинические решения; Если эти решения уже неравны, модель учится и усиливает это. Например, если определенной группе исторически было меньше заказов на тестирование, модель может подумать, что заболеваемость в этой группе «ниже».
Классовый дисбаланс. Если интересующее событие (например, редкое осложнение) составляет 1% данных, модель, которая всегда говорит «нет события», будет выглядеть на 99% точной, но будет бесполезной. Вместо точности требуются метрики чувствительности, точности и событий.
Оценка: дискриминации недостаточно, калибровка обязательна
Есть два разных вопроса. Дискриминация (типичный показатель AUC): правильно ли модель ранжирует пациентов по риску? Калибровка: соответствуют ли вероятности, заданные моделью, реальным частотам? Действительно ли примерно у 20% пациентов, которые говорят «риск 20%», наблюдаются события? Поскольку решения принимаются на основе пороговых значений в клинике, хорошо ранжированная, но плохо откалиброванная модель приведет к неверным пороговым решениям. Кроме того, следует отдельно сообщать об эффективности подгрупп (возраст, пол, этническая принадлежность, больница) и задаваться вопросом о клинической полезности (действительно ли использование этой модели дает лучшие результаты?).
Три мини-кейса: в цифрах
Случай 1 — Успех, раздутый утечкой. Модель реадмиссии показала AUC 0,92 при внутреннем тестировании; это выглядело великолепно. В ходе обзора было обнаружено, что такие характеристики включали «амбулаторный прием после выписки»; На момент прогноза эта информация не была доступна. Как только утечка была устранена, AUC упала до 0,71 — реалистичного и полезного значения.
Случай 2. Калибровочный дрейф. Хотя показатель раннего предупреждения сепсиса был хорошо откалиброван в больнице, где он был разработан, профиль пациента показал вдвое большую фактическую частоту событий для того же показателя в другой больнице. Оценка была верной, но вероятности были неправильными; пороговое значение нельзя было использовать без повторной калибровки.
Случай 3 — Экономия времени с помощью НЛП. Одна исследовательская группа вручную извлекала историю курения из 12 000 записей пациентов; Примерно 2 минуты на одну ноту, всего 400 часов. Извлечение с помощью НЛП сократило это время до нескольких часов; Команда проверила вручную только случайно выбранную проверочную выборку, которую модель оставила «неясной». Решающее значение имело тщательное изучение проверочного образца.
Слабая подсказка/Сильная подсказка
Слабая подсказка:
Постройте модель риска на основе этих данных о пациентах и сообщите о результатах.[данные]
Мощная подсказка:
Ваша роль: вы ассистент по анализу клинических данных (ВЫ НЕ РЕШАЕТЕ). Проанализируйте ПЛАН модели прогнозирования для следующего списка анонимных переменных: - Отметьте, присутствует ли каждая переменная на момент прогнозирования (риск временной утечки). - Перечислите дисбаланс классов и потенциальные источники систематической ошибки. - Предложите различение + калибровку + подгруппу + клиническую полезность для оценки. - Укажите, что решение остается за клинической командой. Анонимные переменные и цель:[список]
Четыре копируемых шаблона
1) Проверка утечек:
Классифицируйте следующий список характеристик как «доступные на момент прогноза»/«будущую информацию (утечку)» и обоснуйте его. Цель и момент предсказания: [определение]. Особенности: [список]
2) Отчет о качестве данных:
Проверьте отсутствующую норму стоимости, отсутствующие значения, несогласованность единиц измерения и повторяющиеся записи для этой анонимной таблицы; Появится сводная таблица качества. Таблица: [данные]
3) Схема проверки вывода НЛП:
Напишите план проверки для шага НЛП, который извлекает [переменную] из аннотаций в виде произвольного текста: случайный размер выборки, маркировку золотого стандарта, метрику соответствия, анализ ошибок.
4) Система оценки:
Напишите проект схемы оценки для этой клинической модели: дискриминация (AUC), калибровочная кривая, эффективность подгруппы, анализ кривой принятия решений. Модель: [описание]
Роль модели: по типу задачи
Тип задачи
Вклад ИИ
критичность
проверка
Очистка данных/выбросы
высокий
низкий
выборочная проверка
НЛП извлечение из заметок
высокий
средний
Пример проверки
Оценка риска/прогноза
средний
высокий
Калибровка + подгруппа
Планирование ресурсов/мощностей
средний
средний
Утверждение бизнес-подразделения
Решение о лечении
ограниченный
очень высокий
Полное одобрение врача
Совет: если AUC клинической модели неожиданно высока (например, выше 0,95), прежде чем праздновать, поищите временную утечку. В реальном мире такие высокие значения обычно являются признаком утечки информации.
Внимание: модель может изучать и усиливать неравенство в исторических данных. Высокая общая точность может означать систематический вред для определенных групп пациентов; Результаты всегда следует сообщать по подгруппам.
Распространенные ошибки
- Не замечая временной утечки. Знание будущего приводит к ложному успеху в лаборатории.
- Будьте довольны точностью. Точность вводит в заблуждение несбалансированными данными; Требуется чувствительность и калибровка.
- Не сообщают о подгруппах. Общий показатель скрывает предвзятость и неравенство.
- Пропуск калибровки. Даже хорошая модель ранжирования может допускать ошибки при принятии пороговых решений.
- Оставляя решение за моделью. Выход — поддержка; Решение о лечении остается за клинической командой.
В заключение
- Данные ЭМК являются убедительными, но неоднородными, неполными и предвзятыми; очистка и кодирование являются важными шагами.
- Временная утечка — самая коварная ошибка; Будущие знания приводят к ложному успеху в лаборатории.
- Дисбаланс классов и предвзятость приводят к тому, что показатель точности вводит в заблуждение.
- Оценка должна включать в себя различение, калибровку, разделение на подгруппы и клиническую полезность.
- Результаты прогноза поддерживаются; Решения по диагностике и лечению принадлежат клинической команде.
Задача приложения
Создайте цель прогнозирования и список из десяти переменных (намеренно включите «перспективную» переменную, например, диагноз при выписке). Используйте мощную подсказку, чтобы проверить модель на наличие утечек и посмотреть, фиксирует ли она эту переменную. Затем напишите структуру оценки этой модели, состоящую из трех пунктов, включая дискриминацию, калибровку и подгруппировку.
контрольный список
- [ ] Я понимаю этапы извлечения, очистки, кодирования и моделирования работы с данными ЭМК.
- [ ] Я могу распознать временную утечку и просмотреть список свойств.
- [ ] Я понял, как классовый дисбаланс и предрассудки вводят в заблуждение точность.
- [ ] Я знаю разницу между дискриминацией и калибровкой, а также необходимость того и другого.
- [ ] Я могу позиционировать результаты прогнозирования как поддержку, а не как решение.