Печалби:
- Способност за обяснение на стъпките при почистване, кодиране и анализиране на данни от електронни здравни досиета (EHR) с изкуствен интелект.
- Способност за разпознаване на рискове от клинични данни, като липсващи данни, пристрастия, класов дисбаланс и временно изтичане
- Възможност за валидиране на прогнозни резултати от модел чрез калибриране, представяне на подгрупа и клинична полезност
Паметта на съвременните болници е електронното здравно досие (EHR): дигитална колекция от диагнози, лабораторни резултати, лекарства, процедури, бележки на медицинските сестри и лекарски наблюдения. Тези данни са едновременно съкровище и минно поле за изкуствения интелект. Съкровище, защото съдържа милиони болни годишни модели; минно поле, защото клиничните данни са неорганизирани, непълни, пристрастни и пълни с временни капани. Това звено включва почистване, кодиране и анализиране на данни от EHR с изкуствен интелект; най-коварните грешки (времево изтичане, пристрастия, класов дисбаланс); и ще видим как се валидират резултатите от прогнозния модел.
Нека напомним от самото начало: рисковият модел може да каже „този пациент има висока вероятност за повторно приемане“; но това е резултат за подпомагане на вземането на решения, а не решение за диагноза или лечение. AI не диагностицира; Решението е на лекаря и клиничния екип.
Стъпки за работа с данни от EHR
Стъпка 1 — Изваждане и обединяване. Данните идват от различни системи (лаборатория, аптека, радиология); се комбинира с идентификационния номер на пациента. На този етап поверителността е най-висок приоритет (вижте Раздел 10).
Стъпка 2 — Почистване. Липсващи стойности, несъответствия в единиците (объркване на mg/dL и mmol/L), дублиращи се записи и малко вероятни стойности (възраст 200, кръвно налягане 0) се елиминират. AI е силен тук в маркирането на отклонения и свободното структуриране на текст.
Стъпка 3 — Кодиране и стандартизация. Диагнозите се съпоставят със стандартни кодове като МКБ (Международна класификация на болестите), а лекарствата се съпоставят със стандартни речници. Извличането на структурирана информация от бележки със свободен текст се нарича обработка на естествен език (NLP); AI е ценен тук, но неговият резултат изисква валидиране.
Стъпка 4 — Инженеринг на функции. Входящите данни за модела се генерират от необработени данни: последна лабораторна стойност, тенденция, брой лекарства, резултат от коморбидност и др.
Стъпка 5 — Моделиране и оценка. Предсказуемият модел е изграден и – най-критичната част – оценен по внимателен начин без течове.
Трите най-коварни грешки
Временно изтичане. Поставяне на информация във функцията, която все още не съществува към момента на прогнозиране. Например, като използвате диагностика при изписване или лабораторни изследвания от последния ден, за да оцените риска от смърт при приемане. Моделът изглежда перфектно в лабораторията, но се срива при реална употреба, защото е видял "бъдещето".
предразсъдъци. Данните отразяват минали клинични решения; Ако тези решения вече са неравностойни, моделът научава и подсилва това. Например, ако определена група исторически е била поръчана по-малко за тестване, моделът може да мисли, че болестта е „по-ниска“ в тази група.
Класов дисбаланс. Ако интересното събитие (например рядко усложнение) е 1% от данните, модел, който винаги казва „няма събитие“, би изглеждал 99% точен, но би бил безполезен. Вместо точност се изискват чувствителност, прецизност и показатели, базирани на събития.
Оценка: Дискриминацията не е достатъчна, калибрирането е задължително
Има два различни въпроса. Дискриминация (типична мярка за AUC): моделът правилно ли класира пациентите по риск? Калибриране: вероятностите, дадени от модела, съответстват ли на действителните честоти? Дали приблизително 20% от пациентите, които казват "20% риск", наистина имат събитие? Тъй като решенията се вземат въз основа на прагове в клиниката, добре класиран, но лошо калибриран модел ще доведе до неправилни прагови решения. Освен това представянето на подгрупата (възраст, пол, етническа принадлежност, болница) трябва да се докладва отделно и трябва да се зададе въпросът за клиничната полезност (използването на този модел наистина ли дава по-добри резултати?).
Три мини калъфа: с числата
Случай 1 — Успех, раздут от изтичане. Моделът за обратно приемане даде AUC от 0,92 при вътрешно тестване; изглеждаше страхотно. Прегледът установи, че характеристиките включват „амбулаторно назначаване след изписване“; Тази информация не беше налична по време на прогнозата. След като изтичането беше почистено, AUC падна до 0,71 — реалистична и използваема стойност.
Случай 2 — Дрейф при калибриране. Въпреки че резултатът за ранно предупреждение за сепсис е добре калибриран в болницата, където е разработен, профилът на пациента показва два пъти действителния процент на събития за същия резултат в различна болница. Резултатът е класиран правилно, но вероятностите са грешни; прагът не може да се използва без повторно калибриране.
Случай 3 — Спестяване на време с НЛП. Един изследователски екип ръчно извлича история на тютюнопушене от 12 000 бележки на пациенти; Приблизително 2 минути на бележка, общо 400 часа. Екстракцията с помощта на НЛП намали това до няколко часа; Екипът само провери ръчно произволно избрана проба за валидиране, която моделът остави „неясен“. Критичен беше щателният преглед на пробата за валидиране.
Слаба подкана / Силна подкана
Слаба подкана:
Изградете модел на риска от тези данни за пациента и докладвайте резултатите [данни]
Мощна подкана:
Вашата роля: Вие сте асистент по анализ на клинични данни (НЕ ВИЕ РЕШАВАТЕ). Критикирайте ПЛАН на модел за прогнозиране за следния списък от анонимни променливи: - Маркирайте дали всяка променлива присъства по време на прогнозирането (риск от временно изтичане). - Избройте дисбаланс на класа и потенциални източници на отклонение. - Предложете дискриминация + калибриране + подгрупа + клинична полезност за оценка. - Посочете, че решението е на клиничния екип. Анонимни променливи и target:[списък]
Четири копируеми шаблона
1) Проверка на течове:
Класифицирайте следния списък от функции като „налични към момента на прогнозиране“/„бъдеща информация (изтичане)“ и го обосновете. Цел и момент на прогноза : [дефиниция]. Характеристики: [списък]
2) Доклад за качеството на данните:
Проверете за липсваща стойност, липсващи стойности, несъответствие на единица и дублиран запис за тази анонимна таблица; Появява се обобщена таблица за качество. Таблица: [данни]
3) Схема за проверка на извода на НЛП:
Напишете план за валидиране за стъпка на НЛП, която извлича [променлива] от анотации в свободен текст: произволен размер на извадката, етикетиране със златен стандарт, показател за съответствие, анализ на грешки.
4) Рамка за оценка:
Напишете проект на рамка за оценка за този клиничен модел: дискриминация (AUC), крива на калибриране, представяне на подгрупа, анализ на кривата на решение. Модел: [описание]
Роля на модела: По вид задача
Тип задача
Принос на AI
критичност
проверка
Почистване на данни/отклонение
високо
ниско
проверка на място
НЛП извличане от бележки
високо
среден
Примерно валидиране
Оценка на риска/прогнозата
среден
високо
Калибриране + подгрупа
Планиране на ресурси/капацитет
среден
среден
Одобрение на бизнес единица
Решение за лечение
ограничен
много високо
Пълно одобрение от лекар
Съвет: Ако AUC на клиничен модел е неочаквано висока (напр. над 0,95), потърсете временно изтичане, преди да празнувате. В реалния свят такива високи стойности обикновено са знак за изтичане на информация.
Внимание: Моделът може да научи и да засили неравенствата в исторически данни. Високата цялостна точност може да означава системно увреждане при определени групи пациенти; Изпълнението винаги трябва да се отчита в подгрупи.
Често срещани грешки
- Не забелязвам временно изтичане. Знанието за бъдещето произвежда фалшиви успехи в лабораторията.
- Бъдете доволни от точността. Точността е подвеждаща с небалансирани данни; Необходима е чувствителност и калибриране.
- Не се отчитат подгрупи. Общият показател крие пристрастия и неравенство.
- Пропускане на калибриране. Дори един добър модел за класиране може да направи грешки в решенията си за прагове.
- Оставя решението на модела. Резултатът е поддръжка; Решението за лечение зависи от клиничния екип.
В обобщение
- Данните от EHR са мощни, но неравномерни, непълни и пристрастни; почистването и кодирането са критични стъпки.
- Временното изтичане е най-коварната грешка; Бъдещото познание произвежда фалшив успех в лабораторията.
- Класовият дисбаланс и пристрастията правят показателя за точност подвеждащ.
- Оценката трябва да включва разграничаване, калибриране, подгрупиране и клинична полезност.
- Прогнозните резултати са поддръжка; Диагнозата и решенията за лечение принадлежат на клиничния екип.
Задача за приложение
Конструирайте цел за прогнозиране и списък от десет променливи (умишлено включете променлива „перспектива“, напр. диагноза за изписване). Използвайте мощната подкана, за да проверите модела за течове и да видите дали улавя тази променлива. След това напишете рамка за оценка за този модел в три елемента, включително дискриминация, калибриране и подгрупиране.
контролен списък
- [ ] Разбирам стъпките за извличане, почистване, кодиране и моделиране при работа с данни от EHR.
- [ ] Мога да разпозная временното изтичане и да проверя списъка със свойства.
- [ ] Разбрах как класовият дисбаланс и предразсъдъците подвеждат точността.
- [ ] Знам разликата между дискриминацията и калибрирането и необходимостта и от двете.
- [ ] Мога да позиционирам прогнозния изход като подкрепа, а не решение.