Добивки:
- Способност да се објаснат чекорите во чистење, кодирање и анализа на податоците од електронската здравствена евиденција (EHR) со вештачка интелигенција.
- Способност да се препознаат ризиците од клинички податоци како што се исчезнати податоци, пристрасност, нерамнотежа на класите и временско истекување
- Способност да се валидираат резултатите од предвидливите модели преку калибрација, перформанси на подгрупата и клиничка корисност
Меморијата на современите болници е електронската здравствена евиденција (EHR): дигитална колекција на дијагнози, лабораториски резултати, лекови, процедури, белешки од медицинска сестра и лекарски набљудувања. Овие податоци се и богатство и минско поле за вештачката интелигенција. Богатство затоа што содржи милиони болни годишни обрасци; минско поле бидејќи клиничките податоци се неорганизирани, нецелосни, пристрасни и полни со временски замки. Оваа единица вклучува чистење, кодирање и анализа на EHR податоци со вештачка интелигенција; најподмолните грешки (временско истекување, пристрасност, класна нерамнотежа); и ќе видиме како се потврдуваат резултатите од предвидливиот модел.
Да потсетиме од почеток: модел на ризик може да каже „овој пациент има голема веројатност за реадмисија“; но ова е резултат за поддршка на одлуката, а не одлука за дијагноза или третман. ВИ не дијагностицира; Одлуката е на лекарот и клиничкиот тим.
Чекори за работа со EHR податоци
Чекор 1 - Одземете и спојувајте. Податоците доаѓаат од различни системи (лабораторија, фармација, радиологија); се комбинира со ID на пациентот. Во оваа фаза, доверливоста е највисок приоритет (види Целина 10).
Чекор 2 - Чистење. Недостасувани вредности, единечни недоследности (конфузија на mg/dL и mmol/L), дупликати записи и неверојатни вредности (возраст 200, крвен притисок 0) се елиминирани. Вештачката интелигенција е силна овде во означувањето на надворешноста и структурирањето на слободен текст.
Чекор 3 - Кодирање и стандардизација. Дијагнозите се пресликуваат со стандардни кодови како што е МКБ (Меѓународна класификација на болести), а лековите се пресликуваат со стандардни речници. Извлекувањето структурирани информации од бесплатни текстуални белешки се нарекува обработка на природни јазици (NLP); Вештачката интелигенција е важна овде, но нејзиниот излез бара валидација.
Чекор 4 - Инженерство на карактеристики. Влезовите на моделот се генерираат од необработени податоци: последна лабораториска вредност, тренд, број на лекови, резултат на коморбидитет итн.
Чекор 5 - Моделирање и евалуација. Предвидувачкиот модел е изграден и - најкритичниот дел - се оценува на внимателен начин без протекување.
Трите најподмолни грешки
Временско истекување. Ставање информации во функцијата што сè уште не постои во моментот на предвидување. На пример, користење на дијагноза на отпуштање или лабораториско тестирање последен ден за да се процени ризикот од смрт при прием. Моделот изгледа совршено во лабораторија, но паѓа во вистинска употреба бидејќи ја видел „иднината“.
Предрасуди. Податоците ги одразуваат минатите клинички одлуки; Ако овие одлуки се веќе нееднакви, моделот го учи и го зајакнува ова. На пример, ако на одредена група историски и е нарачано помалку за тестирање, моделот може да мисли дека болеста е „пониска“ во таа група.
Класна нерамнотежа. Ако настанот од интерес (на пример, ретка компликација) е 1% од податоците, моделот кој секогаш вели „нема настан“ би изгледал 99% точен, но би бил бескорисен. Наместо точност, потребна е чувствителност, прецизност и метрика базирана на настани.
Евалуација: Дискриминацијата не е доволна, калибрацијата е задолжителна
Има две различни прашања. Дискриминација (типична мерка за AUC): дали моделот правилно ги рангира пациентите според ризик? Калибрација: дали веројатностите дадени од моделот се совпаѓаат со реалните фреквенции? Дали приближно 20% од пациентите кои велат „20% ризик“ навистина имаат настан? Бидејќи одлуките се носат врз основа на праговите во клиниката, добро рангиран, но слабо калибриран модел ќе доведе до неточни одлуки за праговите. Дополнително, перформансите на подгрупите (возраст, пол, етничка припадност, болница) треба да се пријават посебно и да се постави прашањето за клиничката корисност (дали користењето на овој модел навистина дава подобри резултати?)
Три мини случаи: според бројките
Случај 1 - Успехот надуен со истекување. Моделот за реадмисија даде AUC од 0,92 во интерното тестирање; изгледаше одлично. Прегледот покажа дека карактеристиките вклучуваат „закажување амбулантски по отпуштање“; Оваа информација не беше достапна во времето на предвидувањето. Откако беше исчистено истекувањето, AUC падна на 0,71 - реална и употреблива вредност.
Случај 2 - Калибрационен нанос. Додека резултатот за рано предупредување за сепса беше добро калибриран во болницата каде што беше развиен, профилот на пациентот покажа двојно поголема стапка на фактички настан за истиот резултат во различна болница. Резултатот беше правилно рангиран, но веројатностите беа погрешни; прагот не може да се користи без рекалибрација.
Случај 3 — Заштеда на време со НЛП. Еден истражувачки тим рачно извлекуваше историја на пушење од 12.000 белешки на пациенти; Приближно 2 минути по нота, вкупно 400 часа. Екстракцијата со помош на НЛП го намали ова на неколку часа; Тимот само рачно проверуваше случајно избран примерок за валидација што моделот го остави „нејасен“. Критично беше прецизното испитување на примерокот за валидација.
Слаба навестување / Силен навестување
Слаба навестување:
Направете модел на ризик од овие податоци за пациентот и пријавете ги резултатите.[податоци]
Моќен потсетник:
Вашата улога: Вие сте асистент за анализа на клинички податоци (ВИЕ НЕ ОДЛУЧУВАТЕ). Критикувајте го ПЛАН за модел на предвидување за следнава листа на анонимни променливи:- Обележете дали секоја променлива е присутна во моментот на предвидување (ризик од темпорално истекување).- Наведете ја нерамнотежата на класата и потенцијалните извори на пристрасност.- Предложете дискриминација + калибрација + подгрупа + клиничка корисност за евалуација.- Наведете дека одлуката е на клиничкиот тим. Анонимни променливи и цел:[листа]
Четири шаблони за копирање
1) Проверка на истекување:
Класифицирајте ја следнава листа на карактеристики како „достапни во моментот на предвидување“ / „идни информации (протекување)“ и оправдајте ја. Цел и момент на предвидување: [дефиниција]. Карактеристики: [листа]
2) Извештај за квалитетот на податоците:
Проверете дали има стапка на исчезнати вредности, вредности што недостасуваат, неконзистентност на единицата и дупликат запис за оваа анонимна табела; Се појавува прегледна табела за квалитет. Табела: [податоци]
3) Шема за верификација на заклучоците на НЛП:
Напишете план за валидација за НЛП чекор кој извлекува [променлива] од прибелешки на слободен текст: големина на примерок по случаен избор, етикетирање со златен стандард, метрика за вклопување, анализа на грешки.
4) Рамка за евалуација:
Напишете нацрт рамка за евалуација за овој клинички модел: дискриминација (AUC), крива на калибрација, перформанси на подгрупа, анализа на кривата на одлучување. Модел: [опис]
Улога на моделот: по тип на задача
Тип на задача
Придонес за вештачка интелигенција
критичност
верификација
Чистење на податоци/оддалеченост
високо
низок
проверка на место
Екстракција на НЛП од белешки
високо
средно
Валидација на примерок
Оценување ризик/предвидување
средно
високо
Калибрација + подгрупа
Планирање на ресурси/капацитети
средно
средно
Одобрување на деловна единица
Одлука за третман
ограничен
многу високо
Целосно одобрение од лекар
Совет: ако AUC на клиничкиот модел е неочекувано висок (на пр. над 0,95), побарајте временско истекување пред да прославите. Во реалниот свет, таквите високи вредности обично се знак за истекување на информации.
Внимание: моделот може да научи и да ги зајакне нееднаквостите во историските податоци. Високата вкупна точност може да имплицира систематска штета кај одредени групи на пациенти; Перформансите секогаш треба да се пријавуваат во подгрупи.
Вообичаени грешки
- Не забележувајќи временско истекување. Познавањето на иднината произведува лажен успех во лабораторијата.
- Бидете задоволни со точноста. Точноста е погрешна со неизбалансирани податоци; Потребна е чувствителност и калибрација.
- Не се пријавуваат подгрупи. Целокупната метрика крие пристрасност и нееднаквост.
- Прескокнување на калибрација. Дури и добар модел за рангирање може да направи грешки во одлуките за прагот.
- Оставајќи ја одлуката на моделот. Излезот е поддршка; Одлуката за третман е на клиничкиот тим.
Сумирано
- Податоците за EHR се моќни, но непроменети, нецелосни и пристрасни; чистење и кодирање се критични чекори.
- Временското истекување е најподмолната грешка; Идното знаење произведува лажен успех во лабораторијата.
- Нерамнотежата на класите и пристрасноста ја прават метриката на точноста погрешна.
- Евалуацијата треба да вклучува дискриминација, калибрација, подгрупирање и клиничка корисност.
- Прогнозните резултати се поддршка; Одлуките за дијагноза и третман му припаѓаат на клиничкиот тим.
Задача за апликација
Конструирај цел за предвидување и листа од десет променливи (намерно вклучи променлива „проспект“, на пр. дијагноза на испуштање). Користете го моќниот промпт за да го проверите моделот за протекување и да видите дали ја опфаќа оваа променлива. Потоа напишете рамка за евалуација за овој модел во три ставки, вклучувајќи дискриминација, калибрација и подгрупирање.
листа за проверка
- [ ] Ги разбирам чекорите за екстракција, чистење, кодирање и моделирање на работа со EHR податоци.
- [ ] Можам да го препознаам временското истекување и да го прегледам имотниот лист.
- [ ] Сфатив како класната нерамнотежа и предрасудите ја доведуваат во заблуда точноста.
- [ ] Ја знам разликата помеѓу дискриминацијата и калибрацијата и неопходноста од двете.
- [ ] Можам да го позиционирам предвидливиот излез како поддршка, а не како одлука.