Добици:
- Способност да објасни кораке у чишћењу, кодирању и анализи података електронског здравственог картона (ЕХР) помоћу вештачке интелигенције.
- Способност препознавања ризика клиничких података као што су подаци који недостају, пристрасност, неравнотежа класа и временско цурење
- Способност валидације резултата предиктивног модела кроз калибрацију, перформансе подгрупе и клиничку корисност
Меморија савремених болница је електронски здравствени картон (ЕХР): дигитална збирка дијагноза, лабораторијских резултата, лекова, процедура, белешки медицинских сестара и запажања лекара. Ови подаци су и благо и минско поље за вештачку интелигенцију. Благо јер садржи милионе болесних годишњих образаца; минско поље јер су клинички подаци неорганизовани, непотпуни, пристрасни и пуни временских замки. Ова јединица укључује чишћење, кодирање и анализу ЕХР података помоћу вештачке интелигенције; најподмуклије грешке (временско цурење, пристрасност, неравнотежа класа); и видећемо како се валидирају резултати предиктивног модела.
Подсетимо од почетка: модел ризика може да каже „овај пацијент има велику вероватноћу поновног пријема“; али ово је резултат подршке одлучивању, а не одлука о дијагнози или лечењу. АИ не поставља дијагнозу; Одлука је на лекару и клиничком тиму.
Кораци за рад са ЕХР подацима
Корак 1 - Одузмите и спојите. Подаци долазе из различитих система (лабораторија, фармација, радиологија); комбинује се са идентификацијом пацијента. У овој фази, поверљивост је највиши приоритет (видети Јединицу 10).
Корак 2 — Чишћење. Недостајуће вредности, недоследности јединица (збрка мг/дЛ и ммол/Л), дупли записи и мало вероватне вредности (200 година, крвни притисак 0) се елиминишу. АИ је овде јак у обележавању ванредних вредности и структурирању слободног текста.
Корак 3 — Кодирање и стандардизација. Дијагнозе се мапирају у стандардне кодове као што је ИЦД (Међународна класификација болести), а лекови се мапирају у стандардне речнике. Издвајање структурираних информација из белешки слободног текста назива се обрада природног језика (НЛП); АИ је овде вредан, али његов излаз захтева валидацију.
Корак 4 — Инжењеринг карактеристика. Уноси модела се генеришу из необрађених података: последња лабораторијска вредност, тренд, број лекова, резултат коморбидитета, итд.
Корак 5 — Моделирање и евалуација. Модел за предвиђање је изграђен и — најкритичнији део — процењен на пажљив начин без цурења.
Три најподмуклије грешке
Временско цурење. Стављање информација у функцију која још не постоји у време предвиђања. На пример, коришћењем отпусне дијагнозе или лабораторијским тестирањем последњег дана за процену ризика од смрти при пријему. Модел изгледа савршено у лабораторији, али се руши у стварној употреби јер је видео "будућност".
Предрасуде. Подаци одражавају претходне клиничке одлуке; Ако су ове одлуке већ неједнаке, модел то учи и појачава. На пример, ако је одређена група историјски била мање наручена за тестирање, модел би могао помислити да је болест „нижа“ у тој групи.
Класна неравнотежа. Ако је догађај од интереса (нпр. ретка компликација) 1% података, модел који увек каже „нема догађаја“ изгледао би 99% тачан, али би био бескорисан. Уместо тачности, потребни су осетљивост, прецизност и метрика заснована на догађајима.
Евалуација: дискриминација није довољна, калибрација је неопходна
Постоје два различита питања. Дискриминација (типична мера АУЦ): да ли модел правилно рангира пацијенте према ризику? Калибрација: да ли се вероватноће које даје модел поклапају са стварним фреквенцијама? Да ли отприлике 20% пацијената који кажу "20% ризика" заиста има догађај? Пошто се одлуке доносе на основу прагова у клиници, добро рангиран, али лоше калибрисан модел ће довести до погрешних одлука о прагу. Поред тога, перформансе подгрупе (старост, пол, етничка припадност, болница) треба да се извештавају одвојено и да се постави питање клиничке корисности (да ли коришћење овог модела заиста даје боље резултате?).
Три мини случаја: према бројевима
Случај 1 — Успех надуван цурењем. Модел реадмисије дао је АУЦ од 0,92 у интерном тестирању; изгледало је сјајно. Прегледом је утврђено да карактеристике укључују „амбулантни преглед након отпуста“; Ове информације нису биле доступне у време предвиђања. Када је цурење очишћено, АУЦ је пао на 0,71 — реална и употребљива вредност.
Случај 2 — Калибрациони помак. Док је оцена раног упозорења о сепси била добро калибрисана у болници у којој је развијена, профил пацијената је показао двоструко већу стопу стварне стопе догађаја за исти резултат у другој болници. Резултат је тачно рангиран, али су вероватноће биле погрешне; праг није могао да се користи без рекалибрације.
Случај 3 — Уштеда времена уз НЛП. Један истраживачки тим је ручно извлачио историју пушења из 12.000 белешки пацијената; Приближно 2 минута по ноти, укупно 400 сати. Екстракција уз помоћ НЛП-а смањила је ово на неколико сати; Тим је само ручно проверио насумично одабран узорак валидације који је модел оставио „нејасан“. Критично је било пажљиво испитивање узорка за валидацију.
Слаба порука / јака промпт
Слабо обавештење:
Изградите модел ризика од ових података о пацијенту и пријавите резултате.[подаци]
Снажан упит:
Ваша улога: Ви сте асистент за анализу клиничких података (ВИ НЕ ОДЛУЧУЈЕТЕ). Критикујте ПЛАН модела предвиђања за следећу листу анонимних варијабли:- Означите да ли је свака варијабла присутна у време предвиђања (ризик од временског цурења).- Наведите неравнотежу класе и потенцијалне изворе пристрасности.- Предложите дискриминацију + калибрацију + подгрупу + клиничку корисност за процену.- Наведите да одлука остаје на клиничком тиму. Анонимне променљиве и циљ:[лист]
Четири шаблона за копирање
1) Инспекција цурења:
Класификујте следећу листу карактеристика као „доступне у време предвиђања“ / „будуће информације (цурење)“ и оправдајте је. Циљ и моменат предвиђања: [дефиниција]. Карактеристике: [лист]
2) Извештај о квалитету података:
Проверите да ли недостаје стопа вредности, недостајуће вредности, недоследност јединице и дупликат записа за ову анонимну табелу; Појављује се табела са резимеом квалитета. Табела: [подаци]
3) НЛП шема верификације закључивања:
Напишите план валидације за НЛП корак који издваја [променљиву] из напомена слободног текста: случајну величину узорка, означавање златним стандардом, метрику уклапања, анализу грешака.
4) Оквир за евалуацију:
Напишите нацрт оквира за евалуацију за овај клинички модел: дискриминација (АУЦ), калибрациона крива, перформансе подгрупе, анализа криве одлуке. Модел: [опис]
Улога модела: По врсти задатка
Тип задатка
АИ допринос
критичности
верификација
Чишћење података/одступање
висока
ниско
провера на лицу места
НЛП екстракција из белешки
висока
средње
Валидација узорка
Бодовање ризика/предвиђања
средње
висока
Калибрација + подгрупа
Планирање ресурса/капацитета
средње
средње
Одобрење пословне јединице
Одлука о третману
ограничена
веома високо
Пуно одобрење лекара
Савет: Ако је АУЦ клиничког модела неочекивано висока (нпр. изнад 0,95), потражите временско цурење пре славља. У стварном свету, тако високе вредности су обично знак цурења информација.
Опрез: Модел може научити и појачати неједнакости у историјским подацима. Висока укупна тачност може имплицирати систематску штету код одређених група пацијената; Учинак увек треба извести у подгрупама.
Уобичајене грешке
- Не примећујете временско цурење. Знање о будућности производи лажан успех у лабораторији.
- Будите задовољни прецизношћу. Тачност је заваравајућа са неуравнотеженим подацима; Потребна је осетљивост и калибрација.
- Не извештавају подгрупе. Укупна метрика скрива пристрасност и неједнакост.
- Прескакање калибрације. Чак и добар модел рангирања може погрешити у својим одлукама о прагу.
- Препуштајући одлуку моделу. Резултат је подршка; Одлука о лечењу зависи од клиничког тима.
Укратко
- ЕХР подаци су моћни, али непотпуни, непотпуни и пристрасни; чишћење и кодирање су критични кораци.
- Временско цурење је најподмукла грешка; Будуће знање производи лажан успех у лабораторији.
- Класна неравнотежа и пристрасност чине метрику тачности погрешним.
- Евалуација треба да укључи дискриминацију, калибрацију, подгрупирање и клиничку корисност.
- Резултати прогнозе су подршка; Дијагноза и одлуке о лечењу припадају клиничком тиму.
Задатак апликације
Направите циљ предвиђања и листу од десет варијабли (намерно укључите варијаблу „перспективе“, нпр. дијагнозу отпуштања). Користите моћну промпт да проверите да ли модел цури и видите да ли хвата ову променљиву. Затим напишите оквир евалуације за овај модел у три ставке, укључујући дискриминацију, калибрацију и подгрупирање.
контролна листа
- [ ] Разумем кораке екстракције, чишћења, кодирања и моделирања у раду са ЕХР подацима.
- [ ] Могу да препознам временско цурење и прегледам листу имовине.
- [ ] Схватио сам како класна неравнотежа и предрасуде доводе у заблуду тачност.
- [ ] Знам разлику између дискриминације и калибрације и неопходност и једног и другог.
- [ ] Могу да поставим предиктивни излаз као подршку, а не као одлуку.