Dobički:
- Sposobnost razlage korakov pri čiščenju, kodiranju in analiziranju podatkov elektronskega zdravstvenega zapisa (EHR) z umetno inteligenco.
- Sposobnost prepoznavanja tveganj kliničnih podatkov, kot so manjkajoči podatki, pristranskost, neravnovesje razredov in časovno uhajanje
- Sposobnost potrjevanja izhodov napovednega modela s kalibracijo, zmogljivostjo podskupin in klinično uporabnostjo
Spomin sodobnih bolnišnic je elektronski zdravstveni karton (EHR): digitalna zbirka diagnoz, laboratorijskih izvidov, zdravil, postopkov, zapiskov medicinske sestre in zdravnikovih opazovanj. Ti podatki so hkrati zaklad in minsko polje za umetno inteligenco. Zaklad, ker vsebuje milijone bolnih letnih vzorcev; minsko polje, ker so klinični podatki neorganizirani, nepopolni, pristranski in polni časovnih pasti. Ta enota vključuje čiščenje, kodiranje in analiziranje podatkov EHR z umetno inteligenco; najbolj zahrbtne napake (časovno uhajanje, pristranskost, razredno neravnovesje); in videli bomo, kako se validirajo rezultati napovednega modela.
Spomnimo od začetka: model tveganja lahko pravi, da "ta bolnik ima veliko verjetnost ponovnega sprejema"; vendar je to rezultat za podporo odločanju, ne pa odločitev o diagnozi ali zdravljenju. AI ne diagnosticira; Odločitev je na zdravniku in kliničnem timu.
Koraki za delo s podatki EHR
1. korak — odštejte in spojite. Podatki prihajajo iz različnih sistemov (laboratorij, farmacija, radiologija); je združen z ID-jem bolnika. Na tej stopnji je zaupnost najvišja prioriteta (glej 10. enoto).
2. korak — Čiščenje. Manjkajoče vrednosti, nedoslednosti enot (zmeda mg/dL in mmol/L), podvojeni zapisi in malo verjetne vrednosti (starost 200, krvni tlak 0) so odpravljene. Umetna inteligenca je tukaj močna pri označevanju izstopajočih vrednosti in prostem strukturiranju besedila.
3. korak — Kodiranje in standardizacija. Diagnoze so preslikane v standardne kode, kot je ICD (mednarodna klasifikacija bolezni), zdravila pa v standardne slovarje. Pridobivanje strukturiranih informacij iz opomb s prostim besedilom se imenuje obdelava naravnega jezika (NLP); Umetna inteligenca je tukaj dragocena, vendar njen rezultat zahteva validacijo.
4. korak — inženiring funkcij. Vhodni podatki modela so ustvarjeni iz neobdelanih podatkov: zadnja laboratorijska vrednost, trend, število zdravil, rezultat komorbidnosti itd.
Korak 5 — Modeliranje in vrednotenje. Napovedni model je zgrajen in – najbolj kritičen del – ovrednoten na previden način brez puščanja.
Tri najbolj zahrbtne napake
Časovno puščanje. Vstavljanje informacij v funkcijo, ki v času predvidevanja še ne obstaja. Na primer z uporabo odpustne diagnoze ali laboratorijskih preiskav zadnjega dne za oceno tveganja smrti ob sprejemu. Model je videti popoln v laboratoriju, vendar se v resnični uporabi sesuje, ker je videl "prihodnost".
Predsodki. Podatki odražajo pretekle klinične odločitve; Če so te odločitve že neenake, se model tega nauči in okrepi. Na primer, če je bila določena skupina v preteklosti naročena manj za testiranje, lahko model misli, da je bolezen v tej skupini "nižja".
Razredno neravnovesje. Če dogodek, ki vas zanima (npr. redek zaplet), predstavlja 1 % podatkov, bi bil model, ki vedno pravi, da "ni dogodka", videti 99 % točen, vendar bi bil neuporaben. Namesto točnosti so potrebne občutljivost, natančnost in meritve, ki temeljijo na dogodkih.
Vrednotenje: diskriminacija ni dovolj, kalibracija je obvezna
Obstajata dve različni vprašanji. Razlikovanje (tipična mera AUC): ali model pravilno razvršča bolnike glede na tveganje? Umerjanje: ali se verjetnosti, podane z modelom, ujemajo z dejanskimi frekvencami? Ali ima približno 20 % pacientov, ki pravijo "20% tveganje", dejansko dogodek? Ker se odločitve sprejemajo na podlagi mejnih vrednosti v kliniki, bo dobro rangiran, a slabo umerjen model vodil do nepravilnih odločitev o mejnih vrednostih. Poleg tega je treba ločeno poročati o uspešnosti podskupin (starost, spol, etnična pripadnost, bolnišnica) in se vprašati o klinični uporabnosti (ali uporaba tega modela res daje boljše rezultate?).
Trije mini kovčki: po številkah
Primer 1 – Uspeh, napihnjen zaradi uhajanja. Model ponovnega sprejema je pri internem testiranju dal AUC 0,92; izgledalo je super. Pregled je pokazal, da so funkcije vključevale "ambulantni pregled po odpustu"; Te informacije v času napovedi niso bile na voljo. Ko je bilo puščanje očiščeno, je AUC padel na 0,71 – realna in uporabna vrednost.
Primer 2 – Kalibracijski zamik. Medtem ko je bil rezultat zgodnjega opozarjanja na sepso dobro umerjen v bolnišnici, kjer je bil razvit, je profil bolnika pokazal dvakratno dejansko stopnjo dogodkov za isto oceno v drugi bolnišnici. Rezultat je bil pravilno razvrščen, vendar so bile verjetnosti napačne; praga ni bilo mogoče uporabiti brez ponovne kalibracije.
Primer 3 — Prihranek časa z NLP. Ena raziskovalna skupina je ročno pridobivala zgodovino kajenja iz 12.000 zapiskov bolnikov; Približno 2 minuti na noto, skupaj 400 ur. Ekstrakcija s pomočjo NLP je to zmanjšala na nekaj ur; Ekipa je le ročno preverila naključno izbran vzorec validacije, ki ga je model pustil »nejasen«. Kritičen je bil natančen pregled validacijskega vzorca.
Šibek poziv / močan poziv
Šibek poziv:
Zgradite model tveganja iz teh podatkov o bolniku in poročajte o rezultatih [podatki]
Močan poziv:
Vaša vloga: Ste pomočnik pri analizi kliničnih podatkov (NE ODLOČATE VI). Kritizirajte NAČRT modela napovedi za naslednji seznam anonimnih spremenljivk: - Označite, ali je vsaka spremenljivka prisotna v času napovedovanja (tveganje časovnega uhajanja). - Navedite neravnovesje razreda in možne vire pristranskosti. - Predlagajte diskriminacijo + umerjanje + podskupino + klinično uporabnost za vrednotenje. - Navedite, da je odločitev v rokah klinične ekipe. Anonimne spremenljivke in cilj:[seznam]
Štiri kopirane predloge
1) Pregled puščanja:
Naslednji seznam funkcij razvrstite kot "na voljo v času predvidevanja"/"prihodnje informacije (puščanje)" in ga utemeljite. Cilj in trenutek napovedi : [definicija]. Lastnosti: [seznam]
2) Poročilo o kakovosti podatkov:
Preverite stopnjo manjkajoče vrednosti, manjkajoče vrednosti, nedoslednost enote in podvojen zapis za to anonimno tabelo; Prikaže se tabela s povzetkom kakovosti. Tabela: [podatki]
3) Shema preverjanja sklepanja NLP:
Napišite načrt preverjanja za korak NLP, ki izvleče [spremenljivko] iz opomb v prostem besedilu: velikost naključnega vzorca, označevanje z zlatim standardom, metrika prileganja, analiza napak.
4) Okvir vrednotenja:
Napišite osnutek ocenjevalnega okvira za ta klinični model: diskriminacija (AUC), umeritvena krivulja, uspešnost podskupine, analiza odločitvene krivulje. Model: [opis]
Vloga modela: glede na vrsto naloge
Vrsta naloge
Prispevek AI
kritičnost
preverjanje
Čiščenje podatkov/odstopanje
visoka
nizka
pregled na kraju samem
NLP ekstrakcija iz zapiskov
visoka
srednje
Validacija vzorca
Točkovanje tveganja/napovedi
srednje
visoka
Umerjanje + podskupina
Načrtovanje virov/zmogljivosti
srednje
srednje
Odobritev poslovne enote
Odločitev o zdravljenju
omejeno
zelo visoko
Popolna odobritev zdravnika
Nasvet: če je AUC kliničnega modela nepričakovano visoka (npr. nad 0,95), poiščite začasno uhajanje, preden slavite. V resničnem svetu so tako visoke vrednosti običajno znak uhajanja informacij.
Pozor: model se lahko nauči in okrepi neenakosti v preteklih podatkih. Visoka splošna natančnost lahko pomeni sistematično škodo pri določenih skupinah bolnikov; O uspešnosti je treba vedno poročati v podskupinah.
Pogoste napake
- Ne opazim časovnega puščanja. Znanje o prihodnosti proizvaja lažen uspeh v laboratoriju.
- Bodite zadovoljni z natančnostjo. Natančnost je zavajajoča z neuravnoteženimi podatki; Potrebna je občutljivost in kalibracija.
- Brez poročanja o podskupinah. Celotna metrika skriva pristranskost in neenakost.
- Preskok kalibracije. Tudi dober model razvrščanja lahko naredi napake pri svojih odločitvah o pragu.
- Prepuščanje odločitve modelu. Rezultat je podpora; Odločitev o zdravljenju je v rokah kliničnega tima.
Če povzamem
- Podatki EZK so močni, vendar nepopolni, nepopolni in pristranski; čiščenje in kodiranje sta kritična koraka.
- Časovno uhajanje je najbolj zahrbtna napaka; Prihodnje znanje proizvaja lažen uspeh v laboratoriju.
- Zaradi neravnovesja in pristranskosti je metrika natančnosti zavajajoča.
- Vrednotenje mora vključevati razlikovanje, kalibracijo, podskupine in klinično uporabnost.
- Izhodi napovedi so podpora; Diagnoza in odločitve o zdravljenju pripadajo kliničnemu timu.
Aplikacijska naloga
Sestavite cilj napovedi in seznam desetih spremenljivk (namenoma vključite spremenljivko »objekt«, npr. diagnozo odpusta). Z zmogljivim pozivom preverite, ali model pušča, in preverite, ali zajema to spremenljivko. Nato napišite evalvacijski okvir za ta model v treh postavkah, vključno z diskriminacijo, kalibracijo in podskupinami.
kontrolni seznam
- [ ] Razumem korake ekstrakcije, čiščenja, kodiranja in modeliranja pri delu s podatki EHR.
- [ ] Znam prepoznati začasno uhajanje in pregledati seznam nepremičnin.
- [ ] Spoznal sem, kako razredno neravnovesje in predsodki zavajajo natančnost.
- [ ] Poznam razliko med diskriminacijo in kalibracijo ter potrebo po obeh.
- [ ] Napovedni rezultat lahko postavim kot podporo, ne kot odločitev.