zisky:
- Schopnosť vysvetliť kroky pri čistení, kódovaní a analýze údajov elektronických zdravotných záznamov (EHR) pomocou umelej inteligencie.
- Schopnosť rozpoznať riziká klinických údajov, ako sú chýbajúce údaje, zaujatosť, nerovnováha medzi triedami a dočasný únik
- Schopnosť overiť výstupy prediktívneho modelu prostredníctvom kalibrácie, výkonu podskupiny a klinickej užitočnosti
Pamäťou moderných nemocníc je elektronický zdravotný záznam (EHR): digitálna zbierka diagnóz, laboratórnych výsledkov, liekov, procedúr, poznámok sestier a pozorovaní lekárov. Tieto údaje sú pokladom aj mínovým poľom pre umelú inteligenciu. Poklad, pretože obsahuje milióny chorých ročných vzorcov; mínové pole, pretože klinické údaje sú neusporiadané, neúplné, neobjektívne a plné časových pascí. Táto jednotka zahŕňa čistenie, kódovanie a analýzu údajov EHR pomocou umelej inteligencie; najzákernejšie chyby (časový únik, zaujatosť, triedna nerovnováha); a uvidíme, ako sa validujú výstupy prediktívneho modelu.
Pripomeňme od začiatku: rizikový model môže povedať „tento pacient má vysokú pravdepodobnosť opätovného prijatia“; ale toto je výstup na podporu rozhodovania, nie rozhodnutie o diagnóze alebo liečbe. AI nediagnostikuje; Rozhodnutie je na lekárovi a klinickom tíme.
Kroky k práci s údajmi EHR
Krok 1 — Odčítanie a zlúčenie. Údaje pochádzajú z rôznych systémov (laboratórium, lekáreň, rádiológia); sa kombinuje s ID pacienta. V tomto štádiu je dôvernosť najvyššou prioritou (pozri časť 10).
Krok 2 – Čistenie. Chýbajúce hodnoty, jednotkové nezrovnalosti (zámena mg/dl a mmol/l), duplicitné záznamy a nepravdepodobné hodnoty (vek 200 rokov, krvný tlak 0) sú odstránené. AI je tu silná v odľahlých príznakoch a štruktúrovaní voľného textu.
Krok 3 – Kódovanie a štandardizácia. Diagnózy sú mapované do štandardných kódov, ako je ICD (International Classification of Diseases), a lieky sú mapované do štandardných slovníkov. Extrahovanie štruktúrovaných informácií z poznámok s voľným textom sa nazýva spracovanie prirodzeného jazyka (NLP); AI je tu cenná, ale jej výstup vyžaduje overenie.
Krok 4 – Inžinierstvo funkcií. Modelové vstupy sa generujú z nespracovaných údajov: posledná laboratórna hodnota, trend, počet liekov, skóre komorbidity atď.
Krok 5 – Modelovanie a hodnotenie. Prediktívny model je zostavený a – najdôležitejšia časť – vyhodnotený opatrne a bez úniku.
Tri najzákernejšie chyby
Dočasný únik. Vloženie informácií do funkcie, ktorá v čase predpovede ešte neexistuje. Napríklad pomocou diagnostiky prepustenia alebo laboratórnych testov na posledný deň na odhadnutie rizika úmrtia pri prijatí. Model vyzerá v laboratóriu perfektne, no pri reálnom používaní padá, pretože videl „budúcnosť“.
Predsudok. Údaje odrážajú minulé klinické rozhodnutia; Ak sú tieto rozhodnutia už nerovnaké, model sa to učí a posilňuje. Napríklad, ak sa pre určitú skupinu historicky objednávalo menej na testovanie, model si môže myslieť, že choroba je v tejto skupine „nižšia“.
Nerovnováha triedy. Ak udalosť záujmu (napr. zriedkavá komplikácia) tvorí 1 % údajov, model, ktorý vždy hovorí „žiadna udalosť“, by vyzeral na 99 % presne, ale bol by zbytočný. Namiesto presnosti je potrebná citlivosť, presnosť a metriky založené na udalostiach.
Hodnotenie: Diskriminácia nestačí, kalibrácia je nutnosťou
Existujú dve rôzne otázky. Diskriminácia (typická miera AUC): zoraďuje model správne pacientov podľa rizika? Kalibrácia: Zhodujú sa pravdepodobnosti dané modelom so skutočnými frekvenciami? Má približne 20 % pacientov, ktorí hovoria „20 % riziko“ v skutočnosti udalosť? Keďže rozhodnutia sa robia na základe prahových hodnôt na klinike, dobre hodnotený, ale zle kalibrovaný model povedie k nesprávnym rozhodnutiam o prahových hodnotách. Okrem toho by sa výkon podskupiny (vek, pohlavie, etnická príslušnosť, nemocnica) mal uvádzať oddelene a mala by sa položiť otázka klinickej užitočnosti (skutočne použitie tohto modelu prináša lepšie výsledky?).
Tri mini prípady: Podľa čísel
Prípad 1 – Úspech nafúknutý únikom. Model readmisie priniesol pri internom testovaní AUC 0,92; vyzeralo to super. V prehľade sa zistilo, že funkcie zahŕňali „ambulantné vyšetrenie po prepustení“; Tieto informácie neboli v čase predpovede dostupné. Akonáhle bol únik vyčistený, AUC klesla na 0,71 - realistická a použiteľná hodnota.
Prípad 2 – Kalibračný drift. Zatiaľ čo skóre včasného varovania sepsy bolo dobre kalibrované v nemocnici, kde bolo vyvinuté, profil pacienta ukázal dvojnásobnú skutočnú frekvenciu udalostí pre rovnaké skóre v inej nemocnici. Skóre bolo zoradené správne, ale pravdepodobnosti boli nesprávne; prah nebolo možné použiť bez rekalibrácie.
Prípad 3 — Úspora času s NLP. Jeden výskumný tím manuálne extrahoval históriu fajčenia z 12 000 poznámok pacientov; Približne 2 minúty na notu, celkovo 400 hodín. NLP-asistovaná extrakcia to skrátila na niekoľko hodín; Tím iba ručne skontroloval náhodne vybranú validačnú vzorku, ktorú model nechal „nejasný“. Rozhodujúce bolo starostlivé preskúmanie validačnej vzorky.
Slabá výzva / silná výzva
Slabá výzva:
Zostavte model rizika z týchto údajov pacienta a nahláste výsledky.[údaje]
Výkonná výzva:
Vaša úloha: Ste asistent analýzy klinických údajov (NErozhodujete sa). Kritizujte PLÁN predikčného modelu pre nasledujúci zoznam anonymných premenných:- Označte, či je každá premenná prítomná v čase predikcie (riziko dočasného úniku).- Vymenujte nerovnováhu tried a potenciálne zdroje skreslenia.- Navrhnite diskrimináciu + kalibráciu + podskupinu + klinickú užitočnosť pre hodnotenie.- Uveďte, že rozhodnutie je na klinickom tíme. Anonymné premenné a cieľ:[zoznam]
Štyri kopírovateľné šablóny
1) Kontrola tesnosti:
Klasifikujte nasledujúci zoznam funkcií ako „dostupné v čase predpovede“ / „budúce informácie (únik)“ a zdôvodnite to. Cieľ a moment predikcie: [definícia]. Vlastnosti: [zoznam]
2) Správa o kvalite údajov:
Skontrolujte chýbajúcu mieru hodnôt, chýbajúce hodnoty, nekonzistentnosť jednotiek a duplicitný záznam pre túto anonymnú tabuľku; Zobrazí sa súhrnná tabuľka kvality. Tabuľka: [údaje]
3) Schéma overenia záverov NLP:
Napíšte plán validácie pre krok NLP, ktorý extrahuje [premennú] z anotácií s voľným textom: náhodná veľkosť vzorky, označovanie podľa zlatého štandardu, metrika prispôsobenia, analýza chýb.
4) Rámec hodnotenia:
Napíšte návrh hodnotiaceho rámca pre tento klinický model: diskriminácia (AUC), kalibračná krivka, výkon podskupiny, analýza rozhodovacej krivky. Model: [popis]
Rola modelu: Podľa typu úlohy
Typ úlohy
Príspevok AI
kritickosť
overenie
Čistenie údajov/odľahlé hodnoty
vysoká
nízka
náhodná kontrola
NLP extrakcia z poznámok
vysoká
stredná
Overenie vzorky
Hodnotenie rizika/predpovede
stredná
vysoká
Kalibrácia + podskupina
Plánovanie zdrojov/kapacity
stredná
stredná
Schválenie obchodnej jednotky
Rozhodnutie o liečbe
obmedzené
veľmi vysoká
Úplný súhlas lekára
Tip: Ak je AUC klinického modelu neočakávane vysoká (napr. nad 0,95), pred oslavou hľadajte dočasný únik. V reálnom svete sú takéto vysoké hodnoty zvyčajne znakom úniku informácií.
Upozornenie: Model sa môže učiť a posilňovať nerovnosti v historických údajoch. Vysoká celková presnosť môže v určitých skupinách pacientov znamenať systematické poškodenie; Výkon by sa mal vždy uvádzať v podskupinách.
Časté chyby
- Nezaznamenáva dočasný únik. Poznanie budúcnosti prináša v laboratóriu falošný úspech.
- Buďte spokojní s presnosťou. Pri nevyvážených údajoch je presnosť zavádzajúca; Vyžaduje sa citlivosť a kalibrácia.
- Podskupiny sa nenahlasujú. Celková metrika skrýva zaujatosť a nerovnosť.
- Preskočenie kalibrácie. Aj dobrý hodnotiaci model môže robiť chyby pri rozhodovaní o prahových hodnotách.
- Rozhodnutie nechať na modelke. Výstupom je podpora; Rozhodnutie o liečbe je na klinickom tíme.
V súhrne
- Údaje EHR sú silné, ale nejednotné, neúplné a neobjektívne; čistenie a kódovanie sú kritickými krokmi.
- Dočasný únik je najzákernejšia chyba; Budúce poznatky prinášajú falošný úspech v laboratóriu.
- Nevyváženosť tried a zaujatosť spôsobujú, že metrika presnosti je zavádzajúca.
- Hodnotenie by malo zahŕňať rozlišovanie, kalibráciu, podskupiny a klinickú užitočnosť.
- Výstupy prognózy sú podporou; Rozhodnutia o diagnóze a liečbe patria klinickému tímu.
Aplikačná úloha
Vytvorte si predikčný cieľ a zoznam desiatich premenných (zámerne zahrňte premennú „výhľad“, napr. diagnózu prepustenia). Pomocou výkonnej výzvy skontrolujte netesnosti modelu a zistite, či zachytáva túto premennú. Potom napíšte hodnotiaci rámec pre tento model v troch položkách, vrátane diskriminácie, kalibrácie a podskupiny.
kontrolný zoznam
- [ ] Rozumiem krokom extrakcie, čistenia, kódovania a modelovania pri práci s údajmi EHR.
- [ ] Dokážem rozpoznať dočasný únik a skontrolovať zoznam nehnuteľností.
- [ ] Uvedomil som si, ako triedna nerovnováha a predsudky zavádzajú presnosť.
- [ ] Poznám rozdiel medzi diskrimináciou a kalibráciou a potrebu oboch.
- [ ] Prediktívny výstup môžem umiestniť ako podporu, nie ako rozhodnutie.