Nyereség:
- Képes elmagyarázni az elektronikus egészségügyi nyilvántartás (EHR) adatainak mesterséges intelligenciával történő tisztításának, kódolásának és elemzésének lépéseit.
- Képes felismerni a klinikai adatokkal kapcsolatos kockázatokat, például hiányzó adatokat, torzítást, osztálykiegyensúlyozatlanságot és időbeli szivárgást
- Képes a prediktív modell kimenetek hitelesítésére a kalibráció, az alcsoportok teljesítménye és a klinikai hasznosság révén
A modern kórházak emlékezete az elektronikus egészségügyi nyilvántartás (EHR): diagnózisok, laboreredmények, gyógyszerek, eljárások, ápolói feljegyzések és orvosi megfigyelések digitális gyűjteménye. Ez az adat egyszerre kincs és aknamező a mesterséges intelligencia számára. Kincs, mert milliónyi beteg éves mintát tartalmaz; aknamező, mert a klinikai adatok rendezetlenek, hiányosak, elfogultak és tele vannak időbeli csapdákkal. Ez az egység magában foglalja az EHR adatok mesterséges intelligenciával történő tisztítását, kódolását és elemzését; a legálomosabb hibák (időbeli szivárgás, torzítás, osztálykiegyensúlyozatlanság); és látni fogjuk, hogyan érvényesülnek a prediktív modell kimenetei.
Emlékezzünk az elejétől fogva: egy kockázati modell azt mondhatja, hogy "ennek a betegnek nagy a valószínűsége a visszafogadásnak"; de ez döntéstámogató kimenet, nem diagnózis vagy kezelési döntés. Az AI nem diagnosztizál; A döntés az orvoson és a klinikai csapaton múlik.
Az EHR adatokkal való munka lépései
1. lépés – Kivonás és összevonás. Az adatok különböző rendszerekből származnak (laboratórium, gyógyszertár, radiológia); kombinálva van a betegazonosítóval. Ebben a szakaszban a titoktartás a legmagasabb prioritás (lásd a 10. fejezetet).
2. lépés – Tisztítás. A hiányzó értékek, az egységnyi inkonzisztenciák (mg/dL és mmol/L összetévesztése), a duplikált rekordok és a valószínűtlen értékek (200 év, vérnyomás 0) megszűnnek. A mesterséges intelligencia erős itt a kiugró jelek megjelölésében és a szabad szöveg strukturálásában.
3. lépés – Kódolás és szabványosítás. A diagnózisok szabványos kódokhoz, például az ICD-hez (International Classification of Diseases), a gyógyszereket pedig a szabványos szótárakhoz vannak leképezve. A strukturált információk szabad szöveges jegyzetekből való kinyerését természetes nyelvi feldolgozásnak (NLP) nevezik; Az AI itt értékes, de a kimenete érvényesítést igényel.
4. lépés – Funkciótervezés. A modell bemeneteit nyers adatokból állítják elő: utolsó laboratóriumi érték, trend, gyógyszerek száma, komorbiditási pontszám stb.
5. lépés – Modellezés és értékelés. A prediktív modellt gondosan, szivárgásmentesen építik fel és – a legkritikusabb részt – értékelik.
A három legálomosabb hiba
Időbeli szivárgás. Olyan információ behelyezése a jellemzőbe, amely az előrejelzés időpontjában még nem létezik. Például az elbocsátási diagnózis vagy az utolsó napi laboratóriumi vizsgálatok segítségével becsüljük meg a halálozás kockázatát a felvételkor. A modell tökéletesnek tűnik a laboratóriumban, de a valós használat során összeomlik, mert látta a "jövőt".
Előítélet. Az adatok múltbeli klinikai döntéseket tükröznek; Ha ezek a döntések már egyenlőtlenek, a modell ezt megtanulja és megerősíti. Például, ha egy bizonyos csoportra korábban kevesebbet rendeltek tesztelést, a modell azt gondolhatja, hogy a betegség "alacsonyabb" kategóriájú ebben a csoportban.
Osztály kiegyensúlyozatlanság. Ha az érdeklődésre számot tartó esemény (például egy ritka szövődmény) az adatok 1%-a, egy olyan modell, amely mindig azt mondja, hogy "nincs esemény", 99%-ban pontosnak tűnik, de haszontalan. A pontosság helyett érzékenységre, precizitásra és eseményalapú mérőszámokra van szükség.
Értékelés: A diszkrimináció nem elég, a kalibrálás kötelező
There are two different questions. Diszkrimináció (az AUC tipikus mértéke): helyesen rangsorolja-e a modell a betegeket kockázat szerint? Kalibrálás: a modell által megadott valószínűségek egyeznek a tényleges frekvenciákkal? A "20%-os kockázatot" mondó betegek körülbelül 20%-ának van-e tényleges eseménye? Mivel a döntéseket a klinikán a küszöbértékek alapján hozzák meg, a jól besorolt, de rosszul kalibrált modell helytelen küszöbdöntéshez vezet. Ezenkívül az alcsoport teljesítményét (életkor, nem, etnikai hovatartozás, kórház) külön kell jelenteni, és fel kell tenni a klinikai hasznosság kérdését (valóban jobb eredményeket hoz-e ennek a modellnek a használata?).
Három mini tok: a számok szerint
1. eset – Sikert felfújt a szivárgás. Egy visszafogadási modell 0,92 AUC-t adott a belső tesztelés során; remekül nézett ki. A felülvizsgálat megállapította, hogy a szolgáltatások közé tartozik a „kibocsátás utáni járóbeteg-rendelés”; This information was not available at the time of prediction. A szivárgás megszüntetése után az AUC 0,71-re esett – ez egy reális és használható érték.
2. eset – Kalibrálási eltolódás. Míg a szepszis korai figyelmeztető pontszámát jól kalibrálták abban a kórházban, ahol kidolgozták, a betegprofil a tényleges eseményarány kétszeresét mutatta ugyanazon pontszám esetén egy másik kórházban. A pontszám helyes volt, de a valószínűségek rosszak voltak; a küszöb nem használható újrakalibrálás nélkül.
3. eset – Időmegtakarítás az NLP segítségével. Az egyik kutatócsoport manuálisan gyűjtötte ki 12 000 páciens feljegyzéséből a dohányzási előzményeket; Körülbelül 2 perc hangonként, összesen 400 óra. Az NLP-vel segített extrakció ezt néhány órára csökkentette; A csapat csak egy véletlenszerűen kiválasztott validációs mintát ellenőriz, amelyet a modell „nem egyértelmű” hagyott. Kritikus volt a validációs minta alapos vizsgálata.
Gyenge felszólítás / Erős felszólítás
Gyenge felszólítás:
Építsen fel kockázati modellt ezekből a betegadatokból, és jelentse az eredményeket.[data]
Erőteljes felszólítás:
Az Ön szerepköre: Ön klinikai adatelemzési asszisztens (NEM TE DÖNTESZ). Kritizáljon egy előrejelzési modell TERVET az anonim változók következő listájához:- Jelölje meg, hogy az egyes változók jelen vannak-e az előrejelzés időpontjában (időbeli szivárgás kockázata).- Sorolja fel az osztályok egyensúlyhiányát és a torzítás lehetséges forrásait.- Javasoljon megkülönböztetést + kalibrálás + alcsoport + klinikai hasznosság az értékeléshez.- Mondja ki, hogy a döntés a klinikai csapaté. Névtelen változók és cél:[lista]
Négy másolható sablon
1) Szivárgásvizsgálat:
Minősítse a szolgáltatások alábbi listáját az "előrejelzés időpontjában elérhető" / "jövőbeli információ (szivárgás)" kategóriába, és indokolja ezt. Az előrejelzés célja és pillanata: [definíció]. Jellemzők: [lista]
2) Adatminőségi jelentés:
Check for missing value rate, missing values, unit inconsistency and duplicate record for this anonymous table; Megjelenik egy minőségi összefoglaló táblázat. táblázat: [adatok]
3) NLP-következtetés-ellenőrzési séma:
Írjon egy érvényesítési tervet egy NLP-lépéshez, amely a [változót] kivonja a szabad szöveges megjegyzésekből: véletlenszerű mintaméret, arany standard címkézés, illeszkedési metrika, hibaelemzés.
4) Értékelési keret:
Írjon egy értékelési keretvázlatot ehhez a klinikai modellhez: diszkrimináció (AUC), kalibrációs görbe, alcsoport teljesítménye, döntési görbe elemzése. Modell: [leírás]
A modell szerepe: Feladattípus szerint
Feladat típusa
AI hozzájárulás
kritikusság
ellenőrzése
Adattisztítás/outlier
magas
alacsony
helyszíni ellenőrzés
NLP kivonás a jegyzetekből
magas
közepes
Mintaellenőrzés
Kockázat/előrejelzés pontozás
közepes
magas
Kalibrálás + alcsoport
Erőforrás/kapacitás tervezés
közepes
közepes
Üzleti egység jóváhagyása
A kezelési döntés
korlátozott
nagyon magas
Teljes orvosi jóváhagyás
Tipp: Ha egy klinikai modell AUC-értéke váratlanul magas (pl. 0,95 felett), az ünneplés előtt keresse meg az időbeli szivárgást. A való világban az ilyen magas értékek általában az információszivárgás jelei.
Figyelem: A modell tanulhat és megerősítheti a korábbi adatok egyenlőtlenségeit. A nagy általános pontosság szisztematikus károsodást jelenthet bizonyos betegcsoportokban; A teljesítményt mindig alcsoportokban kell jelenteni.
Gyakori hibák
- Nem veszi észre az időbeli szivárgást. A jövő ismerete hamis sikereket eredményez a laboratóriumban.
- Elégedjen meg a pontossággal. Kiegyensúlyozatlan adatok esetén a pontosság félrevezető; Érzékenység és kalibrálás szükséges.
- Nem jelentik az alcsoportokat. Az általános mérőszám elrejti az elfogultságot és az egyenlőtlenséget.
- Kalibrálás kihagyása. Még egy jó rangsorolási modell is hibázhat a küszöbérték döntései során.
- A döntést a modellre bízzuk. A kimenet támogatás; A kezelési döntés a klinikai csapaton múlik.
Összefoglalva
- Az EHR-adatok erőteljesek, de hézagosak, hiányosak és elfogultak; A tisztítás és a kódolás kritikus lépések.
- Az időleges szivárgás a legálomosabb hiba; A jövőbeli tudás hamis sikereket eredményez a laboratóriumban.
- Az osztálykiegyensúlyozatlanság és a torzítás félrevezetővé teszi a pontossági mérőszámot.
- Az értékelésnek tartalmaznia kell a megkülönböztetést, a kalibrálást, az alcsoportosítást és a klinikai hasznosságot.
- Az előrejelzési kimenetek támogatottak; A diagnózis és a kezelési döntések a klinikai csapathoz tartoznak.
Pályázati feladat
Készítsen egy előrejelzési célt és egy tíz változóból álló listát (szándékosan adjon meg egy „prospektus” változót, például elbocsátási diagnózist). A hatékony prompt segítségével ellenőrizze a modell szivárgását, és ellenőrizze, hogy rögzíti-e ezt a változót. Ezután írjon egy értékelési keretrendszert ehhez a modellhez három tételben, beleértve a megkülönböztetést, a kalibrálást és az alcsoportosítást.
ellenőrző lista
- [ ] Megértem az EHR adatok kinyerési, tisztítási, kódolási és modellezési lépéseit.
- [ ] Felismerem az időleges szivárgást, és megnézem az ingatlanlistát.
- [ ] Rájöttem, hogy az osztálykiegyensúlyozatlanság és az előítéletek hogyan vezetik félre a pontosságot.
- [ ] Tudom, mi a különbség a megkülönböztetés és a kalibrálás között, és mindkettő szükségességét.
- [ ] A prediktív kimenetet támogatásként tudom pozícionálni, nem döntésként.