Ieguvumi:
- Spēja izskaidrot soļus elektronisko veselības karšu (EHR) datu tīrīšanai, kodēšanai un analīzei ar mākslīgo intelektu.
- Spēja atpazīt klīnisko datu riskus, piemēram, trūkstošos datus, novirzes, klases nelīdzsvarotību un īslaicīgu noplūdi
- Spēja apstiprināt prognozētā modeļa rezultātus, izmantojot kalibrēšanu, apakšgrupu veiktspēju un klīnisko lietderību
Mūsdienu slimnīcu atmiņa ir elektroniskā veselības karte (EHR): diagnožu, laboratorijas rezultātu, medikamentu, procedūru, medmāsu piezīmju un ārstu novērojumu digitāla kolekcija. Šie dati ir gan dārgums, gan mākslīgā intelekta mīnu lauks. Dārgums, jo tajā ir miljoniem slimu gada modeļu; mīnu lauks, jo klīniskie dati ir nesakārtoti, nepilnīgi, neobjektīvi un pilni ar laika slazdiem. Šī vienība ietver EHR datu tīrīšanu, kodēšanu un analīzi ar mākslīgo intelektu; mānīgākās kļūdas (laika noplūde, novirze, klases nelīdzsvarotība); un mēs redzēsim, kā tiek apstiprināti prognozētā modeļa rezultāti.
Atgādināsim no sākuma: riska modelis var teikt "šim pacientam ir liela atpakaļuzņemšanas iespējamība"; bet tas ir lēmuma atbalsta rezultāts, nevis diagnoze vai ārstēšanas lēmums. AI neveic diagnozi; Lēmumu pieņem ārsts un klīniskā komanda.
Darbības ar EHR datiem
1. darbība — atņemt un sapludināt. Dati nāk no dažādām sistēmām (laboratorija, aptieka, radioloģija); tiek apvienots ar pacienta ID. Šajā posmā konfidencialitāte ir augstākā prioritāte (sk. 10. nodaļu).
2. solis – tīrīšana. Trūkstošās vērtības, vienību neatbilstības (mg/dL un mmol/L sajaukšana), ierakstu dublikāti un maz ticamas vērtības (200 gadu vecums, asinsspiediens 0) tiek novērstas. AI šeit ir spēcīgs izņēmumu atzīmēšanā un brīvā teksta strukturēšanā.
3. solis — kodēšana un standartizācija. Diagnozes tiek kartētas uz standarta kodiem, piemēram, ICD (Starptautiskā slimību klasifikācija), un medikamenti tiek kartēti standarta vārdnīcās. Strukturētas informācijas izvilkšanu no brīvā teksta piezīmēm sauc par dabiskās valodas apstrādi (NLP); AI šeit ir vērtīgs, taču tā izvadei ir nepieciešama validācija.
4. darbība — funkciju izstrāde. Modeļa ievades tiek ģenerētas no neapstrādātajiem datiem: pēdējā laboratorijas vērtība, tendence, medikamentu skaits, blakusslimību rādītājs utt.
5. posms — modelēšana un novērtēšana. Prognozējošais modelis ir izveidots un – vissvarīgākā daļa – novērtēts rūpīgi, bez noplūdēm.
Trīs mānīgākās kļūdas
Pagaidu noplūde. Informācijas ievietošana objektā, kas prognozēšanas brīdī vēl nepastāv. Piemēram, izmantojot izrakstīšanas diagnostiku vai pēdējās dienas laboratorijas testus, lai novērtētu nāves risku uzņemšanas laikā. Modelis laboratorijā izskatās ideāli, bet reālajā lietošanā avarē, jo ir redzējis "nākotni".
Aizspriedumi. Dati atspoguļo pagātnes klīniskos lēmumus; Ja šie lēmumi jau ir nevienlīdzīgi, modelis to apgūst un pastiprina. Piemēram, ja noteiktai grupai vēsturiski testēšanai ir pasūtīts mazāk, modelis varētu domāt, ka slimība šajā grupā ir “zemāka”.
Klases nelīdzsvarotība. Ja interesējošais notikums (piemēram, reta komplikācija) ir 1% no datiem, modelis, kas vienmēr saka "nav notikuma", izskatītos 99% precīzs, bet būtu bezjēdzīgs. Precizitātes vietā ir nepieciešama jutība, precizitāte un uz notikumiem balstīta metrika.
Novērtējums: ar diskrimināciju nepietiek, kalibrēšana ir obligāta
Ir divi dažādi jautājumi. Diskriminācija (tipisks AUC rādītājs): vai modelis pareizi sarindo pacientus pēc riska? Kalibrēšana: vai modeļa dotās varbūtības sakrīt ar faktiskajām frekvencēm? Vai aptuveni 20% pacientu, kuri saka "20% risks", tiešām ir kāds notikums? Tā kā lēmumi tiek pieņemti, pamatojoties uz sliekšņiem klīnikā, labi klasificēts, bet slikti kalibrēts modelis novedīs pie nepareiziem sliekšņa lēmumiem. Turklāt atsevišķi jāziņo par apakšgrupu veiktspēju (vecums, dzimums, etniskā piederība, slimnīca) un jāuzdod jautājums par klīnisko lietderību (vai šī modeļa izmantošana tiešām dod labākus rezultātus?).
Trīs mini futrāļi: pēc skaitļiem
1. gadījums — noplūdes dēļ panākumi. Atpakaļuzņemšanas modelis iekšējā pārbaudē uzrādīja AUC 0,92; tas izskatījās lieliski. Pārskatā tika konstatēts, ka funkcijas ietvēra "ambulatoro iecelšanu pēc izrakstīšanas"; Šī informācija prognozēšanas brīdī nebija pieejama. Kad noplūde tika novērsta, AUC samazinājās līdz 0,71 — reāla un izmantojama vērtība.
2. gadījums — kalibrēšanas novirze. Lai gan sepses agrīnās brīdināšanas rādītājs bija labi kalibrēts slimnīcā, kur tas tika izstrādāts, pacienta profils uzrādīja divreiz lielāku faktisko notikumu biežumu tam pašam rezultātam citā slimnīcā. Rezultāts tika sakārtots pareizi, bet varbūtības bija nepareizas; slieksni nevarēja izmantot bez atkārtotas kalibrēšanas.
3. gadījums — laika taupīšana, izmantojot NLP. Viena pētnieku grupa manuāli ieguva smēķēšanas vēsturi no 12 000 pacientu piezīmēm; Apmēram 2 minūtes vienai noti, kopā 400 stundas. Ekstrakcija ar NLP palīdzību samazināja to līdz dažām stundām; Komanda tikai manuāli pārbaudīja nejauši atlasītu validācijas paraugu, kuru modelis atstāja "neskaidru". Kritiska bija validācijas parauga rūpīga pārbaude.
Vāja uzvedne / spēcīga uzvedne
Vāja uzvedne:
No šiem pacienta datiem izveidojiet riska modeli un ziņojiet par rezultātiem.[dati]
Spēcīga uzvedne:
Jūsu loma: Jūs esat klīnisko datu analīzes asistents (JUMS NEIZLĒMĀT). Kritizējiet prognozēšanas modeļa PLĀNU šādam anonīmo mainīgo sarakstam: - atzīmējiet, vai katrs mainīgais ir klāt prognozēšanas brīdī (laika noplūdes risks). - Norādiet klases nelīdzsvarotību un iespējamos novirzes avotus. - Iesakiet diskrimināciju + kalibrēšanu + apakšgrupu + klīnisko lietderību novērtēšanai. - Norādiet, ka lēmumu pieņem klīniskā komanda. Anonīmi mainīgie un mērķis: [saraksts]
Četras kopējamas veidnes
1) Noplūdes pārbaude:
Klasificējiet šo funkciju sarakstu kā "pieejams prognozēšanas brīdī" / "nākotnes informācija (noplūde)" un pamatojiet to. Prognozes mērķis un brīdis: [definīcija]. Funkcijas: [saraksts]
2) Datu kvalitātes pārskats:
Pārbaudiet, vai šai anonīmajai tabulai nav trūkstošo vērtību koeficienta, trūkstošās vērtības, vienības neatbilstības un ieraksta dublikātu; Tiek parādīta kvalitātes kopsavilkuma tabula. Tabula: [dati]
3) NLP secinājumu pārbaudes shēma:
Uzrakstiet validācijas plānu NLP solim, kas izņem [mainīgo] no brīvā teksta anotācijām: izlases lielums, zelta standarta marķējums, atbilstības metrika, kļūdu analīze.
4) Novērtēšanas sistēma:
Uzrakstiet šī klīniskā modeļa novērtējuma ietvara projektu: diskriminācija (AUC), kalibrēšanas līkne, apakšgrupu veiktspēja, lēmumu līknes analīze. Modelis: [apraksts]
Modeļa loma: pēc uzdevuma veida
Uzdevuma veids
AI ieguldījums
kritiskums
verifikācija
Datu tīrīšana / izņēmums
augsts
zems
pārbaude uz vietas
NLP ekstrakcija no piezīmēm
augsts
vidējs
Parauga validācija
Riska/prognozes vērtēšana
vidējs
augsts
Kalibrēšana + apakšgrupa
Resursu/kapacitātes plānošana
vidējs
vidējs
Biznesa vienības apstiprināšana
Lēmums par ārstēšanu
ierobežots
ļoti augsts
Pilnīga ārsta atļauja
Padoms: ja klīniskā modeļa AUC ir negaidīti augsts (piemēram, virs 0,95), pirms svinēšanas meklējiet īslaicīgu noplūdi. Reālajā pasaulē šādas augstas vērtības parasti liecina par informācijas noplūdi.
Uzmanību: modelis var mācīties un pastiprināt vēsturisko datu nevienlīdzību. Augsta vispārējā precizitāte var nozīmēt sistemātisku kaitējumu noteiktām pacientu grupām; Veiktspēja vienmēr jāziņo apakšgrupās.
Biežas kļūdas
- Nepamanot īslaicīgu noplūdi. Zināšanas par nākotni rada viltus panākumus laboratorijā.
- Esiet apmierināts ar precizitāti. Precizitāte ir maldinoša ar nesabalansētiem datiem; Nepieciešama jutība un kalibrēšana.
- Neziņo par apakšgrupām. Kopējā metrika slēpj neobjektivitāti un nevienlīdzību.
- Kalibrēšanas izlaišana. Pat labs reitinga modelis var kļūdīties savos sliekšņa lēmumos.
- Lēmumu atstājot modeles ziņā. Izvade ir atbalsts; Lēmumu par ārstēšanu pieņem klīniskā komanda.
Rezumējot
- EHR dati ir spēcīgi, taču nevienmērīgi, nepilnīgi un neobjektīvi; tīrīšana un kodēšana ir kritiski soļi.
- Pagaidu noplūde ir vismānīgākā kļūda; Nākotnes zināšanas rada viltus panākumus laboratorijā.
- Klases nelīdzsvarotība un novirzes padara precizitātes metriku maldinošu.
- Novērtējumā jāiekļauj diskriminācija, kalibrēšana, apakšgrupēšana un klīniskā lietderība.
- Prognožu rezultāti ir atbalsts; Diagnozes un ārstēšanas lēmumi pieder klīniskajai komandai.
Lietojumprogrammas uzdevums
Izveidojiet prognozēšanas mērķi un desmit mainīgo sarakstu (apzināti iekļaujiet “izredzes” mainīgo, piemēram, izlādes diagnozi). Izmantojiet jaudīgo uzvedni, lai pārbaudītu, vai modelī nav noplūdes, un pārbaudiet, vai tas tver šo mainīgo. Pēc tam uzrakstiet šī modeļa novērtēšanas ietvaru trīs pozīcijās, tostarp diskriminācija, kalibrēšana un apakšgrupēšana.
kontrolsaraksts
- [ ] Es saprotu ieguves, tīrīšanas, kodēšanas un modelēšanas darbības, strādājot ar EHR datiem.
- [ ] Es varu atpazīt īslaicīgu noplūdi un pārbaudīt īpašumu sarakstu.
- [ ] Es sapratu, kā klases nelīdzsvarotība un aizspriedumi maldina precizitāti.
- [ ] Es zinu atšķirību starp diskrimināciju un kalibrēšanu un abu nepieciešamību.
- [ ] Es varu pozicionēt paredzamo rezultātu kā atbalstu, nevis lēmumu.