Dobici:
- Sposobnost objašnjavanja koraka u čišćenju, kodiranju i analizi podataka elektronskog zdravstvenog kartona (EHR) pomoću umjetne inteligencije.
- Sposobnost prepoznavanja rizika kliničkih podataka kao što su podaci koji nedostaju, pristranost, neravnoteža klase i vremensko curenje
- Sposobnost validacije rezultata prediktivnog modela kroz kalibraciju, performanse podgrupe i kliničku korisnost
Memorija modernih bolnica je elektronski zdravstveni karton (EHR): digitalna zbirka dijagnoza, laboratorijskih rezultata, lijekova, procedura, bilješki medicinskih sestara i zapažanja liječnika. Ovi podaci su i blago i minsko polje za umjetnu inteligenciju. Blago jer sadrži milione bolesnih godišnjih obrazaca; minsko polje jer su klinički podaci neorganizirani, nepotpuni, pristrani i puni vremenskih zamki. Ova jedinica uključuje čišćenje, kodiranje i analizu EHR podataka pomoću vještačke inteligencije; najpodmuklije greške (vremensko curenje, pristrasnost, klasna neravnoteža); i videćemo kako se validiraju rezultati prediktivnog modela.
Podsjetimo od početka: model rizika može reći "ovaj pacijent ima veliku vjerovatnoću ponovnog prijema"; ali ovo je rezultat podrške odlučivanju, a ne odluka o dijagnozi ili liječenju. AI ne postavlja dijagnozu; Odluka je na ljekaru i kliničkom timu.
Koraci za rad sa EHR podacima
Korak 1 — Oduzmite i spojite. Podaci dolaze iz različitih sistema (laboratorija, farmacija, radiologija); kombinuje se sa ID-om pacijenta. U ovoj fazi, povjerljivost je najveći prioritet (vidi Jedinicu 10).
Korak 2 — Čišćenje. Nedostajuće vrijednosti, nedosljednosti jedinica (zbrka mg/dL i mmol/L), dupli zapisi i malo vjerojatne vrijednosti (200 godina, krvni pritisak 0) se eliminišu. AI je ovdje jak u označavanju izvanrednih vrijednosti i strukturiranju slobodnog teksta.
Korak 3 — Kodiranje i standardizacija. Dijagnoze se mapiraju u standardne kodove kao što je ICD (Međunarodna klasifikacija bolesti), a lijekovi se mapiraju u standardne rječnike. Izdvajanje strukturiranih informacija iz bilješki slobodnog teksta naziva se obrada prirodnog jezika (NLP); AI je ovdje vrijedan, ali njegov izlaz zahtijeva validaciju.
Korak 4 — Inženjering karakteristika. Unosi modela se generiraju iz sirovih podataka: posljednja laboratorijska vrijednost, trend, broj lijekova, rezultat komorbiditeta, itd.
Korak 5 — Modeliranje i evaluacija. Prediktivni model je izgrađen i – najkritičniji dio – procijenjen na pažljiv način, bez curenja.
Tri najpodmuklije greške
Vremensko curenje. Stavljanje informacija u funkciju koja još ne postoji u vrijeme predviđanja. Na primjer, korištenjem otpusne dijagnoze ili laboratorijskog testiranja posljednjeg dana za procjenu rizika od smrti pri prijemu. Model izgleda savršeno u laboratoriji, ali se ruši u stvarnoj upotrebi jer je vidio "budućnost".
Predrasude. Podaci odražavaju prošle kliničke odluke; Ako su ove odluke već nejednake, model to uči i pojačava. Na primjer, ako je određena grupa u prošlosti bila manje naručena za testiranje, model bi mogao pomisliti da je bolest "niža" u toj grupi.
Klasna neravnoteža. Ako je događaj od interesa (npr. rijetka komplikacija) 1% podataka, model koji uvijek kaže "bez događaja" izgledao bi 99% tačan, ali bi bio beskorisan. Umjesto tačnosti, potrebna je osjetljivost, preciznost i metrika zasnovana na događajima.
Evaluacija: diskriminacija nije dovoljna, kalibracija je neophodna
Postoje dva različita pitanja. Diskriminacija (tipična mjera AUC): da li model ispravno rangira pacijente prema riziku? Kalibracija: da li se vjerovatnoće koje daje model poklapaju sa stvarnim frekvencijama? Da li otprilike 20% pacijenata koji kažu "20% rizika" zaista ima neki događaj? Budući da se odluke donose na osnovu pragova u klinici, dobro rangiran, ali loše kalibriran model će dovesti do pogrešnih odluka o pragu. Dodatno, učinak podgrupa (dob, spol, etnička pripadnost, bolnica) treba posebno izvještavati i postaviti pitanje kliničke korisnosti (da li korištenje ovog modela zaista daje bolje rezultate?).
Tri mini slučaja: prema brojevima
Slučaj 1 — Uspjeh naduvan curenjem. Model readmisije dao je AUC od 0,92 u internom testiranju; izgledalo je sjajno. Pregledom je utvrđeno da karakteristike uključuju „ambulantni pregled nakon otpusta“; Ove informacije nisu bile dostupne u vrijeme predviđanja. Nakon što je curenje očišćeno, AUC je pao na 0,71 - realna i upotrebljiva vrijednost.
Slučaj 2 — Kalibracijski pomak. Dok je ocjena ranog upozorenja sepse bila dobro kalibrirana u bolnici u kojoj je razvijena, profil pacijenata je pokazao dvostruko veću stvarnu stopu događaja za isti rezultat u drugoj bolnici. Rezultat je rangiran ispravno, ali vjerovatnoće su bile pogrešne; prag se ne može koristiti bez ponovnog kalibriranja.
Slučaj 3 — Ušteda vremena uz NLP. Jedan istraživački tim je ručno izvlačio istoriju pušenja iz 12.000 bilješki pacijenata; Otprilike 2 minute po noti, ukupno 400 sati. Ekstrakcija uz pomoć NLP-a smanjila je ovo na nekoliko sati; Tim je samo ručno provjerio nasumično odabran uzorak validacije koji je model ostavio "nejasan". Kritično je bilo pažljivo ispitivanje uzorka za validaciju.
Slaba prompt / jaka prompt
Slab upit:
Izgradite model rizika od ovih podataka o pacijentu i prijavite rezultate.[podaci]
Snažan upit:
Vaša uloga: Vi ste asistent za analizu kliničkih podataka (VI NE ODLUČUJETE). Kritikujte PLAN modela predviđanja za sljedeću listu anonimnih varijabli: - Označite da li je svaka varijabla prisutna u vrijeme predviđanja (rizik od vremenskog curenja). - Navedite neravnotežu klasa i potencijalne izvore pristranosti. - Predložite diskriminaciju + kalibraciju + podgrupu + kliničku korisnost za evaluaciju. - Navedite da odluka ostaje na kliničkom timu. Anonimne varijable i cilj:[list]
Četiri predloška koji se mogu kopirati
1) Inspekcija curenja:
Klasificirajte sljedeću listu karakteristika kao "dostupne u vrijeme predviđanja" / "buduće informacije (curenje)" i opravdajte to. Cilj i trenutak predviđanja: [definicija]. Karakteristike: [lista]
2) Izvještaj o kvaliteti podataka:
Provjerite nedostaje li stopa vrijednosti, nedostajuće vrijednosti, nedosljednost jedinice i duplikat zapisa za ovu anonimnu tabelu; Pojavljuje se tabela sa sažetkom kvalitete. Tabela: [podaci]
3) NLP šema verifikacije zaključivanja:
Napišite plan validacije za NLP korak koji izdvaja [varijable] iz komentara slobodnog teksta: slučajnu veličinu uzorka, označavanje zlatnim standardom, metriku uklapanja, analizu grešaka.
4) Okvir za evaluaciju:
Napišite nacrt okvira za evaluaciju za ovaj klinički model: diskriminacija (AUC), kalibracijska kriva, performanse podgrupe, analiza krive odluke. Model: [opis]
Uloga modela: prema vrsti zadatka
Vrsta zadatka
AI doprinos
kritičnost
verifikacija
Čišćenje podataka/izbacivanje podataka
visoko
nisko
provjeru na licu mjesta
NLP ekstrakcija iz bilješki
visoko
srednje
Validacija uzorka
Bodovanje rizika/predviđanja
srednje
visoko
Kalibracija + podgrupa
Planiranje resursa/kapaciteta
srednje
srednje
Odobrenje poslovne jedinice
Odluka o tretmanu
ograničeno
veoma visoko
Puno odobrenje lekara
Savjet: Ako je AUC kliničkog modela neočekivano visok (npr. iznad 0,95), potražite vremensko curenje prije slavlja. U stvarnom svijetu, tako visoke vrijednosti obično su znak curenja informacija.
Oprez: Model može naučiti i pojačati nejednakosti u istorijskim podacima. Visoka ukupna preciznost može implicirati sistematsku štetu u određenim grupama pacijenata; Učinak uvijek treba izvještavati u podgrupama.
Uobičajene greške
- Ne primjećujete vremensko curenje. Znanje o budućnosti proizvodi lažan uspjeh u laboratoriji.
- Budite zadovoljni preciznošću. Tačnost dovodi u zabludu sa neuravnoteženim podacima; Potrebna je osjetljivost i kalibracija.
- Ne prijavljuju podgrupe. Ukupna metrika skriva pristrasnost i nejednakost.
- Preskakanje kalibracije. Čak i dobar model za rangiranje može pogriješiti u svojim odlukama o pragu.
- Odluku prepuštamo modelu. Rezultat je podrška; Odluka o liječenju je na kliničkom timu.
Ukratko
- EHR podaci su moćni, ali nepotpuni, nepotpuni i pristrasni; čišćenje i kodiranje su kritični koraci.
- Vremensko curenje je najpodmukla greška; Buduće znanje proizvodi lažan uspjeh u laboratoriji.
- Klasna neravnoteža i pristrasnost čine metriku tačnosti pogrešnom.
- Evaluacija bi trebala uključivati diskriminaciju, kalibraciju, podgrupiranje i kliničku korisnost.
- Rezultati prognoze su podrška; Dijagnoza i odluke o liječenju pripadaju kliničkom timu.
Zadatak aplikacije
Izradite cilj predviđanja i listu od deset varijabli (namjerno uključite varijablu „perspektive“, npr. dijagnozu otpuštanja). Upotrijebite moćnu prompt da provjerite da li model curi i da vidite da li bilježi ovu varijablu. Zatim napišite okvir evaluacije za ovaj model u tri stavke, uključujući diskriminaciju, kalibraciju i podgrupiranje.
kontrolna lista
- [ ] Razumijem korake ekstrakcije, čišćenja, kodiranja i modeliranja u radu sa EHR podacima.
- [ ] Mogu prepoznati vremensko curenje i pregledati popis nekretnina.
- [ ] Shvatio sam kako klasna neravnoteža i predrasude dovode u zabludu tačnost.
- [ ] Znam razliku između diskriminacije i kalibracije i neophodnost i jednog i drugog.
- [ ] Mogu pozicionirati prediktivni izlaz kao podršku, a ne odluku.