Dobici:
- Sposobnost objašnjavanja koraka u čišćenju, kodiranju i analizi podataka elektroničkog zdravstvenog zapisa (EHR) pomoću umjetne inteligencije.
- Sposobnost prepoznavanja rizika kliničkih podataka kao što su podaci koji nedostaju, pristranost, neravnoteža klasa i vremensko curenje
- Sposobnost provjere prediktivnih rezultata modela putem kalibracije, izvedbe podskupina i kliničke korisnosti
Memorija modernih bolnica je elektronički zdravstveni karton (EHR): digitalna zbirka dijagnoza, laboratorijskih rezultata, lijekova, postupaka, bilješki medicinske sestre i zapažanja liječnika. Ovi podaci su i blago i minsko polje za umjetnu inteligenciju. Blago jer sadrži milijune bolesnih godišnjih uzoraka; minsko polje jer su klinički podaci neorganizirani, nepotpuni, pristrani i puni vremenskih zamki. Ova jedinica uključuje čišćenje, kodiranje i analizu EHR podataka s umjetnom inteligencijom; najpodmuklije pogreške (vremensko curenje, pristranost, klasna neravnoteža); i vidjet ćemo kako se provjeravaju rezultati prediktivnih modela.
Podsjetimo od početka: model rizika može reći "ovaj pacijent ima veliku vjerojatnost ponovnog prijema"; ali ovo je rezultat podrške odlučivanju, a ne odluka o dijagnozi ili liječenju. AI ne postavlja dijagnozu; Odluka je na liječniku i kliničkom timu.
Koraci za rad s EHR podacima
Korak 1 — Oduzmite i spojite. Podaci dolaze iz različitih sustava (laboratorija, farmacije, radiologije); kombinira se s ID-om pacijenta. U ovoj fazi povjerljivost je najveći prioritet (vidi jedinicu 10).
Korak 2 — Čišćenje. Vrijednosti koje nedostaju, nedosljednosti jedinica (konfuzija mg/dL i mmol/L), dvostruki zapisi i malo vjerojatne vrijednosti (dob 200, krvni tlak 0) su eliminirani. AI je ovdje jak u označavanju ekstremnih vrijednosti i strukturiranju slobodnog teksta.
Korak 3 — Kodiranje i standardizacija. Dijagnoze se mapiraju u standardne kodove kao što je ICD (Međunarodna klasifikacija bolesti), a lijekovi se mapiraju u standardne rječnike. Izdvajanje strukturiranih informacija iz bilješki slobodnog teksta naziva se obrada prirodnog jezika (NLP); AI je ovdje vrijedan, ali njegov rezultat zahtijeva provjeru valjanosti.
Korak 4 — Inženjering značajki. Unosi modela generiraju se iz neobrađenih podataka: zadnja laboratorijska vrijednost, trend, broj lijekova, rezultat komorbiditeta itd.
Korak 5 — Modeliranje i evaluacija. Prediktivni model je izgrađen i - najkritičniji dio - procijenjen na pažljiv način, bez curenja.
Tri najpodmuklije pogreške
Vremensko curenje. Stavljanje informacija u značajku koja još ne postoji u trenutku predviđanja. Na primjer, korištenje otpustne dijagnoze ili zadnjeg laboratorijskog testiranja za procjenu rizika od smrti pri prijemu. Model izgleda savršeno u laboratoriju, ali se ruši u stvarnoj uporabi jer je vidio "budućnost".
Predrasuda. Podaci odražavaju prošle kliničke odluke; Ako su te odluke već nejednake, model to uči i pojačava. Na primjer, ako je određena skupina povijesno bila naručena manje za testiranje, model bi mogao misliti da je bolest "niža" u toj skupini.
Klasna neravnoteža. Ako je događaj od interesa (npr. rijetka komplikacija) 1% podataka, model koji uvijek kaže "nema događaja" izgledao bi 99% točan, ali bi bio beskoristan. Umjesto točnosti, potrebna je osjetljivost, preciznost i metrika temeljena na događajima.
Evaluacija: diskriminacija nije dovoljna, kalibracija je obavezna
Postoje dva različita pitanja. Diskriminacija (tipična mjera AUC): rangira li model ispravno pacijente prema riziku? Kalibracija: odgovaraju li vjerojatnosti koje daje model stvarnim frekvencijama? Ima li približno 20% pacijenata koji kažu "20% rizika" stvarno neki događaj? Budući da se odluke donose na temelju pragova u klinici, dobro rangiran, ali loše kalibriran model dovest će do netočnih odluka o pragovima. Dodatno, učinak podskupine (dob, spol, etnička pripadnost, bolnica) treba prijaviti odvojeno i postaviti pitanje kliničke korisnosti (daje li uporaba ovog modela stvarno bolje rezultate?).
Tri mini kućišta: po brojevima
Slučaj 1 — Uspjeh napuhan curenjem. Model ponovnog prijema dao je AUC od 0,92 u internom testiranju; izgledalo je super. Pregledom je utvrđeno da značajke uključuju "ambulantni pregled nakon otpusta"; Ova informacija nije bila dostupna u vrijeme predviđanja. Nakon što je curenje očišćeno, AUC je pao na 0,71 — realna i upotrebljiva vrijednost.
Slučaj 2 — Kalibracijski pomak. Dok je rezultat ranog upozorenja na sepsu bio dobro kalibriran u bolnici u kojoj je razvijen, profil pacijenta pokazao je dvostruko veću stopu stvarnih događaja za isti rezultat u drugoj bolnici. Rezultat je bio točan, ali su vjerojatnosti bile pogrešne; prag se nije mogao koristiti bez ponovne kalibracije.
Slučaj 3 — Ušteda vremena uz NLP. Jedan istraživački tim ručno je izdvajao povijest pušenja iz 12 000 bilješki pacijenata; Otprilike 2 minute po bilješci, ukupno 400 sati. Ekstrakcija potpomognuta NLP-om svela je to na nekoliko sati; Tim je samo ručno provjerio nasumično odabrani uzorak za provjeru valjanosti koji je model ostavio "nejasnim". Presudno je bilo pažljivo ispitivanje uzorka za validaciju.
Slab upit / Jak upit
Slab upit:
Izradite model rizika od ovih podataka o pacijentu i prijavite rezultate.[podaci]
Snažan upit:
Vaša uloga: Vi ste pomoćnik u analizi kliničkih podataka (VI NE ODLUČUJETE). Kritikujte PLAN modela predviđanja za sljedeći popis anonimnih varijabli: - Označite je li svaka varijabla prisutna u vrijeme predviđanja (rizik od vremenskog curenja). - Navedite neravnotežu klasa i potencijalne izvore pristranosti. - Predložite diskriminaciju + kalibraciju + podskupinu + kliničku korisnost za evaluaciju. - Navedite da je odluka na kliničkom timu. Anonimne varijable i cilj:[popis]
Četiri predloška za kopiranje
1) Inspekcija curenja:
Klasificirajte sljedeći popis značajki kao "dostupan u vrijeme predviđanja" / "buduće informacije (curenje)" i opravdajte to. Cilj i trenutak predviđanja : [definicija]. Značajke: [popis]
2) Izvješće o kvaliteti podataka:
Provjerite nedostajuću stopu vrijednosti, nedostajuće vrijednosti, nedosljednost jedinica i dvostruki zapis za ovu anonimnu tablicu; Pojavljuje se tablica sa sažetkom kvalitete. Tablica: [podaci]
3) Shema verifikacije NLP zaključaka:
Napišite plan provjere valjanosti za NLP korak koji izvlači [varijablu] iz komentara slobodnog teksta: veličina slučajnog uzorka, označavanje zlatnim standardom, metrika prilagodbe, analiza pogreške.
4) Okvir evaluacije:
Napišite nacrt okvira evaluacije za ovaj klinički model: diskriminacija (AUC), kalibracijska krivulja, učinak podskupine, analiza krivulje odlučivanja. Model: [opis]
Uloga modela: prema vrsti zadatka
Vrsta zadatka
AI doprinos
kritičnost
provjera
Čišćenje podataka/outlier
visoka
nizak
provjera na licu mjesta
NLP izdvajanje iz bilješki
visoka
srednji
Validacija uzorka
Bodovanje rizika/predviđanja
srednji
visoka
Kalibracija + podskupina
Planiranje resursa/kapaciteta
srednji
srednji
Odobrenje poslovne jedinice
Odluka o liječenju
ograničeno
vrlo visoko
Potpuno odobrenje liječnika
Savjet: ako je AUC kliničkog modela neočekivano visok (npr. iznad 0,95), prije slavlja potražite vremensko istjecanje. U stvarnom svijetu, tako visoke vrijednosti obično su znak curenja informacija.
Oprez: model može naučiti i pojačati nejednakosti u povijesnim podacima. Visoka ukupna točnost može implicirati sustavnu štetu u određenim skupinama pacijenata; O učinku uvijek treba izvještavati u podskupinama.
Uobičajene greške
- Ne primjećuje vremensko curenje. Znanje o budućnosti proizvodi lažni uspjeh u laboratoriju.
- Budite zadovoljni preciznošću. Točnost dovodi u zabludu s neuravnoteženim podacima; Potrebna je osjetljivost i kalibracija.
- Podskupine se ne prijavljuju. Ukupna metrika skriva pristranost i nejednakost.
- Preskakanje kalibracije. Čak i dobar model rangiranja može pogriješiti u svojim odlukama o pragu.
- Prepuštajući odluku modelu. Izlaz je podrška; Odluka o liječenju ovisi o kliničkom timu.
Ukratko
- EHR podaci su snažni, ali nepotpuni, nepotpuni i pristrani; čišćenje i kodiranje ključni su koraci.
- Vremensko curenje je najpodmuklija pogreška; Buduće znanje proizvodi lažni uspjeh u laboratoriju.
- Neravnoteža klasa i pristranost čine metriku točnosti pogrešnom.
- Evaluacija bi trebala uključivati diskriminaciju, kalibraciju, podgrupiranje i kliničku korisnost.
- Izlazi predviđanja su podrška; Dijagnoza i odluke o liječenju pripadaju kliničkom timu.
Zadatak aplikacije
Konstruirajte cilj predviđanja i popis od deset varijabli (namjerno uključite varijablu "prospekta", npr. dijagnoza otpusta). Upotrijebite snažan prompt da provjerite ima li curenja u modelu i vidite bilježi li ovu varijablu. Zatim napišite evaluacijski okvir za ovaj model u tri stavke, uključujući diskriminaciju, kalibraciju i podgrupiranje.
popis za provjeru
- [ ] Razumijem korake izdvajanja, čišćenja, kodiranja i modeliranja rada s EHR podacima.
- [ ] Mogu prepoznati vremensko curenje i pregledati popis nekretnina.
- [ ] Shvatio sam kako klasna neravnoteža i predrasude dovode u zabludu točnost.
- [ ] Znam razliku između diskriminacije i kalibracije i nužnost obojega.
- [] Mogu pozicionirati prediktivni rezultat kao podršku, a ne kao odluku.