Mga nadagdag:
- Kakayahang ipaliwanag ang mga hakbang sa paglilinis, pag-coding at pagsusuri ng data ng electronic health record (EHR) gamit ang artificial intelligence.
- Kakayahang kilalanin ang mga panganib sa klinikal na data tulad ng nawawalang data, bias, kawalan ng timbang sa klase, at temporal na pagtagas
- Kakayahang patunayan ang mga predictive na output ng modelo sa pamamagitan ng pagkakalibrate, pagganap ng subgroup, at pagiging kapaki-pakinabang sa klinikal
Ang memorya ng mga modernong ospital ay ang electronic health record (EHR): isang digital na koleksyon ng mga diagnosis, mga resulta ng lab, mga gamot, pamamaraan, mga tala ng nars at mga obserbasyon ng doktor. Ang data na ito ay parehong isang kayamanan at isang minefield para sa artificial intelligence. Kayamanan dahil naglalaman ito ng milyun-milyong may sakit na taunang pattern; minefield dahil ang klinikal na data ay hindi organisado, hindi kumpleto, bias, at puno ng temporal na mga bitag. Kasama sa unit na ito ang paglilinis, pag-coding at pagsusuri ng data ng EHR gamit ang artificial intelligence; ang pinaka mapanlinlang na mga pagkakamali (temporal na pagtagas, bias, kawalan ng timbang sa klase); at makikita natin kung paano na-validate ang predictive model outputs.
Paalalahanan natin mula sa simula: ang isang modelo ng panganib ay maaaring magsabi na "ang pasyenteng ito ay may mataas na posibilidad na muling matanggap"; ngunit ito ay isang output ng suporta sa desisyon, hindi isang diagnosis o desisyon sa paggamot. Ang AI ay hindi nag-diagnose; Ang desisyon ay nasa doktor at klinikal na pangkat.
Mga Hakbang sa Paggawa gamit ang EHR Data
Hakbang 1 - Ibawas at pagsamahin. Ang data ay mula sa iba't ibang sistema (laboratoryo, parmasya, radiology); ay pinagsama sa ID ng pasyente. Sa yugtong ito, ang pagiging kumpidensyal ang pinakamataas na priyoridad (tingnan ang Yunit 10).
Hakbang 2 - Paglilinis. Ang mga nawawalang halaga, hindi pagkakapare-pareho ng unit (pagkalito ng mg/dL at mmol/L), mga duplicate na tala, at mga hindi malamang na halaga (edad 200, presyon ng dugo 0) ay inaalis. Malakas ang AI dito sa outlier flagging at libreng text structuring.
Hakbang 3 — Pag-coding at standardisasyon. Ang mga diagnosis ay namamapa sa mga karaniwang code gaya ng ICD (International Classification of Diseases), at ang mga gamot ay namamapa sa karaniwang mga diksyunaryo. Ang pagkuha ng nakabalangkas na impormasyon mula sa mga libreng tala ng teksto ay tinatawag na natural language processing (NLP); Ang AI ay mahalaga dito, ngunit ang output nito ay nangangailangan ng pagpapatunay.
Hakbang 4 — Feature engineering. Ang mga input ng modelo ay nabuo mula sa raw data: huling halaga ng laboratoryo, trend, bilang ng mga gamot, marka ng komorbididad, atbp.
Hakbang 5 — Pagmomodelo at pagsusuri. Ang predictive na modelo ay binuo at—ang pinaka-kritikal na bahagi—na sinusuri sa isang maingat, walang tagas na paraan.
Ang Tatlong Pinakamahinahon na Pagkakamali
Pansamantalang pagtagas. Paglalagay ng impormasyon sa feature na hindi pa umiiral sa oras ng hula. Halimbawa, ang paggamit ng discharge diagnosis o huling araw na pagsusuri sa laboratoryo upang matantya ang panganib ng kamatayan sa pagpasok. Ang modelo ay mukhang perpekto sa laboratoryo, ngunit nag-crash sa totoong paggamit dahil nakita nito ang "hinaharap".
Pagkiling. Ang data ay sumasalamin sa mga nakaraang klinikal na desisyon; Kung ang mga desisyong ito ay hindi pantay, ang modelo ay natututo at nagpapatibay nito. Halimbawa, kung ang isang partikular na grupo ay dating mas kaunting inutusan para sa pagsusuri, maaaring isipin ng modelo na ang sakit ay "mas mababa" sa pangkat na iyon.
Imbalance ng klase. Kung ang kaganapan ng interes (hal. isang bihirang komplikasyon) ay 1% ng data, ang isang modelo na palaging nagsasabing "walang kaganapan" ay magmumukhang 99% na tumpak ngunit magiging walang silbi. Sa halip na katumpakan, kailangan ang sensitivity, precision, at mga sukatan na nakabatay sa kaganapan.
Pagsusuri: Hindi Sapat ang Diskriminasyon, Kailangan ang Pag-calibrate
May dalawang magkaibang tanong. Diskriminasyon (karaniwang sukatan ng AUC): tama ba ang pagraranggo ng modelo sa mga pasyente ayon sa panganib? Pag-calibrate: tumutugma ba ang mga probabilidad na ibinigay ng modelo sa aktwal na mga frequency? May kaganapan ba ang humigit-kumulang 20% ng mga pasyente na nagsasabing "20% panganib"? Dahil ang mga desisyon ay ginawa batay sa mga threshold sa klinika, ang isang mahusay na ranggo ngunit hindi maganda ang pagkakalibrate na modelo ay hahantong sa mga maling desisyon sa threshold. Bukod pa rito, ang pagganap ng subgroup (edad, kasarian, etnisidad, ospital) ay dapat na iulat nang hiwalay at ang tanong ng klinikal na pagiging kapaki-pakinabang (ang paggamit ba ng modelong ito ay talagang nagbubunga ng mas mahusay na mga resulta?)
Tatlong Mini Case: Sa pamamagitan ng Mga Numero
Kaso 1 — Tagumpay na pinalaki ng pagtagas. Ang isang modelo ng readmission ay nagbunga ng AUC na 0.92 sa panloob na pagsubok; ito ay mukhang mahusay. Nalaman ng pagsusuri na kasama sa mga feature ang "appointment sa outpatient pagkatapos ng paglabas"; Ang impormasyong ito ay hindi magagamit sa oras ng hula. Kapag nalinis na ang pagtagas, bumaba ang AUC sa 0.71 — isang makatotohanan at magagamit na halaga.
Case 2 — Pag-calibrate drift. Habang ang marka ng maagang babala ng sepsis ay mahusay na na-calibrate sa ospital kung saan ito binuo, ang profile ng pasyente ay nagpakita ng dalawang beses sa aktwal na rate ng kaganapan para sa parehong marka sa ibang ospital. Tama ang ranggo ng marka ngunit mali ang mga probabilidad; hindi magagamit ang threshold nang walang pag-recalibrate.
Case 3 — Makatipid ng oras sa NLP. Isang pangkat ng pananaliksik ang manu-manong kinukuha ang kasaysayan ng paninigarilyo mula sa 12,000 tala ng pasyente; Humigit-kumulang 2 minuto bawat tala, kabuuang 400 oras. Ang pagkuha na tinulungan ng NLP ay binawasan ito sa ilang oras; Sinuri lang ng team ang isang random na napiling validation sample na iniwan ng modelo na "hindi malinaw." Kritikal ang masusing pagsusuri sa sample ng validation.
Mahina Prompt / Malakas na Prompt
Mahinang prompt:
Bumuo ng modelo ng panganib mula sa data ng pasyenteng ito at mag-ulat ng mga resulta.[data]
Napakahusay na prompt:
Ang iyong tungkulin: Isa kang clinical data analysis assistant (HINDI KA NAGPAPASYA). Pumuna sa isang prediction model PLAN para sa sumusunod na listahan ng mga hindi kilalang variable:- Markahan kung ang bawat variable ay naroroon sa oras ng hula (panganib ng temporal leakage).- Ilista ang kawalan ng timbang sa klase at mga potensyal na pinagmumulan ng bias.- Magmungkahi ng diskriminasyon + pagkakalibrate + subgroup + klinikal na pagiging kapaki-pakinabang para sa pagsusuri.- Sabihin na ang desisyon ay nakasalalay sa klinikal na pangkat. Mga hindi kilalang variable at target:[listahan]
Apat na Nakokopyang Template
1) Pag-inspeksyon sa pagtagas:
I-classify ang sumusunod na listahan ng mga feature bilang "available at the time of prediction" / "future information (leak)" at bigyang-katwiran ito. Layunin at sandali ng hula: [kahulugan]. Mga Tampok: [listahan]
2) Ulat sa kalidad ng data:
Suriin kung may nawawalang rate ng halaga, nawawalang mga halaga, hindi pagkakapare-pareho ng unit at duplicate na tala para sa hindi kilalang talahanayang ito; May lalabas na talahanayan ng buod ng kalidad. Talahanayan: [data]
3) NLP inference verification scheme:
Sumulat ng isang plano sa pagpapatunay para sa isang hakbang sa NLP na kumukuha ng [variable] mula sa mga annotation ng libreng text: random na laki ng sample, gold standard na label, fit metric, pagsusuri ng error.
4) Balangkas ng pagsusuri:
Sumulat ng draft na balangkas ng pagsusuri para sa klinikal na modelong ito: diskriminasyon (AUC), curve ng pagkakalibrate, pagganap ng subgroup, pagsusuri ng curve ng desisyon. Modelo: [paglalarawan]
Tungkulin ng Modelo: Ayon sa Uri ng Gawain
Uri ng gawain
kontribusyon ng AI
pagiging kritikal
pagpapatunay
Paglilinis/outlier ng data
mataas
mababa
spot check
Pagkuha ng NLP mula sa mga tala
mataas
daluyan
Sample na pagpapatunay
Pagmamarka ng panganib/hula
daluyan
mataas
Pag-calibrate + subgroup
Pagpaplano ng mapagkukunan/kapasidad
daluyan
daluyan
Pag-apruba ng yunit ng negosyo
Pagpapasya sa paggamot
limitado
napakataas
Buong pag-apruba ng manggagamot
Tip: Kung ang AUC ng isang klinikal na modelo ay hindi inaasahang mataas (hal. higit sa 0.95), hanapin ang temporal na pagtagas bago magdiwang. Sa totoong mundo, ang mga ganitong matataas na halaga ay karaniwang tanda ng pagtagas ng impormasyon.
Babala: Maaaring matutunan at mapalakas ng modelo ang mga hindi pagkakapantay-pantay sa makasaysayang data. Ang mataas na pangkalahatang katumpakan ay maaaring magpahiwatig ng sistematikong pinsala sa ilang partikular na grupo ng pasyente; Dapat palaging iulat ang pagganap sa mga subgroup.
Mga karaniwang pagkakamali
- Hindi napapansin ang temporal na pagtagas. Ang kaalaman sa hinaharap ay nagbubunga ng maling tagumpay sa laboratoryo.
- Masiyahan sa katumpakan. Ang katumpakan ay nakakapanlinlang sa hindi balanseng data; Kinakailangan ang pagiging sensitibo at pagkakalibrate.
- Hindi nag-uulat ng mga subgroup. Itinatago ng pangkalahatang sukatan ang bias at hindi pagkakapantay-pantay.
- Nilaktawan ang pagkakalibrate. Kahit na ang isang mahusay na modelo ng pagraranggo ay maaaring magkamali sa mga desisyon sa threshold nito.
- Ipaubaya ang desisyon sa modelo. Ang output ay suporta; Ang desisyon sa paggamot ay nasa klinikal na pangkat.
Sa buod
- Ang data ng EHR ay malakas ngunit tagpi-tagpi, hindi kumpleto, at may kinikilingan; ang paglilinis at coding ay mga kritikal na hakbang.
- Ang pansamantalang pagtagas ay ang pinaka mapanlinlang na pagkakamali; Ang kaalaman sa hinaharap ay nagbubunga ng maling tagumpay sa laboratoryo.
- Dahil sa kawalan ng balanse at pagkiling ng klase, naliligaw ang sukatan ng katumpakan.
- Dapat kasama sa pagsusuri ang diskriminasyon, pagkakalibrate, subgrouping, at klinikal na pagiging kapaki-pakinabang.
- Ang mga output ng pagtataya ay suporta; Ang diagnosis at mga desisyon sa paggamot ay nabibilang sa pangkat ng klinikal.
Gawain ng aplikasyon
Bumuo ng layunin sa paghula at isang listahan ng sampung variable (sinasadyang magsama ng variable na "prospect", hal. diagnosis ng paglabas). Gamitin ang malakas na prompt upang suriin ang modelo para sa mga tagas at tingnan kung nakukuha nito ang variable na ito. Pagkatapos ay magsulat ng balangkas ng pagsusuri para sa modelong ito sa tatlong item, kabilang ang diskriminasyon, pagkakalibrate, at subgrouping.
checklist
- [ ] Naiintindihan ko ang mga hakbang sa pagkuha, paglilinis, coding, at pagmomodelo ng pagtatrabaho sa EHR data.
- [ ] Nakikilala ko ang temporal na pagtagas at nasusuri ang listahan ng ari-arian.
- [ ] Napagtanto ko kung paano nililinlang ng kawalan ng balanse ng klase at pagkiling ang katumpakan.
- [ ] Alam ko ang pagkakaiba sa pagitan ng diskriminasyon at pagkakalibrate at ang pangangailangan ng pareho.
- [ ] Maaari kong iposisyon ang predictive na output bilang suporta, hindi desisyon.