Fitimet:
- Aftësia për të shpjeguar hapat në pastrimin, kodimin dhe analizimin e të dhënave elektronike të të dhënave shëndetësore (EHR) me inteligjencë artificiale.
- Aftësia për të njohur rreziqet e të dhënave klinike siç janë të dhënat e munguara, paragjykimi, çekuilibri i klasës dhe rrjedhja e përkohshme
- Aftësia për të vërtetuar rezultatet e modelit parashikues përmes kalibrimit, performancës së nëngrupit dhe dobisë klinike
Kujtesa e spitaleve moderne është rekordi elektronik shëndetësor (EHR): një koleksion dixhital i diagnozave, rezultateve laboratorike, medikamenteve, procedurave, shënimeve të infermierëve dhe vëzhgimeve të mjekut. Këto të dhëna janë një thesar dhe një fushë e minuar për inteligjencën artificiale. Thesar sepse përmban miliona modele të sëmura vjetore; fushë e minuar sepse të dhënat klinike janë të çorganizuara, të paplota, të njëanshme dhe plot kurthe të përkohshme. Kjo njësi përfshin pastrimin, kodimin dhe analizimin e të dhënave EHR me inteligjencë artificiale; gabimet më tinëzare (rrjedhje e përkohshme, paragjykim, çekuilibër i klasës); dhe do të shohim se si vërtetohen rezultatet e modelit parashikues.
Të kujtojmë që në fillim: një model risku mund të thotë “ky pacient ka një probabilitet të lartë ripranimi”; por ky është një rezultat i mbështetjes së vendimit, jo një vendim për diagnozën ose trajtimin. AI nuk diagnostikon; Vendimi i takon mjekut dhe ekipit klinik.
Hapat për të punuar me të dhënat EHR
Hapi 1 - Zbrisni dhe bashkoni. Të dhënat vijnë nga sisteme të ndryshme (laborator, farmaci, radiologji); kombinohet me ID-në e pacientit. Në këtë fazë, konfidencialiteti është prioriteti më i lartë (shih Njësinë 10).
Hapi 2 - Pastrimi. Vlerat që mungojnë, mospërputhjet e njësive (konfuzioni mg/dL dhe mmol/L), të dhënat e dyfishta dhe vlerat e pamundura (mosha 200, presioni i gjakut 0) eliminohen. Inteligjenca artificiale është e fortë këtu në raportimin e jashtëm dhe strukturimin e tekstit të lirë.
Hapi 3 — Kodimi dhe standardizimi. Diagnozat vendosen në kode standarde të tilla si ICD (Klasifikimi Ndërkombëtar i Sëmundjeve) dhe medikamentet janë hartuar në fjalorë standardë. Nxjerrja e informacionit të strukturuar nga shënimet e tekstit të lirë quhet përpunimi i gjuhës natyrore (NLP); AI është i vlefshëm këtu, por prodhimi i tij kërkon vërtetim.
Hapi 4 - Inxhinieri e veçorive. Të dhënat e modelit gjenerohen nga të dhënat e papërpunuara: vlera e fundit laboratorike, tendenca, numri i medikamenteve, rezultati i komorbiditetit, etj.
Hapi 5 — Modelimi dhe vlerësimi. Modeli parashikues është ndërtuar dhe - pjesa më kritike - vlerësohet në një mënyrë të kujdesshme, pa rrjedhje.
Tre gabimet më të fshehta
Rrjedhje e përkohshme. Vendosja e informacionit në veçorinë që nuk ekziston ende në kohën e parashikimit. Për shembull, duke përdorur diagnozën e shkarkimit ose testimin laboratorik të ditës së fundit për të vlerësuar rrezikun e vdekjes gjatë pranimit. Modelja duket perfekte në laborator, por rrëzohet në përdorim real sepse ka parë “të ardhmen”.
Paragjykimi. Të dhënat pasqyrojnë vendimet e kaluara klinike; Nëse këto vendime janë tashmë të pabarabarta, modeli e mëson dhe e përforcon këtë. Për shembull, nëse një grup i caktuar historikisht është porositur më pak për testim, modeli mund të mendojë se sëmundja është "më e ulët" në atë grup.
Mosbalancimi i klasës. Nëse ngjarja me interes (p.sh. një ndërlikim i rrallë) është 1% e të dhënave, një model që thotë gjithmonë "asnjë ngjarje" do të dukej 99% i saktë, por do të ishte i padobishëm. Në vend të saktësisë, kërkohet ndjeshmëri, saktësi dhe metrika të bazuara në ngjarje.
Vlerësimi: Diskriminimi nuk mjafton, kalibrimi është i domosdoshëm
Ka dy pyetje të ndryshme. Diskriminimi (masë tipike e AUC): a i rendit modeli saktë pacientët sipas rrezikut? Kalibrimi: a përputhen probabilitetet e dhëna nga modeli me frekuencat aktuale? A kanë në të vërtetë një ngjarje afërsisht 20% e pacientëve që thonë "20% rrezik"? Meqenëse vendimet merren në bazë të pragjeve në klinikë, një model i renditur mirë, por i kalibruar dobët do të çojë në vendime të gabuara të pragut. Për më tepër, performanca e nëngrupeve (mosha, gjinia, përkatësia etnike, spitali) duhet të raportohet veçmas dhe duhet shtruar pyetja e dobisë klinike (a prodhon vërtet rezultate më të mira përdorimi i këtij modeli?).
Tre Mini Rastet: Nga Numrat
Rasti 1 - Suksesi i fryrë nga rrjedhjet. Një model ripranimi dha një AUC prej 0.92 në testimin e brendshëm; dukej e mrekullueshme. Rishikimi zbuloi se veçoritë përfshinin "caktimin me pacient të jashtëm pas daljes nga spitali"; Ky informacion nuk ishte i disponueshëm në kohën e parashikimit. Pasi u pastrua rrjedhja, AUC ra në 0.71 - një vlerë realiste dhe e përdorshme.
Rasti 2 - Zhvendosja e kalibrimit. Ndërsa një rezultat i paralajmërimit të hershëm të sepsës ishte i kalibruar mirë në spitalin ku u zhvillua, profili i pacientit tregoi dyfishin e shkallës aktuale të ngjarjeve për të njëjtin rezultat në një spital tjetër. Renditja ishte e saktë, por probabilitetet ishin të gabuara; pragu nuk mund të përdorej pa rikalibrim.
Rasti 3 - Kursimi i kohës me NLP. Një ekip kërkimor po nxirrte manualisht historinë e pirjes së duhanit nga 12,000 shënime të pacientëve; Përafërsisht 2 minuta për notë, gjithsej 400 orë. Nxjerrja e ndihmuar nga NLP e reduktoi këtë në disa orë; Ekipi kontrolloi vetëm një mostër verifikimi të zgjedhur rastësisht që modeli e la "të paqartë". Kritik ishte ekzaminimi i përpiktë i mostrës së vlefshmërisë.
Prompt i dobët / Prompt i fortë
Njoftim i dobët:
Ndërtoni një model rreziku nga këto të dhëna të pacientit dhe raportoni rezultatet.[të dhënat]
Njoftim i fuqishëm:
Roli juaj: Ju jeni një asistent i analizës së të dhënave klinike (JU NUK VENDOSNI). Kritikoni një PLAN të modelit të parashikimit për listën e mëposhtme të variablave anonime:- Shënoni nëse secila variabël është e pranishme në kohën e parashikimit (rreziku i rrjedhjes së përkohshme).- Listoni çekuilibrin e klasës dhe burimet e mundshme të paragjykimit.- Sugjeroni diskriminimin + kalibrimin + nëngrupin + dobinë klinike për vlerësim.- Thoni se vendimi i takon ekipit klinik. Variablat anonime dhe objektivi:[lista]
Katër modele të kopjueshme
1) Inspektimi i rrjedhjeve:
Klasifikoni listën e mëposhtme të veçorive si "të disponueshme në kohën e parashikimit" / "informacionet e ardhshme (rrjedhje)" dhe justifikoni atë. Qëllimi dhe momenti i parashikimit: [përkufizim]. Karakteristikat: [lista]
2) Raporti i cilësisë së të dhënave:
Kontrolloni për normën e vlerave që mungojnë, vlerat që mungojnë, mospërputhjen e njësisë dhe regjistrimin e kopjuar për këtë tabelë anonime; Shfaqet një tabelë përmbledhëse e cilësisë. Tabela: [të dhënat]
3) Skema e verifikimit të konkluzioneve të NLP:
Shkruani një plan vërtetimi për një hap NLP që nxjerr [ndryshueshme] nga shënimet e tekstit të lirë: madhësia e rastësishme e mostrës, etiketimi i standardit të artë, metrika e përshtatjes, analiza e gabimeve.
4) Korniza e vlerësimit:
Shkruani një projekt-kornizë vlerësimi për këtë model klinik: diskriminimi (AUC), kurba e kalibrimit, performanca e nëngrupit, analiza e kurbës së vendimit. Modeli: [përshkrim]
Roli i modelit: Sipas llojit të detyrës
Lloji i detyrës
Kontributi i AI
kritike
verifikimi
Pastrimi i të dhënave/të dhënat e jashtme
lartë
të ulëta
kontroll në vend
Nxjerrja e NLP nga shënimet
lartë
e mesme
Vërtetimi i mostrës
Vlerësimi i rrezikut/parashikimit
e mesme
lartë
Kalibrimi + nëngrup
Planifikimi i burimeve/kapacitetit
e mesme
e mesme
Miratimi i njësisë së biznesit
Vendimi për trajtimin
kufizuar
shumë e lartë
Miratimi i plotë i mjekut
Këshillë: Nëse AUC e një modeli klinik është papritur e lartë (p.sh. mbi 0,95), shikoni për rrjedhje të përkohshme përpara se të festoni. Në botën reale, vlera të tilla të larta janë zakonisht një shenjë e rrjedhjes së informacionit.
Kujdes: Modeli mund të mësojë dhe të përforcojë pabarazitë në të dhënat historike. Saktësia e lartë e përgjithshme mund të nënkuptojë dëmtim sistematik në grupe të caktuara pacientësh; Performanca duhet të raportohet gjithmonë në nëngrupe.
Gabimet e zakonshme
- Duke mos vënë re rrjedhje të përkohshme. Njohuria për të ardhmen prodhon sukses të rremë në laborator.
- Jini të kënaqur me saktësinë. Saktësia është mashtruese me të dhëna të pabalancuara; Kërkohet ndjeshmëri dhe kalibrim.
- Nuk raporton nëngrupe. Metrika e përgjithshme fsheh paragjykimet dhe pabarazinë.
- Duke anashkaluar kalibrimin. Edhe një model i mirë i renditjes mund të bëjë gabime në vendimet e tij të pragut.
- Duke ia lënë vendimin modeles. Prodhimi është mbështetje; Vendimi i trajtimit varet nga ekipi klinik.
Në përmbledhje
- Të dhënat EHR janë të fuqishme, por të paqarta, të paplota dhe të njëanshme; pastrimi dhe kodimi janë hapa kritikë.
- Rrjedhja e përkohshme është gabimi më tinëzar; Njohuritë e së ardhmes prodhojnë sukses të rremë në laborator.
- Mosbalancimi i klasës dhe paragjykimi e bëjnë metrikën e saktësisë mashtruese.
- Vlerësimi duhet të përfshijë diskriminimin, kalibrimin, nëngrupimin dhe dobinë klinike.
- Rezultatet e parashikuara janë mbështetje; Vendimet e diagnozës dhe trajtimit i përkasin ekipit klinik.
Detyra e aplikimit
Ndërtoni një qëllim parashikimi dhe një listë prej dhjetë variablash (përfshini qëllimisht një variabël "perspektivë", p.sh. diagnozën e shkarkimit). Përdorni prompt të fuqishëm për të kontrolluar modelin për rrjedhje dhe për të parë nëse e kap këtë variabël. Më pas shkruani një kornizë vlerësimi për këtë model në tre pika, duke përfshirë diskriminimin, kalibrimin dhe nëngrupimin.
listë kontrolli
- [ ] Unë i kuptoj hapat e nxjerrjes, pastrimit, kodimit dhe modelimit të punës me të dhënat EHR.
- [ ] Unë mund të njoh rrjedhjen e përkohshme dhe të inspektoj listën e pronave.
- [ ] Kuptova se si çekuilibri dhe paragjykimet klasore mashtrojnë saktësinë.
- [ ] Unë e di ndryshimin midis diskriminimit dhe kalibrimit dhe domosdoshmërinë e të dyjave.
- [ ] Unë mund ta pozicionoj rezultatin parashikues si mbështetje, jo vendim.