Voitot:
- Kyky selittää EHR-tietojen puhdistamisen, koodauksen ja analysoinnin tekoälyn avulla.
- Kyky tunnistaa kliinisten tietojen riskit, kuten puuttuvat tiedot, harha, luokkaepätasapaino ja ajallinen vuoto
- Kyky validoida ennustavan mallin tulokset kalibroinnin, alaryhmän suorituskyvyn ja kliinisen hyödyllisyyden avulla
Nykyaikaisten sairaaloiden muisti on sähköinen sairauskertomus (EHR): digitaalinen kokoelma diagnooseja, laboratoriotuloksia, lääkkeitä, toimenpiteitä, sairaanhoitajan muistiinpanoja ja lääkärin havaintoja. Nämä tiedot ovat sekä tekoälyn aarre että miinakenttä. Aarre, koska se sisältää miljoonia sairaita vuosimalleja; miinakenttä, koska kliiniset tiedot ovat hajanaisia, epätäydellisiä, puolueellisia ja täynnä ajallisia ansoja. Tämä yksikkö sisältää EHR-tietojen puhdistamisen, koodauksen ja analysoinnin tekoälyn avulla; kavalimmat virheet (ajallinen vuoto, harha, luokan epätasapaino); ja näemme kuinka ennustavan mallin lähdöt validoidaan.
Muistutetaan alusta alkaen: riskimalli voi sanoa "tällä potilaalla on suuri takaisinottotodennäköisyys"; mutta tämä on päätöksen tukitulos, ei diagnoosi tai hoitopäätös. AI ei tee diagnoosia; Päätös on lääkärin ja kliinisen tiimin tehtävä.
EHR-tietojen käsittelyn vaiheet
Vaihe 1 – Vähennä ja yhdistä. Tiedot tulevat eri järjestelmistä (laboratorio, apteekki, radiologia); yhdistetään potilastunnukseen. Tässä vaiheessa luottamuksellisuus on tärkein prioriteetti (katso kohta 10).
Vaihe 2 – Puhdistus. Puuttuvat arvot, yksiköiden epäjohdonmukaisuudet (mg/dl ja mmol/l sekaannus), päällekkäiset tietueet ja epätodennäköiset arvot (ikä 200, verenpaine 0) eliminoidaan. Tekoäly on vahva täällä poikkeavien merkintöjen ja vapaan tekstin strukturoinnissa.
Vaihe 3 – Koodaus ja standardointi. Diagnoosit kartoitetaan standardikoodeihin, kuten ICD:hen (International Classification of Diseases), ja lääkkeet on kartoitettu standardisanakirjoihin. Strukturoidun tiedon poimimista vapaan tekstin muistiinpanoista kutsutaan luonnollisen kielen käsittelyksi (NLP). AI on arvokas tässä, mutta sen tuotos vaatii validoinnin.
Vaihe 4 – Ominaisuussuunnittelu. Mallin syötteet luodaan raakatiedoista: viimeinen laboratorioarvo, trendi, lääkkeiden määrä, komorbiditeettipisteet jne.
Vaihe 5 – Mallintaminen ja arviointi. Ennustemalli rakennetaan ja – kriittisin osa – arvioidaan huolella, vuotamattomalla tavalla.
Kolme salakavaliminta virhettä
Ajallinen vuoto. Ominaisuuksiin sisällytetään tietoa, jota ei vielä ole ennustehetkellä. Esimerkiksi kotiutusdiagnoosin tai viimeisen päivän laboratoriotestien avulla arvioidakseen kuolemanriskiä vastaanoton yhteydessä. Malli näyttää täydelliseltä laboratoriossa, mutta kaatuu todellisessa käytössä, koska se on nähnyt "tulevaisuuden".
Ennakkoluulo. Tiedot heijastavat aiempia kliinisiä päätöksiä; Jos nämä päätökset ovat jo epätasa-arvoisia, malli oppii ja vahvistaa tämän. Jos esimerkiksi tietty ryhmä on historiallisesti tilattu vähemmän testattavaksi, malli saattaa ajatella, että sairaus on "alempi" kyseisessä ryhmässä.
Luokka epätasapaino. Jos kiinnostava tapahtuma (esim. harvinainen komplikaatio) on 1 % tiedoista, malli, joka sanoo aina "ei tapahtumaa", näyttäisi 99 %:n tarkkuudella, mutta olisi hyödytön. Tarkkuuden sijaan vaaditaan herkkyyttä, tarkkuutta ja tapahtumapohjaisia mittareita.
Arviointi: Syrjintä ei ole tarpeeksi, kalibrointi on pakollinen
On kaksi eri kysymystä. Syrjintä (tyypillinen AUC-mitta): luokitteleeko malli potilaat oikein riskin mukaan? Kalibrointi: vastaavatko mallin antamat todennäköisyydet todellisia taajuuksia? Onko noin 20 %:lla potilaista, jotka sanovat "20 % riski" todella tapahtuma? Koska päätökset tehdään klinikalla kynnysten perusteella, hyvin sijoittuva mutta huonosti kalibroitu malli johtaa vääriin kynnyspäätöksiin. Lisäksi alaryhmien suorituskyky (ikä, sukupuoli, etnisyys, sairaala) tulee raportoida erikseen ja kysyä kliinisestä hyödyllisyydestä (tuottaako tämän mallin käyttäminen todella parempia tuloksia?).
Kolme minikoteloa: Numeroiden mukaan
Tapaus 1 – Onnistui vuodon vuoksi. Takaisinottomalli tuotti sisäisessä testauksessa AUC-arvon 0,92; se näytti hienolta. Katsauksessa havaittiin, että ominaisuuksiin kuului "kotihoidon jälkeinen avohoitovastaanotto"; Tätä tietoa ei ollut saatavilla ennustehetkellä. Kun vuoto oli puhdistettu, AUC putosi 0,71:een - realistiseen ja käyttökelpoiseen arvoon.
Tapaus 2 — Kalibrointipoikkeama. Vaikka sepsiksen varhaisvaroituspisteet kalibroitiin hyvin sairaalassa, jossa se kehitettiin, potilasprofiili osoitti kaksinkertaisen todellisen tapahtumatiheyden samalle pisteelle eri sairaalassa. Pisteet sijoittuivat oikein, mutta todennäköisyydet olivat väärät; kynnystä ei voitu käyttää ilman uudelleenkalibrointia.
Tapaus 3 – Säästä aikaa NLP:llä. Yksi tutkimusryhmä poimi manuaalisesti tupakointihistoriaa 12 000 potilaan muistiinpanosta; Noin 2 minuuttia per nuotti, yhteensä 400 tuntia. NLP-avusteinen uutto lyhensi tämän muutamaan tuntiin; Tiimi tarkisti käsin vain satunnaisesti valitun validointinäytteen, jonka malli jätti "epäselväksi". Kriittinen oli validointinäytteen huolellinen tutkiminen.
Heikko kehote / Vahva kehote
Heikko kehote:
Rakenna riskimalli näistä potilastiedoista ja raportoi tulokset.[data]
Tehokas kehotus:
Roolisi: Olet kliinisen tiedon analysoinnin assistentti (ET PÄÄTÄ). Kritisoi ennustemallin SUUNNITELMA seuraavaa nimettömien muuttujien luetteloa varten:- Merkitse, onko jokainen muuttuja olemassa ennustehetkellä (ajallisen vuodon riski).- Luettele luokan epätasapaino ja mahdolliset harhan lähteet.- Ehdota syrjintää + kalibrointia + alaryhmää + kliinistä hyödyllisyyttä arviointia varten.- Ilmoita, että päätös on kliinisen tiimin tehtävä. Anonyymit muuttujat ja kohde:[luettelo]
Neljä kopioitavaa mallia
1) Vuototarkastus:
Luokittele seuraava luettelo ominaisuuksista "saatavilla ennustehetkellä" / "tulevaisuuden tieto (vuoto)" ja perustele se. Ennusteen tavoite ja hetki: [määritelmä]. Ominaisuudet: [lista]
2) Tietojen laaturaportti:
Tarkista puuttuvat arvot, puuttuvat arvot, yksiköiden epäjohdonmukaisuus ja kaksoiskappale tästä anonyymistä taulukosta; Laadun yhteenvetotaulukko tulee näkyviin. Taulukko: [data]
3) NLP-päätelmän varmennusjärjestelmä:
Kirjoita validointisuunnitelma NLP-vaiheelle, joka poimii [muuttujan] vapaan tekstin merkinnöistä: satunnainen otoskoko, kultainen standardimerkintä, sovitusmetriikka, virheanalyysi.
4) Arviointikehys:
Kirjoita luonnos arviointikehyksestä tälle kliiniselle mallille: erottelu (AUC), kalibrointikäyrä, alaryhmän suorituskyky, päätöskäyräanalyysi. Malli: [kuvaus]
Mallin rooli: Tehtävätyypin mukaan
Tehtävän tyyppi
AI panos
kriittisyys
vahvistusta
Tietojen puhdistus / outlier
korkea
alhainen
paikalla tarkastus
NLP poiminta muistiinpanoista
korkea
keskikokoinen
Näytteen validointi
Riski/ennustepisteytys
keskikokoinen
korkea
Kalibrointi + alaryhmä
Resurssien/kapasiteetin suunnittelu
keskikokoinen
keskikokoinen
Liiketoimintayksikön hyväksyntä
Hoitopäätös
rajoitettu
erittäin korkea
Täysi lääkärin hyväksyntä
Vinkki: Jos kliinisen mallin AUC on odottamattoman korkea (esim. yli 0,95), etsi ajallinen vuoto ennen juhlimista. Todellisessa maailmassa tällaiset korkeat arvot ovat yleensä merkki tietovuodosta.
Varoitus: Malli voi oppia ja vahvistaa historiallisten tietojen epätasa-arvoa. Korkea yleinen tarkkuus voi merkitä järjestelmällistä haittaa tietyissä potilasryhmissä; Suoritus tulee aina raportoida alaryhmissä.
Yleisiä virheitä
- Ei huomaa ajallista vuotoa. Tieto tulevaisuudesta tuottaa väärää menestystä laboratoriossa.
- Ole tyytyväinen tarkkuuteen. Tarkkuus on harhaanjohtavaa epätasapainoisilla tiedoilla; Herkkyys ja kalibrointi vaaditaan.
- Ei raportoida alaryhmiä. Yleinen mittari piilottaa harhan ja epätasa-arvon.
- Kalibroinnin ohittaminen. Hyväkin sijoitusmalli voi tehdä virheitä kynnyspäätöksissään.
- Päätöksen jättäminen mallin tehtäväksi. Tulos on tuki; Hoitopäätös on kliinisen tiimin tehtävä.
Yhteenvetona
- EHR-tiedot ovat tehokkaita, mutta hajanaisia, epätäydellisiä ja puolueellisia; puhdistus ja koodaus ovat tärkeitä vaiheita.
- Ajallinen vuoto on kavalin virhe; Tulevaisuuden tieto tuottaa väärää menestystä laboratoriossa.
- Luokkaepätasapaino ja harhaus tekevät tarkkuusmittarista harhaanjohtavan.
- Arvioinnin tulee sisältää syrjintä, kalibrointi, alaryhmittely ja kliininen hyödyllisyys.
- Ennustetulokset tukevat; Diagnoosi ja hoitopäätökset kuuluvat kliiniselle tiimille.
Sovellustehtävä
Muodosta ennustetavoite ja kymmenen muuttujan luettelo (sisällytä tarkoituksella "potentiaalinen" muuttuja, esim. kotiutusdiagnoosi). Käytä tehokasta kehotetta tarkistaaksesi mallin vuotojen varalta ja katsoaksesi, tallentaako se tämän muuttujan. Kirjoita sitten arviointikehys tälle mallille kolmessa kohdassa, mukaan lukien syrjintä, kalibrointi ja alaryhmittely.
tarkistuslista
- [ ] Ymmärrän EHR-tietojen poiminta-, puhdistus-, koodaus- ja mallintamisvaiheet.
- [ ] Tunnistan ajallisen vuodon ja tarkastan kiinteistöluettelon.
- [ ] Tajusin, kuinka luokkaepätasapaino ja ennakkoluulot johtavat harhaan tarkkuutta.
- [ ] Tiedän eron syrjinnän ja kalibroinnin välillä ja molempien tarpeellisuuden.
- [ ] Voin sijoittaa ennakoivan tulosteen tueksi, en päätökseksi.