Dobički:
- Sposobnost interpretacije konceptov občutljivosti, specifičnosti, lažno negativnih in lažno pozitivnih rezultatov v kontekstu radiologije in kritičnega branja metrik modela.
- Sposobnost prepoznati pristranskost avtomatizacije (pretirano zanašanje na umetno inteligenco) in, nasprotno, alarmirati utrujenost ter zaščititi bralno disciplino pred tema dvema pastema
- Razumevanje, da mora radiolog brati območje, ki ni označeno z umetno inteligenco, in da negativen rezultat AI ni zagotovilo za diagnozo.
Dve najpomembnejši številki za radiološko umetno inteligenco sta, koliko ugotovitev ujame in koliko lažnih alarmov sproži. Če vam proizvajalec pove, da je "naš model 96-odstotno natančen", samo to ne pove skoraj nič. Ker se lahko za redko najdbo (recimo 10 bolezni v 1000 pregledih) celo model, ki ničesar ne označi, zdi "99-odstotno točen" - pravilno prepozna 990 zdravih in zgreši le 10 bolnikov. V tej enoti se bomo naučili kritično brati ključne radiološke meritve – občutljivost, specifičnost, lažno negativne, lažno pozitivne – kot strokovnjak in prepoznati dve nevarni človeški pasti – pristranskost avtomatizacije in utrujenost alarma.
Osnovno načelo: Področje, ki ni označeno z umetno inteligenco, bere tudi radiolog. Negativen rezultat AI ni jamstvo za diagnozo; model je morda zgrešil izvid (lažno negativen). Raison d'être človeškega spremljanja je zajeti natančne trenutke, ko je model varno napačen.
Branje meritev kot strokovnjak
Razjasnimo štiri osnovne pojme. Recimo, da smo testirali model na 1000 pregledih in 100 od njih je dejansko imelo bolezen.
- True positive (TP): Model je pacienta označil za res bolnega.
- Lažno negativen (FN): Model ni označil, vendar je bolnik bolan — gospodična. Najnevarnejši v radiologiji.
- Lažno pozitivno (FP): Model je označen, vendar je pacient zdrav – lažni alarm.
- Resnično negativno (TN): Model ni označen, zelo zdrav.
Iz teh izhajata dve osnovni meritvi:
- Občutljivost = TP / (TP + FN): Koliko resničnih bolnikov smo ujeli? Visoka občutljivost pomeni nizko abdukcijo.
- Specifičnost = TN / (TN + FP): Koliko zdravih smo šteli za zdrave? Visoka specifičnost pomeni manj lažnih alarmov.
metrika
formula
Ko je visoko
Radiološki pomen
Občutljivost
TP/(TP+FN)
Nekaj lažno negativnih rezultatov
Kritično, da se izognemo izpadu (preverjanje, triaža)
specifičnost
TN/(TN+FP)
Malo lažno pozitivnih rezultatov
Zmanjša nepotrebne preglede
Lažno negativna stopnja
FN/(TP+FN)
slabo
Tiha škoda; radiolog mora ujeti
Lažno pozitivna obremenitev
število FP-jev
obremenitev se poveča
Alarmna utrujenost, odpoklic
"natančnost"
(TP+TN)/skupaj
zavajajoče
Pojavlja se visoko pri redki bolezni, vara
Model ima prag (nad katerim se rezultat šteje za "pozitiven") in ta prag spremeni občutljivost in specifičnost v nasprotnih smereh: če znižate prag, ujamete več (občutljivost ↑), vendar sprožite več lažnih alarmov (specifičnost ↓). To ni inženirska postavitev, ampak klinična odločitev: visoki stroški izostanka ali breme lažnega alarma? Občutljivost ima na splošno prednost pri presejanju in triaži.
Pozor: Nikoli ne zaupajte eni sami številki, kot je "95-odstotna natančnost". Pri redkih ugotovitvah je točnost zavajajoča. Prave učinkovitosti modela ni mogoče poznati, ne da bi se vprašali o občutljivosti, specifičnosti, lažno negativni stopnji in populaciji, v kateri je bil izmerjen.
Dve človeški pasti
Pristranskost avtomatizacije: Ko se ljudje pretirano zanašajo na rezultate avtomatiziranega sistema in omilijo lastno neodvisno presojo. Če radiolog površno preskoči sliko z besedami "AI je rekel, da je negativna, torej je čista", bo izvid, ki ga je model zgrešil, popolnoma preskočen. Ko se lažni negativni rezultati združijo s pristranskostjo avtomatizacije, je raison d'être človeškega pregleda odpravljen.
Opozorilna utrujenost: zaradi tega, ker model proizvaja veliko število lažno pozitivnih rezultatov, radiolog izgubi zaupanje v zastavice in jih začne refleksno vse izločati. Izloči se lahko tudi pravi izvid po desetem lažnem alarmu. Ti dve pasti sta v nasprotnih smereh, vendar sta njuna rezultata enaka: manjka resnična ugotovitev.
Protistrup za ti dve pasti je enak: ne glede na to, kaj pravi rezultat umetne inteligence, radiolog opravi svoje sistematično branje. Ne glede na to, ali AI to označi ali ne, se skenira celotna slika. AI je »drugo oko«; Prvo oko je vedno radiolog.
trije mini kovčki
Primer 1 – Lažno negativen + pristranskost avtomatizacije. Rentgenski posnetek prsnega koša CAD zgreši (lažno negativen) majhen vozlič v zgornjem levem območju. Na naporen dan radiolog hiti skozi rentgenski posnetek in misli, da je CAD jasen (avtomatizirana pristranskost). Nodus opazimo po 8 mesecih kot tvorbo velikosti 2 cm. Dve napaki skupaj: model zgrešen, človek ni preveril. Nauk: kljub negativnemu CAD je sistematično branje nujno.
Primer 2 – Alarmna utrujenost. Model pnevmotoraksa vrže povprečno 8 zastavic na dan dva tedna, od katerih sta le 1-2 resnični (približno 80 % lažno pozitivnih). Radiolog izgubi zaupanje v zastave. V tretjem tednu se zastava pravega apikalnega pnevmotoraksa refleksno prenese kot "ne"; Po enem dnevu se stanje bolnika poslabša. Nauk: modele z visoko stopnjo lažno pozitivnih rezultatov je treba spremljati, pregledati prag/model in vseeno potrditi vsako oznako.
3. primer – pravo ravnotežje. V centru za možgansko kap triažni model CT možganov deluje z visoko občutljivostjo; Lažno pozitivnih rezultatov je veliko, vendar radiolog potrdi vsako zastavico v 60 sekundah in zazna pravo krvavitev v nekaj minutah. Ekipa tedensko spremlja lažno pozitivno stopnjo in s proizvajalcem pregleda prag, ko ta preseže 70 %. Tukaj so metriko upravljali zavestno; Niti pristranskost avtomatizacije niti utrujenost alarma se ni pojavila.
Šibek poziv/močan poziv
Šibek poziv:
Ta model je 97 % natančen, ali je zanesljiv?
Posamezna metrika je zavajajoča; ni mogoče odgovoriti brez vprašanj o populaciji, občutljivosti, specifičnosti in lažno negativnih rezultatih.
Močan poziv:
Vaša vloga: POMAGAJTE mi kritično brati meritve uspešnosti modela AI. Sprejemanje odločitev; Pojasnite, katera vprašanja naj postavim in kaj pomenijo odgovori. Predstavil vam bom trditve modela. Upoštevajte: (1) katere metrike so podane in katere manjkajo (občutljivost, specifičnost, lažno negativna stopnja, populacija, naprava), (2) ali je samo »natančnost« zavajajoča, (3) ali je primerno uporabiti ta model za triažo/presejanje ali diagnozo. Končna odločitev je v rokah radiologa/ustanove. Trditev: "Model testiran na 1200 bolnikih s 97-odstotno natančnostjo."
Močno povpraševanje postavlja pod vprašaj manjkajoče meritve in prekine zanašanje na posamezne številke.
Kopirane predloge pozivov
PREDLOGA ZA KRITIČNO BRANJE METRIC Vaša vloga: POMOČ. Podal vam bom trditev o zmogljivosti modela. Navedite manjkajoče meritve (občutljivost, specifičnost, lažno negativna stopnja, testna populacija, naprava/protokol) in kjer je ena sama številka (natančnost) lahko zavajajoča. Pogovorite se, za katero nalogo (triaža/presejanje/diagnostična pomoč) je model primeren za uporabo. Odločitev je v zavodu. Zahtevek: [napiši]
TEMPLATEI OPIS RAVNOTEŽJA PRAGA vam bo dal scenarij zvišanja/znižanja praga modela. Opišite vpliv vsakega scenarija na občutljivost, specifičnost, lažno negativen in lažno pozitiven rezultat ter zapišite njegov klinični izid (zgrešen ali nepotreben priklic). Odločitev je klinična/institucionalna. Skript: [napiši]
PREDLOGA ZA SAMOREVIZIJO AVTOMATIZACIJSKE PRISTRAKNOSTI Pripravite mi kontrolni seznam, ki bo mojo bralno disciplino zaščitil pred avtomatsko pristranskostjo: katere korake naj naredim tudi z negativnim rezultatom umetne inteligence, kako ohraniti sistematično skeniranje, kako ohraniti umetno inteligenco kot "pomočnika" in ne kot "orodje za dostavo".
ALERT FITIGUE MONITORING TEMPLATEI vam bo dal tedensko število zastavic in dejanska pozitivna števila. Izračunajte stopnjo lažno pozitivnih rezultatov, ocenite tveganje utrujenosti zaradi opozorila in predlagajte, pri katerem pragu naj ukrepam za revizijo praga/modela. Spomni me na načelo, da mora biti vsaka zastava še vedno potrjena. Podatki: [napiši]
Pogoste napake
- Zanašanje na eno samo številko "resnice". Redka najdba je tudi zavajajoča; Občutljivost in specifičnost je treba vprašati skupaj.
- Obravnavanje negativnega rezultata AI kot diagnostičnega jamstva. Model ga je morda spregledal; Sistematično branje je nujno.
- Padec v pristranskost avtomatizacije. Pretirano zanašanje na AI spodkopava neodvisno presojo.
- Ignoriranje alarmne utrujenosti. Spremljati je treba veliko lažno pozitivnih rezultatov; vsaka zastavica mora biti še potrjena.
- Zamenjanje praga za "tehnično nastavitev". Prag je klinično ravnovesje; Radiolog/ustanova pretehta stroške zgrešenih in lažnih alarmov.
Namig: naredite si pravilo: "Ne glede na to, kaj pravi AI, preberem celotno sliko." To enotno pravilo hkrati omejuje pristranskost avtomatizacije (ne sprošča negativnega) in utrujenosti alarma (ne refleksno odpravlja pozitivnega).
Če povzamem
Pri ocenjevanju radiološkega modela ne gre za opazovanje ene same številke »natančnosti«. Občutljivost (brez zgrešenj), specifičnost (brez lažnih alarmov), lažno negativno stopnjo in testno populacijo je treba brati skupaj; Izbira praga je klinično ravnovesje. Dve človeški pasti – pretirano zaupanje v AI (avtomatizirana pristranskost) ter navajanje na lažne alarme in odpravo zastavice (utrujenost alarma) – gresta v nasprotni smeri, vendar se končata z enakim rezultatom, brez prave ugotovitve. Obstaja samo en protistrup: ne glede na to, kaj reče AI, radiolog naredi svoje sistematično branje. Negativna umetna inteligenca ni zagotovilo, ampak kvečjemu koristen signal; Prebrati je treba tudi neoznačeno območje.
Aplikacijska naloga
Vzemite promocijsko besedilo modela, ki ga imate (ali vzorca). S predlogo »Metrics Critical Reading« ocenite, katere metrike so na voljo, katere manjkajo in za katero nalogo je primerno uporabiti model. Nato oblikujte preprost grafikon za spremljanje, kolikokrat se triažna zastavica uresniči v enem tednu; Zapišite, kaj boste sprejeli, če stopnja lažno pozitivnih rezultatov preseže prag, ki ste ga nastavili (na primer 70 %). Na koncu prilagodite seznam »Samopreverjanje pristranskosti avtomatizacije« v svojo bralno rutino.
kontrolni seznam
- [ ] Nisem se zanašal na eno samo številko "točnosti"; Vprašal sem o občutljivosti in specifičnosti.
- [ ] Naučil sem se lažno negativne stopnje in testne populacije.
- [ ] Kljub negativnemu rezultatu umetne inteligence sem opravil sistematično branje.
- [ ] Nisem bil preveč prepričan v AI (v primerjavi s pristranskostjo avtomatizacije).
- [ ] Opazoval sem lažne pozitivne rezultate; Potrdil sem vsako zastavico (proti alarmni utrujenosti).
- [ ] Upošteval sem, da je izbira praga klinično ravnotežje.
- [ ] Sledil sem pravilu "preberem celotno sliko, ne glede na to, kaj pravi AI."