Ieguvumi:
- Spēja interpretēt jutīguma, specifiskuma, viltus negatīva un viltus pozitīva jēdzienus radioloģijas kontekstā un kritiski lasīt modeļa metriku.
- Spēja atpazīt automatizācijas novirzes (pārmērīga paļaušanās uz mākslīgo intelektu) un, gluži pretēji, trauksmi no noguruma, un aizsargāt lasīšanas disciplīnu pret šiem diviem slazdiem
- Saprotot, ka radiologam ir jāizlasa apgabals, kas nav iezīmēts ar mākslīgo intelektu, un ka negatīva AI izvade nav diagnozes garantija.
Divi vissvarīgākie radioloģijas AI skaitļi ir tas, cik daudz atradumu tas uztver un cik daudz viltus trauksmju tas rada. Ja ražotājs jums saka: “mūsu modelis ir 96% precīzs”, tas vien gandrīz neko neizsaka. Jo retam atradumam (teiksim, 10 slimības 1000 izmeklējumos) pat modelis, kas neko nezīmē, var šķist “99% precīzs” — tas pareizi atpazīst 990 veselus un palaiž garām tikai 10 pacientus. Šajā nodaļā mēs iemācīsimies kā eksperts kritiski lasīt radioloģijas būtiskos rādītājus — jutīgumu, specifiskumu, viltus negatīvu, viltus pozitīvu — un atpazīt divus bīstamus cilvēku slazdus — automatizācijas novirzes un trauksmes nogurumu.
Pamatprincips: zonu, kas nav iezīmēta ar mākslīgo intelektu, nolasa arī radiologs. Negatīvs AI rezultāts negarantē diagnozi; modelis var būt palaidis garām atradumu (viltus negatīvs). Cilvēku uzraudzības jēga ir tvert precīzus mirkļus, kad modelis ir droši nepareizs.
Lasīt metriku kā eksperts
Noskaidrosim četrus pamatjēdzienus. Pieņemsim, ka mēs pārbaudījām modeli 1000 eksāmenos, un 100 no tiem patiešām bija slimība.
- Patiesi pozitīvs (TP): modelis iezīmēja pacientu, patiesi slimu.
- Viltus negatīvs (FN): modelis nav atzīmējis, bet pacients ir slims — garām. Visbīstamākais radioloģijā.
- Viltus pozitīvs (FP): modelis atzīmēts, bet pacients ir vesels — viltus trauksme.
- Patiess negatīvs (TN): Modelis nav atzīmējies, patiešām veselīgs.
No tiem izriet divi pamata rādītāji:
- Jutība = TP / (TP + FN): Cik reālu pacientu mēs noķērām? Augsta jutība nozīmē zemu nolaupīšanu.
- Specifiskums = TN / (TN + FP): Cik no veselajiem mēs uzskatām par veseliem? Augsta specifika nozīmē mazāk viltus trauksmju.
metriska
formula
Kad tas ir augsts
Radioloģiskā nozīme
Jutīgums
TP/(TP+FN)
Daži viltus negatīvi
Būtiski, lai izvairītos no pazušanas (pārbaude, šķirošana)
specifika
TN/(TN+FP)
Daži kļūdaini pozitīvi rezultāti
Samazina nevajadzīgu izmeklēšanu
Viltus negatīvs rādītājs
FN/(TP+FN)
slikti
Kluss kaitējums; radiologam jānoķer
Viltus pozitīva slodze
FP skaits
slodze palielinās
Trauksmes nogurums, atsaukšana
"precizitāte"
(TP+TN)/kopā
maldinošs
Parādās augsts retām slimībām, maldina
Modelim ir slieksnis (virs tā, ko rezultāts tiek uzskatīts par “pozitīvu”), un šis slieksnis maina jutību un specifiskumu pretējos virzienos: ja pazemina slieksni, tiek uztverts vairāk (jutīgums ↑), bet tiek palielināts viltus trauksmes signāls (specifiskums ↓). Tas nav inženiertehnisks uzstādījums, bet klīnisks lēmums: lielās izmaksas par pazušanu vai viltus trauksmes nasta? Skrīningā un šķirošanā parasti tiek dota prioritāte jutīgumam.
Uzmanību! Nekad neuzticieties vienam skaitlim, piemēram, "95% precizitāte". Retos konstatējumos precizitāte ir maldinoša. Modeļa patieso veiktspēju nevar uzzināt, nejautājot par jutīgumu, specifiskumu, viltus negatīvo rādītāju un populāciju, kurā tas tika mērīts.
Divas cilvēku lamatas
Automatizācijas novirze: kad cilvēki pārāk paļaujas uz automatizētas sistēmas izvadi un atslābina savu neatkarīgo spriedumu. Ja radiologs virspusēji izlaiž attēlu, sakot: "AI teica, ka tas ir negatīvs, tātad tas ir tīrs", modeļa nepamanītais atradums tiks pilnībā izlaists. Ja viltus negatīvie rezultāti tiek apvienoti ar automatizācijas novirzi, cilvēka pārbaudes jēga tiek novērsta.
Brīdinājuma nogurums: tā kā modelis rada lielu skaitu viltus pozitīvu rezultātu, radiologs zaudē uzticību karodziņiem un sāk tos visus refleksīvi novērst. Patiesu atradumu pēc desmitās viltus trauksmes var arī novērst. Šie divi slazdi atrodas pretējos virzienos, taču to rezultāti ir vienādi: trūkst reāla atraduma.
Pretlīdzeklis šiem diviem slazdiem ir vienāds: neatkarīgi no tā, ko saka AI izvads, radiologs veic savu sistemātisku nolasījumu. Neatkarīgi no tā, vai AI to atzīmē vai nē, viss attēls tiek skenēts. AI ir “otrā acs”; Pirmā acs vienmēr ir radiologs.
trīs mini futrāļi
1. gadījums — viltus negatīvs + automatizācijas novirze. Krūškurvja rentgenogrammā CAD trūkst (viltus negatīvs) neliels mezgliņš augšējā kreisajā zonā. Saspringtā dienā radiologs steidzas cauri rentgenogrammai, domājot “CAD ir skaidrs” (automatizācijas novirze). Mezgliņš tiek pamanīts pēc 8 mēnešiem kā 2 cm liela masa. Divas kļūdas kopā: modelis nokavēts, cilvēks nepārbaudīja. Nodarbība: neskatoties uz negatīvo CAD, sistemātiska lasīšana ir būtiska.
2. gadījums — trauksmes nogurums. Pneimotoraksa modelis divas nedēļas dienā izmet vidēji 8 karogus, no kuriem tikai 1-2 ir īsti (apmēram 80% viltus pozitīvu). Radiologs zaudē uzticību karogiem. Trešajā nedēļā īsts apikāls pneimotoraksa karogs arī refleksīvi tiek nodots kā "nē"; Pacients pasliktinās pēc dienas. Mācība: modeļi ar augstu viltus pozitīvu rezultātu līmeni ir jāuzrauga, jāpārskata slieksnis/modelis, un katrs karodziņa tomēr jāapstiprina.
3. gadījums — pareizais līdzsvars. Insulta centrā smadzeņu CT šķirošanas modelis darbojas ar augstu jutību; Viltus pozitīvu rezultātu skaits ir augsts, taču radiologs katru karogu apstiprina 60 sekundēs un dažu minūšu laikā konstatē īstu asiņošanu. Komanda katru nedēļu uzrauga viltus pozitīvo rādītāju, pārskatot slieksni ar ražotāju, kad tas pārsniedz 70%. Šeit metrika tika pārvaldīta apzināti; Nav iestājusies ne automatizācijas novirze, ne trauksmes nogurums.
Vāja uzvedne / spēcīga uzvedne
Vāja uzvedne:
Šis modelis ir 97% precīzs, vai tas ir uzticams?
Viena metrika ir maldinoša; nevar atbildēt, neuzdodot jautājumus par populāciju, jutīgumu, specifiku un viltus negatīviem.
Spēcīga uzvedne:
Jūsu loma: PALĪDZIET man kritiski izlasīt AI modeļa veiktspējas rādītājus. Lēmumu pieņemšana; Paskaidrojiet, kādi jautājumi man jāuzdod un ko atbildes nozīmē. Es sniegšu jums modeļa pretenzijas. Apsveriet: (1) — kādi rādītāji ir norādīti un kuri trūkst (jutīgums, specifiskums, kļūdaini negatīvs rādītājs, populācija, ierīce), 2) vai “precizitāte” vien nav maldinoša, 3) vai ir piemēroti izmantot šo modeli šķirošanai/skrīningam vai diagnostikai. Galīgo lēmumu pieņem radiologs/institūcija. Apgalvojums: "Modelis pārbaudīts 1200 pacientiem ar 97% precizitāti."
Spēcīgs pieprasījums liek apšaubīt trūkstošos rādītājus un pārtrauc paļaušanos uz atsevišķiem skaitļiem.
Kopējamas uzvedņu veidnes
METRIKAS KRITISKĀS LASĪŠANAS VEINEJūsu loma: PALĪDZĪBA. Es jums iesniegšu modeļa veiktspējas prasību. Norādiet trūkstošos rādītājus (jutīgums, specifiskums, kļūdaini negatīvs rādītājs, testa populācija, ierīce/protokols) un to, kur viens skaitlis (precizitāte) var būt maldinošs. Pārrunājiet, kuram uzdevumam (šķirošana/skrīnings/diagnostikas palīdzība) modelis ir piemērots. Lēmums ir iestādē. Pretenzija: [rakstīt]
Sliekšņa bilances APRAKSTU VEIDNE sniegs scenāriju modeļa sliekšņa palielināšanai/samazinašanai. Aprakstiet katra scenārija ietekmi uz jutīgumu, specifiskumu, viltus negatīvu un viltus pozitīvu un pierakstiet tā klīnisko iznākumu (neatbilstošs vai nevajadzīgs atsaukums). Lēmums ir klīnisks/institucionāls. Scenārijs: [rakstīt]
AUTOMATIZĀCIJAS IZVĒRTĒJUMA PAŠPĀRAUDZĪBAS VEIDSIzstrādājiet man kontrolsarakstu, kas pasargās manu lasīšanas disciplīnu pret automatizācijas novirzēm: kādas darbības man jāveic pat ar negatīvu AI izvadi, kā uzturēt sistemātisku skenēšanu, kā saglabāt AI kā "asistentu", nevis "piegādes rīku".
BRĪDINĀJUMA NOGURUMA UZRAUDZĪBAS VEIDNE sniegs jums iknedēļas karogu skaitu un faktiskos pozitīvos skaitļus. Aprēķiniet viltus pozitīvo rādītāju, novērtējiet trauksmes noguruma risku un iesakiet, pie kāda sliekšņa man būtu jāveic darbības, lai pārskatītu slieksni/modeli. Atgādiniet man principu, ka katrs karogs joprojām ir jāapstiprina. Dati: [rakstīt]
Biežas kļūdas
- Paļaujoties uz vienu "patiesības" skaitli. Retais atklājums arī ir maldinošs; Jūtīgums un specifika jājautā kopā.
- Negatīvā AI izvade tiek uzskatīta par diagnostikas garantiju. Modelis, iespējams, to palaida garām; Sistemātiska lasīšana ir obligāta.
- Iekļūšana automatizācijas aizspriedumos. Pārmērīga paļaušanās uz AI mazina neatkarīgu spriedumu.
- Signalizācijas noguruma ignorēšana. Ir jāuzrauga augsti viltus pozitīvi rezultāti; katrs karogs joprojām ir jāapstiprina.
- Kļūdains "tehniskā iestatījuma" slieksnis. Slieksnis ir klīniskais līdzsvars; Radiologs/iestāde nosver izdevumus, kas radušies nokavējuma un viltus trauksmes gadījumā.
Padoms: izveidojiet sev noteikumu: "Neatkarīgi no tā, ko AI saka, es izlasīju visu attēlu." Šis vienīgais noteikums vienlaikus ierobežo gan automatizācijas novirzes (neatslābinot uz negatīvo), gan trauksmes nogurumu (nevis refleksīvi novērš pozitīvo).
Rezumējot
Radioloģijas modeļa novērtēšana nav saistīta ar viena “precizitātes” skaitļa aplūkošanu. Jutība (bez garām), specifiskums (nav viltus trauksmju), kļūdaini negatīvs rādītājs un testa populācija jālasa kopā; Sliekšņa izvēle ir klīnisks līdzsvars. Divi cilvēku slazdi — pārmērīga pārliecība par mākslīgo intelektu (automatizācijas novirze) un pierašana pie viltus trauksmēm un karoga likvidēšana (trauksmes nogurums) — iet pretējos virzienos, bet beidzas ar tādu pašu rezultātu, trūkst reāla atraduma. Ir tikai viens pretlīdzeklis: neatkarīgi no tā, ko AI saka, radiologs pats veic sistemātisku nolasījumu. Negatīvs AI nav garantija, bet gan noderīgs signāls; Jāizlasa arī neatzīmētais laukums.
Lietojumprogrammas uzdevums
Paņemiet sava modeļa reklāmas tekstu (vai paraugu). Izmantojot veidni “Metrics Critical Reading”, novērtējiet, kuri metrika ir nodrošināta, kuras trūkst un kādam uzdevumam ir lietderīgi izmantot modeli. Pēc tam izveidojiet vienkāršu diagrammu, lai izsekotu, cik reižu šķirošanas karodziņš piepildās nedēļas laikā; Pierakstiet, kā rīkoties, ja kļūdaini pozitīvo rezultātu rādītājs pārsniegs jūsu iestatīto slieksni (piemēram, 70%). Visbeidzot, pielāgojiet sarakstu “Automatizācijas novirzes pašpārbaude” savā lasīšanas rutīnā.
kontrolsaraksts
- [ ] Es nepaļāvos uz vienu "precizitātes" skaitli; Es jautāju par jutīgumu un specifiku.
- [ ] Es uzzināju viltus negatīvo rādītāju un testa populāciju.
- [ ] Neskatoties uz negatīvo AI izvadi, es veicu sistemātisku lasīšanu.
- [ ] Es nebiju pārāk pārliecināts par AI (pret automatizācijas aizspriedumiem).
- [ ] Es noskatījos viltus pozitīvus rezultātus; Es apstiprināju katru karogu (pret trauksmes nogurumu).
- [ ] Es ņēmu vērā, ka sliekšņa izvēle ir klīnisks līdzsvars.
- [ ] Es ievēroju noteikumu "Es izlasīju visu attēlu neatkarīgi no tā, ko saka AI".