Hagnaður:
- Hæfni til að túlka hugtökin næmni, sérhæfni, falskt neikvætt og falskt jákvætt í samhengi við geislafræði og til að lesa á gagnrýninn hátt mælikvarða líkans.
- Að geta greint sjálfvirkni hlutdrægni (of treysta á gervigreind) og þvert á móti viðvörun um þreytu og vernda lestrarfræðina gegn þessum tveimur gildrum
- Að skilja að geislafræðingur verður að lesa svæði sem er ekki merkt af gervigreind og að neikvæð gervigreind er ekki trygging fyrir greiningu.
Tvær mikilvægustu tölurnar fyrir gervigreind í geislafræði eru hversu margar niðurstöður það grípur og hversu margar rangar viðvaranir það vekur. Ef framleiðandi segir þér „módelið okkar er 96% nákvæm,“ segir það eitt og sér nánast ekkert. Vegna þess að fyrir sjaldgæfa uppgötvun (td 10 sjúkdóma í 1.000 prófum), getur jafnvel líkan sem ekki flaggar neitt virst vera "99% nákvæmt" - það þekkir rétt 990 heilbrigða og saknar aðeins 10 sjúklinga. Í þessari einingu munum við læra hvernig á að lesa á gagnrýninn hátt mikilvægar mæligildi geislafræðinnar - næmi, sérhæfni, falskt neikvætt, rangt jákvætt - eins og sérfræðingur og viðurkennum tvær hættulegar mannlegar gildrur - sjálfvirkni hlutdrægni og viðvörunarþreytu.
Kjarnaregla: Svæði sem ekki er merkt af gervigreind er einnig lesið af geislafræðingi. Neikvæð gervigreind er ekki trygging fyrir greiningu; líkanið gæti hafa misst af niðurstöðunni (falsk neikvæð). Tilvera mannlegrar vöktunar er að fanga nákvæmlega augnablikin þegar líkanið er örugglega rangt.
Að lesa mælikvarða eins og sérfræðingur
Við skulum skýra fjögur grundvallarhugtök. Segjum að við prófuðum líkan á 1000 prófum og 100 þeirra voru í raun með sjúkdóminn.
- True positive (TP): Líkanið merkti sjúklinginn, sannarlega veikan.
- Rangt neikvætt (FN): Líkanið merkti ekki en sjúklingurinn er veikur — ungfrú. Það hættulegasta í geislafræði.
- Falskt jákvætt (FP): Líkanið merkt en sjúklingurinn er heilbrigður – falsk viðvörun.
- True negative (TN): Líkan merkti ekki, virkilega heilbrigð.
Tvær grunntölur koma upp úr þessum:
- Næmi = TP / (TP + FN): Hversu marga raunverulega sjúklinga náðum við? Mikil næmi þýðir lítið brottnám.
- Sérhæfni = TN / (TN + FP): Hversu margir af þeim heilbrigðu töldum við heilbrigða? Mikil sértækni þýðir færri falskar viðvaranir.
mæligildi
formúlu
Þegar það er hátt
Geislafræðileg þýðing
Næmi
TP/(TP+FN)
Fáar rangar neikvæðar
Mikilvægt að forðast að missa (skimun, þrígreining)
sérhæfni
TN/(TN+FP)
Fáir falskar jákvæðar
Dregur úr óþarfa skoðun
Falsk neikvæð hlutfall
FN/(TP+FN)
slæmt
Hljóðlátur skaði; geislafræðingur verður að ná
Falskt jákvætt álag
fjölda FP
álag eykst
Viðvörunarþreyta, muna
"nákvæmni"
(TP+TN)/alls
villandi
Sýnist hátt í sjaldgæfum sjúkdómum, blekkir
Líkan hefur þröskuld (yfir það sem stigið er talið „jákvætt“), og þessi þröskuldur breytir næmi og sértækni í gagnstæðar áttir: ef þú lækkar þröskuldinn, grípurðu meira (næmni ↑) en hækkar fleiri falskar viðvaranir (sérhæfni ↓). Þetta er ekki verkfræðilegt umhverfi, heldur klínísk ákvörðun: mikill kostnaður við að missa eða byrði falskrar viðvörunar? Næmni er almennt sett í forgang við skimun og þrígreiningu.
Varúð: Aldrei treysta einni tölu eins og „95% nákvæmni“. Í sjaldgæfum niðurstöðum er nákvæmni villandi. Ekki er hægt að vita raunverulegan árangur líkans án þess að spyrja um næmni, sértækni, rangt neikvæðan hlutfall og þýðið sem það var mælt í.
Tvær manngildrur
Sjálfvirkni hlutdrægni: Þegar fólk treystir of mikið á framleiðslu sjálfvirks kerfis og slakar á eigin sjálfstæðu dómgreind. Ef geislafræðingurinn sleppir myndinni af yfirborði með því að segja „AI sagði að hún væri neikvætt, svo hún er hrein“, verður algjörlega sleppt þeirri niðurstöðu sem líkanið missti af. Þegar fölsuð neikvæð atriði sameinast sjálfvirkni hlutdrægni, er tilvist mannlegrar skoðunar eytt.
Viðvörunarþreyta: Vegna þess að líkanið gefur frá sér mikinn fjölda falskra jákvæðra, missir geislafræðingurinn traust á fánunum og byrjar að útrýma þeim öllum með viðbragðsstöðu. Einnig er hægt að útrýma sannri niðurstöðu eftir tíundu falska viðvörunina. Þessar tvær gildrur eru í gagnstæða átt, en niðurstöður þeirra eru þær sömu: vantar raunverulega uppgötvun.
Mótefnið við þessum tveimur gildrum er það sama: sama hvað gervigreind segir, geislafræðingurinn gerir sinn eigin kerfisbundna lestur. Hvort sem gervigreindin merkir það eða ekki, þá er öll myndin skannuð. gervigreind er „annað auga“; Fyrsta augað er alltaf geislafræðingur.
þrjú smámál
Tilfelli 1 - Falsk neikvætt + sjálfvirkni hlutdrægni. Röntgenmynd af brjósti CAD missir (falsk neikvæð) lítinn hnút í efra vinstra svæði. Á annasömum degi hleypur geislafræðingurinn í gegnum röntgenmyndina og hugsar „CAD er ljóst“ (sjálfvirkni hlutdrægni). Hnúturinn sést eftir 8 mánuði sem massa sem er 2 cm að stærð. Tvær villur sameinaðar: líkan gleymdist, mannlegur athugaði ekki. Lexía: þrátt fyrir neikvætt CAD er kerfisbundinn lestur nauðsynlegur.
Tilfelli 2 - Viðvörunarþreyta. Pneumothorax líkan varpar að meðaltali 8 fánum á dag í tvær vikur, aðeins 1-2 þeirra eru raunveruleg (um 80% rangar jákvæðar). Geislafræðingur missir traust á fánum. Í þriðju viku er sannur apical pneumothorax fáni einnig afgreiddur sem "nei"; Sjúklingurinn versnar eftir einn dag. Lexía: Fylgjast skal með líkönum með hátt hlutfall falskra jákvæðra, skoða þröskuld/líkan og staðfesta hvert fána samt.
Mál 3 - Rétt jafnvægi. Í heilablóðfallsstöð vinnur CT triage líkanið af heila með mikilli næmni; Falskar jákvæðar eru miklar, en geislafræðingur staðfestir hvert flagg á 60 sekúndum og greinir raunverulegar blæðingar innan nokkurra mínútna. Teymið fylgist vikulega með fölsku jákvæðu hlutfalli og skoðar þröskuldinn með framleiðanda þegar hann fer yfir 70%. Hér var mælingum stjórnað meðvitað; Hvorki hlutdrægni í sjálfvirkni né viðvörunarþreyta hefur komið upp.
Veik kvaðning / Sterk kvaðning
Veik kvaðning:
Þetta líkan er 97% nákvæmt, er það áreiðanlegt?
Einn mælikvarði er villandi; er ekki hægt að svara án þess að spyrja spurninga um íbúafjölda, næmi, sérhæfni og rangar neikvæðar.
Öflug tilvitnun:
Hlutverk þitt: HJÁLP mér að lesa á gagnrýninn hátt árangursmælingar gervigreindarlíkans. Ákvarðanataka; Útskýrðu hvaða spurningar ég ætti að spyrja og hvað svörin þýða. Ég mun gefa þér kröfur fyrirmyndar. Íhugaðu: (1) hvaða mælikvarðar eru gefnar upp og hverjar vantar (næmni, sérhæfni, falskt neikvætt hlutfall, þýði, tæki), (2) hvort „nákvæmni“ ein og sér sé villandi, (3) hvort rétt sé að nota þetta líkan til að þrífa/skimun eða greiningu. Endanleg ákvörðun er í höndum geislafræðings/stofnunarinnar. Fullyrðing: "Líkan prófuð hjá 1200 sjúklingum með 97% nákvæmni."
Mikil eftirspurn dregur í efa vantar mæligildi og rýfur traustið á stakar tölur.
Afritanleg hvetja sniðmát
MÆRTLEGUR LESTRARHÆTTI Þitt hlutverk: HJÁLP. Ég skal gefa þér frammistöðukröfu fyrirsætunnar. Skráðu mæligildi sem vantar (næmni, sértækni, hlutfall falskt neikvætt, prófunarþýði, tæki/samskiptareglur) og þar sem ein tala (nákvæmni) gæti verið villandi. Ræddu fyrir hvaða verkefni (triage/skimun/greiningaraðstoð) líkanið er viðeigandi að nota. Ákvörðunin liggur í stofnuninni. Krafa: [skrifa]
Þröskuldsjafnvægi LýsingarsniðmátI mun gefa þér atburðarás um að hækka/lækka þröskuld líkans. Lýstu áhrifum hverrar atburðarásar á næmni, sértækni, falska neikvæðni og falska jákvæða og skrifaðu niður klínískar niðurstöður hennar (missir vs. óþarfa innköllun). Ákvörðunin er klínísk/stofnanabundin. Handrit: [skrifa]
SJÁLFSTÆÐI HJÁLFSTÆÐI SJÁLFREISNUNARsniðmát Búðu til gátlista sem mun vernda lestrarfræði mína gegn hlutdrægni í sjálfvirkni: hvaða skref ætti ég að taka jafnvel með neikvæðum gervigreindarútgangi, hvernig á að viðhalda kerfisbundinni skönnun, hvernig á að halda gervigreind sem "aðstoðarmann" frekar en "afhendingartæki".
VIÐVÖRUN ÞreytueftirlitssniðmátI mun gefa þér vikulega fánatalningu og raunverulegar jákvæðar tölur. Reiknaðu falska jákvæðu hlutfallið, metið hættuna á viðvörunarþreytu og leggðu til við hvaða þröskuld ég ætti að grípa til aðgerða til að endurskoða þröskuldinn/líkanið. Minntu mig á meginregluna um að hver fáni ætti samt að vera staðfestur. Gögn: [skrifa]
Algeng mistök
- Að treysta á eina „sannleika“ töluna. Hin sjaldgæfa uppgötvun er líka villandi; Spyrja ætti um næmni og sérhæfni saman.
- Að meðhöndla neikvæða gervigreindarframleiðslu sem greiningarábyrgð. Líkanið gæti hafa misst af því; Kerfisbundinn lestur er nauðsyn.
- Falla í sjálfvirkni hlutdrægni. Of traust á gervigreind grefur undan sjálfstæðri dómgreind.
- Hunsa viðvörunarþreytu. Fylgjast skal með miklu fölskum jákvæðum; enn þarf að staðfesta hvern fána.
- Misskilja þröskuldinn fyrir "tæknilega stillingu". Þröskuldurinn er klínískt jafnvægi; Geislafræðingur/stofnun vegur kostnað vegna missa og falskra viðvarana.
Ábending: Búðu til reglu fyrir þig: "Sama hvað gervigreindin segir, ég les alla myndina." Þessi eina regla hamlar samtímis bæði sjálfvirkni hlutdrægni (ekki slaka á neikvæðu) og viðvörunarþreytu (ekki viðbragðslaust útrýma jákvæðu).
Í stuttu máli
Að meta geislafræðilíkan snýst ekki um að skoða eina „nákvæmni“ tölu. Lesa skal saman næmni (engin missir), sérhæfni (engar falskar viðvaranir), hlutfall falskt neikvætt og prófunarþýði; Val á þröskuldi er klínískt jafnvægi. Hinar tvær mannlegu gildrur - oftraust á gervigreind (sjálfvirkni hlutdrægni) og að venjast fölskum viðvörunum og útrýma fánanum (viðvörunarþreyta) - fara í gagnstæðar áttir en enda með sömu niðurstöðu og missa af raunverulegri niðurstöðu. Það er aðeins eitt móteitur: Sama hvað gervigreind segir, geislafræðingurinn gerir sinn eigin kerfisbundna lestur. Neikvæð gervigreind er ekki trygging, en í mesta lagi gagnlegt merki; Einnig þarf að lesa ómerkta svæðið.
Umsóknarverkefni
Taktu kynningartexta af fyrirmynd sem þú hefur (eða sýnishorn). Með „Metrics Critical Reading“ sniðmátinu skaltu meta hvaða mælikvarðar eru gefnar upp, hverjar vantar og í hvaða verkefni er viðeigandi að nota líkanið. Hannaðu síðan einfalt graf til að fylgjast með hversu oft þríhyrningafáni rætist á viku; Skrifaðu niður hvaða aðgerð þú ætlar að grípa til ef hlutfall falskra jákvæða fer yfir viðmiðunarmörkin sem þú setur (til dæmis 70%). Að lokum skaltu laga listann „Sjálfsendurskoðun á sjálfsvirkni“ að eigin lestrarrútínu.
gátlisti
- [ ] Ég treysti ekki á eina „nákvæmni“ töluna; Ég spurði um næmni og sérhæfni.
- [ ] Ég lærði rangt neikvæða hlutfallið og prófþýði.
- [ ] Þrátt fyrir neikvæða gervigreindarúttakið gerði ég kerfisbundinn lestur minn.
- [ ] Ég var ekki of öruggur í gervigreind (á móti sjálfvirkni hlutdrægni).
- [ ] Ég fylgdist með fölskum jákvæðum; Ég staðfesti hvert fána (gegn viðvörunarþreytu).
- [ ] Ég tók tillit til þess að val á þröskuldi er klínískt jafnvægi.
- [ ] Ég fylgdi reglunni um "Ég las alla myndina, sama hvað gervigreindin segir."