Faida:
- Uwezo wa kutafsiri dhana za unyeti, maalum, hasi ya uwongo na chanya ya uwongo katika muktadha wa radiolojia na kusoma kwa umakini metrics ya mfano.
- Kuwa na uwezo wa kutambua upendeleo wa otomatiki (kutegemea zaidi akili ya bandia) na, kinyume chake, uchovu wa kengele, na kulinda nidhamu ya kusoma dhidi ya mitego hii miwili.
- Kuelewa kuwa mtaalamu wa radiolojia lazima asome eneo ambalo halijatambuliwa na akili ya bandia, na kwamba matokeo mabaya ya AI sio dhamana ya utambuzi.
Nambari mbili muhimu zaidi za AI ya radiolojia ni matokeo mangapi inashika na ni kengele ngapi za uwongo inazotoa. Ikiwa mtengenezaji atakuambia "mfano wetu ni sahihi kwa 96%," hiyo pekee haisemi chochote. Kwa sababu kwa matokeo ya nadra (sema, magonjwa 10 katika mitihani 1,000), hata mfano ambao hauonyeshi chochote unaweza kuonekana kuwa "sahihi 99%" - inatambua kwa usahihi watu 990 wenye afya na inakosa wagonjwa 10 tu. Katika kitengo hiki, tutajifunza jinsi ya kusoma kwa kina vipimo muhimu vya radiolojia—unyeti, umaalumu, hasi zisizo za kweli, chanya zisizo za kweli—kama vile mtaalamu, na kutambua mitego miwili hatari ya binadamu—upendeleo otomatiki na uchovu wa kengele.
Kanuni ya msingi: Eneo ambalo halijaangaziwa na akili ya bandia pia linasomwa na mtaalamu wa radiolojia. Matokeo mabaya ya AI sio dhamana ya utambuzi; modeli inaweza kukosa kupatikana (hasi ya uwongo). Dhamira ya ufuatiliaji wa binadamu ni kunasa matukio mahususi ambayo kielelezo kina makosa kwa usalama.
Kusoma vipimo kama mtaalam
Hebu tufafanue dhana nne za msingi. Wacha tuseme tulijaribu mfano kwenye mitihani 1000 na 100 kati yao walikuwa na ugonjwa huo.
- Chanya ya kweli (TP): Mfano uliashiria mgonjwa, mgonjwa kweli.
- Hasi ya uwongo (FN): Muundo haukuweka alama lakini mgonjwa ni mgonjwa - amekosa. Hatari zaidi katika radiolojia.
- Chanya ya uwongo (FP): Muundo ulitiwa alama lakini mgonjwa ana afya—kengele ya uwongo.
- Hasi ya kweli (TN): Mfano haukuweka alama, ni mzima kabisa.
Vipimo viwili vya msingi vinatoka kwa hizi:
- Usikivu = TP / (TP + FN): Je, ni wagonjwa wangapi halisi tuliowapata? Usikivu mkubwa unamaanisha utekaji nyara mdogo.
- Umaalumu = TN / (TN + FP): Je, ni wangapi kati ya wenye afya tuliowahesabu kuwa wenye afya? Umaalum wa hali ya juu unamaanisha kengele chache za uwongo.
kipimo
fomula
Wakati iko juu
Umuhimu wa radiolojia
Unyeti
TP/(TP+FN)
Chache hasi hasi
Muhimu ili kuepuka kukosa (uchunguzi, utatuzi)
maalum
TN/(TN+FP)
Chanya chache za uwongo
Inapunguza uchunguzi usio wa lazima
Kiwango hasi cha uwongo
FN/(TP+FN)
mbaya
Ubaya wa kimya; radiologist lazima kukamata
Mzigo chanya wa uwongo
idadi ya FPs
mzigo unaongezeka
Uchovu wa kengele, kumbuka
"usahihi"
(TP+TN)/jumla
kupotosha
Inaonekana juu ya ugonjwa wa nadra, hudanganya
Mfano una kizingiti (juu ya kile alama inachukuliwa kuwa "chanya"), na kizingiti hiki hubadilisha unyeti na maalum katika mwelekeo tofauti: ukipunguza kizingiti, utapata zaidi (unyeti ↑) lakini unainua kengele zaidi za uongo (maalum ↓). Huu sio mpangilio wa uhandisi, lakini uamuzi wa kliniki: gharama kubwa ya kukosa, au mzigo wa kengele ya uwongo? Usikivu kwa ujumla hupewa kipaumbele katika uchunguzi na utatuzi.
Tahadhari: Usiwahi kuamini nambari moja kama "usahihi wa 95%. Katika matokeo ya nadra, usahihi ni wa kupotosha. Utendaji wa kweli wa muundo hauwezi kujulikana bila kuuliza unyeti, umaalumu, kiwango hasi cha uongo, na idadi ya watu ambayo ilipimwa.
Mitego miwili ya wanadamu
Upendeleo wa kiotomatiki: Wakati watu wanategemea zaidi matokeo ya mfumo otomatiki na kulegeza uamuzi wao huru. Ikiwa mtaalamu wa radiolojia ataruka picha hiyo kijuujuu kwa kusema "AI ilisema ilikuwa hasi, kwa hivyo ni safi", matokeo ambayo modeli yamekosewa yatarukwa kabisa. Wakati hasi za uwongo zinachanganyikana na upendeleo wa kiotomatiki, raison d'être ya ukaguzi wa binadamu huondolewa.
Uchovu wa tahadhari: Kama matokeo ya modeli inayozalisha idadi kubwa ya chanya za uwongo, mtaalamu wa radiolojia hupoteza imani katika bendera na huanza kuziondoa zote. Utambuzi wa kweli baada ya kengele ya uwongo ya kumi pia inaweza kuondolewa. Mitego hii miwili iko katika mwelekeo tofauti, lakini matokeo yao ni sawa: kukosa matokeo halisi.
Dawa ya mitego hii miwili ni sawa: haijalishi matokeo ya AI yanasema nini, mtaalam wa radiolojia hufanya usomaji wake wa kimfumo. Ikiwa AI inaiweka alama au la, picha nzima inachanganuliwa. AI ni "jicho la pili"; Jicho la kwanza daima ni radiologist.
kesi tatu ndogo
Kesi ya 1 - hasi ya uwongo + upendeleo wa kiotomatiki. Radiograph ya kifua CAD hukosa (hasi ya uwongo) nodule ndogo katika ukanda wa juu kushoto. Katika siku yenye shughuli nyingi, mtaalamu wa radiolojia anakimbia kupitia radiograph akifikiri "CAD ni wazi" (upendeleo wa automatisering). Nodule hugunduliwa baada ya miezi 8 kama uzito wa cm 2 kwa saizi. Makosa mawili pamoja: mfano ulikosa, mwanadamu hakuangalia. Somo: licha ya CAD hasi, kusoma kwa utaratibu ni muhimu.
Kesi ya 2 - uchovu wa kengele. Mfano wa pneumothorax hutupa wastani wa bendera 8 kwa siku kwa wiki mbili, 1-2 tu kati ya hizo ni halisi (karibu 80% chanya chanya). Mtaalamu wa radiolojia hupoteza imani katika bendera. Katika wiki ya tatu, bendera ya kweli ya pneumothorax pia inapitishwa kwa njia ya "hapana"; Mgonjwa anazidi kuwa mbaya baada ya siku. Somo: miundo iliyo na kiwango cha juu cha chanya ya uwongo inapaswa kufuatiliwa, kiwango cha juu/muundo kukaguliwa, na kila alama ithibitishwe hata hivyo.
Kesi 3 - usawa sahihi. Katika kituo cha kiharusi, mfano wa triage ya CT ya ubongo hufanya kazi kwa unyeti wa juu; Chanya za uwongo ni za juu, lakini mtaalamu wa radiolojia huthibitisha kila bendera katika sekunde 60 na hugundua kutokwa na damu halisi ndani ya dakika. Timu hufuatilia kiwango chanya cha uwongo kila wiki, ikikagua kiwango cha juu na mtengenezaji kinapozidi 70%. Hapa, vipimo vilisimamiwa kwa uangalifu; Hakuna upendeleo wa kiotomatiki au uchovu wa kengele.
Mwongozo dhaifu / Mwongozo thabiti
Agizo dhaifu:
Mfano huu ni sahihi 97%, ni wa kuaminika?
Kipimo kimoja kinapotosha; haiwezi kujibiwa bila kuuliza maswali kuhusu idadi ya watu, unyeti, umaalum, na hasi za uwongo.
Agizo lenye nguvu:
Jukumu lako: NISAIDIE kusoma kwa umakini vipimo vya utendakazi vya muundo wa AI.Kufanya maamuzi; Eleza maswali ninayopaswa kuuliza na majibu yanamaanisha nini. Nitakupa madai ya mwanamitindo. Zingatia: (1) ni vipimo vipi vimetolewa na ambavyo havipo (unyeti, umaalumu, kiwango hasi cha uongo, idadi ya watu, kifaa), (2) kama "usahihi" pekee ni wa kupotosha, (3) ikiwa inafaa kutumia muundo huu kwa uchunguzi / uchunguzi au uchunguzi. Uamuzi wa mwisho ni kwa radiologist/taasisi. Dai: "Mfano ulijaribiwa kwa wagonjwa 1200 kwa usahihi wa 97%.
Mahitaji makubwa yanaleta swali kuhusu kukosa vipimo na kuvunja utegemezi wa nambari moja.
Violezo vya haraka vinavyoweza kunakiliwa
KIOLEZO CHA METRI MUHIMU CHA KUSOMA Jukumu lako: MSAADA. Nitakupa dai la utendaji wa mwanamitindo. Orodhesha vipimo vinavyokosekana (unyeti, umaalumu, kiwango hasi cha uongo, idadi ya majaribio, kifaa/itifaki) na ambapo nambari moja (usahihi) inaweza kupotosha. Jadili ni kazi gani (ujaribio/uchunguzi/msaada wa uchunguzi) mtindo unafaa kutumia. Uamuzi uko katika taasisi. Dai: [andika]
KIOLEZO CHA MAELEZO YA MIZANI YA KIzingiti nitakupa hali ya kuinua/kupunguza kizingiti cha modeli. Eleza athari ya kila hali kwenye unyeti, umaalumu, hasi ya uwongo, na chanya ya uwongo na uandike matokeo yake ya kimatibabu (ukosefu dhidi ya kumbukumbu isiyo ya lazima). Uamuzi ni wa kiafya/kitaasisi. Hati: [andika]
KIOTESHO CHA Upendeleo wa KUJISAIDIA KIOtomatikiNizalishe orodha hakiki ambayo italinda nidhamu yangu ya usomaji dhidi ya upendeleo wa kiotomatiki: ni hatua gani ninapaswa kuchukua hata nikiwa na matokeo hasi ya AI, jinsi ya kudumisha utambazaji wa kimfumo, jinsi ya kuweka AI kama "msaidizi" badala ya "zana ya uwasilishaji".
ALERT FATIGUE MONITORING TEMPLATEI itakupa hesabu za bendera za kila wiki na nambari halisi chanya. Kokotoa kiwango cha chanya ya uongo, tathmini hatari ya uchovu wa tahadhari, na upendekeze ni katika kizingiti gani ninapaswa kuchukua hatua ya kurekebisha kizingiti/modeli. Nikumbushe kanuni kwamba kila bendera inapaswa kuthibitishwa. Data: [andika]
Makosa ya kawaida
- Kutegemea nambari moja ya "ukweli". Ugunduzi wa nadra pia ni wa kupotosha; Usikivu na umaalumu unapaswa kuulizwa pamoja.
- Kutibu matokeo hasi ya AI kama hakikisho la uchunguzi. Huenda mwanamitindo amekosa; Kusoma kwa utaratibu ni lazima.
- Kuanguka katika upendeleo wa otomatiki. Kuegemea kupita kiasi kwa AI kunadhoofisha uamuzi huru.
- Kupuuza uchovu wa kengele. Vipimo vya juu vya uongo vinapaswa kufuatiliwa; kila bendera lazima bado ithibitishwe.
- Kukosea kizingiti kwa "mazingira ya kiufundi". Kizingiti ni usawa wa kliniki; Mtaalamu wa radiolojia/taasisi hupima gharama ya kukosa na kengele za uwongo.
Kidokezo: Jiwekee sheria: "Haijalishi AI inasema nini, nilisoma picha nzima." Sheria hii moja wakati huo huo inazuia upendeleo wa kiotomatiki (sio kupumzika kwenye hasi) na uchovu wa kengele (sio kuondoa chanya kwa urejesho).
Kwa muhtasari
Kutathmini muundo wa radiolojia sio kuangalia nambari moja ya "usahihi". Unyeti (hakuna makosa), umaalum (hakuna kengele za uwongo), kiwango hasi cha uongo, na idadi ya majaribio inapaswa kusomwa pamoja; Uchaguzi wa kizingiti ni usawa wa kliniki. Mitego miwili ya wanadamu - kujiamini kupita kiasi katika AI (upendeleo wa kiotomatiki) na kuzoea kengele za uwongo na kuondoa bendera (uchovu wa kengele) - huenda kwa mwelekeo tofauti lakini huisha na matokeo sawa, kukosa matokeo halisi. Kuna dawa moja tu: Haijalishi AI inasema nini, mtaalam wa radiolojia hufanya usomaji wake wa kimfumo. AI hasi sio hakikisho, lakini ishara muhimu zaidi; Sehemu isiyo na alama lazima pia isomwe.
Jukumu la maombi
Chukua maandishi ya ukuzaji wa muundo ulio nao (au sampuli). Ukitumia kiolezo cha "Usomaji Muhimu wa Vipimo", tathmini ni vipimo vipi vimetolewa, ambavyo havipo, na ni kwa kazi gani inafaa kutumia muundo huo. Kisha unda chati rahisi ili kufuatilia ni mara ngapi bendera ya utatuzi hutimia katika kipindi cha wiki; Andika ni hatua gani utachukua ikiwa kiwango cha chanya cha uongo kinazidi kiwango ulichoweka (kwa mfano, 70%). Hatimaye, rekebisha orodha ya "Upendeleo wa Upendeleo wa Kiotomatiki" katika utaratibu wako wa kusoma.
orodha ya ukaguzi
- [ ] Sikutegemea nambari moja ya "usahihi"; Niliuliza juu ya unyeti na maalum.
- [ ] Nilijifunza kiwango cha uwongo cha hasi na idadi ya majaribio.
- [ ] Licha ya matokeo hasi ya AI, nilifanya usomaji wangu wa kimfumo.
- [ ] Sikuwa na ujasiri kupita kiasi katika AI (dhidi ya upendeleo wa otomatiki).
- [ ] Nilitazama matokeo chanya ya uwongo; Nilithibitisha kila bendera (dhidi ya uchovu wa tahadhari).
- [ ] Nilizingatia kwamba chaguo la kizingiti ni usawa wa kimatibabu.
- [ ] Nilifuata sheria ya "Nilisoma picha nzima bila kujali AI inasema nini."