Daromadlar:
- Radiologiya kontekstida sezgirlik, o'ziga xoslik, noto'g'ri salbiy va noto'g'ri musbat tushunchalarini sharhlash va model ko'rsatkichlarini tanqidiy o'qish qobiliyati.
- Avtomatlashtirishning noto'g'riligini tan olish (sun'iy intellektga haddan tashqari ishonish) va aksincha, charchoqni ogohlantiradi va o'qish intizomini ushbu ikkita tuzoqdan himoya qiladi.
- Rentgenologning sun'iy intellekt bilan belgilanmagan hududni o'qishi kerakligini tushunish va AIning salbiy chiqishi tashxisning kafolati emas.
Radiologik AI uchun ikkita eng muhim raqam - bu qancha topilmalarni ushlashi va qancha noto'g'ri signallarni keltirib chiqarishi. Agar ishlab chiqaruvchi sizga "bizning modelimiz 96% aniq" deb aytsa, buning o'zi deyarli hech narsa demaydi. Chunki kamdan-kam topilma uchun (aytaylik, 1000 ta imtihonda 10 ta kasallik), hatto hech narsani belgilamaydigan model ham "99% aniq" bo'lib ko'rinishi mumkin - u 990 ta sog'lom odamni to'g'ri taniydi va atigi 10 bemorni o'tkazib yuboradi. Ushbu bo'limda biz radiologiyaning muhim ko'rsatkichlarini - sezuvchanlik, o'ziga xoslik, noto'g'ri salbiy, noto'g'ri musbat - ekspert kabi tanqidiy o'qishni va insonning ikkita xavfli tuzog'ini - avtomatlashtirishning noto'g'riligi va signal charchoqini tan olishni o'rganamiz.
Asosiy printsip: Sun'iy intellekt bilan belgilanmagan hudud ham radiolog tomonidan o'qiladi. AIning salbiy natijasi tashxis qo'yish kafolati emas; model topilmani o'tkazib yuborgan bo'lishi mumkin (noto'g'ri salbiy). Inson monitoringining asosiy maqsadi model noto'g'ri bo'lgan aniq daqiqalarni qo'lga kiritishdir.
Mutaxassis kabi ko'rsatkichlarni o'qish
Keling, to'rtta asosiy tushunchaga aniqlik kiritaylik. Aytaylik, biz modelni 1000 ta imtihonda sinab ko'rdik va ularning 100 tasida kasallik bor edi.
- Haqiqiy ijobiy (TP): Model bemorni chinakam kasal deb belgiladi.
- Noto'g'ri salbiy (FN): Model belgilamadi, lekin bemor kasal - miss. Radiologiyada eng xavfli.
- Noto'g'ri ijobiy (FP): Model belgilandi, lekin bemor sog'lom - noto'g'ri signal.
- Haqiqiy salbiy (TN): Model belgilanmagan, haqiqatan ham sog'lom.
Ulardan ikkita asosiy ko'rsatkich kelib chiqadi:
- Sezuvchanlik = TP / (TP + FN): Biz qancha haqiqiy bemorni ushladik? Yuqori sezuvchanlik past o'g'irlashni anglatadi.
- O'ziga xoslik = TN / (TN + FP): Biz qancha sog'lomlarni sog'lom deb hisobladik? Yuqori o'ziga xoslik kamroq noto'g'ri signallarni anglatadi.
metrik
formula
U baland bo'lganda
Radiologik ahamiyati
Sezuvchanlik
TP/(TP+FN)
Bir nechta noto'g'ri salbiy
Yo'qotmaslik uchun juda muhim (skrining, triaj)
o'ziga xoslik
TN/(TN+FP)
Bir nechta noto'g'ri pozitivlar
Keraksiz tekshiruvni kamaytiradi
Noto'g'ri salbiy ko'rsatkich
FN/(TP+FN)
yomon
Ovozsiz zarar; rentgenolog ushlashi kerak
Noto'g'ri musbat yuk
FP soni
yuk ortadi
Signal charchoq, eslang
"aniqlik"
(TP+TN)/jami
chalg'ituvchi
Noyob kasallikda yuqori ko'rinadi, aldaydi
Modelning chegarasi bor (baho “ijobiy” deb hisoblanadigan qiymatdan yuqori) va bu chegara sezgirlik va o'ziga xoslikni qarama-qarshi yo'nalishda o'zgartiradi: agar siz chegarani pasaytirsangiz, siz ko'proq ushlaysiz (sezuvchanlik ↑), lekin ko'proq noto'g'ri signallarni ko'tarasiz (o'ziga xoslik ↓). Bu muhandislik muhiti emas, balki klinik qaror: yo'qolganlarning og'ir xarajati yoki noto'g'ri signal yuki? Odatda skrining va triajda sezuvchanlik ustuvor hisoblanadi.
Diqqat: "95% aniqlik" kabi bitta raqamga hech qachon ishonmang. Kamdan-kam topilmalarda aniqlik noto'g'ri. Modelning haqiqiy ishlashini sezgirlik, o'ziga xoslik, noto'g'ri salbiy ko'rsatkich va u o'lchangan populyatsiyani so'ramasdan bilib bo'lmaydi.
Ikkita inson tuzog'i
Avtomatlashtirishning noto'g'riligi: odamlar avtomatlashtirilgan tizimning chiqishiga haddan tashqari tayanib, o'zlarining mustaqil mulohazalari bo'shashganda. Agar rentgenolog yuzaki ravishda tasvirni o'tkazib yuborsa, "AI buni salbiy deb aytdi, shuning uchun u toza", model tomonidan o'tkazib yuborilgan topilma butunlay o'tkazib yuboriladi. Noto'g'ri negativlar avtomatlashtirish tarafkashligi bilan birlashganda, insonni tekshirishning sababi yo'q qilinadi.
Ogohlantirish charchoqlari: model ko'p sonli noto'g'ri pozitivlarni ishlab chiqarishi natijasida radiolog bayroqlarga ishonchini yo'qotadi va ularning barchasini refleksli ravishda yo'q qila boshlaydi. O'ninchi noto'g'ri signaldan keyin haqiqiy topilma ham yo'q qilinishi mumkin. Bu ikki tuzoq qarama-qarshi yo'nalishda, lekin ularning natijalari bir xil: haqiqiy topilma yo'qoladi.
Ushbu ikkita tuzoqqa qarshi vosita bir xil: AI chiqishi nima desa ham, radiolog o'zining tizimli o'qishini amalga oshiradi. AI buni belgilaydimi yoki yo'qmi, butun tasvir skanerdan o'tkaziladi. AI - bu "ikkinchi ko'z"; Birinchi ko'z har doim rentgenologdir.
uchta mini holat
1-holat - noto'g'ri salbiy + avtomatlashtirish tarafkashligi. Ko'krak qafasi rentgenogrammasida SAPR yuqori chap zonada kichik tugunni o'tkazib yuboradi (noto'g'ri salbiy). Mashg'ulot kunida rentgenolog "SAPR aniq" (avtomatizatsiya tarafkashligi) deb o'ylaydigan rentgenogramma orqali yuguradi. Tugun 8 oydan keyin 2 sm hajmdagi massa sifatida seziladi. Ikki xato birlashtirildi: model o'tkazib yuborilgan, odam tekshirmagan. Dars: salbiy SAPRga qaramay, tizimli o'qish juda muhimdir.
2-holat - Signalning charchashi. Pnevmotoraks modeli ikki hafta davomida kuniga o'rtacha 8 ta bayroqni tashlaydi, ulardan faqat 1-2 tasi haqiqiydir (taxminan 80% noto'g'ri ijobiy). Radiolog bayroqlarga ishonchini yo'qotadi. Uchinchi haftada haqiqiy apikal pnevmotoraks bayrog'i ham refleksli ravishda "yo'q" sifatida uzatiladi; Bir kundan keyin bemorning ahvoli yomonlashadi. Dars: noto'g'ri musbat ko'rsatkichi yuqori bo'lgan modellarni kuzatib borish, chegara/modelni ko'rib chiqish va har bir bayroqni tasdiqlash kerak.
3-holat - To'g'ri balans. Qon tomir markazida miya KT triaj modeli yuqori sezuvchanlik bilan ishlaydi; Noto'g'ri pozitivlar yuqori, ammo radiolog har bir bayroqni 60 soniyada tasdiqlaydi va bir necha daqiqada haqiqiy qon ketishini aniqlaydi. Jamoa har hafta noto'g'ri ijobiy ko'rsatkichni kuzatib boradi, u 70% dan oshganda ishlab chiqaruvchi bilan chegarani ko'rib chiqadi. Bu erda ko'rsatkichlar ongli ravishda boshqarildi; Avtomatlashtirishning noto'g'riligi ham, signal charchoqlari ham o'rnatilmagan.
Zaif taklif / Kuchli taklif
Zaif taklif:
Ushbu model 97% aniq, ishonchlimi?
Yagona ko'rsatkich noto'g'ri; populyatsiya, sezgirlik, o'ziga xoslik va noto'g'ri negativlar haqida savollar bermasdan javob berish mumkin emas.
Kuchli so'rov:
Sizning rolingiz: AI modelining ishlash ko'rsatkichlarini tanqidiy o'qishga yordam bering. Qaror qabul qilish; Qanday savollar berishim kerakligini va javoblar nimani anglatishini tushuntiring. Men sizga modelning da'volarini beraman. Ko'rib chiqing: (1) qaysi ko'rsatkichlar berilgan va qaysilari etishmayotgan (sezuvchanlik, o'ziga xoslik, noto'g'ri manfiy ko'rsatkich, populyatsiya, qurilma), (2) "aniqlik" yolg'iz chalg'ituvchimi, (3) triaj/skrining yoki tashxis uchun ushbu modeldan foydalanish maqsadga muvofiqmi. Yakuniy qaror rentgenolog / muassasaga tegishli. Da'vo: "Model 97% aniqlik bilan 1200 bemorda sinovdan o'tkazildi."
Kuchli talab etishmayotgan ko'rsatkichlarni shubha ostiga qo'yadi va bitta raqamlarga bo'lgan ishonchni yo'qotadi.
Ko‘chirish mumkin bo‘lgan shablonlar
METRIK TANIQIY O'QISH SHABLONISizning rolingiz: YORDAM. Men sizga modelning ishlash da'vosini beraman. Etishmayotgan koʻrsatkichlarni (sezuvchanlik, oʻziga xoslik, notoʻgʻri salbiy koʻrsatkich, test populyatsiyasi, qurilma/protokol) va bitta raqam (aniqlik) chalgʻituvchi boʻlishi mumkin boʻlgan joylarni sanab oʻting. Qaysi vazifa (triaj/skrining/diagnostika-yordam) uchun modeldan foydalanish maqsadga muvofiqligini muhokama qiling. Qaror muassasada. Da'vo: [yozish]
BOG'LIQ BALANS TAVSIFI TEMPLATEI sizga model chegarasini ko'tarish/pasaytirish stsenariysini beradi. Har bir stsenariyning sezgirlik, o'ziga xoslik, noto'g'ri salbiy va noto'g'ri musbatga ta'sirini tavsiflang va uning klinik natijalarini yozing (o'tkazib yuborilgan va keraksiz eslab qolish). Qaror klinik/institutsionaldir. Skript: [yozish]
AUTOMATION BIAS O'Z-O'ZI TUZISH SHABLONI O'qish intizomimni avtomatlashtirish tarafkashligidan himoya qiladigan nazorat ro'yxatini yarating: manfiy AI chiqishi bilan ham qanday qadamlar qo'yishim kerak, tizimli skanerlashni qanday davom ettirish kerak, AIni "etkazib berish vositasi" emas, balki "yordamchi" sifatida qanday saqlash kerak.
ALERT FATIGUE MONITORING TEMPLATEI sizga haftalik bayroqlar soni va haqiqiy ijobiy raqamlarni beradi. Noto'g'ri musbat ko'rsatkichni hisoblang, ogohlantirishning charchash xavfini baholang va chegara/modelni qayta ko'rib chiqish uchun qaysi chegarada harakat qilish kerakligini taklif qiling. Har bir bayroq hali ham tasdiqlanishi kerak degan tamoyilni eslatib o't. Ma'lumotlar: [yozish]
Umumiy xatolar
- Yagona "haqiqat" raqamiga tayanib. Noyob topilma ham noto'g'ri; Sezuvchanlik va o'ziga xoslikni birgalikda so'rash kerak.
- Salbiy AI chiqishini diagnostika kafolati sifatida ko'rib chiqish. Model buni o'tkazib yuborgan bo'lishi mumkin; Tizimli o'qish majburiydir.
- Avtomatlashtirish tarafkashligiga tushib qolish. Sun'iy intellektga haddan tashqari ishonish mustaqil fikr yuritishni buzadi.
- Signal charchoqqa e'tibor bermaslik. Yuqori noto'g'ri pozitivlarni kuzatish kerak; har bir bayroq hali ham tasdiqlanishi kerak.
- Eshikni “texnik sozlamalar” deb xato qilish. Eshik - klinik muvozanat; Radiolog / muassasa o'tkazib yuborilgan va noto'g'ri signallarning narxini o'lchaydi.
Maslahat: O'zingiz uchun qoida yarating: "AI nima desa ham, men butun tasvirni o'qib chiqdim." Ushbu yagona qoida bir vaqtning o'zida avtomatlashtirishning noto'g'riligini (salbiyni tinchlantirmaydi) va signal charchoqlarini (ijobiyni refleksli ravishda yo'q qilmaydi) jilovlaydi.
qisqa bayoni; yakunida
Radiologiya modelini baholash bitta "aniqlik" raqamiga qarash emas. Sezuvchanlik (o'tkazib yubormaslik), o'ziga xoslik (noto'g'ri signallar yo'q), noto'g'ri salbiy ko'rsatkich va test populyatsiyasini birgalikda o'qish kerak; Eshik chegarasini tanlash klinik muvozanatdir. Ikkita inson tuzog'i - sun'iy intellektga haddan tashqari ishonch (avtomatlashtirish tarafkashligi) va noto'g'ri signallarga ko'nikish va bayroqni yo'q qilish (signal charchoqlari) - qarama-qarshi yo'nalishda ketadi, lekin haqiqiy topilmani yo'qotib, bir xil natija bilan tugaydi. Faqat bitta antidot bor: AI nima deyishidan qat'i nazar, radiolog o'zining tizimli o'qishini qiladi. Salbiy AI kafolat emas, lekin ko'pi bilan foydali signaldir; Belgilanmagan joy ham o'qilishi kerak.
Ilova vazifasi
Sizda mavjud modelning (yoki namunaning) reklama matnini oling. "Metrics Critical Reading" shabloni yordamida qaysi ko'rsatkichlar taqdim etilganligini, qaysilari etishmayotganligini va qaysi vazifa uchun modeldan foydalanish maqsadga muvofiqligini baholang. Keyin bir hafta davomida triaj bayrog'i necha marta amalga oshishini kuzatish uchun oddiy jadvalni tuzing; Agar noto'g'ri ijobiy ko'rsatkich siz o'rnatgan chegaradan oshsa, qanday harakat qilishingizni yozing (masalan, 70%). Va nihoyat, "Avtomatlashtirishning o'zini o'zi tekshirish" ro'yxatini o'zingizning o'qish tartibingizga moslang.
nazorat ro'yxati
- [ ] Men yagona "aniqlik" raqamiga tayanmadim; Men sezgirlik va o'ziga xoslik haqida so'radim.
- [ ] Men noto'g'ri salbiy ko'rsatkichni va test populyatsiyasini bilib oldim.
- [ ] Salbiy AI chiqishiga qaramay, men tizimli o'qishni qildim.
- [ ] Men sun'iy intellektga (avtomatlashtirish tarafkashligiga nisbatan) haddan tashqari ishonchim komil emas edi.
- [ ] Men noto'g'ri pozitivlarni kuzatdim; Men har bir bayroqni tasdiqladim (ogohlantiruvchi charchoqqa qarshi).
- [ ] Men polni tanlash klinik muvozanat ekanligini hisobga oldim.
- [ ] Men “AI nima desa ham, men butun tasvirni o‘qiyman” qoidasiga amal qildim.