Табыстар:
- Рентгенология контекстінде сезімталдық, ерекшелік, жалған теріс және жалған позитив ұғымдарын түсіндіру және модельдің метрикасын сыни тұрғыдан оқу мүмкіндігі.
- Автоматтандырудың бұрмалануын (жасанды интеллектке шамадан тыс тәуелділік) және, керісінше, шаршауды дабыл қағу және оқу тәртібін осы екі тұзақтан қорғау мүмкіндігі
- Рентгенолог жасанды интеллектпен белгіленбеген аймақты оқуы керек екенін және AI теріс нәтиже диагностиканың кепілі емес екенін түсіну.
Рентгенологиялық AI үшін ең маңызды екі сан - ол қанша нәтижені ұстайды және қанша жалған дабыл береді. Егер өндіруші сізге «біздің модель 96% дәл» десе, бұл ештеңе дерлік емес. Өйткені сирек кездесетін (мысалы, 1000 емтихандағы 10 ауру) ешнәрсені белгілемейтін модельдің өзі «99% дәл» болып көрінуі мүмкін — ол 990 сау адамды дұрыс таниды және тек 10 науқасты өткізіп жібереді. Бұл бөлімде біз сарапшы сияқты радиологияның маңызды көрсеткіштерін – сезімталдық, ерекшелік, жалған теріс, жалған позитивті – сыни тұрғыдан оқуды үйренеміз және адамның екі қауіпті тұзағын – автоматтандыруға бейімділік пен дабылдың шаршауын тануды үйренеміз.
Негізгі қағида: Жасанды интеллектпен белгіленбеген аймақты да рентгенолог оқиды. Теріс АИ нәтижесі диагноздың кепілі емес; модель нәтижені жіберіп алған болуы мүмкін (жалған теріс). Адам бақылауының себебі - модель қателескен кезде дәл сәттерді түсіру.
Сарапшы сияқты көрсеткіштерді оқу
Төрт негізгі ұғымды ашып көрейік. Біз модельді 1000 емтиханға сынадық делік, олардың 100-інде ауру болды.
- Нағыз оң (TP): Модель науқасты, шынымен науқасты белгіледі.
- Жалған теріс (FN): Модель белгілемеген, бірақ науқас ауырып жатыр — мисс. Рентгенологиядағы ең қауіптісі.
- Жалған оң (FP): Үлгі жалаушамен белгіленген, бірақ емделуші сау — жалған дабыл.
- Шынайы теріс (TN): Модель белгіленбеген, шынымен сау.
Екі негізгі көрсеткіш мыналардан туындайды:
- Сезімталдық = TP / (TP + FN): Біз қанша нақты науқасты ұстадық? Жоғары сезімталдық төмен ұрлауды білдіреді.
- Ерекшелік = TN / (TN + FP): Біз сау адамдардың қаншасын сау деп санадық? Жоғары ерекшелік жалған дабылдардың аздығын білдіреді.
метрикалық
формула
Ол жоғары болған кезде
Рентгенологиялық маңызы
Сезімталдық
TP/(TP+FN)
Жалған негативтер аз
Өткізіп алмау үшін маңызды (скрининг, триаж)
ерекшелігі
TN/(TN+FP)
Жалған позитивтер аз
Қажетсіз емтихандарды азайтады
Жалған теріс көрсеткіш
FN/(TP+FN)
нашар
Үнсіз зиян; рентгенолог ұстау керек
Жалған оң жүктеме
FP саны
жүктеме артады
Дабылдың шаршауы, еске түсіру
«дәлдік»
(TP+TN)/барлығы
жаңылыстыру
Сирек ауруда жоғары көрінеді, алдайды
Модельдің шекті мәні бар («оң» деп есептелетін ұпайдан жоғары) және бұл шек сезімталдық пен ерекшелікті қарама-қарсы бағытта өзгертеді: егер сіз шекті төмендетсеңіз, сіз көбірек ұстайсыз (сезімталдық ↑), бірақ жалған дабылдарды көбейтесіз (ерекшелік ↓). Бұл инженерлік жағдай емес, клиникалық шешім: жоғалудың ауыр құны немесе жалған дабылдың ауыртпалығы? Сезімталдық әдетте скрининг пен триажда басымдыққа ие.
Абайлаңыз: "95% дәлдік" сияқты бір санға ешқашан сенбеңіз. Сирек табылған кезде дәлдік жаңылыстырады. Модельдің шынайы өнімділігін сезімталдықты, ерекшелікті, жалған теріс көрсеткішті және ол өлшенген популяцияны сұрамай-ақ білуге болмайды.
Екі адам тұзағы
Автоматтандыруға бейімділік: адамдар автоматтандырылған жүйенің шығысына шамадан тыс сенім артып, өздерінің тәуелсіз пайымдауларын босаңсытқанда. Рентгенолог «AI теріс деп айтты, сондықтан ол таза» деп суретті үстірт өткізіп жіберсе, модель жіберіп алған анықтама толығымен өткізіп жібереді. Жалған негативтер автоматтандырудың бұрмалануымен үйлескенде, адамды тексерудің себебі жойылады.
Ескертудің шаршауы: модельдің көптеген жалған позитивтерді шығаруы нәтижесінде радиолог жалаушаларға сенімін жоғалтады және олардың барлығын рефлексивті түрде жоя бастайды. Оныншы жалған дабылдан кейінгі шынайы анықтау да жойылуы мүмкін. Бұл екі тұзақ қарама-қарсы бағытта, бірақ олардың нәтижелері бірдей: нақты табылған жоқ.
Бұл екі тұзақтың антидоты бірдей: AI нәтижесі не айтса да, радиолог өзінің жүйелі оқуын жасайды. AI оны белгіледі ме, жоқ па, бүкіл кескін сканерленеді. AI – «екінші көз»; Бірінші көз әрқашан рентгенолог болып табылады.
үш шағын іс
1-жағдай — Жалған теріс + автоматтандырудың ауытқуы. Кеуде қуысының рентгенограммасында CAD жоғарғы сол жақ аймақта шағын түйінді өткізбейді (жалған теріс). Қарбалас күні рентгенолог рентгенограмма арқылы «АЖА анық» деп ойлайды (автоматтандырудың біржақтылығы). Түйін 8 айдан кейін көлемі 2 см болатын масса түрінде байқалады. Екі қате біріктірілді: үлгі жіберіп алды, адам тексермеді. Сабақ: АЖЖ теріс болғанына қарамастан, жүйелі оқу өте маңызды.
2-жағдай — Дабылдың шаршауы. Пневмоторакс моделі екі апта бойы күніне орта есеппен 8 жалаушаны лақтырады, оның тек 1-2-сі ғана шынайы (шамамен 80% жалған). Рентгенолог жалаушаларға деген сенімін жоғалтады. Үшінші аптада шынайы апикальды пневмоторакс туы да «жоқ» ретінде рефлексивті түрде беріледі; Бір күннен кейін науқастың жағдайы нашарлайды. Сабақ: жалған оң көрсеткіші жоғары үлгілерді бақылап, шекті/модельді қарап шығу керек және бәрібір әрбір жалаушаны растау керек.
3-жағдай - Дұрыс теңгерім. Инсульт орталығында мидың КТ триаж үлгісі жоғары сезімталдықпен жұмыс істейді; Жалған позитивтер жоғары, бірақ рентгенолог әрбір жалаушаны 60 секундта растайды және бірнеше минут ішінде нақты қан кетуді анықтайды. Команда апта сайын жалған оң көрсеткішті қадағалайды, ол 70% асқан кезде өндірушімен шекті мәнді қайталайды. Мұнда көрсеткіштер саналы түрде басқарылды; Автоматтандырудың ауытқуы да, дабылдың шаршауы да орнатылмаған.
Әлсіз шақыру / Күшті шақыру
Әлсіз шақыру:
Бұл модель 97% дәл, ол сенімді ме?
Жалғыз көрсеткіш жаңылыстырады; популяция, сезімталдық, ерекшелік және жалған негативтер туралы сұрақтарсыз жауап беруге болмайды.
Күшті шақыру:
Сіздің рөліңіз: AI моделінің өнімділік көрсеткіштерін сыни тұрғыдан оқуға көмектесіңіз. Шешім қабылдау; Маған қандай сұрақтар қою керектігін және жауаптардың нені білдіретінін түсіндіріңіз. Мен сізге үлгінің талаптарын беремін. Мынаны қарастырыңыз: (1) қандай көрсеткіштер берілген және қайсысы жоқ (сезімталдық, ерекшелік, жалған теріс көрсеткіш, популяция, құрылғы), (2) жалғыз «дәлдік» жаңылыстырады ма, (3) осы үлгіні триаж/скрининг немесе диагностика үшін пайдалану орынды ма. Соңғы шешімді рентгенолог/мекеме қабылдайды. Шағым: «Модель 97% дәлдікпен 1200 пациентте сыналған».
Күшті сұраныс жетіспейтін көрсеткіштерге күмән келтіреді және жалғыз сандарға тәуелділікті жояды.
Көшіретін шақыру үлгілері
МЕТРИКАЛЫҚ СЫНЫ ОҚУ ҮЛГІСІСіздің рөліңіз: КӨМЕК. Мен сізге үлгінің өнімділігі туралы шағым беремін. Жетіспейтін көрсеткіштерді (сезімталдық, ерекшелік, жалған теріс жылдамдық, сынақ популяциясы, құрылғы/хаттама) және жалғыз сан (дәлдік) жаңылыстыруы мүмкін жерлерді тізімдеңіз. Модельді қандай тапсырма үшін (триаж/скрининг/диагностикалық көмек) пайдалану орынды екенін талқылаңыз. Шешім мекемеде. Шағым: [жазу]
ШАБАЛДЫҚ ТЕҢГЕМЕ СИПАТТАМАСЫ I үлгісі сізге үлгінің шегін көтеру/төмендету сценарийін береді. Әрбір сценарийдің сезімталдыққа, ерекшелікке, жалған теріс және жалған позитивке әсерін сипаттаңыз және оның клиникалық нәтижесін жазыңыз (қажетсіз еске түсіру және өткізіп алу). Шешім клиникалық/институционалдық болып табылады. Сценарий: [жазу]
АВТОМАТТЫҚ БИАС ӨЗІН-ӨЗІ ТЕКСЕРУ ҮЛГІСІ Менің оқу тәртібін автоматтандыруға бейімділіктен қорғайтын бақылау тізімін жасаңыз: тіпті теріс AI шығысымен де қандай қадамдар жасау керек, жүйелі сканерлеуді қалай жүргізу керек, AI-ны «жеткізу құралы» емес, «көмекші» ретінде қалай сақтау керек.
ALERT FATIGUE MONITORING TEMPLATEI сізге апта сайынғы жалаушалар мен нақты оң сандарды береді. Жалған оң көрсеткішті есептеңіз, ескертудің шаршау қаупін бағалаңыз және шекті/үлгіні қайта қарау үшін қандай шектерде әрекет ету керектігін ұсыныңыз. Әрбір ту әлі де бекітілу керек деген қағиданы еске түсіріңіз. Деректер: [жазу]
Жалпы қателер
- Жалғыз «ақиқат» санына сүйену. Сирек табылған нәрсе де жаңылыстыру; Сезімталдық пен ерекшелікті бірге сұрау керек.
- Теріс AI шығысын диагностикалық кепілдік ретінде қарастыру. Модель оны өткізіп алған болуы мүмкін; Жүйелі түрде оқу керек.
- Автоматтандыруға бейімділікке түсу. AI-ға шамадан тыс тәуелділік тәуелсіз пікірді бұзады.
- Дабылдың шаршауын елемеу. Жоғары жалған позитивтерді бақылау керек; әрбір жалауша әлі де расталуы керек.
- Шекті «техникалық баптау» деп қателесу. Шекті – клиникалық тепе-теңдік; Рентгенолог/мекеме жіберіп алулар мен жалған дабылдардың құнын өлшейді.
Кеңес: Өзіңіз үшін ереже жасаңыз: «AI не айтса да, мен бүкіл суретті оқыдым». Бұл жалғыз ереже бір уақытта автоматтандырудың бұрмалануын (теріс бойынша босаңсытпай) және дабылдың шаршауын (оңды рефлексивті түрде жоймайды) тежейді.
Қысқаша
Радиологиялық модельді бағалау бір ғана «дәлдік» санына қарау емес. Сезімталдық (өткізіп алмаулар жоқ), ерекшелік (жалған дабылдар жоқ), жалған теріс көрсеткіш және сынақ популяциясын бірге оқу керек; Шекті таңдау – бұл клиникалық тепе-теңдік. Адамның екі тұзағы - AI-ға шамадан тыс сенімділік (автоматтандыруға бейімділік) және жалған дабылдарға үйрену және жалаушаны жою (дабылдың шаршауы) - қарама-қарсы бағытта жүреді, бірақ нақты нәтижені жоғалтып, бірдей нәтижемен аяқталады. Бір ғана антидот бар: АИ не айтса да, рентгенолог өзінің жүйелі оқуын жасайды. Теріс AI кепілдік емес, бірақ көп жағдайда пайдалы сигнал; Белгіленбеген аймақты да оқу керек.
Қолданбалы тапсырма
Сізде бар үлгінің (немесе үлгінің) жарнамалық мәтінін алыңыз. «Көрсеткіштерді сыни оқу» үлгісімен қандай көрсеткіштер берілгенін, қайсысы жоқ екенін және үлгіні қандай тапсырма үшін пайдалану орынды екенін бағалаңыз. Содан кейін бір апта ішінде триаж жалауының қанша рет орындалатынын бақылау үшін қарапайым диаграмма құрастырыңыз; Жалған оң көрсеткіш сіз орнатқан шекті (мысалы, 70%) асып кетсе, қандай әрекет жасайтыныңызды жазыңыз. Соңында, «Автоматтандырудың өзін-өзі тексеруі» тізімін өзіңіздің оқу тәртібіңізге бейімдеңіз.
бақылау парағы
- [ ] Мен жалғыз «дәлдік» санына сенбедім; Мен сезімталдық пен ерекшелік туралы сұрадым.
- [ ] Мен жалған теріс көрсеткішті және сынақ популяциясын білдім.
- [ ] Жасанды интеллект теріс нәтижесіне қарамастан, мен жүйелі оқуды орындадым.
- [ ] Мен AI-ға тым сенімді емес едім (автоматтандыруға қарсы).
- [ ] Мен жалған позитивтерді бақыладым; Мен әрбір жалаушаны растадым (ескертудің шаршауына қарсы).
- [ ] Мен шекті таңдау клиникалық тепе-теңдік екенін ескердім.
- [ ] Мен «AI не айтса да, суретті толығымен оқимын» ережесін ұстандым.