Добивки:
- Способност да се објаснат концептите на лажно позитивни и лажно негативни со примери од стоматологијата и да се проценат нивните клинички последици врз пациентот.
- Способност да се читаат индикаторите како што се резултатот за доверба, чувствителност и специфичност на ВИ на основно ниво и да се одлучи колкава тежина треба да носи излезот
- Способност да се воспостави протокол кој го потврдува секој наод на радиографска вештачка интелигенција со клиничка корелација, дополнителни слики и второ мислење од лекар кога е потребно
Во претходната единица, видовме како функционираат алатките за радиографија со вештачка интелигенција. Во оваа единица доаѓаме до суштината на работата: колку се точни овие алатки, кога се погрешни и кои се последиците од овие грешки за пациентот? Затоа што дали алатката е „корисна“ или „опасна“ се одредува не од тоа кога работи правилно, туку од тоа што се случува кога ќе тргне наопаку. Разбирањето на двата основни типа на грешки на вештачката интелигенција во стоматологијата - лажни позитиви и лажни негативни - е предуслов за безбедна употреба.
Два основни типа на грешки
Лажно позитивно: Кога вештачката интелигенција означува нешто како постоечко кога всушност не постои. На пример, здравиот заб го покажува како „расипување“. Резултат: непотребна вознемиреност, непотребно дополнително испитување, па дури и ризик од губење на здравото ткиво поради неправилен третман.
Лажно негативно: Кога вештачката интелигенција „игнорира“ нешто што всушност се случило, односно не го означува. На пример, заобиколување на постоечка периапикална лезија (воспалителна област на врвот на коренот). Резултат: недостасува патологија, доцнење во третманот, прогресија на болеста. Ова е често најопасната грешка во стоматологијата; затоа што ако лекарот и верува на вештачката интелигенција и каже „јасно“, вистинската патологија ќе продолжи тивко.
Внимание: Само затоа што вештачката интелигенција не означува ништо, НЕ значи „сè е добро“. Лажно негативно е секогаш можно. Во никој случај не може да се прескокнат клиничкиот преглед и лекарското читање.
Чувствителност и специфичност: два клучни индикатори
Два броја ги сумираат перформансите на возилото:
- Чувствителност: Стапката на фаќање на оние кои се навистина болни. Високата чувствителност го намалува лажното негативно. Тоа значи „Не ја пропушта болеста“.
- Специфичност: Стапката со која вистинските здрави точно се сметаат за „чисти“. Високата специфичност ги намалува лажните позитиви. Тоа значи „Не алармира за џабе“.
Овие двајца често се во судир еден со друг. Ако поставите алатка премногу „чувствителна“ (го означува секое сомневање), таа ќе пропушти помалку патологии, но ќе даде многу лажни аларми. Ако го поставите премногу „селективно“, лажните аларми се намалуваат, но ризикот од пропуштање на вистинска патологија се зголемува. Клинички, високата чувствителност често се претпочита во стоматологијата - затоа што пропуштањето на лезијата е поризично од празен аларм. Но, последниот збор повторно го има клиничкиот преглед.
концепт
Кои мерки
Што дава да се биде високо?
Чувствителност
Фати го пациентот
Лажните негативи се намалуваат
специфичност
Чистење на здравите
Лажните позитиви се намалуваат
Резултат на самодоверба
„Довербата“ на моделот во тој примерок
Совет само за рангирање/праг
Совет: ако алатката ви покажува само оценка за доверба, прашајте го производителот за вредностите за чувствителност/специфичност зад тој резултат. Овие вредности се значајни во која популација и како се тестираат.
Протокол за валидација: за секој наод
Потврдете го секој наод од радиографија со вештачка интелигенција со овие чекори:
- Клиничка корелација: Дали наодот се совпаѓа со симптомите и испитувањето на пациентот?
- Дополнителна слика: Потврда со периапикална, гризење или CBCT доколку е потребно.
- Споредба со текот на времето: Споредете со претходните радиографија и проценете ја промената, доколку ги има.
- Второ мислење од лекар: мислење на колега во сомнителни или ризични случаи.
- Евиденција: Напишете ја одлуката, образложението и улогата на вештачката интелигенција јасно во табелата за пациенти.
Мини случај 1: Цената на лажно позитива
Алатката за вештачка интелигенција означува „кариес“ во долниот прв молар кај 34-годишен пациент со 88% доверба. При клинички преглед, забот е недопрен, не е вметнат катетер и пациентот нема поплаки. Лекарот потврдува со филм за залак: нема кариес, ознаката се должи на радиографската сенка на реставрација (пополнување). Ако лекарот се потпираше директно на вештачката интелигенција и интервенираше, ќе имаше губење на здравото ткиво. Овде лажни позитиви беа спречени само со клиничка контрола на лекарот.
Мини случај 2: Опасноста од лажно негативно
62-годишен пациент се жали на нејасна полнота во долната вилица. AI не означува ништо при панорамското скенирање. Младиот доктор е олеснет, „АИ рече дека е чисто“. Вишиот лекар инсистира и бара клинички преглед и CBCT; Се појавува лезија на врвовите на коренот што вештачката интелигенција ја пропушти. Поука: Тишината на вештачката интелигенција никогаш не е дијагноза; Клиничкиот сомнеж секогаш има предност.
Мини случај 3: Ефект на поставување на праг
Клиниката го тестира прагот за обележување на возилото. Кога прагот е спуштен на 50%, алатката дава 900 сигнали месечно; само 25% од нив се клинички значајни, останатите се лажни позитивни - лекарите се преоптоварени. Кога прагот е зголемен на 80%, бројот на маркери паѓа на 320, значајноста се зголемува на 55%, но две вистински рани лезии остануваат под прагот и бегаат. Клиниката наоѓа рамнотежа на прагот од 70% и ги става областите со ниски оценки на списокот „преглед“. Лекција: ниту еден праг не е совршен; Окото на лекарот ги затвора празнините.
Шаблони за копирање
Користете без додавање вистински ID на пациентот.
Улога: Потврден тренер (недијагностички). Задача: Направете листа за проверка за следниов наод од радиографија со вештачка интелигенција: прашања за клиничка корелација, дополнителни слики што може да се препорачаат, наслови за диференцијална дијагноза, ставки за белешки за снимање. Конечна одлука ПИШУВАЊЕ. Наоѓање: [анонимно]
Улога: Описен тип на грешка. Задача: Определете дали следното сценарио носи ризик од лажно позитивно или лажно негативно и објаснете му го веројатниот клинички исход на пациентот. Препорачај каква акција треба да преземе лекарот. Сценарио: [напиши]
Улога: Опис на индикаторот. Задача: Толкување на обичен јазик за чувствителност, специфичност и тестирање на информации за популацијата обезбедени од производителот; Наведете прашања за да се запрашам дали овие вредности одговараат на нашиот профил на пациент. Вредности: [залепи]
Улога: Пишувач на второ барање за мислење. Задача: Нацртај кратка, професионална, анонимна порака со барање второ радиографско мислење од колега. Не вклучувајте идентификација на пациентот. Контекст: [анонимен наод]
Слаб промпт / Силен промпт
Слабо: „ВИ рече 90%, не е ли ова скапано сигурно?
Зошто е слаб: го погреши резултатот за доверба за докази, ја прескокнува клиничката валидација и ја делегира одлуката на вештачката интелигенција.
Силно: „За оваа област што вештачката интелигенција ја означи со 90% доверба, кои клинички и радиографски чекори треба да ги следам за да ја потврдам или исклучам дијагнозата на кариес? Исто така, размислете за можноста за лажно позитивно“.
Зошто е моќен: не го смета резултатот за апсолутен доказ, ги отстранува чекорите за верификација и ја зема предвид можноста за грешка.
Пристрасност за автоматизација: најподмолниот ризик
Лажни позитиви и лажни негативни се технички грешки; Но, најподмолниот ризик е на човечката страна: пристрасноста на автоматизацијата. Ова е тенденцијата да му веруваме на излезот на алатката повеќе отколку на нашата сопствена проценка. Бидејќи алатката се покажува како „најмногу точна“ со текот на времето, лекарот може да престане да ја преиспитува и слепо да го следи малиот број критични случаи каде што алатката е неточна. Парадоксот е овој: колку подобро работи алатката, толку повеќе човечкото внимание ризикува атрофија и поопасните ретки грешки стануваат.
Практичниот начин да се надмине оваа пристрасност е да го поставите работниот тек во формат „прво јас, второ алатка“: прво прочитајте ја сликата сами, донесете ја вашата одлука, а потоа споредете ја со вештачката интелигенција. Така, наместо да ве води, алатката станува второ мислење што го надополнува вашето читање. Исто така, редовно прашувам „Дали вештачката интелигенција можеше да згреши во овој случај? Прашувањето, го одржува вниманието живо. Поставувањето на ова прашање е најсилната одбрана од пристрасноста на автоматизацијата, дури и кога алатката има висок резултат на доверба.
Мини случај 4: Атрофија на внимание
Во една клиника, алатката за вештачка интелигенција работи многу прецизно со месеци, а лекарите постепено почнуваат да го прифаќаат нејзиниот излез без сослушување. Еден ден возилото поминува „чиста“ вистинска лезија која изгледа нетипично; Поради довербата која стана навика, тоа не го забележува ниту првиот лекар. За среќа, внимателен клинички преглед извршен по постојана поплака на пациентот ја открива лезијата. Клиниката потоа го спроведува правилото „прво лекар чита, а потоа вештачка интелигенција“. Поука: успехот на алатката не треба да го замени човечкото внимание; работниот тек мора да го обезбеди тоа.
Вообичаени грешки
- Намалување на лажното негативно и сметање на тишината на вештачката интелигенција за „здрава“.
- Толкување на резултатот за доверба независно од чувствителноста/специфичноста.
- Користење на алатката без да знаете дека е тестирана кај популација различна од вашиот профил на пациент.
- Не бара второ мислење во наодите со висок ризик.
- Не пишување на улогата на вештачката интелигенција и образложението за одлуката во табелата за пациенти.
Сумирано
Алатките за радиографија со вештачка интелигенција прават два типа на грешки: лажно позитивни (покажува што го нема) и лажно негативно (пропушта она што е). Во стоматологијата, лажниот негативен е често поопасен бидејќи лекарот може да има доверба и да ја пропушти патологијата. Чувствителноста и специфичноста се клучни за разбирање на овие грешки; Само оценката за доверба не е доказ. Секој наод треба да биде потврден со клиничка корелација, дополнителни слики, споредба на времето и, кога е потребно, второ мислење, а одлуката и образложението треба да се евидентираат.
Задача за апликација
Изберете 3 вистински примери од вашата сопствена архива (анонимна): еден каде што вештачката интелигенција направила лажно позитивен, еден каде што направила лажен негативен, еден каде што е точна. За секој, запишете го типот на грешка, клиничкиот исход и точните чекори за верификација. Претворете го резултатот во „протокол за валидација на радиографска вештачка интелигенција“ на една страница што ќе се имплементира во вашата клиника.
листа за проверка
- [ ] Можам да ги разликувам поимите лажно позитивно и лажно негативно со примери.
- [ ] Можам да ја толкувам чувствителноста и специфичноста на основно ниво.
- [ ] Ја извршувам клиничката корелација и дополнителен чекор на слика за секој наод.
- [ ] Добивам второ мислење во ситуација со висок ризик.
- [ ] Ја снимам одлуката, нејзиното образложение и улогата на вештачката интелигенција во табелата за пациенти.