Pelnas:
- Gebėjimas paaiškinti klaidingo teigiamo ir klaidingo neigiamo sąvokas odontologijos pavyzdžiais ir įvertinti jų klinikines pasekmes pacientui.
- Galimybė nuskaityti tokius rodiklius kaip AI pasitikėjimo balas, jautrumas ir specifiškumas pagrindiniu lygiu ir nuspręsti, kokį svorį turėtų turėti produkcija
- Galimybė sudaryti protokolą, patvirtinantį kiekvieną radiografinį AI radinį su klinikine koreliacija, papildomais vaizdais ir prireikus antrąja gydytojo nuomone.
Ankstesniame skyriuje matėme, kaip veikia AI rentgenografijos įrankiai. Šiame skyriuje mes suprantame reikalo esmę: ar šios priemonės tikslios, kada jos sugenda ir kokios yra šių klaidų pasekmės pacientui? Nes tai, ar priemonė „naudinga“, ar „pavojinga“, lemia ne tai, kada jis tinkamai veikia, o tai, kas nutinka, kai sugenda. Supratimas apie du pagrindinius AI klaidų tipus odontologijoje – klaidingus teigiamus ir klaidingus neigiamus – yra būtina saugaus naudojimo sąlyga.
Du pagrindiniai klaidų tipai
Klaidingai teigiama: kai AI pažymi ką nors kaip egzistuojantį, kai iš tikrųjų jo nėra. Pavyzdžiui, sveikas dantis rodomas kaip „ėduonis“. Rezultatas: nereikalingas nerimas, nereikalingas tolesnis tyrimas ir net sveikų audinių praradimo rizika dėl netinkamo gydymo.
Klaidingas neigiamas: kai AI „nekreipia dėmesio“ į tai, kas iš tikrųjų įvyko, tai yra, to nepažymi. Pavyzdžiui, apeinant esamą periapikinį pažeidimą (uždegiminė sritis šaknies gale). Rezultatas: trūksta patologijos, vėluoja gydytis, progresuoja liga. Tai dažnai pati pavojingiausia klaida odontologijoje; nes jei gydytojas pasitiki AI ir sako „aišku“, tikroji patologija vyks tyliai.
Atsargiai: vien todėl, kad AI nieko nežymi, dar nereiškia, kad viskas gerai. Klaidingas neigiamas rezultatas visada galimas. Jokiu būdu negalima praleisti klinikinio tyrimo ir gydytojo skaitymo.
Jautrumas ir specifiškumas: du pagrindiniai rodikliai
Du skaičiai apibendrina transporto priemonės veikimą:
- Jautrumas: greitis sugauti tikrai sergančius. Didelis jautrumas sumažina klaidingą neigiamą skaičių. Tai reiškia „Jis nepraleidžia ligos“.
- Specifiškumas: greitis, kuriuo tikrai sveiki žmonės laikomi „švariais“. Didelis specifiškumas sumažina klaidingus teigiamus rezultatus. Tai reiškia „Jis nekelia pavojaus už dyką“.
Šie du dažnai prieštarauja vienas kitam. Jei nustatysite įrankį per „jautrią“ (jis pažymi kiekvieną įtarimą), jis praleis mažiau patologijų, bet duos daug klaidingų aliarmų. Jei nustatote per daug „selektyvų“, klaidingų aliarmų sumažėja, tačiau padidėja tikrosios patologijos trūkumo rizika. Klinikiniu požiūriu odontologijoje dažnai pirmenybė teikiama dideliam jautrumui, nes pažeidimo nebuvimas yra rizikingesnis nei tuščias signalas. Tačiau paskutinis žodis vėl priklauso klinikiniam tyrimui.
koncepcija
Kokias priemones
Ką duoda aukštumas?
Jautrumas
Užfiksuokite pacientą
Sumažėja klaidingų neigiamų rezultatų
specifiškumas
Sveikųjų valymas
Sumažėja klaidingų teigiamų rezultatų
Pasitikėjimo balas
Modelio „pasitikėjimas“ tuo pavyzdžiu
Patarimas tik dėl reitingo / slenksčio
Patarimas: jei įrankis rodo tik patikimumo balą, paklauskite gamintojo jautrumo / specifiškumo verčių, esančių už šio balo. Šios vertės yra reikšmingos, kurioje populiacijoje ir kaip jos tikrinamos.
Patvirtinimo protokolas: už kiekvieną radinį
Patikrinkite kiekvieną AI rentgenografijos radinį atlikdami šiuos veiksmus:
- Klinikinė koreliacija: ar radinys atitinka paciento simptomus ir tyrimą?
- Papildomas vaizdavimas: jei reikia, patvirtinimas naudojant periapical, įkandimo arba CBCT.
- Palyginimas laikui bėgant: palyginkite su ankstesnėmis rentgenogramomis ir įvertinkite pokyčius, jei tokių yra.
- Antroji gydytojo nuomonė: kolegos nuomonė abejotinais ar didelės rizikos atvejais.
- Įrašas: paciento lentelėje aiškiai parašykite sprendimą, pagrindimą ir AI vaidmenį.
1 mini atvejis: klaidingo teigiamo tyrimo kaina
AI įrankis 88% pasitikėjimu pažymi 34 metų paciento apatinio pirmojo krūminio danties „ėduonį“. Klinikinio tyrimo metu dantis nepažeistas, kateteris neįvestas, pacientas nusiskundimų neturi. Gydytojas įkandimo plėvele patvirtina: ėduonies nėra, žymė atsiranda dėl restauracijos (plombos) rentgenografinio šešėlio. Jei gydytojas būtų pasikėlęs tiesiogiai AI ir įsikišęs, būtų buvę prarasti sveiki audiniai. Klaidingų teigiamų rezultatų čia išvengė tik klinikinė gydytojo kontrolė.
2 mini atvejis: klaidingai neigiamo pranešimo pavojus
62 metų pacientas skundžiasi neaiškiu apatinio žandikaulio pilnumu. AI nieko nežymi panoraminiame nuskaityme. Jaunam gydytojui palengvėja: „AI pasakė, kad švaru“. Vyresnysis gydytojas primygtinai reikalauja ir prašo atlikti klinikinį tyrimą ir CBCT; Šaknies galiukuose atsiranda pažeidimas, kurio AI nepastebėjo. Pamoka: AI tylėjimas niekada nėra diagnozė; Klinikinis įtarimas visada turi pirmenybę.
3 mini atvejis: slenksčio nustatymo poveikis
Klinika patikrina transporto priemonės ženklinimo slenkstį. Nuleidus slenkstį iki 50%, įrankis duoda 900 signalų per mėnesį; tik 25% iš jų yra kliniškai reikšmingi, likusieji yra klaidingai teigiami – gydytojai yra priblokšti. Padidinus slenkstį iki 80%, žymenų skaičius sumažėja iki 320, reikšmingumas padidėja iki 55%, tačiau du tikri ankstyvieji pažeidimai lieka žemiau slenksčio ir pabėga. Klinika suranda pusiausvyrą ties 70% slenksčiu ir įtraukia žemo balo sritis į „apžvalgų“ sąrašą. Pamoka: nė vienas slenkstis nėra tobulas; Gydytojo akis uždaro spragas.
Kopijuojami šablonai
Naudokite nepridedant tikro paciento ID.
Vaidmuo: patvirtinimo treneris (nediagnostikas). Užduotis: Sudarykite šių AI rentgenografijos išvadų patikros sąrašą: klinikinės koreliacijos klausimus, papildomus vaizdus, kurie gali būti rekomenduojami, diferencinės diagnostikos antraštes, įrašymo pastabas. Galutinis sprendimas RAŠYMAS. Rasta: [anonimas]
Vaidmuo: Klaidos tipas aprašomasis.Užduotis: Nustatykite, ar toliau nurodytas scenarijus kelia klaidingo teigiamo ar klaidingai neigiamo poveikio riziką, ir paaiškinkite pacientui tikėtiną klinikinį rezultatą. Rekomenduokite, kokių veiksmų turėtų imtis gydytojas. Scenarijus: [rašyti]
Vaidmuo: Rodiklio aprašas. Užduotis: aiškia kalba aiškinti gamintojo pateiktą jautrumo, specifiškumo ir testo populiacijos informaciją; Išvardykite man klausimus, ar šios vertės atitinka mūsų paciento profilį. Vertės: [įklijuoti]
Vaidmuo: antrojo nuomonės prašymo autorius. Užduotis: parengti trumpą, profesionalų, anoniminį pranešimą, kuriame prašoma kolegos antrosios radiografinės nuomonės. Neįtraukite paciento tapatybės. Kontekstas: [anoniminis radinys]
Silpnas raginimas / Stiprus raginimas
Silpnas: "AI sakė, kad 90%, ar tai neaišku?"
Kodėl jis silpnas: klaidingai įvertina įrodymų patikimumo balą, praleidžia klinikinį patvirtinimą ir perduoda sprendimą dirbtiniu intelektu.
Stiprus: "Kokių klinikinių ir radiografinių veiksmų turėčiau atlikti šioje srityje, kurią AI pažymėjo 90% patikimumu, kad patvirtinčiau arba atmesčiau ėduonies diagnozę? Taip pat apsvarstykite klaidingo teigiamo tyrimo galimybę."
Kodėl jis yra galingas: jis nelaiko balo absoliučiu įrodymu, pašalina patikrinimo veiksmus ir atsižvelgia į klaidos galimybę.
Automatizavimo šališkumas: pati klastingiausia rizika
Klaidingi teigiami ir klaidingi neigiami rezultatai yra techninės klaidos; Tačiau klastingiausia rizika kyla iš žmogaus pusės: automatizavimo šališkumas. Tai yra tendencija labiau pasitikėti įrankio rezultatais nei savo sprendimu. Kadangi ilgainiui įrankis pasirodo esąs „dažniausiai tikslus“, gydytojas gali nustoti juo abejoti ir aklai sekti nedidelį skaičių kritinių atvejų, kai įrankis yra netikslus. Paradoksas yra toks: kuo geriau įrankis veikia, tuo didesnė žmogaus dėmesio atrofijos rizika ir pavojingesnės retosios klaidos.
Praktinis būdas įveikti šį šališkumą yra nustatyti darbo eigą formatu „aš pirmiausia, antras įrankis“: pirmiausia perskaitykite vaizdą patys, priimkite sprendimą, tada palyginkite jį su AI. Taigi, užuot nukreipęs jus, įrankis tampa antra nuomone, papildančia jūsų skaitymą. Taip pat reguliariai klausiu: „Ar šiuo atveju AI galėjo klysti? Klausia, išlaiko dėmesį. Šio klausimo uždavimas yra stipriausia apsauga nuo automatizavimo šališkumo, net jei įrankis turi aukštą pasitikėjimo balą.
4 mini atvejis: dėmesio atrofija
Vienoje klinikoje dirbtinio intelekto įrankis veikia labai tiksliai ištisus mėnesius, o gydytojai pamažu pradeda priimti jo išvestį be abejonių. Vieną dieną transporto priemonė „išvalo“ tikrą pažeidimą, kuris atrodo netipiškai; Dėl įpročiu tapusio pasitikėjimo to nepastebi ir pirmasis gydytojas. Laimei, kruopštus klinikinis tyrimas, atliktas dėl nuolatinio paciento nusiskundimo, atskleidžia pažeidimą. Tada klinika įgyvendina taisyklę „Pirmiausia skaito gydytojas, tada AI“. Pamoka: priemonės sėkmė neturėtų pakeisti žmogaus dėmesio; darbo eiga turi tai užtikrinti.
Dažnos klaidos
- Sumenkinti klaidingą negatyvą ir AI tylėjimą laikyti „sveika“.
- Pasitikėjimo balo aiškinimas nepriklausomai nuo jautrumo / specifiškumo.
- Naudokite įrankį nežinodami, kad jis buvo išbandytas kitoje populiacijoje nei jūsų paciento profilis.
- Neieškoti antros nuomonės didelės rizikos išvadose.
- Nerašoma AI vaidmens ir sprendimo pagrindimo paciento diagramoje.
Apibendrinant
Dirbtinio intelekto rentgenografijos įrankiai daro dviejų tipų klaidas: klaidingai teigiamas (rodo tai, ko nėra) ir klaidingai neigiamą (trūksta to, kas yra). Odontologijoje klaidingas neigiamas rezultatas dažnai yra pavojingesnis, nes gydytojas gali pasitikėti ir nepastebėti patologijos. Jautrumas ir specifiškumas yra labai svarbūs norint suprasti šias klaidas; Vien pasitikėjimo balas nėra įrodymas. Kiekviena išvada turėtų būti patvirtinta klinikine koreliacija, papildomais vaizdais, laiko palyginimu ir, jei reikia, antra nuomone, o sprendimas ir pagrindimas turėtų būti užregistruoti.
Taikymo užduotis
Pasirinkite 3 tikrus pavyzdžius iš savo archyvo (anoniminis): vieną, kur AI pateikė klaidingą teigiamą rezultatą, kitą, kuriame jis pateikė klaidingą neigiamą, ir kitą, kuriame jis buvo teisingas. Užrašykite kiekvieno klaidos tipą, klinikinį rezultatą ir teisingus patikrinimo veiksmus. Rezultatą paverskite vieno puslapio „radiografinio AI patvirtinimo protokolu“, kuris turi būti įdiegtas jūsų klinikoje.
kontrolinis sąrašas
- [ ] Su pavyzdžiais galiu atskirti klaidingo teigiamo ir klaidingo neigiamo sąvokas.
- [ ] Galiu aiškinti jautrumą ir specifiškumą pagrindiniu lygiu.
- [ ] Kiekvienam radiniui atlieku klinikinę koreliaciją ir papildomą vaizdo žingsnį.
- [ ] Aš gaunu antrą nuomonę didelės rizikos situacijoje.
- [ ] Į paciento diagramą įrašau sprendimą, jo pagrindimą ir AI vaidmenį.