Kasu:
- Oskus selgitada valepositiivse ja valenegatiivse mõisteid hambaravi näidetega ning hinnata nende kliinilisi tagajärgi patsiendile.
- Võimalus lugeda algtasemel selliseid näitajaid nagu AI usaldusskoor, tundlikkus ja spetsiifilisus ning otsustada, kui palju kaalu väljund peaks kandma
- Võimalus koostada protokoll, mis kinnitab iga radiograafilise AI leidu kliinilise korrelatsiooni, lisapiltide ja vajadusel teise arsti arvamusega
Eelmises üksuses nägime, kuidas AI radiograafia tööriistad töötavad. Selles üksuses jõuame asja tuumani: kui täpsed need tööriistad on, millal need valesti lähevad ja millised on nende vigade tagajärjed patsiendile? Sest seda, kas tööriist on "abiks" või "ohtlik", ei määra mitte see, millal see õigesti töötab, vaid see, mis juhtub, kui see valesti läheb. Kahe peamise AI veatüübi – valepositiivsete ja valenegatiivsete – mõistmine hambaravis on ohutu kasutamise eeltingimus.
Kaks peamist tüüpi vead
Valepositiivne: kui tehisintellekt märgib midagi olemasolevaks, kui seda tegelikult ei eksisteeri. Näiteks näitab see tervet hammast kui "kaariest". Tulemus: tarbetu ärevus, tarbetu täiendav uuring ja isegi tervete kudede kaotuse oht vale ravi tõttu.
Valenegatiivne: kui AI "ignoreerib" midagi, mis tegelikult juhtus, st ei märgi seda. Näiteks olemasolevast periapikaalsest kahjustusest (juure otsas olev põletikuline piirkond) möödasõit. Tulemus: puuduv patoloogia, viivitus raviga, haiguse progresseerumine. See on sageli kõige ohtlikum viga hambaravis; sest kui arst usaldab tehisintellekti ja ütleb "selge", kulgeb tõeline patoloogia vaikselt.
Ettevaatust: see, et AI ei märgi midagi, EI tähenda, et kõik on hästi. Valenegatiivsus on alati võimalik. Kliinilist läbivaatust ja arsti lugemist ei saa mingil juhul vahele jätta.
Tundlikkus ja spetsiifilisus: kaks peamist näitajat
Kaks numbrit võtavad kokku sõiduki jõudluse:
- Tundlikkus: tõeliselt haigete tabamise määr. Kõrge tundlikkus vähendab vale negatiivset. See tähendab "Ta ei tunne haigusest puudust".
- Spetsiifilisus: määr, millega tõeliselt terveid peetakse täpselt "puhtaks". Kõrge spetsiifilisus vähendab valepositiivseid tulemusi. See tähendab "Ta ei tõsta asjata häiret."
Need kaks on sageli üksteisega vastuolus. Kui määrate tööriista liiga "tundlikuks" (see märgib iga kahtluse korral), jätab see vähem patoloogiaid vahele, kuid annab palju valehäireid. Kui määrate selle liiga "selektiivseks", vähenevad valehäired, kuid suureneb tõelise patoloogia puudumise oht. Kliiniliselt eelistatakse hambaravis sageli kõrget tundlikkust, sest kahjustuse puudumine on riskantsem kui tühi häire. Kuid viimane sõna on jällegi kliinilise läbivaatuse osas.
kontseptsioon
Milliseid meetmeid
Mida kõrgel olemine annab?
Tundlikkus
Püüdke patsient kinni
Valenegatiivsed tulemused vähenevad
spetsiifilisus
Tervete puhastamine
Valepositiivsed tulemused vähenevad
Usalduse skoor
Mudeli "usaldus" selles valimis
Näpunäide ainult pingerea/läve kohta
Näpunäide. Kui tööriist näitab teile ainult usaldusskoori, küsige tootjalt selle skoori taga olevaid tundlikkuse/spetsiifilisuse väärtusi. Need väärtused on olulised, millises populatsioonis ja kuidas neid testitakse.
Valideerimisprotokoll: iga leiu kohta
Kontrollige iga AI radiograafia leidu järgmiste sammudega:
- Kliiniline korrelatsioon: kas leid vastab patsiendi sümptomitele ja uuringule?
- Täiendav pildistamine: vajadusel kinnitamine periapikaalse, hammustava või CBCT-ga.
- Võrdlus ajas: võrrelge eelmiste röntgenülesvõtetega ja hinnake muutusi, kui neid on.
- Teine arsti arvamus: kolleegi arvamus kahtlaste või kõrge riskiga juhtumite korral.
- Salvestus: kirjutage otsus, põhjendus ja tehisintellekti roll selgelt patsiendikaarti.
Minijuhtum 1: valepositiivse tulemuse hind
AI-tööriist märgib 34-aastase patsiendi alumises esimeses molaaris kaariese 88% kindlusega. Kliinilisel läbivaatusel on hammas terve, kateetrit ei ole sisestatud ja patsiendil pole kaebusi. Arst kinnitab hammustuskilega: kaariest ei ole, jälg on tingitud restauratsiooni (täidise) radiograafilisest varjust. Kui arst oleks tuginenud otse tehisintellektile ja sekkunud, oleks tervete kudede kadu olnud. Valepositiivseid tulemusi hoidis siin ära ainult arsti kliiniline kontroll.
Minijuhtum 2: valenegatiivse tulemuse oht
62-aastane patsient kaebab alalõua ebamäärast täidlust. AI ei märgi panoraamskannimisel midagi. Noor arst tunneb kergendust: "AI ütles, et see on puhas." Vanemarst nõuab ja nõuab kliinilist läbivaatust ja CBCT-d; Juureotstesse ilmub kahjustus, mis AI vahele jäi. Õppetund: AI vaikimine pole kunagi diagnoos; Kliiniline kahtlus on alati ülimuslik.
Minijuhtum 3: läve seadmise mõju
Kliinik testib sõiduki märgistusläve. Kui läve langetatakse 50% -ni, annab tööriist 900 signaali kuus; ainult 25% neist on kliiniliselt olulised, ülejäänud on valepositiivsed — arstid on ülekoormatud. Kui läve suurendatakse 80% -ni, langeb markerite arv 320-ni, olulisus suureneb 55% -ni, kuid kaks tõelist varajast kahjustust jäävad allapoole läve ja põgenevad. Kliinik leiab tasakaalu 70% künnise juures ja paneb madala punktisummaga alad "ülevaate" nimekirja. Õppetund: ükski künnis pole täiuslik; Arsti silm sulgeb lüngad.
Kopeeritavad mallid
Kasutage tõelist patsiendi ID-d lisamata.
Roll: Kinnitustreener (mittediagnostiline). Ülesanne: koostage kontroll-loend järgmiste tehisintellekti radiograafia leidude kohta: kliinilise korrelatsiooni küsimused, soovitatavad lisapildid, diferentsiaaldiagnostika pealkirjad, märkmed salvestamiseks. Lõplik otsus KIRJUTAMINE. Leidmine: [anonüümne]
Roll: Veatüüp kirjeldav.Ülesanne: määrake kindlaks, kas järgmise stsenaariumiga kaasneb valepositiivse või valenegatiivse tulemuse oht, ja selgitage patsiendile tõenäolist kliinilist tulemust. Soovitage, milliseid meetmeid arst peaks võtma. Stsenaarium: [kirjutage]
Roll: indikaatori deskriptor. Ülesanne: tõlgendada lihtsas keeles tootja esitatud tundlikkust, spetsiifilisust ja testida populatsiooni teavet; Loetlege mulle küsimused, et küsida, kas need väärtused sobivad meie patsiendiprofiiliga. Väärtused: [kleebi]
Roll: Teise arvamuse kirjutaja. Ülesanne: koostage lühike, professionaalne, anonüümne sõnum, milles palutakse kolleegilt teist radiograafilist arvamust. Ärge lisage patsiendi isikut tõendavat dokumenti. Kontekst: [anonüümne leid]
Nõrk viip / Tugev viip
Nõrk: "AI ütles 90%, kas see mäda pole kindel?"
Miks see on nõrk: eksitab tõendite usaldusskoori, jätab kliinilise valideerimise vahele ja delegeerib otsuse tehisintellektile.
Tugev: "Milliseid kliinilisi ja radiograafilisi samme peaksin selle piirkonna puhul, mida tehisintellekt on 90% kindlusega tähistanud, et kinnitada või välistada kaariese diagnoosi? Arvestage ka valepositiivse tulemuse võimalusega."
Miks see on võimas: see ei pea skoori absoluutseks tõestuseks, see eemaldab kontrollietapid ja võtab arvesse eksimise võimalust.
Automatiseerimise eelarvamus: kõige salakavalam risk
Valepositiivsed ja valenegatiivsed on tehnilised vead; Kuid kõige salakavalam risk on inimese poolel: automatiseerimise eelarvamus. See on kalduvus usaldada tööriista väljundit rohkem kui oma otsust. Kuna tööriist osutub aja jooksul "enamasti täpseks", võib arst selle kahtluse alla seadmise lõpetada ja jälgida pimesi väheseid kriitilisi juhtumeid, kus tööriist on ebatäpne. Paradoks on järgmine: mida paremini tööriist töötab, seda suurem on inimese tähelepanu atroofia oht ja seda ohtlikumaks muutuvad haruldased vead.
Praktiline viis selle eelarvamuse ületamiseks on seadistada töövoog vormingus „mina esimene, tööriist teiseks”: kõigepealt lugege pilti ise, tehke oma otsus ja seejärel võrrelge seda tehisintellektiga. Seega saab tööriist teid juhendamise asemel teiseks arvamuseks, mis täiendab teie lugemist. Samuti küsin regulaarselt: "Kas AI võis sel juhul eksida?" Küsimine hoiab tähelepanu elus. Selle küsimuse esitamine on tugevaim kaitse automatiseerimise kallutatuse vastu, isegi kui tööriistal on kõrge usaldusskoor.
Minijuhtum 4: tähelepanu atroofia
Ühes kliinikus töötab AI-tööriist kuude jooksul väga täpselt ja arstid hakkavad selle väljundit järk-järgult ilma küsitlemata aktsepteerima. Ühel päeval läbib sõiduk "puhta" tõelise kahjustuse, mis näeb välja ebatüüpiline; Harjumuse saanud usalduse tõttu ei pane seda tähele ka esimene arst. Õnneks paljastab kahjustuse patsiendi pideva kaebuse põhjal tehtud hoolikas kliiniline läbivaatus. Seejärel rakendab kliinik reeglit "arst loeb kõigepealt, seejärel tehisintellekt". Õppetund: tööriista edu ei tohiks asendada inimese tähelepanu; töövoog peab selle tagama.
Levinud vead
- Vähendades vale negatiivset ja pidades tehisintellekti vaikimist "tervislikuks".
- Usaldusskoori tõlgendamine tundlikkusest/spetsiifilisusest sõltumatult.
- Tööriista kasutamine teadmata, et seda on testitud teie patsiendi profiilist erinevas populatsioonis.
- Ei otsi teist arvamust kõrge riskiga leidude puhul.
- Tehisintellekti rolli ja otsuse põhjenduse jätmine patsiendi kaardile kirjutamata.
Kokkuvõttes
Tehisintellekti radiograafia tööriistad teevad kahte tüüpi vigu: valepositiivseid (näitab seda, mida seal pole) ja valenegatiivset (puudub see, mis on). Hambaravis on vale negatiivne tulemus sageli ohtlikum, kuna arst võib patoloogiat usaldada ja kahe silma vahele jätta. Tundlikkus ja spetsiifilisus on nende vigade mõistmise võtmeks; Ainuüksi usaldusskoor ei ole tõend. Iga leid tuleks kinnitada kliinilise korrelatsiooni, lisapiltide, ajavõrdluse ja vajaduse korral teise arvamusega ning otsus ja põhjendus tuleks registreerida.
Rakenduse ülesanne
Valige oma arhiivist kolm tõelist näidet (anonüümne): üks, kus tehisintellekt andis valepositiivse tulemuse, üks, kus see andis valepositiivse tulemuse, ja üks, kus see oli õige. Kirjutage igaühe jaoks üles vea tüüp, kliiniline tulemus ja õiged kontrollietapid. Muutke tulemus üheleheküljeliseks "radiograafilise AI valideerimisprotokolliks", mis tuleb teie kliinikus rakendada.
kontrollnimekiri
- [ ] Oskan näidete abil eristada mõisteid valepositiivne ja valenegatiivne.
- [ ] Oskan tõlgendada tundlikkust ja spetsiifilisust algtasemel.
- [ ] Teostan iga leiu jaoks kliinilise korrelatsiooni ja täiendava pildietapi.
- [ ] Saan teise arvamuse kõrge riskiga olukorras.
- [ ] Kirjutan patsiendikaardisse otsuse, selle põhjenduse ja tehisintellekti rolli.