Haliucinacijos, patikimumas ir įrodymais pagrįstas patvirtinimas

Pelnas:

• Gebėjimas atpažinti haliucinacijų tipus (išgalvotas šaltinis, neteisinga dozė, įsivaizduojamas tyrimas) medicinos AI išvestyje
• Galimybė susieti kiekvieną klinikinį teiginį su dabartinėmis gairėmis ir pirminiu šaltiniu, naudojant daugiasluoksnį patikrinimą
• Gebėjimas valdyti modelio neapibrėžtumą, kad pasitikėjimo teiginys nėra teisingumo įrodymas ir klaidos rizika, kuri atrodo tikra

Didžiausias dirbtinio intelekto (DI) pavojus medicinoje yra ne tai, kad jis klysta, o tai, kad jis daro klaidas su dideliu pasitikėjimu. Kalbos modeliai sukuria sklandų ir įtikinamą tekstą; Sakinys skamba tuo pačiu užtikrintu tonu, nesvarbu, ar jis teisingas, ar klaidingas. Tai vadinama „haliucinacija“: kai modelis pateikia informaciją, kurios iš tikrųjų nėra (išgalvotas šaltinis, neteisinga dozė, įsivaizduojamas tyrimas, neegzistuojanti orientacinė medžiaga), tarsi ji būtų tikra. Kitose srityse haliucinacijos yra sutrikimas; Tai saugumo problema medicinoje. Šiame skyriuje išmoksite atpažinti haliucinacijų tipus, daugiasluoksnį patvirtinimą ir valdyti modelio neapibrėžtumą. Pagrindinis principas: pasitikėjimo pareiškimas nėra tiesos įrodymas; Ne kiekvienas klinikinis teiginys gali būti naudojamas nesusiejus su pirminiu šaltiniu ir dabartinėmis gairėmis.

Kas sukelia haliucinacijas?

AI yra sistema, nuspėjanti „kitą labiausiai tikėtiną žodį“; ji neskaito iš tikrovės duomenų bazės. Net jei jis nežino atsakymo į klausimą, jis pateikia patikimą atsakymą, kuris „panašus“ į tekstus, kuriais jis buvo apmokytas. Štai kodėl jis gali pateikti neegzistuojantį straipsnį su visiškai suformuota citata, neteisingą dozę su aiškiu skaičiumi, pasenusią rekomendaciją su tikslia kalba. Modelis linkęs užpildyti tuščią vietą, o ne pasakyti „nežinau“. Be to, treniruočių duomenys yra užšaldyti datoje; Jis/ji gali nežinoti apie nuo to laiko pasikeitusias gaires.

Užuomina: paklauskite AI „ar tu tikras? klausimas nėra patikimas testas; Modelis gali nesunkiai pasakyti „taip, aš tikiu“ arba, priešingai, nukrypti nuo teisingo atsakymo. Tikras išbandymas yra ieškoti teiginio nepriklausomame pirminiame šaltinyje.

Medicininių haliucinacijų rūšys

Žanras

pavyzdys

Pavojus

sugalvotas šaltinis

Neegzistuojantis straipsnis / DOI

Klaidinga įrodymų grandinė

Neteisinga dozė/vienetas

Neteisingas mg arba vienetas

Tiesioginė žala pacientui

Įsivaizduojamas darbas/rezultatas

Ne RCT „įrodymai“

Klaidingas klinikinis sprendimas

Pasenusi rekomendacija

Senas vadovo straipsnis

pasenęs gydymas

neteisingas priskyrimas

Tikras straipsnis, klaidinga išvada

iškraipyta informacija

perdėtas apibendrinimas

Praleisti išimtį

Netinkamas pritaikymas

Daugiasluoksnis autentifikavimas

Vienintelė apsauga nuo haliucinacijų yra sistemingas patikrinimas. Penki sluoksniai:

1. Eikite į šaltinį. Atidarykite ir patvirtinkite kiekvieną dozę, kriterijų ir rekomendaciją iš galiojančių gairių, pakuotės lapelio ar pirminio straipsnio.
2. Kryžminis patikrinimas. Ar du nepriklausomi patikimi šaltiniai sako tą patį?
3. Aktualumas. Kokiai datai priklauso informacija? Ar nuo to laiko pasikeitė?
4. Klinikinis nuoseklumas. Ar teiginys atitinka paciento tikrovę ir bendrą klinikinę logiką?
5. Eksperto akis. Iškilus abejonėms ar kritiniams taškams, kreipkitės į atitinkamą skyrių.

trys mini dėklai

1 atvejis – neteisinga dozė, kuri atrodo saugi. Gydytojas klausia AI apie retai vartojamo vaisto dozę. AI pateikia labai aiškų skaičių. Gydytojas žiūri į prospektą; tikroji dozė yra trečdalis to, ką sako AI. Tikslus AI tonas nerodė tikslumo; Patvirtinimas užkirto kelią lemtingai klaidai.

2 atvejis – fantominis darbas. AI cituoja „1200 pacientų daugiacentrį RCT, paskelbtą 2020 m.“, kad pagrįstų gydymą. Gydytojas ieško šio tyrimo; Tokio tyrimo nėra. AI sukūrė skaičius ir detales, kad jos teiginys būtų patikimas.

3 atvejis – pasenusi rekomendacija. AI rekomenduoja seną vaistą, kuris nebėra rekomenduojamas pirmiausia gydant ligą. Gydytojas žiūri į dabartinį vadovą; Pasikeitė požiūris, pirmoje vietoje atsirado naujas agentas. AI žinios buvo užšaldytos ankstesnėje eroje; Dabartinės gairės pataiso sprendimą.

Žingsnis po žingsnio: paraiškos patvirtinimas

1. Sumažinti ieškinį iki vieno sakinio. Kaip ir „X vaistas rekomenduojamas Y doze“.
2. Nustatykite išteklių tipą. Dozė, kriterijus ar įrodymai?
3. Atviras pirminis šaltinis. Prospektas, vadovas, PubMed.
4. Kryžminis patikrinimas naudojant du šaltinius.
5. Patvirtinkite naujausią.
6. Jei netinka, atmeskite; Jei abejojate, kreipkitės į ekspertą.

Keturi kopijuojami šablonai

Užduotis: Žemiau esančioje dirbtinio intelekto išvestyje atskirose eilutėse išvardykite KIEKVIENĄ patikrinamą teiginį (dozė, diagnostikos kriterijai, šaltinis, skaitinis rezultatas, rekomendacija). Prie kiekvieno pridėkite stulpelį „iš kurio pirminio šaltinio reikia patvirtinti“. savęs patikrinimas; išvesti tik tuos taškus, kuriuos reikia patikrinti. Išvestis: [...]

Užduotis: Išvardykite, kokios sąlygos turi būti įvykdytos, kad šis teiginys būtų TEISingas ir kokiomis aplinkybėmis jis gali būti NETEISINGAS. Kad galėčiau pamatyti, kur reikia patvirtinti. Pretenzija: [...]

Užduotis: Šiame tekste pažymėkite skaitinius arba absoliučius teiginius, pateiktus nenurodant šaltinio (pvz., "80% efektyvus", "500 mg per dieną"). Kiekvieną pažymėkite užrašu „ne šaltinio – reikalingas patvirtinimas“. Tekstas: [...]

Užduotis: Paprašykite manęs įvertinti DABARTĄ šios klinikinės rekomendacijos riziką: kokiomis gairėmis ji gali būti grindžiama, kada paskutinį kartą buvo atnaujinta, ar yra kokių nors pokyčių šioje srityje per pastaruosius metus? Nekurkite gairės teksto; generuoti kontrolinius klausimus.Pasiūlymas: [...]

Silpnas raginimas / Stiprus raginimas

Silpnas: "Ar tai tiesa?" (AI lengvai sako „taip“.)

Stiprus: „Kiekvieną dozę, šaltinį ir rekomendacijas išvardykite toliau esančiame dirbtinio intelekto spaudinyje atskiroje eilutėje ir parašykite, iš kurio pirminio šaltinio (paketo intarpas / gairės / PubMed) turėčiau patvirtinti kiekvieną. Pažymėkite teiginius, kurie atrodo be šaltinio arba galutiniai, kaip „reikia patvirtinti“. Patvirtinkite save; tiesiog sukurkite kontrolinį sąrašą.

Naudodami galingą raginimą, AI suteikiate vaidmenį, kuris ne „patvirtina“, o „padaro jos pačios išvestį audituojamą“.

Dažnos klaidos

• Patikimas tonas klaidinamas dėl tikslumo. Pasitikėjimo pareiškimas nėra įrodymas.
• – Ar tu tikras? Bandymas su. Modelis lengvai slysta į abi puses.
• Pasitenkinimas vienu šaltiniu. Kryžminis patikrinimas yra būtinas.
• Praleidžiamas atnaujinimas. Modelio informacija yra užšaldyta iki datos.
• Nesikonsultuoti su ekspertu kritiniu momentu. Priimant abejotinus sprendimus reikėtų prašyti antrosios nuomonės.

Automatikos šališkumas: savo spąstai

Haliucinacijos yra modelio klaida; Tačiau yra ir žmogiškoji klaida: automatizavimo šališkumas. Tai žmogaus polinkis priimti atsakymą kaip teisingą neklausiant, kai atsakymą pateikia mašina. Vien todėl, kad skaičiuotuvas yra patikimas, mes prie jo priprantame; Mes netyčia taip pat pasitikime kalbos modeliu. Tačiau kalbos modelis nėra tikslus kaip skaičiuotuvas; yra tikimybinis ir klaidingas.

Automatizavimo šališkumas ypač pavojingas pavargus, spaudžiant laikui ir atliekant įprastas užduotis. Pasibaigus priepuoliui, lengva atmesti AI išvestį, kuri atrodo sklandi ir sklandi, kaip „vis tiek tai tiesa“. Priešnuodis – tikrinimą paversti įpročiu ir sistema: susieti jį su rašytiniu registracijos žingsniu, o ne su tiesioginiu dėmesiu. „Esu pavargęs, bet taip sakoma kontroliniame sąraše“ yra geriausia apsauga nuo automatizavimo šališkumo.

Atsargiai: didžiausia rizika nėra ta, kad AI padarys klaidų; Tai reiškia, kad jūs priimate tą klaidą neabejodami, kai esate pavargę. Susieti patikrinimą su rašytine sistema, o ne su asmeniniu svarstymu.

Apibendrinant

Haliucinacijos yra rimčiausia DI rizika medicinoje: modelis skleidžia melą ir tiesą tokiu pačiu pasitikėjimo tonu. Sugalvotas šaltinis, neteisinga dozė, fiktyvus tyrimas ir pasenusios rekomendacijos yra dažniausiai pasitaikantys tipai. Vienintelė gynyba yra daugiasluoksnis patikrinimas: patikrinkite kiekvieną paraišką pagal pirminį šaltinį ir dabartines gaires, kryžminį patikrinimą ir valiutos testavimą; Kritiniuose taškuose kreipkitės į ekspertą. Niekada nepriimkite pasitikėjimo pareiškimo kaip tiesos įrodymo.

Taikymo užduotis

Užduokite AI sąmoningai sudėtingą klinikinį klausimą (reta dozė arba dabartinis gydymas). Patikrinkite kiekvieną dozę, šaltinį ir rekomendaciją, kurią jis pateikia su pirminiu šaltiniu. Kiek teiginių pasirodė teisingi, o kiek melagingų ar išgalvotų? Suderinkite lentelę, prie kokio tipo haliucinacijos patenka klaidos, ir atkreipkite dėmesį, kaip pasitikintis tonas gali jus suklaidinti.

kontrolinis sąrašas

• [ ] Kiekvieną reikalavimą sumažinau iki vieno sakinio.
• [ ] Dozę / kriterijus / šaltinį / rekomendaciją patvirtinau iš pirminio šaltinio.
• [ ] Patikrinau du nepriklausomus šaltinius.
• [ ] Patikrinau, kad informacija yra atnaujinta.
• [ ] Išbandžiau teiginį su klinikiniu nuoseklumu.
• [ ] Pasikonsultavau su ekspertu dėl abejotino/kritinio dalyko.
• [ ] Nelaikiau pasitikinčio tono tikslumo įrodymu.