Ofskynjanir, áreiðanleiki og sannprófun sem byggir á sönnunargögnum

Hagnaður:

• Geta til að þekkja ofskynjagerðir (framleidd uppspretta, rangur skammtur, ímynduð rannsókn) í læknisfræðilegri gervigreind
• Geta til að tengja hverja klíníska fullyrðingu við núverandi leiðbeiningar og aðaluppsprettu með marglaga sannprófun
• Hæfni til að stjórna líkanóvissu, að öryggisyfirlýsing sé ekki sönnun um réttmæti og hættu á mistökum sem virðast örugg

Stærsta hættan við gervigreind (AI) í læknisfræði er ekki sú að hún geri mistök, heldur að hún geri mistök af miklu öryggi. Mállíkön framleiða texta sem er reiprennandi og sannfærandi; Setning hljómar sama örugga tóninn hvort sem hún er sönn eða ósönn. Þetta er kallað "ofskynjanir": þegar líkanið framleiðir upplýsingar sem eru ekki til í raun og veru (tilbúin heimild, rangur skammtur, ímynduð rannsókn, leiðarvísir sem ekki er til) eins og þær væru raunverulegar. Á öðrum sviðum eru ofskynjanir röskun; Það er öryggisvandamál í læknisfræði. Í þessari einingu munt þú læra að þekkja tegundir ofskynjana, marglaga sannprófun og stjórna óvissu líkana. Grundvallarregla: Yfirlýsing um traust er ekki sönnun um sannleika; Ekki er hægt að nota allar klínískar fullyrðingar án þess að tengja við frumheimildina og núverandi leiðbeiningar.

Hvað veldur ofskynjunum?

AI er kerfi sem spáir fyrir um „næst líklegasta orð“; það les ekki úr raunveruleikagagnagrunni. Jafnvel þótt hann viti ekki svarið við spurningu, gefur hann trúverðugt svar sem "líkist" textunum sem hann hefur verið þjálfaður í. Þess vegna getur hann gefið grein sem ekki er til með fullmótaðri tilvitnun, rangan skammt með skýrri tölu, úrelt meðmæli með nákvæmu máli. Líkanið hefur tilhneigingu til að fylla út eyðuna frekar en að segja "ég veit það ekki." Að auki eru þjálfunargögnin fryst á dagsetningu; Hann/hún er kannski ekki meðvituð um þær leiðbeiningar sem hafa breyst síðan þá.

Ábending: Spyrðu gervigreindina "ertu viss?" að spyrja er ekki áreiðanlegt próf; Líkanið getur auðveldlega sagt "já, ég er viss um það" eða öfugt, verið sveigð frá réttu svari. Raunverulega prófið er að leita að kröfunni í óháðu frumheimildinni.

Tegundir læknisfræðilegra ofskynjana

Tegund

dæmi

Hætta

uppspuni

Engin grein/DOI

Fölsk sönnunarkeðja

Rangur skammtur/eining

Rangt mg eða eining

Beinn skaði sjúklings

Ímynduð vinna/niðurstaða

Non-RCT „sönnunargögn“

Röng klínísk ákvörðun

Úrelt meðmæli

Gömul leiðargrein

úrelt meðferð

rangfærslu

Raunveruleg grein, röng ályktun

brenglaðar upplýsingar

ofalhæfing

Slepptu undantekningu

Misnotkun

Fjöllaga auðkenning

Eina vörnin gegn ofskynjunum er kerfisbundin sannprófun. Fimm lög:

1. Farðu niður að upprunanum. Opnaðu og staðfestu hvern skammt, viðmiðun og ráðleggingar úr núverandi leiðbeiningum, fylgiseðli eða aðalgrein.
2. Krossskoðun. Segja tvær óháðar áreiðanlegar heimildir það sama?
3. Málefni. Hvaða dagsetningu tilheyra upplýsingarnar? Hefur það breyst síðan þá?
4. Klínískt samræmi. Passar fullyrðingin við veruleika sjúklingsins og almenna klíníska rökfræði?
5. Sérfræðingur auga. Hafðu samband við viðkomandi útibú á öllum vafa- eða mikilvægum stað.

þrjú smámál

Tilfelli 1 - Rangur skammtur sem virðist öruggur. Læknir spyr gervigreindina um skammta sjaldan notaðs lyfs. AI gefur mjög skýra tölu. Læknirinn skoðar lýsinguna; Raunverulegur skammtur er þriðjungur af því sem gervigreindin segir. Nákvæmur tónn gervigreindarinnar gaf ekki til kynna nákvæmni; Staðfestingin kom í veg fyrir afdrifarík mistök.

Tilfelli 2 - Phantom work. AI vitnar í „1.200 sjúklinga fjölsetra RCT gefin út árið 2020“ til að styðja við meðferð. Læknirinn er að leita að þessari rannsókn; Það er engin slík rannsókn. Gervigreindin hafði búið til tölur og smáatriði til að gera fullyrðingu sína trúverðuga.

Mál 3 — Úrelt tilmæli. AI mælir með gömlu lyfi sem ekki er lengur mælt með fyrst við meðhöndlun sjúkdóms. Læknirinn lítur á núverandi handbók; Nálgunin hefur breyst, nýr umboðsmaður hefur komið fyrst. Þekking gervigreindar var fryst á fyrri tímum; Núverandi leiðbeiningar leiðrétta ákvörðunina.

Skref fyrir skref: staðfesta kröfu

1. Minnka kröfuna niður í eina setningu. Eins og "Mælt er með X lyfi í Y skammti."
2. Ákvarða tegund auðlindar. Skammtur, viðmiðun eða sönnunargögn?
3. Opinn aðaluppspretta. Útboðslýsing, handbók, PubMed.
4. Krossskoðun með tveimur heimildum.
5. Staðfestu uppfært.
6. Ef það passar ekki skaltu hafna því; Ef þú ert í vafa skaltu ráðfæra þig við sérfræðing.

Fjögur afritanleg sniðmát

Verkefni: Skráðu ALLAR sannanlegar fullyrðingar (skammtur, greiningarviðmið, uppruna, töluleg niðurstaða, ráðleggingar) í gervigreindarúttakinu hér að neðan á aðskildum línum. Bættu við dálki „frá hvaða aðaluppspretta ætti að vera staðfest“ fyrir hvern. Sjálfsstaðfesting; gefa aðeins út punktana sem á að athuga. Framleiðsla: [...]

Verkefni: Listaðu hvaða skilyrði þarf að uppfylla til að eftirfarandi fullyrðing sé SÖNN og við hvaða aðstæður gæti hún verið RÖNG. Svo að ég geti séð hvar ég þarf að staðfesta. Krafa: [...]

Verkefni: Í eftirfarandi texta skaltu merkja við tölulegar eða algerar fullyrðingar án þess að vitna í heimildina (t.d. "80% áhrifarík", "500 mg á dag"). Merktu hvern og einn með "óheimilt - staðfestingar krafist". Texti: [...]

Verkefni: Biddu mig um að meta NÚVERANDI áhættu af þessum klínísku ráðleggingum: á hvaða leiðbeiningum gæti það verið byggt, hvenær var það síðast uppfært, er möguleiki á breytingum á þessu sviði undanfarin ár? Ekki búa til leiðbeiningartextann; búa til eftirlitsspurningar.Tillaga: [...]

Veik kvaðning / Sterk kvaðning

Veik: "Er þetta satt?" (AI segir auðveldlega „já.“)

Sterkt: "Skráðu hvern skammt, uppsprettu og leiðbeiningarráðleggingar í gervigreindarútprentuninni hér að neðan á sérstakri línu og skrifaðu frá hvaða aðaluppsprettu (fylgiseðill/leiðbeiningar/PubMed) ég ætti að staðfesta fyrir hvern. Merktu fullyrðingar sem virðast óheimildar eða endanlegar sem 'staðfestingar krafist'. Staðfestu sjálfan þig; búðu bara til gátlista."

Í kraftmiklu hvetjunni setur þú gervigreindina í hlutverk sem „staðfestir“ heldur „gerir eigin framleiðsla endurskoðanlega.

Algeng mistök

• Misskilja öruggan tón fyrir nákvæmni. Yfirlýsing um traust er ekki sönnunargagn.
• "Ertu viss?" Próf með. Líkanið rennur auðveldlega í báðar áttir.
• Að vera sáttur við eina heimild. Krossskoðun er nauðsynleg.
• Sleppir uppfærslunni. Líkanupplýsingar eru frystar á dagsetningu.
• Ekki ráðfæra sig við sérfræðing á mikilvægum tímapunkti. Leita ætti annarrar skoðunar í vafasömum ákvörðunum.

Sjálfvirkni hlutdrægni: manns eigin gildra

Ofskynjunin er villa líkansins; En það eru líka mannleg mistök: hlutdrægni í sjálfvirkni. Þetta er mannleg tilhneiging til að samþykkja svarið sem rétt án þess að spyrja þegar vél gefur svar. Bara vegna þess að reiknivél er áreiðanleg, venjumst við henni; Við leggjum óvart sama traust á tungumálamódelið. Hins vegar er mállíkanið ekki nákvæmt eins og reiknivél; er líkindalegt og fallhæft.

Sjálfvirkni hlutdrægni er sérstaklega hættuleg þegar þú ert þreyttur, undir tímapressu og í venjulegum verkefnum. Í lok flogakasts er auðvelt að hafna gervigreindarúttak sem virðist slétt og slétt þar sem „það er samt satt“. Mótefnið er að gera sannprófun að vana og kerfi: binda hana við skriflegt innritunarskref, ekki við strax athygli manns. „Ég er þreyttur, en það er það sem gátlistinn segir“ er besta vörnin gegn hlutdrægni í sjálfvirkni.

Varúð: Stærsta áhættan er ekki sú að gervigreindin geri mistök; Það þýðir að þú samþykkir þessi mistök án þess að efast um þau þegar þú ert þreyttur. Tengdu staðfestingu við skriflegt kerfi, ekki við persónulega tillitssemi.

Í stuttu máli

Ofskynjanir er alvarlegasta hættan á gervigreind í læknisfræði: líkanið framkallar lygi og sannleika í sama örugga tóninum. Tilbúnar heimildir, rangur skammtur, ímynduð rannsókn og úrelt meðmæli eru algengustu tegundirnar. Eina vörnin er marglaga sannprófun: prófaðu hverja kröfu gegn aðaluppsprettu og núverandi leiðbeiningum, krossathugun og gjaldeyrisprófun; Ráðfærðu þig við sérfræðing á mikilvægum stöðum. Líttu aldrei á traustsyfirlýsingu sem sannleikasönnun.

Umsóknarverkefni

Spyrðu gervigreind vísvitandi krefjandi klínískrar spurningar (sjaldgæfur skammtur eða núverandi meðferð). Staðfestu hvern skammt, uppsprettu og tilmæli sem hann gefur með aðaluppsprettu. Hversu margar fullyrðingar reyndust réttar og hversu margar voru rangar eða uppspuni? Passaðu töfluna við hvaða tegund ofskynjana villurnar falla í og ​​athugaðu hvernig öruggur tónninn getur villt þig fyrir.

gátlisti

• [ ] Ég minnkaði hverja kröfu í eina setningu.
• [ ] Ég hef staðfest skammtinn/viðmiðin/uppsprettu/ráðleggingar frá aðalheimildinni.
• [ ] Ég krossaði við tvær óháðar heimildir.
• [ ] Ég hef staðfest að upplýsingarnar séu uppfærðar.
• [ ] Ég prófaði fullyrðinguna með klínískri samkvæmni.
• [ ] Ég ráðfærði mig við sérfræðing um hið vafasama/mikilvæga atriði.
• [ ] Ég taldi sjálfsöruggan tóninn ekki vera sönnun fyrir nákvæmni.