Udanganyifu, Kuegemea, na Uthibitishaji Unaotegemea Ushahidi

Faida:

• Uwezo wa kutambua aina za ukumbi (chanzo kilichotengenezwa, kipimo kibaya, utafiti wa kufikiria) katika matokeo ya AI ya matibabu.
• Uwezo wa kuunganisha kila dai la kimatibabu kwa mwongozo wa sasa na chanzo msingi na uthibitishaji wa tabaka nyingi
• Uwezo wa kudhibiti kutokuwa na uhakika wa mfano, kwamba taarifa ya kujiamini sio ushahidi wa usahihi, na hatari ya makosa ambayo inaonekana kuwa ya hakika.

Hatari kubwa ya akili ya bandia (AI) katika dawa sio kwamba inafanya makosa, lakini inafanya makosa kwa ujasiri mkubwa. Miundo ya lugha hutoa matini fasaha na yenye ushawishi; Sentensi inasikika sauti sawa ya kujiamini iwe ni kweli au si kweli. Hii inaitwa "hallucination": wakati modeli inazalisha habari ambayo haipo (chanzo cha kubuni, dozi isiyo sahihi, utafiti wa kufikirika, nyenzo za mwongozo ambazo hazipo) kana kwamba ni halisi. Katika maeneo mengine, hallucination ni ugonjwa; Ni suala la usalama katika dawa. Katika kitengo hiki utajifunza kutambua aina za maonyesho, uthibitishaji wa tabaka nyingi, na kudhibiti kutokuwa na uhakika wa mfano. Kanuni ya msingi: Taarifa ya kujiamini sio ushahidi wa ukweli; Sio kila dai la kimatibabu linaweza kutumika bila kuunganishwa na chanzo kikuu na mwongozo wa sasa.

Ni nini husababisha hallucinations?

AI ni mfumo unaotabiri "neno linalofuata linalowezekana zaidi"; haisomi kutoka kwa hifadhidata ya ukweli. Hata kama hajui jibu la swali, anatoa jibu linalokubalika ambalo "linafanana" na maandishi ambayo amefunzwa. Ndiyo maana anaweza kutoa makala ambayo haipo yenye dondoo kamili, kipimo kisicho sahihi na nambari iliyo wazi, pendekezo la kizamani na lugha sahihi. Mfano huo huwa unajaza tupu badala ya kusema "sijui." Zaidi ya hayo, data ya mafunzo imehifadhiwa kwa tarehe; Anaweza kuwa hajui miongozo ambayo imebadilika tangu wakati huo.

Kidokezo: Uliza AI "una uhakika?" kuuliza sio mtihani wa kuaminika; Mfano huo unaweza kusema kwa urahisi "ndiyo, nina hakika" au, kinyume chake, uondokewe kutoka kwa jibu sahihi. Jaribio la kweli ni kutafuta dai katika chanzo huru cha msingi.

Aina za hallucinations za matibabu

Aina

mfano

Hatari

chanzo kilichoundwa

Makala haipo/DOI

Mlolongo wa ushahidi wa uwongo

Kipimo/kipimo kisicho sahihi

mg au kitengo si sahihi

Madhara ya moja kwa moja ya mgonjwa

Kazi/matokeo ya kufikirika

"Ushahidi" usio wa RCT

Uamuzi mbaya wa kliniki

Pendekezo lililopitwa na wakati

Nakala ya mwongozo wa zamani

matibabu ya kizamani

utoaji mbaya

Nakala halisi, hitimisho lisilo sahihi

taarifa potofu

kuzidisha jumla

Ruka ubaguzi

Matumizi mabaya

Uthibitishaji wa safu nyingi

Kinga pekee dhidi ya ndoto ni uthibitishaji wa kimfumo. Tabaka tano:

1. Nenda chini kwenye chanzo. Fungua na uthibitishe kila dozi, kigezo na mapendekezo kutoka kwa mwongozo wa sasa, kuingiza kifurushi au makala msingi.
2. Msalaba hundi. Je, vyanzo viwili vinavyotegemeka vinasema kitu kimoja?
3. Mada. Je, taarifa ni ya tarehe gani? Je, imebadilika tangu wakati huo?
4. Uthabiti wa kliniki. Je, dai linalingana na hali halisi ya mgonjwa na mantiki ya jumla ya kiafya?
5. Jicho la kitaalam. Wasiliana na tawi linalohusika kwa shaka yoyote au hatua muhimu.

kesi tatu ndogo

Kesi 1 - Dozi mbaya ambayo inaonekana salama. Daktari anauliza AI juu ya kipimo cha dawa ambayo haitumiki sana. AI inatoa idadi wazi sana. Daktari anaangalia prospectus; kipimo halisi ni theluthi moja ya kile AI inasema. Toni sahihi ya AI haikuonyesha usahihi; Uthibitisho huo ulizuia kosa mbaya.

Kesi ya 2 - kazi ya Phantom. AI inanukuu "RCT ya wagonjwa 1,200 iliyochapishwa mnamo 2020" kusaidia matibabu. Daktari anatafuta utafiti huu; Hakuna utafiti kama huo. AI ilikuwa imeunda nambari na maelezo ili kufanya madai yake kuaminika.

Kesi ya 3 - Pendekezo lililopitwa na wakati. AI inapendekeza dawa ya zamani ambayo haipendekezi tena kwanza katika matibabu ya ugonjwa. Daktari anaangalia mwongozo wa sasa; Mbinu imebadilika, wakala mpya amekuja kwanza. Ujuzi wa AI uligandishwa katika enzi iliyopita; Mwongozo wa sasa hurekebisha uamuzi.

Hatua kwa hatua: kuthibitisha dai

1. Punguza dai kuwa sentensi moja. Kama vile "Dawa ya X inapendekezwa katika kipimo cha Y."
2. Amua aina ya rasilimali. Dozi, kigezo au ushahidi?
3. Fungua chanzo msingi. Prospectus, mwongozo, PubMed.
4. Angalia na vyanzo viwili.
5. Thibitisha kusasishwa.
6. Ikiwa haifai, ikatae; Ikiwa una shaka, wasiliana na mtaalam.

Violezo vinne vinavyoweza kunakiliwa

Jukumu: Orodhesha KILA dai linaloweza kuthibitishwa (kipimo, vigezo vya uchunguzi, chanzo, matokeo ya nambari, mapendekezo ya mwongozo) katika toleo la AI hapa chini kwenye njia tofauti. Ongeza safu wima "ambayo chanzo msingi kinapaswa kuthibitishwa" kwa kila moja. Kujithibitisha; toa tu alama za kukaguliwa. Pato: [...]

Kazi: Orodhesha ni masharti gani lazima yatimizwe ili dai lifuatalo liwe KWELI na katika hali gani linaweza kuwa UONGO. Ili niweze kuona mahali ninapohitaji kuthibitisha. Dai: [...]

Kazi: Katika maandishi yafuatayo, weka alama taarifa za nambari au kamili zilizotolewa bila kutaja chanzo (k.m. "inafaa kwa 80%", "miligramu 500 kwa siku"). Weka kila lebo na "unsourced - uthibitisho unahitajika". Maandishi: [...]

Kazi: Niombe kutathmini hatari ya SASA ya pendekezo hili la kimatibabu: ni mwongozo gani unaweza kutegemea, ni lini ulisasishwa mara ya mwisho, kuna uwezekano wowote wa mabadiliko katika eneo hili katika miaka ya hivi karibuni? Usitengeneze maandishi ya mwongozo; kuzalisha maswali ya udhibiti.Pendekezo: [...]

Mwongozo dhaifu / Mwongozo thabiti

Dhaifu: "Hii ni kweli?" (AI husema kwa urahisi "ndio.")

Imara: "Orodhesha kila dozi, chanzo, na mapendekezo ya mwongozo katika uchapishaji wa AI hapa chini kwenye mstari tofauti na uandike kutoka kwa chanzo gani cha msingi (ingizo la kifurushi/mwongozo/PubMed) ninapaswa kuthibitisha kwa kila moja. Weka alama kwenye taarifa zinazoonekana kuwa hazina chanzo au dhahiri kuwa 'uthibitishaji unahitajika'. Jithibitishe; toa orodha ya ukaguzi."

Katika kidokezo chenye nguvu, unaweka AI katika jukumu ambalo "haliidhinishi" bali "hufanya matokeo yake yenyewe kukaguliwa."

Makosa ya kawaida

• Kukosea sauti ya kujiamini kwa usahihi. Kauli ya kujiamini sio ushahidi.
• "Una uhakika?" Kupima na. Mfano huteleza kwa urahisi katika pande zote mbili.
• Kuridhika na chanzo kimoja. Kuangalia mtambuka ni lazima.
• Kuruka sasisho. Maelezo ya mfano yamesimamishwa kwa tarehe.
• Sio kushauriana na mtaalam katika hatua muhimu. Maoni ya pili yanapaswa kutafutwa katika maamuzi yenye shaka.

Upendeleo wa otomatiki: mtego wa mtu mwenyewe

Maoni ni makosa ya mfano; Lakini pia kuna kosa la kibinadamu: upendeleo wa kiotomatiki. Hii ni tabia ya binadamu kukubali jibu kuwa ni sahihi bila kuhoji mashine inapotoa jibu. Kwa sababu tu kikokotoo kinategemewa, tunaizoea; Tunaweka imani sawa katika muundo wa lugha bila kukusudia. Hata hivyo, modeli ya lugha si sahihi kama kikokotoo; ni uwezekano na kushindwa.

Upendeleo wa kiotomatiki ni hatari haswa wakati wa uchovu, chini ya shinikizo la wakati, na katika kazi za kawaida. Mwishoni mwa mshtuko, ni rahisi kukataa matokeo ya AI ambayo yanaonekana kuwa laini na "ni kweli hata hivyo." Kinga ni kufanya uthibitishaji kuwa tabia na mfumo: kuifunga kwa hatua iliyoandikwa ya kuingia, sio kwa tahadhari ya haraka ya mtu. "Nimechoka, lakini ndivyo orodha ya ukaguzi inavyosema" ndio ulinzi bora dhidi ya upendeleo wa kiotomatiki.

Tahadhari: Hatari kubwa sio kwamba AI itafanya makosa; Ina maana kwamba unakubali kosa hilo bila kuhoji ukiwa umechoka. Unganisha uthibitishaji kwa mfumo ulioandikwa, si kwa kuzingatia kibinafsi.

Kwa muhtasari

Hallucination ni hatari kubwa zaidi ya AI katika dawa: mfano hutoa uongo na ukweli kwa sauti sawa ya ujasiri. Chanzo kilichotungwa, kipimo kisicho sahihi, utafiti wa uwongo, na mapendekezo yaliyopitwa na wakati ndizo aina zinazojulikana zaidi. Utetezi pekee ni uthibitishaji wa tabaka nyingi: jaribu kila dai dhidi ya chanzo msingi na mwongozo wa sasa, ukaguzi na majaribio ya sarafu; Wasiliana na mtaalam katika maeneo muhimu. Kamwe usichukue kauli ya kujiamini kama ushahidi wa ukweli.

Jukumu la maombi

Uliza AI swali la kliniki lenye changamoto kimakusudi (kipimo cha nadra au matibabu ya sasa). Thibitisha kila kipimo, chanzo na mapendekezo anayotoa kwa chanzo msingi. Ni madai mangapi yaligeuka kuwa ya kweli na ni mangapi yalikuwa ya uwongo au ya kubuni? Linganisha jedwali na aina gani ya maono ambayo makosa huangukia na kumbuka jinsi sauti ya kujiamini inaweza kukupotosha.

orodha ya ukaguzi

• [ ] Nilipunguza kila dai hadi sentensi moja.
• [ ] Nimethibitisha kipimo/vigezo/chanzo/pendekezo kutoka kwa chanzo msingi.
• [ ] Nilikagua na vyanzo viwili huru.
• [ ] Nimethibitisha kuwa maelezo ni ya kisasa.
• [ ] Nilijaribu dai kwa uthabiti wa kimatibabu.
• [ ] Nilishauriana na mtaalamu kuhusu jambo la kutiliwa shaka/muhimu.
• [ ] Sikuzingatia sauti ya kujiamini kama ushahidi wa usahihi.