Nidhamu ya Udanganyifu na Uthibitishaji: Jeni Zilizoundwa, Mifuatano, Lahaja, na Sifa.

Faida:

• Uwezo wa kutambua ni katika aina zipi (jeni / mlolongo / lahaja / marejeleo ya kuunda) ushawishi (uzalishaji wa kujiamini wa hitilafu wa akili) hutokea katika jenetiki.
• Uwezo wa kuelewa kuwa sauti ya 'jiamini' ya AI sio ushahidi wa usahihi na thibitisha kila pato na chanzo huru.
• Uwezo wa kutekeleza mtiririko wa kazi wa kupunguza hisia kwa kutumia chanzo, uthibitisho wa kuratibu/toleo, na maagizo ya 'ikiwa hujui, tengeneza'.

Hatari moja inajirudia katika kila kitengo cha moduli hii: upotovu wa akili ya bandia (AI) - yaani, kutoa habari kwa ujasiri kamili ambayo haipo. Kitengo hiki kinashughulikia hatari hiyo peke yake: ni nini na jinsi gani AI inafaa katika biolojia ya molekuli na genetics; Je, unaonaje hili? na ni reflex gani ya uthibitishaji unapaswa kukuza kwa kila aina ya pato. Kusudi ni kwako kuona ndoto sio kama "ajali ambayo wakati mwingine hufanyika" lakini kama jambo ambalo linatarajiwa kila wakati na kukamatwa kwa utaratibu.

Kwa nini maono hayawezi kuepukika? Kwa sababu LLM sio mfumo ambao "unajua ukweli", lakini mfumo ambao "hutoa neno linalowezekana zaidi". Imejifunza jinsi jina la jeni, fomu ya kibadala, au muundo wa lebo inaonekana katika data ya mafunzo; Kwa hivyo, inaweza kutoa pato ambalo linafanana sana na ukweli lakini sio ukweli. Katika jenetiki, ufanano huu ni hatari sana kwa sababu muundo "c.1234A>G" na lahaja la kweli hauwezi kutofautishwa kwa jicho.

Je, AI hufanya nini katika genetics? ramani

kitu kilichoundwa

Inaonekanaje

Jinsi ya kukamata

Jina la jeni/alama

Ishara ya kweli lakini haipo

Jeni la HGNC/NCBI

mfululizo

Mfuatano usio sahihi na herufi sahihi

NCBI/Ensemble FASTA

Lahaja kuratibu

Katika umbizo la HGVS lakini si sahihi/haipo

VariantValidator, ClinVar

mzunguko wa idadi ya watu

Asilimia ya kuridhisha

GnomAD

kazi ya kazi

alama ya kushawishi

PubMed/DOI

madai ya kliniki

"Ni pathogenic"

Mlolongo wa ushahidi wa ACMG

uratibu wa protini

Nambari za 3D zilizo na desimali

PDB/AlphaFold faili

Matokeo ya takwimu

p-thamani bila marekebisho

Rudia msimbo

Mbinu ambazo hupunguza (lakini sio mwisho) maono

1. Toa muktadha. Muktadha sahihi zaidi unaotoa (toleo la jenomu, nakala, mlolongo halisi), ndivyo AI itakavyounda. Lakini haiweki upya.

2. "Ikiwa hujui, niambie" maelekezo. Maagizo "Ikiwa huna uhakika, sema 'lazima ithibitishwe', usiifanye" hupunguza upotoshaji - lakini usiyaamini kabisa.

3. Inahitaji rasilimali. Omba chanzo kinachoweza kuthibitishwa (DOI, PMID, rekodi ya hifadhidata) kwa kila dai.

4. Jiangalie mwenyewe. "Ni vipengele vipi katika pato hili vinahitaji uthibitishaji huru?" uliza; AI mara nyingi inaweza kuripoti vitu hatari.

5. Muhimu zaidi: thibitisha kibinafsi. Hapo juu hupunguza uwezekano; Kidhibiti chako cha msingi pekee ndicho hutoa uhakika.

Kidokezo: Weka "bajeti ya uthibitishaji": kwa kila pato la AI, hakikisha kuwa umethibitisha ukweli muhimu kwa uamuzi (mlolongo, lahaja, marudio, maelezo); Tibu maelezo ya kiwango cha chini (ufafanuzi wa dhana) kwa urahisi zaidi. Zingatia rasilimali zako kwenye kosa ambalo linaweza kusababisha madhara zaidi.

kesi tatu ndogo

Kesi ya 1 - Jeni haipo. Mwanafunzi alijaribu kutafiti "jeni" ambayo AI ilitaja lakini hakuipata katika HGNC. AI ilikuwa imetoa ishara ambayo haikuwepo kwa kuchanganya majina ya jeni mbili halisi. Bila udhibiti wa HGNC, mwanafunzi angetumia saa nyingi kutafuta jeni la mzimu.

Kesi ya 2 - Maoni ya mnyororo. Mtafiti aliuliza AI kuhusu lahaja; AI ilitoa masafa ya kujitengenezea, kisha ikapendekeza msimbo wa uwongo wa ACMG kulingana na marudio hayo, kisha ikaongeza makala bandia inayounga mkono msimbo huo. Thamani moja ya uwongo ilizaa mnyororo wa uwongo wa safu tatu. Mtafiti alipofungua gnomAD, kiungo cha kwanza kwenye mnyororo kilikatika na kila kitu kilianguka.

Kesi ya 3 - Uthibitisho umepata. Fundi alipokea msimbo wa uchambuzi wa kamba kutoka kwa AI; Katika msimbo, AI ilikuwa imepachika kamba iliyoundwa kama "kamba ya kumbukumbu". Fundi alisoma msimbo na akabadilisha mlolongo na mlolongo halisi kutoka kwa NCBI. Ikiwa angeendesha nambari kwa upofu, matokeo yangekuwa sio sawa kimya kimya.

Reflexes ya uthibitisho: kwa aina ya pato

Unapoona SEQUENCE -> unapoona NCBI/Ensemble FASTA unapoona VARIANT -> unapoona VariantValidator + ClinVar +gnomADFREQUENCY -> tafuta katika gnomAD yenyewe unapoona ATTRIBUTE -> fungua DOI/PMID, weka kichwa-mwandishi Unapoona GENE NAME / unapoona toleo la INATE GENOCONCO INATE + liftOverSTATISTICS -> endesha nambari mwenyewe, angalia marekebisho

Violezo vinne vinavyoweza kunakiliwa

1) Mwongozo wa kujidhibiti:

Katika matokeo ambayo umetoa hivi punde, ni vipengele vipi (mlolongo, lahaja, marudio, jina la jeni, nukuu, nambari) vinahitaji uthibitishaji huru? Weka kila lebo kama "hakika/inawezekana/haina uhakika" na uandike ni chanzo kipi cha kuangalia.

2) Chanzo cha majibu ya lazima:

Jibu swali hili lakini taja chanzo kinachoweza kuthibitishwa (rekodi ya hifadhidata, DOI, PMID) kwa KILA dai la kweli. Usiwasilishe dai lolote ambalo huwezi kutoa chanzo; andika "lazima ithibitishwe": [swali].

3) Uchanganuzi wa mlolongo ulioundwa:

Orodhesha safu zote, viunga, na vibadala vilivyopachikwa katika msimbo ufuatao:[code]. Kwa kila moja, weka alama kwa uwazi "lazima ithibitishwe" ikiwa haijulikani ikiwa inatoka kwa chanzo halisi au ni kishikilia nafasi ulichounda.

4) Udhibiti wa mnyororo:

Kila hatua hujengwa juu ya ile iliyotangulia katika hoja ifuatayo: [mnyororo]. Ni hatua gani zinazofuata zinazoanguka ikiwa kiungo cha kwanza (data ya msingi) si sahihi? Orodhesha sehemu muhimu za data ambazo msururu unahitaji kuthibitisha.

Mwongozo dhaifu / Mwongozo thabiti

Dhaifu: "Tuambie kila kitu unachojua kuhusu lahaja hii."

Tatizo: AI hutengeneza mzunguko, maelezo, madai ya kliniki kutoka kwa kumbukumbu; Hakuna ndoano ya uthibitishaji.

Imara: "Jibu lahaja hii; eleza ni chanzo kipi cha kuthibitisha kwa kila dai la kweli, weka alama ya 'lazima ithibitishwe' ikiwa huna uhakika, usitengeneze marudio au maelezo yoyote."

Kwa nini ina nguvu: Uga wa uzushi umepunguzwa, kila dai limefungwa kwenye ndoano ya uthibitishaji.

Makosa ya kawaida

• Kukosea ufasaha kwa usahihi. Sentensi zenye kushawishi zaidi zinaweza kuwa maono hatari zaidi.
• Kujenga juu ya thamani moja bila kuithibitisha. Hivi ndivyo ufahamu wa mnyororo huzaliwa.
• Si kusoma mara kwa mara iliyopachikwa katika kanuni. AI inaweza kupachika kamba iliyotengenezwa/mara kwa mara kwenye msimbo.
• Kutosheka na "Ikiwa hujui, niambie." Maagizo haya hupunguza uwezekano na haitoi uhakika.
• Kutumia bajeti ya uthibitishaji mahali pasipofaa. Kuangalia ukweli usio muhimu, sio ukweli muhimu zaidi.

Tahadhari: Kiwango cha hallucination kinatofautiana kulingana na toleo la mfano, swali, na kikoa; lakini ni makosa kusema "mtindo huu haufai tena". Nidhamu ya uthibitishaji lazima idumishwe bila kujali jinsi mtindo ni mzuri. Wajibu daima ni wa mtu.

Undani: Kwa nini RAG na 'kuendesha gari' havimalizi ndoto

Katika miaka ya hivi majuzi, zana nyingi za AI zimetumia RAG (Retrieval-Augmented Generation - njia ambayo modeli hurejesha hati husika kutoka kwa hifadhidata na kuzitumia kabla ya kutoa jibu) au ombi la zana moja kwa moja (k.m. kutafuta kwa kweli PubMed) ili "kuunganisha" jibu lake kwa vyanzo halisi. Mbinu hizi hupunguza maono lakini hazimalizii kwa sababu mbili. Kwanza, mfano unaweza kufupisha hati iliyokamatwa vibaya au kuhusisha matokeo kwa hati ambayo haipo kwenye hati; Hata kama chanzo ni halisi, tafsiri inaweza kuwa ya kubuni. Pili, utafutaji unaweza kurudisha hati isiyo sahihi au isiyo na maana na mfano bado utaigeuza kuwa jibu la mamlaka. Kwa maneno mengine, hata jibu linaloonekana kuwa "sourced" halipaswi kuchukuliwa kuwa la kuaminika bila kufungua na kusoma kwamba chanzo kinaunga mkono dai hilo.

Mfano halisi: Msaidizi wa RAG alirudisha ukurasa halisi wa ClinVar kwa kibadala lakini akafupisha ukurasa kama "pathogenic"; Walakini, kwenye ukurasa, lahaja iliwekwa alama kama "maoni yanayokinzana". Chanzo kilikuwa sahihi, muhtasari haukuwa sahihi - na makosa ya uzito wa kliniki. Mfano wa pili: chombo cha fasihi kilivuta makala halisi, lakini makala hiyo ilihusu jeni tofauti; Mfano huo ulidanganywa na kufanana kwa kichwa na kuhusisha matokeo na swali.

Kanuni ya kidole gumba: ikiwa kiungo kinatolewa, fungua kiungo; ikiwa nukuu imetolewa, angalia kama nukuu hiyo imenukuliwa neno moja kwa moja kwenye chanzo. "Chanzo AI" hurahisisha uthibitishaji, sio kuiondoa. Reflex yako ya uthibitishaji inasalia sawa bila kujali jinsi gari "limeunganishwa".

5) Kiolezo cha ukaguzi wa majibu yaliyounganishwa:

Kwa kila kiungo/nukuu ya chanzo unachotoa katika jibu hili, nionyeshe sentensi/fungu halisi ambapo ninaweza kuangalia ikiwa dai linatokea HASA kwenye chanzo. Ikiwa chanzo ni cha kweli lakini muhtasari wako unakengeuka kutoka humo, weka alama.

Kwa muhtasari

• Hallucination ni tokeo la asili la modus operandi ya LLM; Sio "ajali", lakini jambo linalotarajiwa ambalo lazima lishikwe kwa utaratibu.
• Katika jenetiki, AI inaweza kuunda jeni, mfuatano, lahaja, masafa, sifa, viwianishi, takwimu na madai ya kimatibabu.
• Muktadha, umuhimu wa rasilimali, na kujidhibiti hupunguza lakini hamalizi ndoto; Udhibiti msingi wa chanzo pekee ndio hutoa usahihi.
• Tengeneza urekebishaji wa uthibitishaji maalum kwa aina ya pato (mfuatano→FASTA, nukuu→DOI); Lenga bajeti yako ya uthibitishaji kwenye mambo muhimu zaidi.

Jukumu la maombi

Uliza AI kuhusu mada ya kijeni na uthibitishe kibinafsi kila dai la ukweli (jeni, mfuatano, lahaja, marudio, maelezo) katika matokeo dhidi ya orodha ya reflex iliyo hapo juu. Hesabu ni madai mangapi ni ya kweli, ngapi ni ya uwongo/yaliyotungwa, na ni mangapi ambayo hayaeleweki. Fupisha matokeo katika jedwali na utambue ni aina gani ya dai imetungwa zaidi.

orodha ya ukaguzi

• [ ] Nilitumia kielelezo changu cha uthibitishaji kwa kila aina ya pato.
• [ ] Binafsi nimekagua ukweli muhimu kutoka kwa chanzo kikuu.
• [ ] Nilithibitisha hoja ya msingi ya data katika hoja iliyofungwa.
• [ ] Nimesoma na kuthibitisha safu/taratibu zilizopachikwa kwenye msimbo.
• [ ] Sikuzingatia sauti laini na ya kujiamini kama ushahidi wa usahihi.
• [ ] Nililenga bajeti yangu ya uthibitishaji kwenye madai ya hatari zaidi.