Kitengo 8 / 10

Uhakiki wa Fasihi na Muundo wa Maarifa: RAG, Mkusanyiko wa Kitaratibu na Kizazi cha Dhahania

Faida:

  • Uwezo wa kuelewa kuwa zana za gumzo wazi hutoa marejeleo bandia na kutumia nidhamu ya kuthibitisha kila chanzo kwenye hifadhidata halisi.
  • Uwezo wa kupunguza ufahamu kwa kuunganisha usanisi wa fasihi kwa hati halisi na mbinu ya RAG (kizazi kinachotegemea rasilimali)
  • Uwezo wa kutafsiri dhana kama mwanzo badala ya ushahidi kwa kutumia akili ya bandia kwa uchunguzi wa awali katika ukaguzi wa kimfumo na kuweka uamuzi wa mwisho na uwazi mikononi mwa wanadamu.

Mlipuko wa maarifa katika bioengineering ni tatizo halisi: mamia ya maelfu ya makala huchapishwa kila mwaka, kukusanya maelfu ya masomo juu ya mada moja. Kabla ya kuanzisha hypothesis, kuchagua mbinu, au kutafsiri matokeo, mhandisi anahitaji kuchambua fasihi inayofaa; lakini hii inachukua wiki kwa mikono. AI ni moja wapo ya maeneo ambayo huokoa wakati mwingi katika ukaguzi wa fasihi, muhtasari na usanisi wa habari. Lakini pia ni chanzo hatari zaidi cha maono: AI inaweza kutoa makala ambazo hazipo, DOI za kubuni, na matokeo ya uwongo. Somo kuu la kitengo hiki ni taaluma ya kuunganisha kila dai na chanzo asili wakati wa kutumia AI katika fasihi.

Katika kitengo hiki, utajifunza jinsi ya kutumia AI katika ukaguzi salama wa fasihi, kwa nini RAG (Retrieval-Augmented Generation - AI hupata na kutoa jibu kutoka kwa hifadhidata ya hati halisi, sio kutoka kwa kumbukumbu yake) ni ya kuaminika zaidi, msaada wa ukaguzi wa kimfumo na kizazi cha nadharia.

Kwa nini chombo cha mazungumzo ya wazi ni hatari?

Unapomwambia modeli ya lugha "pata makala kuhusu Hii inamaanisha marejeleo yasiyo na maji lakini yaliyoundwa: majina ya waandishi, majarida, miaka, na DOIs kana kwamba ni halisi. Kwa hivyo, usiwahi kukiuka sheria mbili katika ukaguzi wa fasihi: (1) thibitisha kila marejeleo katika hifadhidata halisi (PubMed, Google Scholar, ukurasa wa jarida), (2) ikiwezekana, tumia zana za msingi za RAG zilizounganishwa kama Consus Elicit, makala (1) .

Tahadhari: Ushuhuda kutoka kwa AI unaweza kuonekana kuwa wa kweli - katika muundo sahihi, jarida linalojulikana, mwaka unaofaa. Hii haimaanishi kuwa ipo. Zingatia makala kama yaliyopo tu unapoipata na kuifungua katika PubMed/DOI. Kujumuisha marejeleo ya kubuniwa katika chapisho lako ni kosa ambalo linaweza kuharibu sifa yako ya kisayansi.

RAG: uzalishaji unaotegemea rasilimali

Katika mbinu ya RAG, AI hupata kwanza vifungu vinavyofaa kutoka kwenye hazina halisi ya hati (ama PDF unazopakia au hifadhidata ya kisayansi), kisha hutoa jibu kulingana na vifungu hivyo na pointi kwenye chanzo. Hii inapunguza sana maono kwa sababu mtindo lazima "unukuu" badala ya "kufikiria." Kutoa maktaba yako ya PDF kwa zana ya RAG na kuuliza "makala haya 40 yanasema nini kuhusu hivyo na hivyo" ni ya kuaminika zaidi kuliko mazungumzo ya moja kwa moja; hata hivyo, tazama kifungu cha kila nukuu katika makala halisi.

Kidokezo: Hata unapotumia RAG, agiza kwa uwazi "taja chanzo na jibu kutoka kwa hati ninayotoa tu, usiongeze maelezo yasiyo ya hati". Kisha pata kifungu ambacho kielelezo kinaelekeza kwenye hati halisi. Hatua hizi mbili hufanya usanisi wako utetewe.

Mapitio ya utaratibu na kizazi cha nadharia

Mapitio ya utaratibu—kujibu swali mahususi kwa kuchanganua fasihi zote muhimu kwa njia ya uwazi na inayoweza kuzaliana—inahitaji ukali wa juu wa mbinu: mkakati wa utafutaji, vigezo vya kujumuisha/kutengwa, uchimbaji wa data. AI huharakisha sehemu za mitambo za mchakato huu (uchunguzi wa muhtasari, uchunguzi wa awali, rasimu ya uchimbaji wa data), lakini wajibu na uwazi wa kila uamuzi (ikiwa ni pamoja na au kuwatenga karatasi) uko kwa mtafiti. AI pia huhamasisha kizazi cha nadharia kwa kuashiria mapungufu katika fasihi; lakini dhana inayotoa ni kianzio, si ushahidi.

kesi tatu ndogo

Kesi ya 1 - Uchanganuzi uliharakishwa mara 10. Timu ya ukaguzi ilibidi kuchuja muhtasari wa makala 1,850. Kwa kutumia zana inayotegemea RAG, ujumuishaji/uondoaji wa kufuzu mapema ulitoka siku 3 hadi saa 5. Lakini watafiti wawili walikagua kwa uhuru vifungu 120 ambavyo AI iliona kuwa "zilizotengwa" na kupata matoleo 9 ya uwongo; AI ilifanya uteuzi, mwanadamu alifanya uamuzi wa mwisho.

Kesi ya 2 - Marejeleo yaliyotengenezwa yanaswa. Mwanafunzi wa PhD aliuliza YZ marejeleo 15 kwa ingizo lake la nadharia. Alipoangalia kwenye PubMed, aligundua kuwa 6 kati yao hazikuwepo kabisa na 3 zilihusishwa na mwandishi mbaya. Zana ya kawaida ya gumzo ilitoa biblia ya kweli lakini ya uwongo. Uthibitishaji uliepusha maafa ya kitaaluma.

Kesi ya 3 - msukumo wa nadharia. Timu ya uhandisi wa kimetaboliki ilikabidhi AI ya karatasi 60 na kuuliza "njia zipi hazijasomwa?" AI ilielekeza kwenye mchanganyiko wa enzyme ambayo haijajaribiwa. Timu ilichukua hii kama dhana, ikaithibitisha katika fasihi, na ikaunda jaribio; Hatimaye, walikuja na matokeo halisi ambayo yaliongeza tija. Msukumo ulitoka kwa AI, uthibitisho ulitoka kwa majaribio.

Violezo vinne vinavyoweza kunakiliwa

1) Usanisi wa fasihi inayohusiana na chanzo (RAG):

Jukumu lako: msaidizi wa ukaguzi wa kisayansi. Jibu kutoka kwa hati nilizopakia TU; Usiongeze maelezo yoyote ya ziada. Kwa kila dai, toa jina la hati chanzo na kifungu husika. Kwa swali ambalo halina jibu katika hati, sema "haipo kwenye hati". Rejelea, DOI, au kutafuta FITTING.Swali: [swali]

2) Nidhamu ya uthibitishaji wa marejeleo:

Nitakupa mada. Pendekeza maneno muhimu yanayowezekana na mkakati wa utafutaji (ukitumia syntax ya PubMed). Lakini orodha ya makala ya YOU ni FEKI; Nitapiga simu mwenyewe. Niambie ni masharti gani, vichungi na vigezo vya kujumuisha/kutengwa ambavyo ninafaa kutumia badala yake.

3) Msaada wa kuondoa ujumuishaji wa kimfumo:

Nitakupa kichwa cha makala+muhtasari. Pendekeza ni pamoja na/tenga/haijulikani kwa kila moja kulingana na vigezo vifuatavyo vya kujumuisha(pamoja na: [vigezo]) na uandike RATIONALE yako. Nitahakiki mwenyewe zile "zisizo na uhakika". Kumbuka kwamba uamuzi ni wa awali, si wa mwisho; Usiondoe kifungu chochote bila uhalali.

4) Kizazi cha nadharia (kwa uangalifu):

Nitakupa muhtasari wa matokeo kwenye mada. Nipendekeze nadharia 3 zinazoweza kujaribiwa kulingana na GAPS katika fasihi na michanganyiko ambayo haijajaribiwa. Kwa kila dhana: taja msingi, jinsi itakavyojaribiwa, na kwamba ni START, sio ushahidi. Usitegemee ushahidi ambao haupo.

Mwongozo dhaifu / Mwongozo thabiti

Agizo dhaifu:

Nitafutie na unifanyie muhtasari wa makala 10 kuhusu uhandisi wa kimeng'enya na CRISPR.

Mfano haufanyi utafutaji halisi; itazalisha marejeleo bandia.

Agizo lenye nguvu:

Jukumu lako: jenga msaidizi. Kulingana na PDF 12 TU nilizopakia, ninakusanya matokeo kuu kuhusu mada ya "uhandisi wa kimeng'enya kulingana na CRISPR". Kwa kila utafutaji, onyesha ni PDF gani ilitoka na kifungu kamili. Usiongeze masomo yoyote, DOI, au matokeo ambayo hayako kwenye PDF. Tia alama kwenye mada ndogo ndogo ambazo hazijashughulikiwa kama "hazijaangaziwa katika hati hizi."

Tofauti: kuunganisha kwa hati halisi, hitaji la chanzo+kifungu, marufuku ya kutengeneza, na uaminifu wa upeo.

Kazi za fasihi na mbinu ya kuaminika

Jitihada

barabara hatari

njia salama

uthibitishaji

Tafuta makala

Kusema "tafuta" kwenye gumzo

Chombo cha PubMed + RAG

Uthibitishaji katika DOI

kufupisha

Muhtasari bila nyaraka

Muhtasari kutoka kwa PDF iliyopakiwa

Angalia kifungu halisi

kuondoa

Imani kipofu katika AI

Uhitimu wa awali wa AI + binadamu

Mkaguzi wa pili

usanisi

uzalishaji bure

Usanisi tegemezi wa chanzo

Ukaguzi wa nukuu

hypothesis

kupotosha kwa "ushahidi"

pa kuanzia

mtihani wa majaribio

Makosa ya kawaida

  • Haithibitishi marejeleo. AI inazalisha rasilimali halisi lakini bandia; kila moja inapaswa kuonekana kwenye hifadhidata.
  • Kukosea gumzo la kawaida kwa simu. Mfano huzalisha kutoka kwa kumbukumbu; utafutaji halisi unahitaji RAG/database.
  • Kukabidhi uamuzi wa kuondoa kabisa. Uondoaji usio sahihi utavunja mkusanyiko; Mkaguzi wa pili anahitajika.
  • Kupotosha dhana kwa ushahidi. Dhana inayotokana na AI ni ya kukisia hadi ijaribiwe kwa majaribio.
  • Kuzidisha upeo. AI inaweza kutoa hisia kwamba "nilichanganua kila kitu"; Unaandika upeo halisi.

Kwa muhtasari

Uhakiki wa fasihi ni eneo ambalo AI huokoa wakati mwingi lakini hutoa maonyesho mengi zaidi. Vyombo vya mazungumzo ya wazi vinaweza kutoa ushuhuda wa kweli lakini bandia; kwa hivyo thibitisha kila chanzo dhidi ya hifadhidata halisi na, ikiwezekana, tumia zana zenye msingi wa RAG ambazo zinategemea hati halisi. Katika ukaguzi wa kimfumo, AI hufanya uchunguzi wa awali, lakini uamuzi wa mwisho na uwazi ni wa mtafiti. AI inahamasisha kizazi cha nadharia; Dhana hiyo ni mahali pa kuanzia, si uthibitisho, hadi ithibitishwe na majaribio.

Jukumu la maombi

Chagua mada na uwaambie AI (kupitia zana ya gumzo wazi) "tafuta makala 8 kuhusu mada hii na ufanye muhtasari." Thibitisha kila marejeleo anayotoa dhidi ya PubMed au DOI, moja baada ya nyingine, na uhesabu ni ngapi ni za kweli. Kisha kurudia kazi sawa na zana ya RAG au kwa kupakia PDF chache ulizopakua mwenyewe na kwa maagizo "jibu kutoka kwa hati hizi pekee". Andika ulinganisho mfupi wa kuegemea kwa njia hizo mbili.

orodha ya ukaguzi

  • [ ] Nilithibitisha kila marejeleo ambayo AI ilitoa dhidi ya hifadhidata halisi.
  • [ ] Nilitumia mkabala tegemezi wa chanzo (RAG/hati iliyopakiwa) katika usanisi wa fasihi.
  • [ ] Nilikagua maamuzi ya uchunguzi na mhakiki wa pili.
  • [ ] Nilizingatia dhana iliyotolewa na AI si kama ushahidi, lakini kama mwanzo wa kujaribiwa.
  • [ ] Niliona kifungu cha kila nukuu katika makala asili.
  • [ ] Nimeandika kwa uaminifu kiwango cha kweli na mapungufu ya tambazo.