Pelnas:
- Gebėjimas suprasti, kad paprasti pokalbių įrankiai sukuria netikras nuorodas ir taikyti kiekvieno šaltinio tikrinimo discipliną tikrojoje duomenų bazėje.
- Gebėjimas sumažinti haliucinacijas sujungiant literatūros sintezę su tikrais dokumentais taikant RAG (nuo išteklių priklausomos kartos) metodą.
- Gebėjimas interpretuoti hipotezes kaip pradžią, o ne įrodymą, naudojant dirbtinį intelektą preliminariai sisteminei peržiūrai ir išlaikant galutinį sprendimą bei skaidrumą žmonių rankose.
Žinių sprogimas bioinžinerijoje yra tikra problema: kasmet išleidžiama šimtai tūkstančių straipsnių, kaupiantys tūkstančius tyrimų viena tema. Prieš iškeldamas hipotezę, pasirinkdamas metodą ar interpretuodamas rezultatą, inžinierius turi nuskaityti atitinkamą literatūrą; bet tai trunka savaites rankiniu būdu. Dirbtinis intelektas yra viena iš sričių, kurioje sutaupoma daugiausiai laiko literatūros apžvalgai, apibendrinimui ir informacijos sintezei. Tačiau tai taip pat yra pavojingiausias haliucinacijų šaltinis: AI gali sukurti neegzistuojančius gaminius, išgalvotus DOI ir netikrus radinius. Pagrindinė šio skyriaus pamoka yra disciplina susieti kiekvieną teiginį su pirminiu šaltiniu, naudojant AI literatūroje.
Šiame skyriuje sužinosite, kaip naudoti dirbtinį intelektą saugioje literatūros apžvalgoje, kodėl RAG (Retrieval-Augmented Generation – AI randa ir pateikia atsakymą iš tikros dokumentų duomenų bazės, o ne iš jos atminties) metodas yra patikimesnis, sistemingesnis peržiūros palaikymas ir hipotezių generavimas.
Kodėl paprastas pokalbių įrankis yra pavojingas?
Kai nurodote kalbos modeliui „rasti straipsnius apie Tai reiškia sklandžias, bet sugalvotas nuorodas: autorių vardus, žurnalus, metus ir DOI, tarsi jie būtų tikri. Todėl niekada nepažeiskite dviejų literatūros apžvalgos taisyklių: (1) patikrinkite kiekvieną nuorodą tikroje duomenų bazėje (PubMed, Google Scholar, žurnalo puslapyje), (2) jei įmanoma, naudokite RAG pagrįstus įrankius, susietus su tikrais straipsniais.
Atsargiai: AI atsiliepimas gali pasirodyti tikras – tinkamo formato, pažįstamu žurnalu, pagrįstais metais. Tai nereiškia, kad jis egzistuoja. Laikykite straipsnį esantį tik tada, kai jį surasite ir atidarote PubMed/DOI. Sugalvotos nuorodos įtraukimas į leidinį yra klaida, galinti sugriauti jūsų mokslinę reputaciją.
RAG: nuo išteklių priklausoma gamyba
Taikant RAG metodą, dirbtinis intelektas pirmiausia suranda atitinkamas ištraukas iš tikros dokumentų saugyklos (įkeltų PDF failų arba mokslinės duomenų bazės), tada pagal šias ištraukas sugeneruoja atsakymą ir nurodo šaltinį. Tai labai sumažina haliucinacijas, nes modelis turi „cituoti“, o ne „įsivaizduoti“. Suteikti savo PDF biblioteką RAG įrankiui ir paklausti „ką šie 40 straipsnių sako apie tai ir taip“ yra daug patikimiau nei tiesioginis pokalbis; tačiau žiūrėkite kiekvienos citatos ištrauką pačiame straipsnyje.
Patarimas: Net ir naudodami RAG, aiškiai nurodykite „nurodykite šaltinį ir atsakykite tik iš mano pateiktos dokumentacijos, nepridėkite ne dokumentinės informacijos“. Tada raskite ištrauką, į kurią nurodo modelis faktiniame dokumente. Šie du žingsniai padaro jūsų sintezę pateisinamą.
Sisteminė apžvalga ir hipotezių generavimas
Sisteminei apžvalgai – atsakant į konkretų klausimą skaidriu ir atkuriamu metodu nuskaitant visą susijusią literatūrą – reikalingas didelis metodologinis griežtumas: paieškos strategija, įtraukimo/išskyrimo kriterijai, duomenų ištraukimas. AI pagreitina mechanines šio proceso dalis (abstrakčią atranką, pirminį patikrinimą, duomenų išgavimo juodraštį), tačiau atsakomybė ir skaidrumas už kiekvieną sprendimą (įtraukti ar neįtraukti dokumentą) tenka tyrėjui. AI taip pat įkvepia hipotezių generavimą, nurodydamas literatūros spragas; tačiau jos iškelta hipotezė yra atskaitos taškas, o ne įrodymas.
trys mini dėklai
1 atvejis – nuskaitymas pagreitintas 10 kartų. Peržiūros komanda turėjo atsijoti 1850 straipsnių santraukų. Naudojant RAG pagrįstą įrankį, įtraukimo / pašalinimo išankstinė kvalifikacija truko nuo 3 dienų iki 5 valandų. Tačiau du mokslininkai nepriklausomai patikrino 120 straipsnių, kuriuos AI laikė „išskirtais“, ir atgavo 9 klaidingus pašalinimus; AI padarė atranką, žmogus priėmė galutinį sprendimą.
2 atvejis. Sugauta sugalvota nuoroda. Doktorantas paprašė YZ pateikti 15 nuorodų į savo disertacijos įrašą. Patikrinęs PubMed, jis nustatė, kad 6 iš jų iš viso neegzistuoja, o 3 buvo priskirti netinkamam autoriui. Paprastas pokalbių įrankis sukūrė tikrovišką, bet netikrą bibliografiją. Patikrinimas išvengė akademinės nelaimės.
3 atvejis – hipotezės įkvėpimas. Metabolizmo inžinerijos komanda įteikė AI 60 straipsnių korpusą ir paklausė: „kurie būdai yra nepakankamai ištirti? AI nurodė neišbandytą fermentų derinį. Komanda tai priėmė kaip hipotezę, patvirtino ją literatūroje ir sukūrė eksperimentą; Galiausiai jie padarė tikrą atradimą, kuris padidino produktyvumą. Įkvėpimas kilo iš AI, įrodymas – iš eksperimento.
Keturi kopijuojami šablonai
1) Su šaltiniu susijusios literatūros sintezė (RAG):
Jūsų vaidmuo: mokslinės apžvalgos asistentas. Atsakykite TIK iš mano įkeltų dokumentų; Nepridėkite jokios papildomos dokumento informacijos. Kiekvienai pretenzijai pateikite pirminio dokumento pavadinimą ir atitinkamą ištrauką. Į klausimą, į kurį dokumentuose nėra atsakymo, sakykite „dokumentuose nėra“. Nuoroda, DOI arba radinys FITTING.Klausimas: [klausimas]
2) Nuorodų tikrinimo disciplina:
Aš tau duosiu temą. Pasiūlykite galimus raktinius žodžius ir paieškos strategiją (su PubMed sintaksė). Bet JUMS straipsnių sąrašas yra FAKE; Aš pats paskambinsiu. Pasakykite man, kokius terminus, filtrus ir įtraukimo / išskyrimo kriterijus turėčiau naudoti.
3) Sistemingo kompiliavimo pašalinimo pagalba:
Pateiksiu straipsnio pavadinimą + santraukas. Pasiūlykite įtraukti/išskirti/neaišku kiekvienam pagal šiuos įtraukimo kriterijus (įskaitant: [kriterijai]) ir parašykite savo PAGRINDIMĄ. Rankiniu būdu peržiūrėsiu „neaiškus“. Atkreipkite dėmesį, kad sprendimas yra preliminarus, o ne galutinis; Nepašalinkite jokio straipsnio be pagrindimo.
4) hipotezės generavimas (atsargiai):
Pateiksiu jums išvadų ta tema santrauką. Pasiūlykite man 3 patikrinamas hipotezes, pagrįstas GAPS literatūroje ir nepatikrintais deriniais. Kiekvienai hipotezei: nurodykite pagrindą, kaip ji bus patikrinta ir kad tai yra PRADŽIA, o ne įrodymas. Nepasikliaukite neegzistuojančiais įrodymais.
Silpnas raginimas / Stiprus raginimas
Silpnas raginimas:
Raskite ir apibendrinkite 10 man skirtų straipsnių apie fermentų inžineriją naudojant CRISPR.
Modelis neatlieka faktinių paieškų; greičiausiai sukurs netikras nuorodas.
Galingas raginimas:
Jūsų vaidmuo: kūrimo asistentas. Remdamasis TIK 12 PDF failų, kuriuos įkėliau, apibendrinu pagrindines išvadas apie „CRISPR pagrįstą fermentų inžineriją“. Kiekvienam radiniui parodykite, iš kurio PDF jis buvo, ir visą ištrauką. Nepridėkite tyrimų, DOI ar rezultatų, kurių nėra PDF rinkmenose. Pažymėkite visas potemes, kurios neapimamos kaip „neaptariamos šiuose dokumentuose“.
Skirtumas: susiejimas su tikrais dokumentais, šaltinio ir ištraukos reikalavimas, draudimas gaminti ir apimties sąžiningumas.
Literatūros užduotys ir patikimas požiūris
Quest
rizikingas kelias
saugus būdas
patikrinimas
Raskite straipsnį
Pokalbyje pasakymas „rasti“.
PubMed + RAG įrankis
Patvirtinimas DOI
apibendrinant
Santrauka be dokumentų
Santrauka iš įkelto PDF
Žiūrėkite tikrąjį ištrauką
pašalinimas
Aklas pasitikėjimas AI
AI išankstinė kvalifikacija + žmogus
Antrasis apžvalgininkas
sintezė
nemokama gamyba
Nuo šaltinio priklausoma sintezė
Citatos patikrinimas
hipotezė
supainioti su "įrodymu"
pradžios taškas
eksperimentinis testas
Dažnos klaidos
- Nuorodų netikrinama. AI gamina tikroviškus, bet netikrus išteklius; kiekvienas iš jų turėtų būti rodomas duomenų bazėje.
- Paprastas pokalbis sumaišomas su skambučiu. Modelis generuoja iš atminties; faktinei paieškai reikalinga RAG/duomenų bazė.
- Visiškai deleguoti sprendimą dėl pašalinimo. Neteisingas pašalinimas sugadins kompiliaciją; Reikalingas antrasis recenzentas.
- Hipotezės klaidingas įrodymas. AI sukurta hipotezė yra spekuliacija, kol nebus patikrinta eksperimentu.
- Perdėta apimtis. AI gali susidaryti įspūdis, kad „viską nuskaitau“; Jūs dokumentuojate tikrąją apimtį.
Apibendrinant
Literatūros apžvalga yra sritis, kurioje dirbtinis intelektas sutaupo daugiausiai laiko, bet sukelia daugiausia haliucinacijų. Paprasti pokalbių įrankiai gali sukurti tikroviškus, bet netikrus atsiliepimus; todėl patikrinkite kiekvieną šaltinį pagal tikrąją duomenų bazę ir, jei įmanoma, naudokite RAG pagrįstus įrankius, kurie priklauso nuo faktinių dokumentų. Sisteminėje apžvalgoje AI atlieka preliminarią patikrą, tačiau galutinis sprendimas ir skaidrumas priklauso tyrėjui. DI įkvepia hipotezių generavimą; Ta hipotezė yra išeities taškas, o ne įrodymas, kol ji nepatvirtinta eksperimentu.
Taikymo užduotis
Pasirinkite temą ir pasakykite AI (naudodami paprastą pokalbių įrankį) „raskite 8 straipsnius šia tema ir apibendrinkite“. Po vieną patikrinkite kiekvieną jo pateiktą nuorodą, palyginti su PubMed arba DOI, ir suskaičiuokite, kiek yra autentiškų. Tada pakartokite tą pačią užduotį naudodami RAG įrankį arba įkeldami keletą PDF failų, kuriuos atsisiuntėte patys, ir su instrukcija „atsakyti tik iš šių dokumentų“. Parašykite trumpą dviejų metodų patikimumo palyginimą.
kontrolinis sąrašas
- [ ] Patikrinau kiekvieną AI pateiktą nuorodą, palyginti su faktine duomenų baze.
- [ ] Literatūros sintezėje naudojau nuo šaltinio priklausomą (RAG/įkelti dokumentą) metodą.
- [ ] Su antruoju recenzentu patikrinau atrankos sprendimus.
- [ ] AI pateiktą hipotezę laikiau ne įrodymu, o pradžia, kurią reikia patikrinti.
- [ ] Mačiau kiekvienos citatos ištrauką pirminiame straipsnyje.
- [ ] Aš sąžiningai dokumentavau tikrąjį nuskaitymo mastą ir apribojimus.