Dobički:
- Sposobnost razumeti, da so halucinacije neločljivo povezane z jezikovnim modelom, in izbrati ustrezno metodo preverjanja za vsako vrsto izhoda.
- Preverite kritične vrednosti na dva neodvisna načina s triangulacijo in ne zamenjujte tekočnosti z natančnostjo
- Sposobnost uporabe preglednosti, sledljivosti, celovitosti podatkov in človeške odgovornosti kot temelja znanstvene integritete
V tem modulu se znova in znova vrača ena sama fraza: "AI proizvaja, ljudje preverjajo." V tej enoti ta stavek spremenimo v sistem. Cilj je prepoznati halucinacije (proizvodnja lažnih/izmišljenih informacij s samozavestnim jezikom), ki je najbolj nevarno vedenje AI, vzpostaviti konkretno metodo preverjanja za vsako vrsto izhoda in vse to postaviti v okvir znanstvene integritete (poštenost, transparentnost, sledljivost). Nepreverjen rezultat AI v kemiji ni le napaka; Lahko gre za eksplozijo poskusa, zastrupitev osebe ali umik papirja.
Zakaj so halucinacije neizogibne?
Velik jezikovni model ustvari »naslednjo najverjetnejšo besedo«; Cilja na to, kar je mogoče, ne na tisto, kar je res. Tako lahko vnese molekulsko maso, DOI ali vrelišče z vrednostjo, ki se »zdi razumna« – ne da bi preveril, ali je resnična. Halucinacija ni okvara, ampak posledica narave te tehnologije. Rešitev ni v tem, da "poskusimo popraviti" model, ampak v tem, da okoli vsakega izhoda zgradimo validacijsko lupino.
Najbolj zahrbten vidik halucinacije je njen samozavestni jezik. Napačna molekulska masa je predstavljena s popolnoma enako zanesljivostjo kot pravilna. Torej "videti samozavestno" nikoli ne pomeni "pravilno".
Pozor: Kako tekoče in samozavestno AI govori o temi, ni povezano s točnostjo teh informacij. Tekočnost prepriča; Samo neodvisen vir določa točnost.
Validacija glede na vrsto izhoda v kemiji
Vsaka vrsta izhoda ima svojo metodo preverjanja. Namesto da si zapomnite eno pravilo, uporabite ustrezno orodje za izhod:
Vrsta izhoda
Način preverjanja
vozilo
Molekulska masa, formula
Preračunaj iz formule
RDKit / ročno
NASMEHKI/struktura
Razčleni + kanonikaliziraj
RDKit
Citiranje/DOI
Reši v bazi podatkov
doi.org, Crossref
Fizikalna konstanta (kn, pKa)
Referenčna baza podatkov
PubChem, priročnik
numerični izračun
Napiši + zaženi kodo
Python
reakcija/stanje
Literaturna potrditev
Reaxys, članek
varnostni zahtevek
SDS/GHS
Uradna SDS
Dodelitev spektra
Večtehnično + človeško
Eksperimentalni spekter
Ta tabela je pravzaprav povzetek tega modula: vsaka enota je ena vrstica.
Triangulacija: tri neodvisne poti
Najmočnejša tehnika preverjanja je "triangulacija": do istega sklepa pridemo na tri neodvisne načine. Na primer, za molekulsko maso: (1) kar pravi YZ, (2) izračun RDKit, (3) izračun ročno iz formule. Če se trije prekrivajo, je zaupanje visoko; Če nekdo zaide, se ustavite in raziščite. Nikoli se ne zanašajte na en sam vir v kemiji; Iščite vsaj dve neodvisni poti.
Korak za korakom: potek dela preverjanja
- Razvrstite izhod: ali je to številka, struktura, pripis, varnostna trditev?
- Izberite ustrezno orodje: pridobite ustrezno pot preverjanja za vrsto izhoda iz zgornje tabele.
- Izračunajte/iščite neodvisno: Zaženite vozilo neodvisno od AI; primerjajte rezultat.
- Če pride do odstopanja, ustavite: Če se vrednosti ne ujemajo, ne nadaljujte, ne da bi ugotovili, katera je pravilna.
- Pustite svoj pečat: Zapišite, kaj ste preverili in kako (znanstvena neoporečnost).
- Določite negotovost: nekaj, česar ni mogoče preveriti, označite kot "nepotrjeno", tega ne skrivajte.
Štiri predloge za kopiranje
1) Samopreverjanje:
Pravkar ste dali naslednji rezultat: [OUTPUT]. Naloga: Navedite vsako numerično/dejansko trditev tega rezultata v ločeni vrstici. Za vsako trditev: "kako to neodvisno preveriti?" metoda pisanja (katero orodje/baza podatkov). NE TRDITE, da je trditev resnična; samo daj način, da to preveriš.
2) Triangulacijski nadzor:
Maso naslednje molekule želim preveriti na tri načine: [NASMEHNE SE]. Naloga: 1) Izpelji molekulsko formulo. 2) Prikaži izračun molekulske mase atom za atomom (prispevek vsakega elementa). Opomba: Izračunal ga bom tudi v RDKit in tretjič primerjal s tistim, ki si ga dal. Če se trije ne prekrivajo, opozori.
3) Označevanje dvoumnosti:
V naslednjem besedilu je več dejstev: [BESEDILO] Naloga: poleg vsake trditve postavite oznako stopnje zaupanja: [PREVERJENO] / [PREVERJENO] / [NEGOTOVO]. Ne označite ničesar [PREVERJENO], če niste prepričani.
4) Navzkrižna poizvedba o doslednosti:
Isto vprašanje bom postavil na dva različna načina; Preverite, ali so vaši odgovori skladni. Vprašanje A: Kakšna je molekulska formula spojine
Šibek poziv/močan poziv
Šibko:
Zapišite vse, kar veste o tej spojini.
AI nediskriminatorno meša preverljive in izmišljene informacije; Ni jasno, katera je prava.
Močno:
Navedite informacije o tej spojini, vendar vsako trditev označite kot: [DETERMINISTIČNO - preverjeno z instrumentom], npr. molekulska formula, [EKSPERIMENTALNO - potreben citat] npr. tališče, [NEGOTOVO - nisem prepričan]. Ne pišite neoznačenih trditev.
Razlika: AI smo prisilili, da označi svojo negotovost; Delo preverjanja smo naredili načrtovano.
Znanstvena integriteta: poštenost in sledljivost
Preverjanje ni le tehnični korak, je etično vprašanje. Znanstvena integriteta zahteva:
- Preglednost: Ne skrivajte, da uporabljate AI; Določite v skladu s svojo politiko objave/poročila.
- Sledljivost: zabeležite, kakšen rezultat je prišel iz AI in kako je bil preverjen.
- Celovitost podatkov: »polepšanje« rezultatov z umetno inteligenco, zavračanje izstopajočih vrednosti brez utemeljitve je goljufija.
- Odgovornost: odgovorni ste za končni rezultat; "AI je tako rekel" ni opravičilo.
Namig: že na začetku sprejmite, da v poročilu ali obrambi nikoli ne morete uporabiti besedne zveze "Umetna inteligenca je tako rekla". To sprejemanje samodejno prinese navado preverjanja vsakega izhoda.
mini etuiji
1. primer – Triangulacija je odkrila napako. Študent je preveril molekulsko maso na tri načine: YZ je rekel 178,2, ročni izračun je dal 180,16, RDKit je dal 180,16. Dve neodvisni poti sta se prekrivali in odpravili AI. Lekcija: dve neodvisni preverjanji tiho odpravita en napačen rezultat.
Primer 2 – Varen jezik, napačne informacije. AI je zelo samozavestno zapisal, da reakcija "poteče spontano pri sobni temperaturi." Literatura je pokazala, da je to zahtevalo ogrevanje in katalizator. Študent je zaupal viru, ne varnemu jeziku. Lekcija: tekočnost ni natančnost.
Primer 3 – Pridobljena preglednost. V razdelku o metodi svojega prispevka je en raziskovalec jasno navedel, v katerih korakih je uporabil AI (urejanje besedila, priprava kode) in zapisal, da je neodvisno preveril vse numerične rezultate. Sodniški postopek je potekal gladko. Nauk: preglednost gradi zaupanje, prikrivanje ustvarja tveganje.
Pogoste napake
- Zaupanje varnemu jeziku. Samozavestni ton umetne inteligence ni pokazatelj natančnosti.
- Zanašanje na en sam vir. Sprejemanje enega samega izhoda brez triangulacije.
- Brez ločevanja vrste izhoda. Mislim, da sem "preveril" številko, pripis in varnostno trditev z isto metodo.
- Skrivanje negotovosti. Poročanje o nečem, česar ni mogoče preveriti, kot da je gotovo.
- Skrivanje uporabe AI. Pomanjkanje preglednosti spodkopava znanstveno integriteto.
- Prenos odgovornosti. Izgovor "AI je tako rekel" ni veljaven; Odgovornost je na osebi.
Če povzamem
- Halucinacija je neločljivo povezana z jezikovnim modelom; Rešitev je, da okoli vsakega izhoda zgradite validacijsko lupino.
- Vsak tip izhoda ima svojo metodo preverjanja; razvrstite izhod in uporabite ustrezno orodje.
- Triangulacija (dve neodvisni poti) je najmočnejša kontrola; Ne zaupajte enemu samemu viru.
- Tekoč in samozavesten jezik nista povezana z natančnostjo.
- Znanstvena integriteta zahteva preglednost, sledljivost, celovitost podatkov in človeško odgovornost.
Aplikacijska naloga
Namerno ustvarite različne izhode v seji AI: molekulsko maso, referenco, fizično konstanto, varnostno trditev, numerični izračun. Vsako posebej preverite s pravilno metodo (glejte tabelo). Poskusite ujeti vsaj eno halucinacijo. Nato pripravite "validacijsko matriko": izhodi vrstic, stolpci (vrednost AI / neodvisna vrednost / ali se prekriva / kako sem to preveril). Kako bi poročali o tej seji z vidika znanstvene integritete?
kontrolni seznam
- [ ] Razumem, zakaj so halucinacije neizogibne.
- [ ] Vsak izhod razvrstim glede na vrsto in ga preverim z ustrezno metodo.
- [ ] Delam triangulacijo (dve neodvisni poti) na kritičnih vrednostih.
- [ ] Zaupam viru, ne varnemu jeziku.
- [ ] Kar ni mogoče potrditi, označim kot "negotovo".
- [ ] Pri uporabi umetne inteligence sem pregleden in prevzemam odgovornost za rezultat.