zisky:
- Schopnosť pochopiť, že halucinácie sú vlastné jazykovému modelu a zvoliť vhodnú metódu overenia pre každý typ výstupu.
- Kritické hodnoty overte dvoma nezávislými spôsobmi pomocou triangulácie a nezamieňajte si plynulosť s presnosťou
- Schopnosť uplatňovať transparentnosť, sledovateľnosť, integritu údajov a ľudskú zodpovednosť ako základ vedeckej integrity
V tomto module sa znova a znova vracala jediná fráza: „AI produkuje, ľudia overujú.“ V tejto jednotke zmeníme túto vetu na systém. Cieľom je rozpoznať halucinácie (vytváranie nepravdivých/vymyslených informácií sebavedomým jazykom), čo je najnebezpečnejšie správanie AI, stanoviť konkrétnu metódu overovania pre každý typ výstupu a zaradiť to všetko do rámca vedeckej integrity (čestnosť, transparentnosť, sledovateľnosť). Neoverený výstup AI v chémii nie je len chyba; Môže to byť výbuch experimentu, otrava človeka alebo zatiahnutie papiera.
Prečo sú halucinácie nevyhnutné?
Veľký jazykový model vytvára „ďalšie najpravdepodobnejšie slovo“; Zameriava sa na to, čo je možné, nie na to, čo je pravda. Takže môže vyplniť molekulovú hmotnosť, DOI alebo bod varu s hodnotou, ktorá „vyzerá rozumne“ – bez toho, aby skontroloval, či je skutočná. Halucinácia nie je poruchou, ale dôsledkom povahy tejto technológie. Riešením nie je „pokúsiť sa opraviť“ model, ale postaviť okolo každého výstupu overovací shell.
Najzákernejším aspektom halucinácie je jej sebavedomý jazyk. Nesprávna molekulová hmotnosť je prezentovaná s presne rovnakou istotou ako správna. Takže „vyzerá sebavedomo“ nikdy neznamená „správne“.
Pozor: To, ako plynule a sebaisto AI hovorí o predmete, nesúvisí s presnosťou týchto informácií. Plynulosť presviedča; Presnosť určuje iba nezávislý zdroj.
Validácia podľa typu výstupu v chémii
Každý typ výstupu má svoju vlastnú overovaciu metódu. Namiesto zapamätania si jedného pravidla použite na výstup vhodný nástroj:
Typ výstupu
Metóda overovania
vozidlo
Molekulová hmotnosť, vzorec
Prepočítať zo vzorca
RDKit / manuálne
SMILES/štruktúra
Analyzovať + kanonizovať
RDKit
Citácia/DOI
Riešiť v databáze
doi.org, Crossref
Fyzikálna konštanta (kn, pKa)
Referenčná databáza
PubChem, príručka
numerický výpočet
Napíšte + spustite kód
Python
reakcia/stav
Potvrdenie literatúry
Reaxys, článok
zabezpečovací nárok
KBÚ/GHS
Oficiálna KBÚ
Priradenie spektra
Multitechnický + ľudský
Experimentálne spektrum
Táto tabuľka je vlastne zhrnutím tohto modulu: každá jednotka je jeden riadok.
Triangulácia: tri nezávislé dráhy
Najvýkonnejšou overovacou technikou je „triangulácia“: dosiahnutie rovnakého záveru tromi nezávislými spôsobmi. Napríklad pre molekulovú hmotnosť: (1) čo hovorí YZ, (2) výpočet RDKit, (3) výpočet ručne zo vzorca. Ak sa tieto tri prekrývajú, dôvera je vysoká; Ak niekto blúdi, zastavte sa a preskúmajte. Nikdy sa nespoliehajte na jeden zdroj v chémii; Hľadajte aspoň dve nezávislé cesty.
Krok za krokom: overovací pracovný postup
- Klasifikujte výstup: Je to číslo, štruktúra, priradenie, bezpečnostné tvrdenie?
- Vyberte vhodný nástroj: Získajte vhodnú overovaciu cestu pre typ výstupu z tabuľky vyššie.
- Vypočítajte/vyhľadajte nezávisle: Spustite vozidlo nezávisle od AI; porovnajte výsledok.
- Ak dôjde k odchýlke, zastavte: Ak sa hodnoty nezhodujú, nepokračujte bez skúmania, ktorá je správna.
- Nechajte svoju značku: Zaznamenajte, čo ste overili a ako (vedecká integrita).
- Uveďte neistotu: Označte niečo, čo sa nedá overiť, ako „nepotvrdené“, neskrývajte to.
Štyri kopírovateľné šablóny
1) Vlastné overenie:
Práve ste dali nasledujúci výstup: [OUTPUT]. Úloha: Uveďte každé číselné/faktické tvrdenie tohto výstupu na samostatný riadok. Pre každé tvrdenie: "ako to nezávisle overiť?" metóda zápisu (aký nástroj/databáza). NETVRDZUJTE, že tvrdenie je pravdivé; stačí dať spôsob, ako si to overiť.
2) Kontrola triangulácie:
Chcem skontrolovať hmotnosť nasledujúcej molekuly tromi spôsobmi: [ÚSMIEVY].Úloha: 1) Odvoďte molekulový vzorec.2) Ukážte výpočet molekulovej hmotnosti atóm po atóme (príspevok každého prvku).Poznámka: Vypočítam to aj v RDKit a po tretie porovnajte s tým, ktorý ste uviedli. Ak sa tieto tri neprekrývajú, varujte.
3) Nejednoznačné označenie:
V nasledujúcom texte je viacero faktických tvrdení:[TEXT]Úloha: Vedľa každého tvrdenia umiestnite štítok úrovne spoľahlivosti:[OVERENÉ] / [OVERENÉ] / [NEJASNÉ]. Ak si nie ste istý, nič neoznačujte [VERIFIKOVANÉ].
4) Krížový dotaz na konzistenciu:
Položím tú istú otázku dvoma rôznymi spôsobmi; Zistite, či sú vaše odpovede konzistentné. Otázka A: Aký je molekulárny vzorec zlúčeniny
Slabá výzva / Silná výzva
slabé:
Zapíšte si všetko, čo viete o tejto zlúčenine.
AI bez rozdielu mieša overiteľné a vymyslené informácie; Nie je jasné, ktorý z nich je skutočný.
Silný:
Poskytnite informácie o tejto zlúčenine, ale každý nárok označte ako:[DETERMINISTICKÉ – overené prístrojom] napr. molekulový vzorec,[EXPERIMENTÁLNY - potrebný citát] napr. bod topenia,[NEISTÁ - nie som si istý].Nepíšte žiadne neoznačené tvrdenia.
Rozdiel: Prinútili sme AI, aby označila svoju vlastnú neistotu; Overovacie práce sme naplánovali.
Vedecká integrita: čestnosť a sledovateľnosť
Overenie nie je len technický krok, je to etická záležitosť. Vedecká integrita vyžaduje:
- Transparentnosť: Neskrývajte, že používate AI; Uveďte v súlade s vašimi pravidlami zverejňovania/prehľadu.
- Vysledovateľnosť: Zaznamenajte, aký výstup pochádzal z AI a ako bol overený.
- Integrita údajov: „Skrášľovanie“ výsledkov pomocou AI, vyradenie odľahlých hodnôt bez odôvodnenia je podvod.
- Zodpovednosť: Ste zodpovedný za konečný výsledok; „AI to povedala“ nie je ospravedlnenie.
Tip: Prijmite hneď na začiatku, že frázu „Umelá inteligencia to povedala“ nikdy nemôžete použiť v správe alebo obrane. Toto prijatie automaticky prináša zvyk overovať každý výstup.
mini prípady
Prípad 1 – Triangulácia zachytila chybu. Študent skontroloval molekulovú hmotnosť tromi spôsobmi: YZ povedal 178,2, manuálny výpočet dal 180,16, RDKit dal 180,16. Dve nezávislé cesty sa prekrývali a eliminovali AI. Ponaučenie: dve nezávislé overenia potichu porazia jeden falošný výstup.
Prípad 2 – Bezpečný jazyk, nesprávne informácie. AI napísala veľmi sebavedomo, že reakcia „prebieha spontánne pri izbovej teplote“. Literatúra ukázala, že to vyžaduje zahrievanie a katalyzátor. Študent dôveroval zdroju, nie bezpečnému jazyku. Poučenie: plynulosť nie je presnosť.
Prípad 3 – Získanie transparentnosti. V časti o metódach svojho príspevku jeden výskumník jasne uviedol, v ktorých krokoch použil AI (úprava textu, návrh kódu) a napísal, že nezávisle overil všetky číselné výsledky. Rozhodcovský proces prebehol hladko. Poučenie: transparentnosť buduje dôveru, skrývanie vytvára riziko.
Časté chyby
- Dôvera v bezpečný jazyk. Sebavedomý tón AI nie je znakom presnosti.
- Spoliehanie sa na jeden zdroj. Prijatie jedného výstupu bez triangulácie.
- Neoddeľuje sa typ výstupu. Mysliac si, že som tou istou metódou „skontroloval“ číslo, priradenie a bezpečnostné tvrdenie.
- Skrytie neistoty. Nahlásenie niečoho, čo sa nedá overiť, akoby to bolo isté.
- Skrytie používania AI. Nedostatok transparentnosti podkopáva vedeckú integritu.
- Delegovanie zodpovednosti. Výhovorka „AI to povedala“ je neplatná; Zodpovednosť leží na človeku.
V súhrne
- Halucinácie sú vlastné jazykovému modelu; Riešením je vytvorenie overovacieho prostredia okolo každého výstupu.
- Každý typ výstupu má svoju vlastnú overovaciu metódu; klasifikovať výstup a použiť vhodný nástroj.
- Triangulácia (dve nezávislé dráhy) je najsilnejšou kontrolou; Neverte jedinému zdroju.
- Plynulosť a sebavedomý jazyk nesúvisia s presnosťou.
- Vedecká integrita si vyžaduje transparentnosť, sledovateľnosť, integritu údajov a ľudskú zodpovednosť.
Aplikačná úloha
Zámerne vytvárajte rôzne výstupy v relácii AI: molekulovú hmotnosť, referenciu, fyzikálnu konštantu, tvrdenie o bezpečnosti, numerický výpočet. Overte každý nezávisle správnou metódou (pozri tabuľku). Pokúste sa chytiť aspoň jednu halucináciu. Potom si pripravte "validačnú maticu": výstupy riadkov, stĺpce (hodnota AI / nezávislá hodnota / či sa to prekrývalo / ako som to overil). Ako by ste opísali túto reláciu z hľadiska vedeckej integrity?
kontrolný zoznam
- [ ] Chápem, prečo sú halucinácie nevyhnutné.
- [ ] Každý výstup klasifikujem podľa jeho typu a overím ho príslušnou metódou.
- [ ] Robím trianguláciu (dve nezávislé cesty) na kritických hodnotách.
- [ ] Verím zdroju, nie bezpečnému jazyku.
- [ ] To, čo sa nedá potvrdiť, označujem ako „neisté“.
- [ ] Pri používaní AI som transparentný a beriem na seba zodpovednosť za výsledok.