zisky:
- Schopnost pochopit, že halucinace je vlastní jazykovému modelu a zvolit vhodnou ověřovací metodu pro každý typ výstupu.
- Kritické hodnoty ověřte dvěma nezávislými způsoby pomocí triangulace a nezaměňujte plynulost s přesností
- Schopnost uplatnit transparentnost, sledovatelnost, integritu dat a lidskou odpovědnost jako základ vědecké integrity
V tomto modulu se stále znovu a znovu vracela jediná fráze: „AI produkuje, lidé ověřují.“ V této jednotce proměníme větu v systém. Cílem je rozpoznat halucinace (produkování nepravdivých/vymyšlených informací sebevědomým jazykem), což je nejnebezpečnější chování AI, stanovit konkrétní ověřovací metodu pro každý typ výstupu a zasadit to vše do rámce vědecké integrity (poctivost, transparentnost, sledovatelnost). Neověřený výstup AI v chemii není jen chyba; Může to být výbuch experimentu, otrava člověka nebo zatažení papíru.
Proč jsou halucinace nevyhnutelné?
Velký jazykový model vytváří „další nejpravděpodobnější slovo“; Zaměřuje se na to, co je možné, ne na to, co je pravda. Může tedy vyplnit molekulovou hmotnost, DOI nebo bod varu s hodnotou, která „se zdá rozumná“ – bez kontroly, zda je skutečná. Halucinace není poruchou, ale důsledkem povahy této technologie. Řešením není „pokusit se opravit“ model, ale postavit kolem každého výstupu ověřovací shell.
Nejzákeřnějším aspektem halucinace je její sebevědomý jazyk. Nesprávná molekulová hmotnost je prezentována s přesně stejnou spolehlivostí jako správná. Takže „vypadá sebevědomě“ nikdy neznamená „správně“.
Pozor: Jak plynule a sebejistě AI mluví o předmětu, nesouvisí s přesností těchto informací. Plynulost přesvědčuje; Pouze nezávislý zdroj určuje přesnost.
Validace podle typu výstupu v chemii
Každý typ výstupu má svou vlastní metodu ověření. Místo toho, abyste si zapamatovali jediné pravidlo, použijte pro výstup vhodný nástroj:
Typ výstupu
Způsob ověření
vozidlo
Molekulová hmotnost, vzorec
Přepočítat ze vzorce
RDKit / ručně
SMILES/struktura
Analyzovat + kanonizovat
RDKit
Citace/DOI
Řešit v databázi
doi.org, Crossref
Fyzikální konstanta (kn, pKa)
Referenční databáze
PubChem, příručka
numerický výpočet
Napište + spusťte kód
Python
reakce/stav
Potvrzení literatury
Reaxys, článek
zajišťovací pohledávka
SDS/GHS
Oficiální SDS
Přiřazení spektra
Multitechnické + lidské
Experimentální spektrum
Tato tabulka je ve skutečnosti shrnutím tohoto modulu: každá jednotka je jeden řádek.
Triangulace: tři nezávislé cesty
Nejúčinnější ověřovací technikou je „triangulace“: dosažení stejného závěru třemi nezávislými způsoby. Například pro molekulovou hmotnost: (1) co říká YZ, (2) výpočet RDKit, (3) ruční výpočet ze vzorce. Pokud se tyto tři překrývají, důvěra je vysoká; Pokud někdo bloudí, zastavte se a prozkoumejte. Nikdy se nespoléhejte na jediný zdroj v chemii; Hledejte alespoň dvě nezávislé cesty.
Krok za krokem: pracovní postup ověření
- Klasifikujte výstup: Je to číslo, struktura, atribuce, bezpečnostní tvrzení?
- Vyberte vhodný nástroj: Získejte vhodnou ověřovací cestu pro typ výstupu z výše uvedené tabulky.
- Nezávisle vypočítat/hledat: Spusťte vozidlo nezávisle na AI; porovnat výsledek.
- Pokud dojde k odchylce, zastavte: Pokud se hodnoty neshodují, nepokračujte bez zkoumání, která je správná.
- Zanechte značku: Zaznamenejte, co jste ověřili a jak (vědecká integrita).
- Určete nejistotu: Označte něco, co nelze ověřit, jako „nepotvrzené“, neskrývejte to.
Čtyři kopírovatelné šablony
1) Vlastní ověření:
Právě jste dali následující výstup: [OUTPUT]. Úkol: Uveďte každé číselné/věcné tvrzení tohoto výstupu na samostatný řádek. Pro každé tvrzení: "jak to nezávisle ověřit?" metoda zápisu (který nástroj/databáze). NETVRDIT, že tvrzení je pravdivé; stačí dát způsob, jak to ověřit.
2) Triangulační kontrola:
Chci zkontrolovat hmotnost následující molekuly třemi způsoby: [SMILES].Úkol: 1) Odvoďte molekulový vzorec.2) Ukažte výpočet molekulové hmotnosti atom po atomu (příspěvek každého prvku).Pozn.: Vypočítám to také v RDKit a za třetí porovnám s tím, který jste uvedli. Pokud se tyto tři nepřekrývají, varujte.
3) Nejednoznačné značení:
V následujícím textu je několik faktických tvrzení:[TEXT]Úkol: Umístěte štítek úrovně spolehlivosti vedle každého tvrzení:[OVĚŘENO] / [OVĚŘENO] / [NEJISTÉ]. Pokud si nejste jisti, nic neoznačujte [OVĚŘENO].
4) Křížový dotaz na konzistenci:
Položím stejnou otázku dvěma různými způsoby; Podívejte se, zda jsou vaše odpovědi konzistentní. Otázka A: Jaký je molekulární vzorec sloučeniny?
Slabá výzva / Silná výzva
slabé:
Zapište si vše, co o této sloučenině víte.
AI bez rozdílu míchá ověřitelné a smyšlené informace; Není jasné, který z nich je skutečný.
Silný:
Uveďte informace o této sloučenině, ale každý nárok označte jako:[DETERMINISTICKÉ – ověřeno přístrojem] např. molekulární vzorec,[EXPERIMENTÁLNÍ - nutná citace] např. bod tání,[NEJISTÁ - nejsem si jistý].Nepište žádné neoznačené nároky.
Rozdíl: Přinutili jsme AI, aby označila svou vlastní nejistotu; Ověřovací práce jsme naplánovali.
Vědecká integrita: poctivost a sledovatelnost
Ověření není jen technický krok, je to etická záležitost. Vědecká integrita vyžaduje:
- Transparentnost: Neskrývejte, že používáte AI; Upřesněte v souladu se zásadami publikování/přehledů.
- Sledovatelnost: Zaznamenejte, jaký výstup pocházel z AI a jak byl ověřen.
- Integrita dat: „Zkrášlování“ výsledků pomocí AI, vyřazení odlehlých hodnot bez odůvodnění je podvod.
- Odpovědnost: Jste odpovědní za konečný výsledek; „Umělá inteligence to řekla“ není omluva.
Tip: Přijměte hned od začátku, že nikdy nemůžete použít frázi „Umělá inteligence to řekla“ ve zprávě nebo obraně. Toto přijetí automaticky přináší zvyk ověřovat každý výstup.
mini pouzdra
Případ 1 – Triangulace zaznamenala chybu. Student zkontroloval molekulovou hmotnost třemi způsoby: YZ řekl 178,2, ruční výpočet dal 180,16, RDKit dal 180,16. Dvě nezávislé cesty se překrývaly a eliminovaly AI. Poučení: dvě nezávislá ověření tiše porazí jeden falešný výstup.
Případ 2 — Bezpečný jazyk, nesprávné informace. AI napsala velmi sebejistě, že reakce „běží spontánně při pokojové teplotě“. Literatura ukázala, že to vyžaduje zahřívání a katalyzátor. Student důvěřoval zdroji, nikoli bezpečnému jazyku. Poučení: plynulost není přesnost.
Případ 3 – Získání transparentnosti. V části věnované metodám svého příspěvku jeden výzkumník jasně uvedl, ve kterých krocích používá AI (editace textu, navrhování kódu) a napsal, že nezávisle ověřoval všechny číselné výsledky. Proces rozhodčího proběhl hladce. Poučení: transparentnost buduje důvěru, skrývání vytváří riziko.
Časté chyby
- Důvěřovat bezpečnému jazyku. Sebevědomý tón AI není známkou přesnosti.
- Spoléhat se na jeden zdroj. Přijetí jednoho výstupu bez triangulace.
- Neodděluje se typ výstupu. Myslel jsem si, že jsem „zkontroloval“ číslo, atribuci a bezpečnostní tvrzení stejnou metodou.
- Skrývání nejistoty. Hlášení něčeho, co nelze ověřit, jako by to bylo jisté.
- Skrytí použití AI. Nedostatek transparentnosti podkopává vědeckou integritu.
- Delegování odpovědnosti. Výmluva „AI to řekla“ je neplatná; Zodpovědnost leží na člověku.
V souhrnu
- Halucinace je vlastní jazykovému modelu; Řešením je vytvořit ověřovací shell kolem každého výstupu.
- Každý typ výstupu má svou vlastní metodu ověření; klasifikovat výstup a použít vhodný nástroj.
- Triangulace (dvě nezávislé cesty) je nejsilnější kontrolou; Nevěřte jedinému zdroji.
- Plynulost a sebevědomý jazyk nesouvisí s přesností.
- Vědecká integrita vyžaduje transparentnost, sledovatelnost, integritu dat a lidskou odpovědnost.
Aplikační úkol
Záměrně vytvářejte různé výstupy v relaci AI: molekulovou hmotnost, referenci, fyzikální konstantu, bezpečnostní tvrzení, numerický výpočet. Ověřte každý nezávisle správnou metodou (viz tabulka). Pokuste se chytit alespoň jednu halucinaci. Poté si připravte "validační matici": výstupy řádků, sloupce (hodnota AI / nezávislá hodnota / překrývalo se to / jak jsem to ověřil). Jak byste ohlásili toto zasedání z hlediska vědecké integrity?
kontrolní seznam
- [ ] Chápu, proč jsou halucinace nevyhnutelné.
- [ ] Každý výstup klasifikuji podle jeho typu a ověřuji ho příslušnou metodou.
- [ ] Provádím triangulaci (dvě nezávislé cesty) na kritických hodnotách.
- [ ] Věřím zdroji, ne bezpečnému jazyku.
- [ ] To, co nelze potvrdit, označuji jako „nejisté“.
- [ ] Při používání umělé inteligence jsem transparentní a za výsledek jsem odpovědný.