Nyereség:
- Képes megérteni, hogy a hallucináció a nyelvi modell velejárója, és minden kimenettípushoz kiválasztani a megfelelő ellenőrzési módszert.
- Ellenőrizze a kritikus értékeket két független módon háromszögeléssel, és ne keverje össze a folyékonyságot a pontossággal
- Képes az átláthatóságot, a nyomon követhetőséget, az adatintegritást és az emberi felelősséget a tudományos integritás alapjaként alkalmazni
Ebben a modulban újra és újra visszatért egyetlen mondat: „A mesterséges intelligencia termel, az emberek ellenőrzik.” Ebben az egységben ezt a mondatot rendszerré alakítjuk. A cél a mesterséges intelligencia legveszélyesebb viselkedésének számító hallucináció (hamis/kitalált információ előállítása magabiztos nyelvezet) felismerése, konkrét ellenőrzési módszer kialakítása minden kimeneti típushoz, és mindezek a tudományos integritás (őszinteség, átláthatóság, nyomon követhetőség) keretei közé helyezése. A nem ellenőrzött AI-kimenet a kémiában nem csupán hiba; Ez lehet egy kísérlet felrobbanása, egy személy megmérgezése vagy egy papír visszahúzása.
Miért elkerülhetetlen a hallucináció?
A nagy nyelvi modell a „következő legvalószínűbb szót” állítja elő; Arra törekszik, ami lehetséges, nem pedig arra, ami igaz. Így a molekulatömeget, a DOI-t vagy a forráspontot olyan értékkel tudja kitölteni, amely „ésszerűnek tűnik” anélkül, hogy ellenőrizné, hogy valódi-e. A hallucináció nem hibás működés, hanem a technológia természetének következménye. A megoldás nem az, hogy "megpróbáljuk megjavítani" a modellt, hanem minden kimenet köré egy érvényesítő shell-t építünk.
A hallucináció legálomosabb aspektusa a magabiztos nyelve. A helytelen molekulatömeget pontosan ugyanolyan biztonsággal mutatják be, mint a helyeset. Tehát a „magabiztosnak tűnik” soha nem azt jelenti, hogy „helyes”.
Figyelem: Az, hogy az AI mennyire folyékonyan és magabiztosan beszél egy témáról, nem függ az információ pontosságától. A folyékonyság meggyőz; Csak a független forrás határozza meg a pontosságot.
Validálás kimenet típus szerint a kémiában
Minden kimeneti típusnak megvan a saját ellenőrzési módszere. Egyetlen szabály memorizálása helyett használja a megfelelő eszközt a kimenethez:
Kimenet típusa
Ellenőrzési módszer
járművet
Molekulatömeg, képlet
Számítsa újra a képletből
RDKit / manuálisan
MOSOLYOK/szerkezet
Elemzés + kanonizálás
RDKit
Hivatkozás/DOI
Megoldás adatbázisban
doi.org, Crossref
Fizikai állandó (kn, pKa)
Referencia adatbázis
PubChem, kézikönyv
numerikus számítás
Kódírás + futtatás
Python
reakció/állapot
Irodalmi megerősítés
Reaxys, cikk
biztosítéki követelés
SDS/GHS
Hivatalos SDS
Spektrum hozzárendelés
Multitechnikai + ember
Kísérleti spektrum
Ez a táblázat valójában ennek a modulnak az összefoglalása: minden egység egy sor.
Háromszögelés: három független út
A legerősebb ellenőrzési technika a „háromszögelés”: három független módon jutunk ugyanarra a következtetésre. Például egy molekulatömeghez: (1) amit YZ mond, (2) az RDKit számítása, (3) a képletből kézzel történő számítás. Ha a három átfedi egymást, a bizalom magas; Ha valaki eltéved, álljon meg és vizsgálja meg. Soha ne hagyatkozzon egyetlen forrásra a kémiában; Keressen legalább két független utat.
Lépésről lépésre: ellenőrzési munkafolyamat
- Osztályozza a kimenetet: ez egy szám, struktúra, hozzárendelés, biztonsági állítás?
- Válassza ki a megfelelő eszközt: Szerezze meg a kimenet típusának megfelelő ellenőrzési útvonalat a fenti táblázatból.
- Független számítás/keresés: Futtassa a járművet az AI-tól függetlenül; hasonlítsa össze az eredményt.
- Ha eltérés van, állítsa le: Ha az értékek nem egyeznek, ne folytassa anélkül, hogy megvizsgálná, melyik a helyes.
- Hagyja a nyomát: Jegyezze fel, mit és hogyan igazolt (tudományos integritás).
- Határozza meg a bizonytalanságot: Jelöljön meg valamit, ami nem ellenőrizhető, "megerősítetlenként", ne rejtse el.
Négy másolható sablon
1) Önellenőrzés:
A következő kimenetet adtad meg: [OUTPUT]. Feladat: Sorolja fel a kimenet minden egyes számszerű/ténybeli állítását külön sorban. Minden állításhoz: "hogyan lehet önállóan ellenőrizni?" írási módszer (melyik eszköz/adatbázis). NE ÁLLÍTSA, hogy az állítás igaz; csak adjon módot annak ellenőrzésére.
2) Háromszögelés szabályozása:
Háromféleképpen szeretném ellenőrizni a következő molekula tömegét: [MOSOLYOK].Feladat: 1) Vezesd le a molekulaképletet.2) Mutasd meg a molekulatömeg-számítást atomonként (az egyes elemek hozzájárulása).Megjegyzés: RDKitben is kiszámolom, harmadszor pedig összehasonlítom az általad megadottal. Ha a három nem fedi egymást, figyelmeztesse.
3) Kétértelmű jelölés:
A következő szövegben több ténybeli állítás található:[SZÖVEG]Feladat: Minden állítás mellé tegyen egy megbízhatósági szint címkét:[ELLENŐRZETT] / [ELLENŐRZETT] / [BIZONYTALAN]. Ha nem biztos benne, ne jelöljön semmit [IGAZOLT].
4) Következetességi keresztlekérdezés:
Ugyanazt a kérdést kétféleképpen fogom feltenni; Nézd meg, hogy a válaszaid következetesek-e. A kérdés: Mi a vegyület molekulaképlete?
Gyenge felszólítás / Erős felszólítás
Gyenge:
Írjon le mindent, amit tud erről a vegyületről.
Az AI válogatás nélkül keveri az ellenőrizhető és a koholt információkat; Nem világos, melyik az igazi.
Erős:
Adjon meg információkat erről a vegyületről, de minden állítást a következőképpen jelöljön meg: [DETERMINISTIKUS – műszerrel igazolva] pl. molekulaképlet,[KÍSÉRLETI - idézet szükséges] pl. olvadáspont,[BIZONYOS – nem biztos].Ne írjon címkézetlen állításokat.
Különbség: Kényszerítettük az AI-t, hogy jelölje meg saját bizonytalanságát; Tervezhetővé tettük az ellenőrzési munkát.
Tudományos integritás: őszinteség és nyomon követhetőség
Az ellenőrzés nem csupán technikai lépés, hanem etikai kérdés is. A tudományos integritás megköveteli:
- Átláthatóság: Ne rejtse el, hogy mesterséges intelligenciát használ; Adja meg a közzétételi/jelentési szabályzata szerint.
- Nyomon követhetőség: Jegyezze fel, milyen kimenet származott az AI-tól, és hogyan ellenőrizték azt.
- Adatintegritás: Az eredmények „szépítése” mesterséges intelligencia segítségével, a kiugró értékek indokolás nélküli elvetése csalás.
- Felelősség: Ön felelős a végeredményért; „Az AI mondta” nem mentség.
Tipp: Kezdettől fogva fogadja el, hogy soha nem használhatja a „Az AI mondta” kifejezést jelentésben vagy védekezésben. Ez az elfogadás automatikusan megszokja, hogy minden kimenetet ellenőrizzünk.
mini tokok
1. eset – A háromszögelés hibát észlelt. Egy diák háromféleképpen ellenőrizte a molekulatömeget: YZ szerint 178,2, a kézi számítás 180,16-ot, az RDKit 180,16-ot adott. Két független útvonal fedte egymást, és megszüntette az AI-t. Tanulság: két független ellenőrzés csendben legyőz egy hamis kimenetet.
2. eset – Biztonságos nyelv, téves információ. Az AI nagyon magabiztosan írta, hogy a reakció "spontán lefut szobahőmérsékleten". A szakirodalom azt mutatta, hogy ehhez melegítésre és katalizátorra volt szükség. A diák a forrásban bízott, nem a biztonságos nyelvben. Tanulság: a folyékonyság nem a pontosság.
3. eset – Átláthatóság. Dolgozatának módszer részében az egyik kutató egyértelműen elmondta, hogy milyen lépésekben alkalmazta az AI-t (szövegszerkesztés, kódszerkesztés), és azt írta, hogy minden numerikus eredményt függetlenül ellenőriz. A játékvezetői eljárás gördülékenyen zajlott. Tanulság: az átláthatóság bizalmat épít, az elrejtés kockázatot teremt.
Gyakori hibák
- Bízni a biztonságos nyelvben. Az AI magabiztos hangja nem a pontosság jelzése.
- Egyetlen forrásra támaszkodva. Egyetlen kimenet elfogadása háromszögelés nélkül.
- Nem választja el a kimenet típusát. Arra gondolva, hogy ugyanazzal a módszerrel "ellenőriztem" a számot, a hozzárendelést és a biztonsági állítást.
- A bizonytalanság elrejtése. Olyan dolog bejelentése, amit nem lehet ellenőrizni, mintha az biztos lenne.
- Az AI használatának elrejtése. Az átláthatóság hiánya aláássa a tudományos integritást.
- A felelősség átruházása. Az "AI mondta" kifogás érvénytelen; A felelősség az embert terheli.
Összefoglalva
- A hallucináció a nyelvi modell velejárója; A megoldás az, hogy minden kimenet köré egy érvényesítő shell-t építünk.
- Minden kimeneti típusnak megvan a maga ellenőrzési módszere; osztályozza a kimenetet és használja a megfelelő eszközt.
- A háromszögelés (két független út) a legerősebb szabályozás; Ne bízzon egyetlen forrásban sem.
- A folyékonyság és a magabiztos nyelv nem függ össze a pontossággal.
- A tudományos integritáshoz átláthatóság, nyomon követhetőség, adatintegritás és emberi felelősség szükséges.
Pályázati feladat
Szándékosan állítson elő különféle kimeneteket egy mesterséges intelligencia munkamenet során: molekulatömeget, referenciaértéket, fizikai állandót, biztonsági követelést, numerikus számítást. Ellenőrizze mindegyiket egymástól függetlenül a megfelelő módszerrel (lásd a táblázatot). Próbálj meg elkapni legalább egy hallucinációt. Ezután készítsünk egy "érvényesítési mátrixot": sorok kimenetek, oszlopok (AI érték / független érték / átfedés volt-e / hogyan ellenőriztem). Hogyan számolna be erről az ülésről a tudományos integritás szempontjából?
ellenőrző lista
- [ ] Megértem, miért elkerülhetetlen a hallucináció.
- [ ] Az egyes kimeneteket típusuk szerint osztályozom, és a megfelelő módszerrel igazolom.
- [ ] Háromszögelést (két független út) végzek kritikus értékeken.
- [ ] A forrásban bízom, nem a biztonságos nyelvben.
- [ ] A nem megerősíthetőt "bizonytalannak" jelölöm.
- [ ] Átlátható vagyok a mesterséges intelligencia használatában, és felelősségre vonom magam az eredményért.