Vinster:
- Förmåga att förstå att hallucination är inneboende i språkmodellen och välja lämplig verifieringsmetod för varje typ av utdata.
- Verifiera kritiska värden på två oberoende sätt med triangulering och förväxla inte flyt med noggrannhet
- Förmåga att tillämpa transparens, spårbarhet, dataintegritet och mänskligt ansvar som grunden för vetenskaplig integritet
En enda fras återkom om och om igen genom hela denna modul: "AI producerar, människor verifierar." I den här enheten förvandlar vi den meningen till ett system. Syftet är att känna igen hallucinationer (att producera falsk/tillverkad information med ett säkert språk), vilket är det farligaste beteendet hos AI, att etablera en konkret verifieringsmetod för varje typ av utdata, och att placera alla dessa inom ramen för vetenskaplig integritet (ärlighet, transparens, spårbarhet). En overifierad AI-utgång i kemi är inte bara ett misstag; Det kan vara ett experiment som exploderar, en person som förgiftats eller ett papper som dras in.
Varför är hallucinationer oundvikliga?
Den stora språkmodellen producerar "nästa mest troliga ord"; Den syftar till vad som är möjligt, inte vad som är sant. Så han kan fylla i en molekylvikt, en DOI eller en kokpunkt med ett värde som "verkar rimligt" - utan att kontrollera om det är verkligt. Hallucinationen är inte ett fel, utan en konsekvens av denna tekniks natur. Lösningen är inte att "försöka fixa" modellen, utan att bygga ett valideringsskal runt varje utgång.
Den mest lömska aspekten av hallucinationen är dess självsäkra språk. En felaktig molekylvikt presenteras med exakt samma tillförsikt som en korrekt. Så "ser självsäker ut" betyder aldrig "korrekt".
Uppmärksamhet: Hur flytande och självsäker AI talar om ett ämne är inte relaterat till riktigheten av den informationen. Flytande övertygar; Endast den oberoende källan bestämmer exaktheten.
Validering efter utgångstyp i kemi
Varje utdatatyp har sin egen verifieringsmetod. Istället för att memorera en enda regel, använd lämpligt verktyg för utdata:
Utgångstyp
Verifieringsmetod
fordon
Molekylvikt, formel
Räkna om från formeln
RDKit / manuellt
LEENDE/struktur
Analysera + kanonisera
RDKit
Citation/DOI
Lös i databas
doi.org, Crossref
Fysisk konstant (kn, pKa)
Referensdatabas
PubChem, handbok
numerisk beräkning
Skriv+kör kod
Python
reaktion/tillstånd
Litteraturbekräftelse
Reaxys, artikel
säkerhetsanspråk
SDS/GHS
Officiellt säkerhetsdatablad
Spektrumuppdrag
Multiteknisk + mänsklig
Experimentellt spektrum
Den här tabellen är faktiskt en sammanfattning av denna modul: varje enhet är en rad.
Triangulering: tre oberoende vägar
Den mest kraftfulla verifieringstekniken är "triangulering": att komma fram till samma slutsats på tre oberoende sätt. Till exempel, för en molekylvikt: (1) vad YZ säger, (2) RDKits beräkning, (3) beräkning för hand från formeln. Om de tre överlappar varandra är förtroendet högt; Om någon går vilse, sluta och undersök. Lita aldrig på en enda källa inom kemi; Leta efter minst två oberoende vägar.
Steg för steg: verifieringsarbetsflöde
- Klassificera utdata: Är det ett nummer, struktur, attribution, säkerhetspåstående?
- Välj lämpligt verktyg: Hämta lämplig verifieringsväg för utdatatypen från tabellen ovan.
- Beräkna/sök självständigt: Kör fordonet oberoende av AI; jämför resultatet.
- Om det finns en avvikelse, sluta: Om värdena inte stämmer överens, fortsätt inte utan att undersöka vilket som är korrekt.
- Lämna ditt spår: Anteckna vad du verifierat och hur (vetenskaplig integritet).
- Ange osäkerhet: Markera något som inte kan verifieras som "obekräftat", dölj det inte.
Fyra kopierbara mallar
1) Självverifiering:
Du gav precis följande utgång: [OUTPUT]. Uppgift: Lista varje numeriskt/faktiskt påstående av denna utdata på en separat rad. För varje påstående: "hur man självständigt verifierar det?" skrivmetod (vilket verktyg/databas). KRÄV INTE att påståendet är sant; ge bara ett sätt att verifiera det.
2) Trianguleringskontroll:
Jag vill kontrollera vikten av följande molekyl på tre sätt: [LENER].Uppgift: 1) Härled molekylformeln.2) Visa molekylviktsberäkningen atom för atom (bidrag av varje grundämne).Obs: Jag kommer också att beräkna den i RDKit och för det tredje jämföra den med den du angav. Om de tre inte överlappar varandra, varna.
3) Tvetydighetsmarkering:
Det finns flera faktapåståenden i följande text:[TEXT]Uppgift: Sätt en konfidensnivåetikett bredvid varje påstående:[VERIFIERAD] / [VERIFIERAD] / [OSÄKER]. Markera ingenting [VERIFIERAD] om du är osäker.
4) Konsistenskorsfråga:
Jag kommer att ställa samma fråga på två olika sätt; Se om dina svar är konsekventa. Fråga A: Vad är molekylformeln för föreningen
Svag prompt / Stark prompt
Svag:
Skriv ner allt du vet om denna förening.
AI blandar urskillningslöst verifierbar och tillverkad information; Det är oklart vilken som är verklig.
Stark:
Ge information om denna förening, men märk varje påstående som:[DETERMINISTISK - verifierad av instrument] t.ex. molekylformel,[EXPERIMENTELL - citat behövs] t.ex. smältpunkt,[OSÄKER - inte säker].Skriv inga omärkta påståenden.
Skillnad: Vi tvingade AI att markera sin egen osäkerhet; Vi gjorde verifieringsarbetet planerbart.
Vetenskaplig integritet: ärlighet och spårbarhet
Verifiering är inte bara ett tekniskt steg, det är en etisk fråga. Vetenskaplig integritet kräver:
- Transparens: Dölj inte att du använder AI; Ange enligt din publicerings-/rapportpolicy.
- Spårbarhet: Registrera vilken utdata som kom från AI och hur den verifierades.
- Dataintegritet: Att "försköna" resultat med AI, att kassera extremvärden utan motivering är bedrägeri.
- Ansvar: Du ansvarar för slutresultatet; "AI sa det" är ingen ursäkt.
Tips: Acceptera från början att du aldrig kan använda frasen "AI:n sa det" i en rapport eller försvar. Denna acceptans ger automatiskt vanan att verifiera varje utdata.
minifodral
Fall 1 – Triangulering upptäckte ett fel. En elev kontrollerade en molekylvikt på tre sätt: YZ sa 178,2, manuell beräkning gav 180,16, RDKit gav 180,16. Två oberoende vägar överlappade och eliminerade AI. Lektion: två oberoende verifikationer besegrar tyst en falsk utgång.
Fall 2 — Säkert språk, felaktig information. AI skrev mycket självsäkert att en reaktion "går spontant i rumstemperatur." Litteraturen visade att detta krävde uppvärmning och katalysator. Eleven litade på källan, inte det säkra språket. Lektion: flyt är inte noggrannhet.
Fall 3 – Fått insyn. I metodavsnittet i sin uppsats angav en forskare tydligt i vilka steg han använde AI (textredigering, kodutformning) och skrev att han självständigt verifierade alla numeriska resultat. Domarprocessen gick smidigt. Lärdom: transparens skapar förtroende, döljande skapar risker.
Vanliga misstag
- Lita på det säkra språket. AI:s självsäkra ton är inte en indikation på noggrannhet.
- Förlitar sig på en enda källa. Accepterar en enda utgång utan triangulering.
- Separerar inte utgångstypen. Tänker att jag "kollat" siffran, attributionen och säkerhetspåståendet med samma metod.
- Döljer osäkerhet. Att rapportera något som inte kan verifieras som om det vore säkert.
- Döljer användningen av AI. Brist på transparens undergräver den vetenskapliga integriteten.
- Delegera ansvar. Ursäkten "AI sa så" är ogiltig; Ansvaret ligger på personen.
Sammanfattningsvis
- Hallucination är inneboende i språkmodellen; Lösningen är att bygga ett valideringsskal runt varje utgång.
- Varje utdatatyp har sin egen verifieringsmetod; klassificera resultatet och använd lämpligt verktyg.
- Triangulering (två oberoende vägar) är den starkaste kontrollen; Lita inte på en enda källa.
- Flytande och självsäkert språk är inte relaterade till noggrannhet.
- Vetenskaplig integritet kräver transparens, spårbarhet, dataintegritet och mänskligt ansvar.
Applikationsuppgift
Producera avsiktligt en mängd olika utdata i en AI-session: en molekylvikt, en referens, en fysisk konstant, ett säkerhetskrav, en numerisk beräkning. Verifiera var och en oberoende med rätt metod (se tabell). Försök att fånga minst en hallucination. Förbered sedan en "valideringsmatris": radutgångar, kolumner (AI-värde / oberoende värde / överlappade det / hur verifierade jag det). Hur skulle du rapportera den här sessionen när det gäller vetenskaplig integritet?
checklista
- [ ] Jag förstår varför hallucinationer är oundvikliga.
- [ ] Jag klassificerar varje utgång efter dess typ och verifierar den med lämplig metod.
- [ ] Jag gör triangulering (två oberoende vägar) på kritiska värden.
- [ ] Jag litar på källan, inte det säkra språket.
- [ ] Jag markerar det som inte kan bekräftas som "osäkert".
- [ ] Jag är transparent i min användning av AI och håller mig ansvarig för resultatet.