Gevinster:
- Evne til å forstå at hallusinasjon er iboende i språkmodellen og velge riktig verifiseringsmetode for hver type utgang.
- Verifiser kritiske verdier på to uavhengige måter med triangulering og ikke forveksle flyt med nøyaktighet
- Evne til å anvende åpenhet, sporbarhet, dataintegritet og menneskelig ansvar som grunnlag for vitenskapelig integritet
En enkelt setning kom tilbake om og om igjen gjennom denne modulen: "AI produserer, mennesker bekrefter." I denne enheten gjør vi den setningen til et system. Målet er å gjenkjenne hallusinasjoner (produsere falsk/fabrikkert informasjon med et selvsikkert språk), som er den farligste oppførselen til AI, å etablere en konkret verifiseringsmetode for hver type utgang, og å plassere alle disse innenfor rammen av vitenskapelig integritet (ærlighet, åpenhet, sporbarhet). En ubekreftet AI-utgang i kjemi er ikke bare en feil; Det kan være et eksperiment som eksploderer, en person som blir forgiftet, eller et papir som trekkes tilbake.
Hvorfor er hallusinasjon uunngåelig?
Den store språkmodellen produserer «det neste mest sannsynlige ordet»; Den tar sikte på det som er mulig, ikke det som er sant. Så han kan fylle inn en molekylvekt, en DOI eller et kokepunkt med en verdi som "virker rimelig" - uten å sjekke om den er ekte. Hallusinasjonen er ikke en funksjonsfeil, men en konsekvens av denne teknologiens natur. Løsningen er ikke å "prøve å fikse" modellen, men å bygge et valideringsskall rundt hver utgang.
Det mest lumske aspektet ved hallusinasjonen er dets selvsikre språk. En feil molekylvekt presenteres med nøyaktig samme sikkerhet som en riktig. Så "ser selvsikker ut" betyr aldri "riktig".
Oppmerksomhet: Hvor flytende og selvsikker AI snakker om et emne er ikke relatert til nøyaktigheten til den informasjonen. Flytende overbeviser; Bare den uavhengige kilden bestemmer nøyaktigheten.
Validering etter utgangstype i kjemi
Hver utdatatype har sin egen verifiseringsmetode. I stedet for å huske en enkelt regel, bruk det riktige verktøyet for utdata:
Utgangstype
Verifikasjonsmetode
kjøretøy
Molekylvekt, formel
Beregn på nytt fra formel
RDKit / manuelt
SMIL/struktur
Parse + kanonisere
RDKit
Sitering/DOI
Løs i database
doi.org, Crossref
Fysisk konstant (kn, pKa)
Referansedatabase
PubChem, håndbok
numerisk beregning
Skriv+kjør kode
Python
reaksjon/tilstand
Litteraturbekreftelse
Reaxys, artikkel
sikkerhetskrav
SDS/GHS
Offisielt sikkerhetsdatablad
Spektrumoppdrag
Multiteknisk + menneskelig
Eksperimentelt spektrum
Denne tabellen er faktisk et sammendrag av denne modulen: hver enhet er én rad.
Triangulering: tre uavhengige veier
Den kraftigste verifiseringsteknikken er "triangulering": å komme til samme konklusjon på tre uavhengige måter. For eksempel, for en molekylvekt: (1) hva YZ sier, (2) RDKits beregning, (3) beregning for hånd fra formelen. Hvis de tre overlapper, er tilliten høy; Hvis noen er på villspor, stopp og undersøk. Stol aldri på en enkelt kilde i kjemi; Se etter minst to uavhengige veier.
Trinn for trinn: arbeidsflyt for verifisering
- Klassifiser resultatet: Er det et tall, struktur, attribusjon, sikkerhetspåstand?
- Velg passende verktøy: Få den riktige bekreftelsesbanen for utdatatypen fra tabellen ovenfor.
- Beregn/søk uavhengig: Kjør kjøretøyet uavhengig av AI; sammenligne resultatet.
- Hvis det er et avvik, stopp: Hvis verdiene ikke stemmer overens, ikke fortsett uten å undersøke hvilken som er riktig.
- Sett dine spor: Registrer hva du bekreftet og hvordan (vitenskapelig integritet).
- Spesifiser usikkerhet: Merk noe som ikke kan bekreftes som "ubekreftet", ikke skjul det.
Fire kopierbare maler
1) Selvverifisering:
Du ga nettopp følgende utgang: [OUTPUT]. Oppgave: List opp hver numerisk/faktisk påstand om denne utgangen på en egen linje. For hver påstand: "hvordan verifisere den uavhengig?" skrivemetode (hvilket verktøy/database). IKKE KREV at påstanden er sann; bare gi en måte å bekrefte det på.
2) Trianguleringskontroll:
Jeg ønsker å sjekke vekten av følgende molekyl på tre måter: [SMIL].Oppgave: 1) Utled molekylformelen.2) Vis molekylvektberegningen atom for atom (bidrag av hvert grunnstoff).Merk: Jeg skal også beregne det i RDKit og for det tredje sammenligne det med det du ga. Hvis de tre ikke overlapper hverandre, advar.
3) Tvetydighetsmerking:
Det er flere faktiske påstander i følgende tekst:[TEKST]Oppgave: Sett en konfidensnivåetikett ved siden av hver påstand:[VERIFIED] / [VERIFIED] / [USECERT].Ikke merk noe [VERIFIED] hvis du ikke er sikker.
4) Konsistenskrysssøk:
Jeg vil stille det samme spørsmålet på to forskjellige måter; Se om svarene dine stemmer. Spørsmål A: Hva er molekylformelen til forbindelsen
Svak forespørsel / Sterk forespørsel
Svak:
Skriv ned alt du vet om denne forbindelsen.
AI blander vilkårlig verifiserbar og fabrikkert informasjon; Det er uklart hvilken som er ekte.
Sterk:
Gi informasjon om denne forbindelsen, men merk hver påstand som:[DETERMINISTISK - verifisert av instrument] f.eks. molekylformel,[EKSPERIMENTELL - referanse nødvendig] f.eks. smeltepunkt [USIKKER - ikke sikker]. Ikke skriv noen umerkede påstander.
Forskjell: Vi tvang AI til å markere sin egen usikkerhet; Vi gjorde verifiseringsarbeidet planmessig.
Vitenskapelig integritet: ærlighet og sporbarhet
Verifisering er ikke bare et teknisk trinn, det er et etisk spørsmål. Vitenskapelig integritet krever:
- Åpenhet: Ikke skjul at du bruker AI; Spesifiser i henhold til retningslinjene for publikasjon/rapport.
- Sporbarhet: Registrer hvilken utgang som kom fra AI og hvordan den ble verifisert.
- Dataintegritet: "Å forskjønne" resultater med AI, å forkaste uteliggere uten begrunnelse er svindel.
- Ansvar: Du er ansvarlig for det endelige resultatet; "AIen sa det" er ikke en unnskyldning.
Tips: Godta fra begynnelsen at du aldri kan bruke uttrykket "AI-en sa det" i en rapport eller forsvar. Denne aksepten fører automatisk til vane å verifisere hver utgang.
minisaker
Tilfelle 1 - Triangulering fanget en feil. En student sjekket en molekylvekt på tre måter: YZ sa 178,2, manuell beregning ga 180,16, RDKit ga 180,16. To uavhengige baner overlappet og eliminerte AI. Leksjon: to uavhengige verifikasjoner beseirer i det stille én falsk utgang.
Sak 2 — Sikkert språk, feil informasjon. AI skrev veldig selvsikkert at en reaksjon "løper spontant ved romtemperatur." Litteraturen viste at dette krevde oppvarming og katalysator. Eleven stolte på kilden, ikke det sikre språket. Leksjon: flyt er ikke nøyaktighet.
Sak 3 – Oppnådd åpenhet. I metodedelen av papiret hans sa en forsker tydelig i hvilke trinn han brukte AI (tekstredigering, kodeutkast) og skrev at han uavhengig bekreftet alle numeriske resultater. Dommerprosessen gikk knirkefritt. Leksjon: åpenhet bygger tillit, fortielse skaper risiko.
Vanlige feil
- Stoler på det trygge språket. AIs selvsikre tone er ikke en indikasjon på nøyaktighet.
- Stoler på en enkelt kilde. Aksepterer en enkelt utgang uten triangulering.
- Skiller ikke utgangstypen. Tenker at jeg "sjekket" nummer, attribusjon og sikkerhetspåstand med samme metode.
- Skjuler usikkerhet. Å rapportere noe som ikke kan verifiseres som om det var sikkert.
- Skjuler bruken av AI. Mangel på åpenhet undergraver vitenskapelig integritet.
- Delegere ansvar. "AI sa det"-unnskyldningen er ugyldig; Ansvaret ligger hos personen.
Oppsummert
- Hallusinasjon er iboende i språkmodellen; Løsningen er å bygge et valideringsskall rundt hver utgang.
- Hver utdatatype har sin egen verifiseringsmetode; klassifiser utdataene og bruk riktig verktøy.
- Triangulering (to uavhengige veier) er den sterkeste kontrollen; Ikke stol på en enkelt kilde.
- Flytende og selvsikkert språk er ikke relatert til nøyaktighet.
- Vitenskapelig integritet krever åpenhet, sporbarhet, dataintegritet og menneskelig ansvar.
Søknadsoppgave
Produser med vilje en rekke utdata i en AI-økt: en molekylvekt, en referanse, en fysisk konstant, et sikkerhetskrav, en numerisk beregning. Verifiser hver uavhengig med riktig metode (se tabell). Prøv å fange minst én hallusinasjon. Forbered deretter en "valideringsmatrise": radutganger, kolonner (AI-verdi / uavhengig verdi / overlappet den / hvordan bekreftet jeg den). Hvordan vil du rapportere denne sesjonen når det gjelder vitenskapelig integritet?
sjekkliste
- [ ] Jeg forstår hvorfor hallusinasjoner er uunngåelig.
- [ ] Jeg klassifiserer hver utgang i henhold til dens type og verifiserer den med riktig metode.
- [ ] Jeg driver med triangulering (to uavhengige veier) på kritiske verdier.
- [ ] Jeg stoler på kilden, ikke det sikre språket.
- [ ] Jeg markerer det som ikke kan bekreftes som "usikkert".
- [ ] Jeg er gjennomsiktig i min bruk av AI og holder meg selv ansvarlig for resultatet.