Gevinster:
- Evne til at forstå, at hallucination er iboende i sprogmodellen og vælge den passende verifikationsmetode for hver type output.
- Bekræft kritiske værdier på to uafhængige måder med triangulering og ikke forveksle flydende med nøjagtighed
- Evne til at anvende gennemsigtighed, sporbarhed, dataintegritet og menneskeligt ansvar som grundlag for videnskabelig integritet
En enkelt sætning vendte tilbage igen og igen gennem dette modul: "AI producerer, mennesker verificerer." I denne enhed gør vi den sætning til et system. Formålet er at genkende hallucination (fremstilling af falske/fabrikerede informationer med et sikkert sprog), som er den farligste adfærd for AI, at etablere en konkret verifikationsmetode for hver type output, og at placere alle disse inden for rammerne af videnskabelig integritet (ærlighed, gennemsigtighed, sporbarhed). Et ubekræftet AI-output i kemi er ikke bare en fejl; Det kan være et eksperiment, der eksploderer, en person, der bliver forgiftet, eller et papir, der trækkes tilbage.
Hvorfor er hallucination uundgåelig?
Den store sprogmodel producerer det "næste mest sandsynlige ord"; Den sigter mod det, der er muligt, ikke det, der er sandt. Så han kan udfylde en molekylvægt, en DOI eller et kogepunkt med en værdi, der "synes rimelig" - uden at tjekke, om den er ægte. Hallucinationen er ikke en funktionsfejl, men en konsekvens af denne teknologis natur. Løsningen er ikke at "prøve at rette" modellen, men at bygge en valideringsskal omkring hvert output.
Det mest lumske aspekt af hallucinationen er dens selvsikre sprog. En forkert molekylvægt præsenteres med nøjagtig samme sikkerhed som en korrekt. Så "ser selvsikker ud" betyder aldrig "korrekt".
Opmærksomhed: Hvor flydende og selvsikker AI’en taler om et emne er ikke relateret til nøjagtigheden af disse oplysninger. Flydende overbeviser; Kun den uafhængige kilde bestemmer nøjagtigheden.
Validering efter outputtype i kemi
Hver outputtype har sin egen verifikationsmetode. I stedet for at huske en enkelt regel, skal du bruge det passende værktøj til output:
Output type
Verifikationsmetode
køretøj
Molekylvægt, formel
Genberegn fra formel
RDKit / manuelt
SMIL/struktur
Parse + kanonisere
RDKit
Citation/DOI
Løs i database
doi.org, Crossref
Fysisk konstant (kn, pKa)
Referencedatabase
PubChem, håndbog
numerisk beregning
Skriv+kør kode
Python
reaktion/tilstand
Litteratur bekræftelse
Reaxys, artikel
sikkerhedskrav
SDS/GHS
Officielt SDS
Spektrum tildeling
Multiteknisk + menneskelig
Eksperimentelt spektrum
Denne tabel er faktisk en oversigt over dette modul: hver enhed er en række.
Triangulering: tre uafhængige veje
Den mest kraftfulde verifikationsteknik er "triangulering": at nå frem til den samme konklusion på tre uafhængige måder. For eksempel for en molekylvægt: (1) hvad YZ siger, (2) RDKits beregning, (3) håndberegning ud fra formlen. Hvis de tre overlapper hinanden, er tilliden høj; Hvis nogen er på afveje, så stop og undersøg. Stol aldrig på en enkelt kilde i kemi; Se efter mindst to uafhængige stier.
Trin for trin: verifikationsarbejdsgang
- Klassificer output: Er det et tal, struktur, attribution, sikkerhedspåstand?
- Vælg passende værktøj: Få den passende verifikationssti for outputtypen fra tabellen ovenfor.
- Beregn/søg uafhængigt: Kør køretøjet uafhængigt af AI; sammenligne resultatet.
- Hvis der er en afvigelse, stop: Hvis værdierne ikke stemmer overens, skal du ikke fortsætte uden at undersøge, hvilken der er korrekt.
- Sæt dit præg: Registrer, hvad du har verificeret og hvordan (videnskabelig integritet).
- Angiv usikkerhed: Marker noget, der ikke kan verificeres som "ubekræftet", skjul det ikke.
Fire kopierbare skabeloner
1) Selvbekræftelse:
Du har lige givet følgende output: [OUTPUT]. Opgave: List hver numerisk/faktisk påstand om dette output på en separat linje. For hver påstand: "hvordan kan man uafhængigt verificere det?" skrivemetode (hvilket værktøj/database). KRÆV IKKE, at påstanden er sand; bare giv en måde at bekræfte det på.
2) Trianguleringskontrol:
Jeg vil kontrollere vægten af følgende molekyle på tre måder: [SMIL].Opgave: 1) Udled molekylformlen.2) Vis molekylvægtberegningen atom for atom (bidrag af hvert grundstof).Bemærk: Jeg vil også udregne det i RDKit og for det tredje sammenligne det med det, du gav. Hvis de tre ikke overlapper hinanden, skal du advare.
3) Tvetydighedsmarkering:
Der er flere faktuelle påstande i følgende tekst:[TEKST]Opgave: Sæt en konfidensniveauetiket ud for hver påstand:[VERIFIED] / [VERIFIED] / [USCERTAIN]. Marker ikke noget [VERIFIED], hvis du ikke er sikker.
4) Konsistens krydsforespørgsel:
Jeg vil stille det samme spørgsmål på to forskellige måder; Se om dine svar stemmer overens. Spørgsmål A: Hvad er molekylformlen for forbindelsen
Svag prompt / Stærk prompt
Svag:
Skriv alt ned, du ved om denne forbindelse.
AI blander vilkårligt verificerbar og opdigtet information; Det er uklart, hvilken der er ægte.
Stærk:
Angiv oplysninger om denne forbindelse, men mærk hver påstand som:[DETERMINISTISK - verificeret af instrument] f.eks. molekylær formel,[EKSPERIMENTEL - citation nødvendig] f.eks. smeltepunkt [USIKKER - ikke sikker]. Skriv ikke nogen umærkede påstande.
Forskel: Vi tvang AI til at markere sin egen usikkerhed; Vi gjorde verifikationsarbejdet planlæggeligt.
Videnskabelig integritet: ærlighed og sporbarhed
Verifikation er ikke kun et teknisk skridt, det er et etisk spørgsmål. Videnskabelig integritet kræver:
- Gennemsigtighed: Skjul ikke, at du bruger AI; Angiv i henhold til din publikations-/rapportpolitik.
- Sporbarhed: Registrer hvilket output der kom fra AI og hvordan det blev verificeret.
- Dataintegritet: At "forskønne" resultater med AI, at kassere outliers uden begrundelse er svindel.
- Ansvar: Du er ansvarlig for det endelige resultat; "AI sagde det" er ikke en undskyldning.
Tip: Accepter fra starten, at du aldrig kan bruge sætningen "AI'en sagde det" i en rapport eller et forsvar. Denne accept medfører automatisk vanen at verificere hvert output.
mini sager
Tilfælde 1 — Triangulering fangede en fejl. En elev kontrollerede en molekylvægt på tre måder: YZ sagde 178,2, manuel beregning gav 180,16, RDKit gav 180,16. To uafhængige stier overlappede og eliminerede AI. Lektion: to uafhængige verifikationer besejrer lydløst en falsk output.
Sag 2 — Sikkert sprog, forkerte oplysninger. AI skrev meget selvsikkert, at en reaktion "kører spontant ved stuetemperatur." Litteraturen viste, at dette krævede opvarmning og katalysator. Eleven stolede på kilden, ikke det sikre sprog. Lektion: flydende er ikke nøjagtighed.
Sag 3 — Opnået gennemsigtighed. I metodeafsnittet i sit papir sagde en forsker tydeligt, i hvilke trin han brugte AI (tekstredigering, kodeudkast) og skrev, at han uafhængigt verificerede alle numeriske resultater. Dommerprocessen gik glat. Lektion: gennemsigtighed skaber tillid, fortielse skaber risiko.
Almindelige fejl
- At stole på det sikre sprog. AI'ens selvsikre tone er ikke en indikation af nøjagtighed.
- At stole på en enkelt kilde. Accepterer et enkelt output uden triangulering.
- Udgangstypen adskilles ikke. Tænker at jeg har "tjekket" nummer, tilskrivning og sikkerhedspåstand med samme metode.
- Skjuler usikkerhed. At rapportere noget, der ikke kan verificeres, som om det var sikkert.
- Skjuler brugen af AI. Manglende gennemsigtighed underminerer den videnskabelige integritet.
- Uddelegering af ansvar. "AI sagde det" undskyldningen er ugyldig; Ansvaret ligger hos personen.
Sammenfattende
- Hallucination er iboende i sprogmodellen; Løsningen er at bygge en valideringsskal omkring hvert output.
- Hver outputtype har sin egen verifikationsmetode; klassificere outputtet og bruge det relevante værktøj.
- Triangulering (to uafhængige veje) er den stærkeste kontrol; Stol ikke på en enkelt kilde.
- Flydende og selvsikkert sprog er ikke relateret til nøjagtighed.
- Videnskabelig integritet kræver gennemsigtighed, sporbarhed, dataintegritet og menneskeligt ansvar.
Ansøgningsopgave
Producer med vilje en række forskellige output i en AI-session: en molekylvægt, en reference, en fysisk konstant, et sikkerhedskrav, en numerisk beregning. Bekræft hver enkelt uafhængigt med den korrekte metode (se tabel). Prøv at fange mindst én hallucination. Forbered derefter en "valideringsmatrix": rækkeudgange, kolonner (AI-værdi / uafhængig værdi / overlappede det / hvordan verificerede jeg det). Hvordan vil du rapportere denne session med hensyn til videnskabelig integritet?
tjekliste
- [ ] Jeg forstår, hvorfor hallucinationer er uundgåelige.
- [ ] Jeg klassificerer hvert output efter dets type og verificerer det med den passende metode.
- [ ] Jeg laver triangulering (to uafhængige veje) på kritiske værdier.
- [ ] Jeg stoler på kilden, ikke det sikre sprog.
- [ ] Jeg markerer det, der ikke kan bekræftes, som "usikkert".
- [ ] Jeg er gennemsigtig i min brug af kunstig intelligens og holder mig selv ansvarlig for resultatet.