Dobici:
- Sposobnost razumijevanja da je halucinacija inherentna jezičkom modelu i odabira odgovarajuće metode verifikacije za svaku vrstu rezultata.
- Proverite kritične vrednosti na dva nezavisna načina sa triangulacijom i nemojte brkati tečnost sa preciznošću
- Sposobnost primjene transparentnosti, sljedivosti, integriteta podataka i ljudske odgovornosti kao osnove naučnog integriteta
Jedna fraza se iznova i iznova vraćala kroz ovaj modul: “AI proizvodi, ljudi provjeravaju.” U ovoj jedinici tu rečenicu pretvaramo u sistem. Cilj je prepoznati halucinaciju (proizvođenje lažnih/izmišljenih informacija pouzdanim jezikom), što je najopasnije ponašanje AI, uspostaviti konkretnu metodu verifikacije za svaku vrstu rezultata i sve to staviti u okvire naučnog integriteta (poštenost, transparentnost, sljedivost). Neprovereni izlaz veštačke inteligencije u hemiji nije samo greška; To može biti eksplodiranje eksperimenta, trovanje osobe ili povlačenje papira.
Zašto je halucinacija neizbežna?
Veliki jezički model proizvodi „sljedeću najvjerovatniju riječ“; Cilj je na ono što je moguće, a ne na ono što je istina. Dakle, on može popuniti molekularnu težinu, DOI ili tačku ključanja vrijednošću koja se "čini razumnom" - bez provjere da li je stvarna. Halucinacija nije kvar, već posljedica prirode ove tehnologije. Rješenje nije u "pokušavanju popraviti" model, već u izgradnji validacijske ljuske oko svakog izlaza.
Najpodmukliji aspekt halucinacije je njen samouvereni jezik. Netačna molekulska težina je predstavljena s potpuno istom pouzdanošću kao i ispravna. Dakle, "izgleda samouvjereno" nikada ne znači "ispravno".
Pažnja: Koliko tečno i samopouzdano AI govori o nekoj temi nije povezano s tačnošću tih informacija. Fluency uvjerava; Samo nezavisni izvor određuje tačnost.
Validacija prema vrsti izlaza u hemiji
Svaki tip izlaza ima svoj vlastiti metod provjere. Umjesto da zapamtite jedno pravilo, koristite odgovarajući alat za izlaz:
Vrsta izlaza
Metoda verifikacije
vozilo
Molekularna težina, formula
Preračunajte iz formule
RDKit / ručno
SMILES/struktura
Parsiraj + kanonikaliziraj
RDKit
Citiranje/DOI
Riješi u bazi podataka
doi.org, Crossref
Fizička konstanta (kn, pKa)
Referentna baza podataka
PubChem, priručnik
numerički proračun
Pisanje+pokreni kod
Python
reakcija/stanje
Potvrda literature
Reaxys, članak
sigurnosni zahtjev
SDS/GHS
Zvanični SDS
Dodjela spektra
Multitehnički + ljudski
Eksperimentalni spektar
Ova tabela je zapravo sažetak ovog modula: svaka jedinica je jedan red.
Triangulacija: tri nezavisne staze
Najmoćnija tehnika verifikacije je "triangulacija": dolazak do istog zaključka na tri nezavisna načina. Na primjer, za molekularnu težinu: (1) ono što YZ kaže, (2) RDKit-ov proračun, (3) izračunavanje ručno iz formule. Ako se ova tri preklapaju, povjerenje je visoko; Ako neko zaluta, zaustavite se i istražite. Nikada se ne oslanjajte na jedan izvor u hemiji; Potražite najmanje dva nezavisna puta.
Korak po korak: tok rada verifikacije
- Klasifikujte izlaz: da li je to broj, struktura, atribucija, bezbednosna tvrdnja?
- Odaberite odgovarajući alat: Nabavite odgovarajuću putanju provjere za tip izlaza iz gornje tablice.
- Izračunaj/traži nezavisno: Pokreni vozilo nezavisno od AI; uporedi rezultat.
- Ako postoji odstupanje, zaustavite se: Ako se vrijednosti ne poklapaju, nemojte nastaviti bez ispitivanja koja je tačna.
- Ostavite svoj trag: Zabilježite šta ste i kako provjerili (naučni integritet).
- Navedite nesigurnost: Označite nešto što se ne može provjeriti kao "nepotvrđeno", nemojte to skrivati.
Četiri šablona za kopiranje
1) Samopotvrda:
Upravo ste dali sljedeći izlaz: [OUTPUT]. Zadatak: Navedite svaku numeričku/činjeničnu tvrdnju ovog izlaza u posebnom redu. Za svaku tvrdnju: "kako to samostalno provjeriti?" write metod (koji alat/baza podataka). NEMOJTE TVRDI da je tvrdnja tačna; samo dajte način da to provjerite.
2) Kontrola triangulacije:
Zelim da proverim masu sledeceg molekula na tri nacina: [OSMJESI]. Zadatak: 1) Izvedi molekulsku formulu.2) Prikaži atom po atom izracunavanje molekulske tezine (doprinos svakog elementa). Napomena: Izracunacu i to u RDKit-u i kao trece uporediti sa onim koji si dao. Ako se ova tri ne preklapaju, upozorite.
3) Oznaka nejasnoće:
U sljedećem tekstu postoji više činjeničnih tvrdnji: [TEKST]Zadatak: Stavite oznaku nivoa pouzdanosti pored svake tvrdnje: [PROVERENO] / [PROVERENO] / [NESIGURNO]. Ne označavajte ništa [PROVERENO] ako niste sigurni.
4) Unakrsni upit konzistentnosti:
Postaviću isto pitanje na dva različita načina; Provjerite jesu li vaši odgovori konzistentni. Pitanje A: Koja je molekulska formula jedinjenja
Slaba prompt / Jaka prompt
slaba:
Zapišite sve što znate o ovom spoju.
AI neselektivno miješa provjerljive i izmišljene informacije; Nejasno je koji je pravi.
Jaka:
Navedite informacije o ovom jedinjenju, ali svaku tvrdnju označite kao: [DETERMINISTIČNO - potvrđeno instrumentom] npr. molekularna formula,[EKSPERIMENTALNO - potreban citat] npr. tačka topljenja, [NESIGURNO - nisam siguran]. Nemojte pisati nikakve neoznačene tvrdnje.
Razlika: Primorali smo AI da označi sopstvenu nesigurnost; Učinili smo planski rad na verifikaciji.
Naučni integritet: poštenje i sljedivost
Verifikacija nije samo tehnički korak, to je etičko pitanje. Naučni integritet zahtijeva:
- Transparentnost: Ne skrivajte da koristite AI; Navedite u skladu sa politikom vaše publikacije/izvještaja.
- Sljedivost: Zabilježite koji je izlaz došao od AI i kako je potvrđen.
- Integritet podataka: „Ulepšavanje“ rezultata pomoću veštačke inteligencije, odbacivanje izuzetaka bez opravdanja je prevara.
- Odgovornost: Vi ste odgovorni za konačni ishod; "AI je tako rekao" nije izgovor.
Savjet: prihvatite od samog početka da nikada ne možete koristiti frazu "AI je tako rekao" u izvještaju ili odbrani. Ovo prihvatanje automatski donosi naviku verifikacije svakog izlaza.
mini koferi
Slučaj 1 — Triangulacija je uhvatila grešku. Student je provjerio molekularnu težinu na tri načina: YZ je rekao 178,2, ručni proračun je dao 180,16, RDKit je dao 180,16. Dva nezavisna puta su se preklapala i eliminisala AI. Lekcija: dvije nezavisne verifikacije tiho poništavaju jedan lažni izlaz.
Slučaj 2 — Siguran jezik, pogrešne informacije. AI je vrlo samouvjereno napisao da reakcija "teče spontano na sobnoj temperaturi". Literatura je pokazala da je za to potrebno grijanje i katalizator. Učenik je vjerovao izvoru, a ne sigurnom jeziku. Lekcija: tečnost nije tačnost.
Slučaj 3 — Dobijena transparentnost. U odeljku o metodama svog rada, jedan istraživač je jasno naveo u kojim koracima je koristio AI (uređivanje teksta, crtanje koda) i napisao da je nezavisno proveravao sve numeričke rezultate. Sudijski proces je protekao glatko. Pouka: transparentnost gradi povjerenje, skrivanje stvara rizik.
Uobičajene greške
- Vjerujemo u siguran jezik. Samouvjereni ton AI nije pokazatelj tačnosti.
- Oslanjajući se na jedan izvor. Prihvatanje jednog izlaza bez triangulacije.
- Bez odvajanja tipa izlaza. Misleći da sam istim metodom "provjerio" broj, atribuciju i sigurnosnu tvrdnju.
- Skrivanje neizvjesnosti. Izvještavanje o nečemu što se ne može provjeriti kao da je sigurno.
- Skrivanje upotrebe AI. Nedostatak transparentnosti podriva naučni integritet.
- Delegiranje odgovornosti. Izgovor "AI je tako rekao" je nevažeći; Odgovornost je na osobi.
Ukratko
- Halucinacija je inherentna jezičkom modelu; Rješenje je izgraditi ljusku za validaciju oko svakog izlaza.
- Svaki tip izlaza ima svoju metodu verifikacije; klasificirati izlaz i koristiti odgovarajući alat.
- Triangulacija (dva nezavisna puta) je najjača kontrola; Ne vjerujte niti jednom izvoru.
- Tečnost i samouvjeren jezik nisu povezani s preciznošću.
- Naučni integritet zahtijeva transparentnost, sljedivost, integritet podataka i ljudsku odgovornost.
Zadatak aplikacije
Namjerno proizvesti različite rezultate u AI sesiji: molekularnu težinu, referencu, fizičku konstantu, sigurnosnu tvrdnju, numerički proračun. Provjerite svaki nezavisno odgovarajućom metodom (pogledajte tabelu). Pokušajte uhvatiti barem jednu halucinaciju. Zatim pripremite "matricu validacije": redovi izlazi, kolone (AI vrijednost / nezavisna vrijednost / da li se preklapa / kako sam to provjerio). Kako biste izvještavali o ovoj sesiji u smislu naučnog integriteta?
kontrolna lista
- [ ] Razumijem zašto su halucinacije neizbježne.
- [ ] Klasifikujem svaki izlaz prema njegovom tipu i provjeravam ga odgovarajućom metodom.
- [ ] Radim triangulaciju (dva nezavisna putanja) na kritičnim vrednostima.
- [ ] Vjerujem izvoru, a ne sigurnom jeziku.
- [ ] Ono što se ne može potvrditi označavam kao "neizvjesno".
- [ ] Ja sam transparentan u korištenju AI i smatram se odgovornim za ishod.