Potvrda, halucinacija i znanstveni integritet

Dobici:

• Sposobnost razumijevanja da je halucinacija svojstvena jezičnom modelu i odabir odgovarajuće metode provjere za svaku vrstu izlaza.
• Provjerite kritične vrijednosti na dva neovisna načina pomoću triangulacije i ne brkajte tečnost s točnošću
• Sposobnost primjene transparentnosti, sljedivosti, integriteta podataka i ljudske odgovornosti kao temelja znanstvenog integriteta

Jedna se fraza uvijek iznova vraćala kroz ovaj modul: "AI proizvodi, ljudi provjeravaju." U ovoj cjelini tu rečenicu pretvaramo u sustav. Cilj je prepoznati halucinaciju (proizvodnju lažnih/izmišljenih informacija samouvjerenim jezikom), što je najopasnije ponašanje umjetne inteligencije, uspostaviti konkretnu metodu provjere za svaku vrstu rezultata, te sve to smjestiti u okvir znanstvenog integriteta (poštenje, transparentnost, sljedivost). Neprovjereni rezultat umjetne inteligencije u kemiji nije samo pogreška; To može biti eksplozija eksperimenta, trovanje osobe ili povlačenje papira.

Zašto su halucinacije neizbježne?

Veliki jezični model proizvodi "sljedeću najvjerojatnije riječ"; Cilja na ono što je moguće, a ne na ono što je istina. Stoga može ispuniti molekularnu težinu, DOI ili točku vrenja vrijednošću koja se "čini razumnom" - bez provjere je li to stvarno. Halucinacija nije kvar, već posljedica prirode ove tehnologije. Rješenje nije "pokušati popraviti" model, već izgraditi validacijsku ljusku oko svakog izlaza.

Najpodmukliji aspekt halucinacije je njezin samouvjereni jezik. Netočna molekularna težina predstavljena je s točno istom pouzdanošću kao i točna. Dakle, "izgleda samouvjereno" nikada ne znači "ispravno".

Pažnja: koliko tečno i samouvjereno AI govori o temi nije povezano s točnošću te informacije. Tečnost uvjerava; Samo neovisni izvor određuje točnost.

Validacija prema vrsti izlaza u kemiji

Svaka vrsta izlaza ima svoju metodu provjere. Umjesto da pamtite jedno pravilo, koristite odgovarajući alat za izlaz:

Vrsta izlaza

Način provjere

vozilo

Molekulska težina, formula

Ponovno izračunajte iz formule

RDKit / ručno

OSMJESI/građ

Raščlanjivanje + kanonikalizacija

RDKit

Citiranje/DOI

Rješavanje u bazi podataka

doi.org, Crossref

Fizička konstanta (kn, pKa)

Referentna baza podataka

PubChem, priručnik

numerički izračun

Napiši+pokreni kod

Python

reakcija/stanje

Literaturna potvrda

Reaxys, članak

sigurnosni zahtjev

SDS/GHS

Službeni SDS

Dodjela spektra

Multitehnički + ljudski

Eksperimentalni spektar

Ova tablica zapravo je sažetak ovog modula: svaka jedinica je jedan red.

Triangulacija: tri neovisna puta

Najmoćnija tehnika provjere je "triangulacija": dolazak do istog zaključka na tri neovisna načina. Na primjer, za molekularnu težinu: (1) ono što YZ kaže, (2) RDKit-ov izračun, (3) izračun ručno iz formule. Ako se to troje preklapa, povjerenje je visoko; Ako netko zaluta, stanite i istražite. Nikada se ne oslanjajte na jedan izvor u kemiji; Potražite barem dva neovisna puta.

Korak po korak: tijek rada provjere

1. Klasificirajte izlaz: Je li to broj, struktura, atribucija, sigurnosna tvrdnja?
2. Odaberite odgovarajući alat: Nabavite odgovarajući put provjere za vrstu izlaza iz gornje tablice.
3. Izračunajte/tražite neovisno: Upravljajte vozilom neovisno o AI; usporediti rezultat.
4. Ako postoji odstupanje, zaustavite se: Ako se vrijednosti ne podudaraju, nemojte nastaviti bez istrage koja je točna.
5. Ostavite svoj trag: Zabilježite što ste potvrdili i kako (znanstveni integritet).
6. Navedite nesigurnost: označite nešto što se ne može provjeriti kao "nepotvrđeno", nemojte to skrivati.

Četiri predloška za kopiranje

1) Samoprovjera:

Upravo ste dali sljedeći izlaz: [OUTPUT]. Zadatak: Navedite svaku brojčanu/činjeničnu tvrdnju ovog izlaza u zasebnom retku. Za svaku tvrdnju: "kako to neovisno provjeriti?" način pisanja (koji alat/baza podataka). NE TVRDI da je tvrdnja istinita; samo dajte način da to potvrdite.

2) Kontrola triangulacije:

Želim provjeriti težinu sljedeće molekule na tri načina: [SMIJEŠI SE].Zadatak: 1) Izvedite molekularnu formulu.2) Prikažite izračun molekularne težine atom po atom (doprinos svakog elementa). Napomena: Također ću to izračunati u RDKit-u i treće usporediti s onom koju ste dali. Ako se tri ne preklapaju, upozorite.

3) Označavanje dvosmislenosti:

Postoji više činjeničnih tvrdnji u sljedećem tekstu:[TEKST]Zadatak: Stavite oznaku razine pouzdanosti pored svake tvrdnje:[PROVJERENO] / [PROVJERENO] / [NESIGURNO].Ne označavajte ništa [PROVJERENO] ako niste sigurni.

4) Unakrsni upit o dosljednosti:

Postavit ću isto pitanje na dva različita načina; Provjerite jesu li vaši odgovori dosljedni. Pitanje A: Koja je molekulska formula spoja?

Slab upit / Jak upit

Slabo:

Napiši sve što znaš o ovom spoju.

AI neselektivno miješa provjerljive i izmišljene informacije; Nejasno je koji je pravi.

Jako:

Navedite informacije o ovom spoju, ali svaku tvrdnju označite kao: [DETERMINISTIČKO - potvrđeno instrumentom], npr. molekularna formula, [EKSPERIMENTALNI - potreban citat] npr. točka topljenja, [NESIGURNO - nisam siguran]. Nemojte pisati neoznačene tvrdnje.

Razlika: Prisilili smo AI da označi vlastitu neizvjesnost; Učinili smo rad na verifikaciji planiranim.

Znanstvena čestitost: poštenje i sljedivost

Verifikacija nije samo tehnički korak, to je etičko pitanje. Znanstveni integritet zahtijeva:

• Transparentnost: ne skrivajte da koristite AI; Navedite u skladu s vašom politikom objavljivanja/izvješća.
• Sljedivost: Zabilježite koji je rezultat došao iz AI i kako je provjeren.
• Integritet podataka: "Uljepšavanje" rezultata pomoću umjetne inteligencije, odbacivanje izvanrednih vrijednosti bez opravdanja je prijevara.
• Odgovornost: Vi ste odgovorni za konačni ishod; "AI je tako rekao" nije izgovor.

Savjet: Prihvatite od samog početka da nikada ne možete koristiti izraz "AI je tako rekao" u izvješću ili obrani. Ovo prihvaćanje automatski donosi naviku provjere svakog izlaza.

mini kućišta

Slučaj 1 — Triangulacija je otkrila pogrešku. Student je provjerio molekularnu težinu na tri načina: YZ je rekao 178,2, ručni izračun je dao 180,16, RDKit je dao 180,16. Dva neovisna puta su se preklapala i eliminirala AI. Lekcija: dvije neovisne provjere tiho poništavaju jedan lažni izlaz.

Slučaj 2 — Siguran jezik, pogrešne informacije. AI je vrlo pouzdano napisao da reakcija "teče spontano na sobnoj temperaturi". Literatura je pokazala da je to zahtijevalo zagrijavanje i katalizator. Student je vjerovao izvoru, a ne sigurnom jeziku. Lekcija: tečnost nije točnost.

Slučaj 3 — Dobivena transparentnost. U odjeljku o metodi svog rada jedan je istraživač jasno naveo u kojim je koracima koristio AI (uređivanje teksta, izrada koda) i napisao da je neovisno provjerio sve numeričke rezultate. Sudački proces prošao je glatko. Lekcija: transparentnost gradi povjerenje, prikrivanje stvara rizik.

Uobičajene greške

• Vjerujte sigurnom jeziku. Uvjereni ton umjetne inteligencije nije pokazatelj točnosti.
• Oslanjanje na jedan izvor. Prihvaćanje jednog izlaza bez triangulacije.
• Bez odvajanja vrste izlaza. Misleći da sam istom metodom "provjerio" broj, atribuciju i sigurnosnu tvrdnju.
• Skrivanje neizvjesnosti. Izvještavanje o nečemu što se ne može provjeriti kao da je sigurno.
• Skrivanje upotrebe AI. Nedostatak transparentnosti potkopava znanstveni integritet.
• Delegiranje odgovornosti. Izgovor "AI je tako rekao" nije valjan; Odgovornost leži na osobi.

Ukratko

• Halucinacija je svojstvena jezičnom modelu; Rješenje je izgraditi validacijsku ljusku oko svakog izlaza.
• Svaka vrsta izlaza ima vlastitu metodu provjere; klasificirati izlaz i koristiti odgovarajući alat.
• Triangulacija (dva neovisna puta) je najjača kontrola; Ne vjerujte jednom izvoru.
• Tečnost i samouvjeren jezik nisu povezani s točnošću.
• Znanstveni integritet zahtijeva transparentnost, sljedivost, integritet podataka i ljudsku odgovornost.

Zadatak aplikacije

Namjerno proizvesti različite rezultate u AI sesiji: molekularna težina, referenca, fizička konstanta, sigurnosna tvrdnja, numerički izračun. Provjerite svaki zasebno ispravnom metodom (vidi tablicu). Pokušajte uhvatiti barem jednu halucinaciju. Zatim pripremite "matricu provjere valjanosti": izlazi redova, stupci (AI vrijednost / nezavisna vrijednost / je li se preklapalo / kako sam to potvrdio). Kako biste izvijestili o ovoj sesiji u smislu znanstvene čestitosti?

popis za provjeru

• [ ] Shvaćam zašto su halucinacije neizbježne.
• [ ] Klasificiram svaki izlaz prema njegovoj vrsti i provjeravam ga odgovarajućom metodom.
• [ ] Radim triangulaciju (dva neovisna puta) na kritičnim vrijednostima.
• [ ] Vjerujem izvoru, a ne sigurnom jeziku.
• [ ] Ono što se ne može potvrditi označavam kao "nesigurno".
• [ ] Transparentan sam u svom korištenju umjetne inteligencije i smatram se odgovornim za ishod.