Confirmare, halucinație și integritate științifică

Câștiguri:

• Capacitatea de a înțelege că halucinația este inerentă modelului lingvistic și de a alege metoda de verificare adecvată pentru fiecare tip de rezultat.
• Verificați valorile critice în două moduri independente cu triangulare și nu confundați fluența cu acuratețea
• Capacitatea de a aplica transparența, trasabilitatea, integritatea datelor și responsabilitatea umană ca bază a integrității științifice

O singură frază a revenit iar și iar pe parcursul acestui modul: „AI produce, oamenii verifică”. În această unitate, transformăm acea propoziție într-un sistem. Scopul este de a recunoaște halucinația (producerea de informații false/fabricate cu un limbaj sigur), care este cel mai periculos comportament al IA, de a stabili o metodă concretă de verificare pentru fiecare tip de rezultat și de a plasa toate acestea în cadrul integrității științifice (onestitate, transparență, trasabilitate). O ieșire AI neverificată în chimie nu este doar o greșeală; Ar putea fi un experiment care explodează, o persoană otrăvită sau o hârtie retrasă.

De ce este halucinația inevitabilă?

Modelul de limbaj mare produce „următorul cuvânt cel mai probabil”; Vizează ceea ce este posibil, nu ceea ce este adevărat. Deci el poate completa o greutate moleculară, un DOI sau un punct de fierbere cu o valoare care „pare rezonabilă” – fără a verifica dacă este reală. Halucinația nu este o defecțiune, ci o consecință a naturii acestei tehnologii. Soluția nu este „încercarea de a remedia” modelul, ci construirea unui shell de validare în jurul fiecărei ieșiri.

Cel mai insidios aspect al halucinației este limbajul încrezător al acesteia. O greutate moleculară incorectă este prezentată cu exact aceeași încredere ca una corectă. Deci „pare încrezător” nu înseamnă niciodată „corect”.

Atenție: Cât de fluent și de încrezător vorbește AI despre un subiect nu are legătură cu acuratețea informațiilor respective. Fluența convinge; Doar sursa independentă determină acuratețea.

Validarea după tipul de ieșire în chimie

Fiecare tip de ieșire are propria sa metodă de verificare. În loc să memorați o singură regulă, utilizați instrumentul adecvat pentru rezultat:

Tip ieșire

Metoda de verificare

vehicul

Greutate moleculară, formulă

Recalculați din formulă

RDKit / manual

ZÂMBETE/structură

Analizează + canonizează

RDKit

Citare/DOI

Rezolvați în baza de date

doi.org, Crossref

Constanta fizica (kn, pKa)

Baza de date de referință

PubChem, manual

calcul numeric

Scrie + rulează cod

Python

reacție/condiție

Confirmarea literaturii

Reaxys, articol

revendicare de securitate

SDS/GHS

SDS oficial

Alocarea spectrului

Multi-tehnic + uman

Spectrul experimental

Acest tabel este de fapt un rezumat al acestui modul: fiecare unitate este un rând.

Triunghiulare: trei căi independente

Cea mai puternică tehnică de verificare este „triangularea”: ajungerea la aceeași concluzie în trei moduri independente. De exemplu, pentru o greutate moleculară: (1) ce spune YZ, (2) calculul RDKit, (3) calculul manual din formulă. Dacă cele trei se suprapun, încrederea este mare; Dacă cineva se rătăcește, oprește-te și investighează. Nu vă bazați niciodată pe o singură sursă în chimie; Căutați cel puțin două căi independente.

Pas cu pas: flux de lucru de verificare

1. Clasificați rezultatul: este un număr, structură, atribuire, afirmație de securitate?
2. Selectați instrumentul adecvat: obțineți calea de verificare adecvată pentru tipul de ieșire din tabelul de mai sus.
3. Calculați/căutați independent: rulați vehiculul independent de AI; compara rezultatul.
4. Dacă există o abatere, opriți: Dacă valorile nu se potrivesc, nu continuați fără a investiga care dintre ele este corectă.
5. Lăsați-vă amprenta: înregistrați ce ați verificat și cum (integritate științifică).
6. Specificați incertitudinea: marcați ceva care nu poate fi verificat ca „neconfirmat”, nu îl ascundeți.

Patru șabloane copiabile

1) Autoverificare:

Tocmai ați dat următoarea ieșire: [OUTPUT]. Sarcină: Enumerați fiecare afirmație numerică/factuală a acestei rezultate pe o linie separată. Pentru fiecare afirmație: „cum să o verific în mod independent?” metoda de scriere (care instrument/bază de date). NU PRETENȚI că afirmația este adevărată; dă doar o modalitate de a verifica.

2) Controlul triangulației:

Vreau să verific greutatea următoarei molecule în trei moduri: [Zâmbește]. Sarcină: 1) Deduceți formula moleculară.2) Arătați calculul greutății moleculare atom cu atom (contribuția fiecărui element).Notă: o voi calcula și în RDKit și, în al treilea rând, o voi compara cu cea oferită de dvs. Dacă cele trei nu se suprapun, avertizează.

3) Marcarea ambiguității:

Există mai multe afirmații faptice în următorul text:[TEXT] Sarcină: puneți o etichetă de nivel de încredere lângă fiecare revendicare: [VERIFICAT] / [VERIFICAT] / [NECERT]. Nu marcați nimic [VERIFICAT] dacă nu sunteți sigur.

4) Interogare încrucișată de consistență:

Voi pune aceeași întrebare în două moduri diferite; Vezi dacă răspunsurile tale sunt consistente. Întrebarea A: Care este formula moleculară a compusului

Prompt slab / Prompt puternic

slab:

Notați tot ce știți despre acest compus.

AI amestecă fără discernământ informații verificabile și fabricate; Nu este clar care dintre ele este reală.

Puternic:

Furnizați informații despre acest compus, dar etichetați fiecare revendicare ca: [DETERMINISTIC - verificat prin instrument] de ex. formula moleculară,[EXPERIMENTAL - este necesară citarea] de ex. punctul de topire,[NECERT - nu sunt sigur].Nu scrieți nicio afirmație fără etichetă.

Diferență: Am forțat AI să-și marcheze propria incertitudine; Am făcut munca de verificare planificabilă.

Integritate științifică: onestitate și trasabilitate

Verificarea nu este doar un pas tehnic, este o problemă etică. Integritatea științifică necesită:

• Transparență: nu ascunde că folosești AI; Specificați conform politicii dvs. de publicare/raport.
• Trasabilitate: Înregistrați ce ieșire a venit din AI și cum a fost verificată.
• Integritatea datelor: „Îmbunătățirea” rezultatelor cu AI, eliminarea valorii aberante fără justificare este o fraudă.
• Responsabilitate: Sunteți responsabil pentru rezultatul final; „AI a spus așa” nu este o scuză.

Sfat: Acceptați de la început că nu puteți folosi niciodată expresia „AI a spus așa” într-un raport sau apărare. Această acceptare aduce automat obiceiul de a verifica fiecare rezultat.

mini carcase

Cazul 1 – Triangulația a surprins o eroare. Un student a verificat o greutate moleculară în trei moduri: YZ a spus 178,2, calculul manual a dat 180,16, RDKit a dat 180,16. Două căi independente s-au suprapus și au eliminat AI. Lecție: două verificări independente înfrâng în tăcere o ieșire falsă.

Cazul 2 — Limbă sigură, informații greșite. AI a scris cu mare încredere că o reacție „se desfășoară spontan la temperatura camerei”. Literatura de specialitate a arătat că acest lucru necesită încălzire și catalizator. Studentul a avut încredere în sursă, nu în limbajul sigur. Lecție: fluența nu înseamnă acuratețe.

Cazul 3 – Obținerea transparenței. În secțiunea de metodă a lucrării sale, un cercetător a declarat clar în ce pași a folosit AI (editarea textului, redactarea codului) și a scris că a verificat în mod independent toate rezultatele numerice. Procesul arbitral a decurs fără probleme. Lecție: transparența creează încredere, ascunderea creează riscuri.

Greșeli comune

• Având încredere în limbajul sigur. Tonul încrezător al AI nu este un indiciu al acurateței.
• Bazându-se pe o singură sursă. Acceptarea unei singure ieșiri fără triangulare.
• Nu separă tipul de ieșire. Gândindu-mă că am „verificat” numărul, atribuirea și afirmația de securitate cu aceeași metodă.
• Ascunderea incertitudinii. Raportarea unui lucru care nu poate fi verificat ca și cum ar fi sigur.
• Ascunderea utilizării AI. Lipsa transparenței subminează integritatea științifică.
• Delegarea responsabilitatii. Scuza „AI a spus așa” este invalidă; Responsabilitatea revine persoanei.

Pe scurt

• Halucinația este inerentă modelului de limbaj; Soluția este de a construi un shell de validare în jurul fiecărei ieșiri.
• Fiecare tip de ieșire are propria sa metodă de verificare; clasifică rezultatul și folosește instrumentul adecvat.
• Triangulația (două căi independente) este cel mai puternic control; Nu aveți încredere într-o singură sursă.
• Fluența și limbajul încrezător nu sunt legate de acuratețe.
• Integritatea științifică necesită transparență, trasabilitate, integritatea datelor și responsabilitate umană.

Sarcina de aplicare

Produceți în mod intenționat o varietate de rezultate într-o sesiune AI: o greutate moleculară, o referință, o constantă fizică, o revendicare de securitate, un calcul numeric. Verificați fiecare independent cu metoda corectă (vezi tabelul). Încearcă să prinzi cel puțin o halucinație. Apoi pregătiți o „matrice de validare”: ieșiri de rânduri, coloane (valoare AI / valoare independentă / s-a suprapus / cum am verificat-o). Cum ați raporta această sesiune din punct de vedere al integrității științifice?

lista de verificare

• [ ] Înțeleg de ce halucinațiile sunt inevitabile.
• [ ] Clasific fiecare ieșire în funcție de tipul său și o verific cu metoda corespunzătoare.
• [ ] Fac triangulare (două căi independente) pe valori critice.
• [ ] Am încredere în sursă, nu în limbajul sigur.
• [ ] Marcez ceea ce nu poate fi confirmat drept „incert”.
• [ ] Sunt transparent în utilizarea AI și mă consider responsabil pentru rezultat.