Fitimet:
- Aftësia për të kuptuar se halucinacioni është i natyrshëm në modelin gjuhësor dhe për të zgjedhur metodën e duhur të verifikimit për çdo lloj produkti.
- Verifikoni vlerat kritike në dy mënyra të pavarura me trekëndëshim dhe mos ngatërroni rrjedhshmërinë me saktësinë
- Aftësia për të aplikuar transparencën, gjurmueshmërinë, integritetin e të dhënave dhe përgjegjësinë njerëzore si bazë të integritetit shkencor
Një frazë e vetme u kthye vazhdimisht gjatë gjithë këtij moduli: "AI prodhon, njerëzit verifikojnë". Në këtë njësi, ne e kthejmë atë fjali në një sistem. Synimi është njohja e halucinacioneve (prodhimi i informacionit të rremë/fabrikuar me një gjuhë të sigurt), që është sjellja më e rrezikshme e AI, vendosja e një metode konkrete verifikimi për çdo lloj produkti dhe vendosja e të gjitha këtyre në kuadrin e integritetit shkencor (ndershmëria, transparenca, gjurmueshmëria). Një rezultat i paverifikuar i AI në kimi nuk është thjesht një gabim; Mund të jetë një eksperiment duke shpërthyer, një person duke u helmuar ose një letër që tërhiqet.
Pse është i pashmangshëm halucinacioni?
Modeli i madh i gjuhës prodhon "fjalën tjetër më të mundshme"; Ai synon atë që është e mundur, jo atë që është e vërtetë. Pra, ai mund të plotësojë një peshë molekulare, një DOI ose një pikë vlimi me një vlerë që "duket e arsyeshme" - pa kontrolluar nëse është e vërtetë. Halucinacioni nuk është një mosfunksionim, por pasojë e natyrës së kësaj teknologjie. Zgjidhja nuk është të "përpiqesh të rregullosh" modelin, por të ndërtosh një guaskë verifikimi rreth çdo prodhimi.
Aspekti më tinëzar i halucinacionit është gjuha e tij e sigurt. Një peshë molekulare e pasaktë paraqitet saktësisht me të njëjtin besim si ajo e saktë. Pra, "duket i sigurt" nuk do të thotë kurrë "i saktë".
Kujdes: Sa rrjedhshëm dhe i sigurt AI flet për një temë nuk lidhet me saktësinë e atij informacioni. Rrjedhshmëria bind; Vetëm burimi i pavarur e përcakton saktësinë.
Vërtetimi sipas llojit të prodhimit në kimi
Çdo lloj prodhimi ka metodën e vet të verifikimit. Në vend që të mbani mend një rregull të vetëm, përdorni mjetin e duhur për rezultatin:
Lloji i daljes
Mënyra e verifikimit
automjeti
Pesha molekulare, formula
Rillogaritni nga formula
RDKit / me dorë
BUZËQESHJE/strukturë
Analizoj + kanonikizoj
RDKit
Citim/DOI
Zgjidheni në bazën e të dhënave
doi.org, Crossref
Konstanta fizike (kn, pKa)
Referenca e bazës së të dhënave
PubChem, manual
llogaritja numerike
Shkruani + ekzekutoni kodin
Python
reagimi/gjendja
Konfirmimi i literaturës
Reaxys, artikull
pretendim sigurie
SDS/GHS
SDS zyrtare
Caktimi i spektrit
Shumë-teknike + njerëzore
Spektri eksperimental
Kjo tabelë është në fakt një përmbledhje e këtij moduli: çdo njësi është një rresht.
Trekëndëshi: tre shtigje të pavarura
Teknika më e fuqishme e verifikimit është "trekëndëshimi": arritja në të njëjtin përfundim në tre mënyra të pavarura. Për shembull, për një peshë molekulare: (1) çfarë thotë YZ, (2) llogaritja e RDKit, (3) llogaritja me dorë nga formula. Nëse të tre mbivendosen, besimi është i lartë; Nëse dikush është duke humbur, ndaloni dhe hetoni. Asnjëherë mos u mbështetni në një burim të vetëm në kimi; Kërkoni të paktën dy rrugë të pavarura.
Hap pas hapi: rrjedha e punës së verifikimit
- Klasifikoni rezultatin: A është një numër, strukturë, atribut, pohim sigurie?
- Zgjidhni mjetin e duhur: Merrni rrugën e duhur të verifikimit për llojin e daljes nga tabela e mësipërme.
- Llogarit/kërko në mënyrë të pavarur: Drejto automjetin në mënyrë të pavarur nga AI; krahasoni rezultatin.
- Nëse ka një devijim, ndaloni: Nëse vlerat nuk përputhen, mos vazhdoni pa hetuar se cila është e saktë.
- Lëreni shenjën tuaj: Regjistroni çfarë keni verifikuar dhe si (integriteti shkencor).
- Specifikoni pasigurinë: Shënoni diçka që nuk mund të verifikohet si "e pakonfirmuar", mos e fshihni.
Katër shabllone të kopjueshëm
1) Vetë verifikimi:
Sapo dhatë daljen e mëposhtme: [OUTPUT]. Detyrë: Rendisni çdo pohim numerik/faktik të këtij rezultati në një rresht të veçantë. Për çdo pohim: "si ta verifikoni në mënyrë të pavarur?" Metoda e shkrimit (cili mjet/bazë e të dhënave). MOS pretendoni se pretendimi është i vërtetë; thjesht jepni një mënyrë për ta verifikuar atë.
2) Kontrolli i trekëndëshit:
Dua të kontrolloj peshën e molekulës së mëposhtme në tre mënyra: [BUZËQESHJE]. Detyrë: 1) Nxjerr formulën molekulare.2) Trego llogaritjen e peshës molekulare atom për atom (kontributin e secilit element). Shënim: Do ta llogaris edhe në RDKit dhe së treti do ta krahasoj me atë që dhatë. Nëse të tre nuk mbivendosen, paralajmëroni.
3) Shënimi i paqartësisë:
Ka shumë pretendime faktike në tekstin e mëposhtëm:[TEXT]Detyrë: Vendosni një etiketë të nivelit të besimit pranë çdo pretendimi:[VERIFIKUAR] / [VERIFIKUAR] / [E PASQYRTË].Mos shënoni asgjë [VERIFIKUAR] nëse nuk jeni të sigurt.
4) Kërkesa e kryqëzuar e konsistencës:
Unë do të bëj të njëjtën pyetje në dy mënyra të ndryshme; Shihni nëse përgjigjet tuaja janë të qëndrueshme. Pyetja A: Cila është formula molekulare e përbërjes
Prompt i dobët / Prompt i fortë
I dobët:
Shkruani gjithçka që dini për këtë përbërje.
IA përzien pa dallim informacione të verifikueshme dhe të fabrikuara; Është e paqartë se cila është e vërtetë.
E fortë:
Jepni informacion në lidhje me këtë përbërje, por etiketoni çdo pretendim si: [DETERMINISTIK - verifikuar nga instrumenti] p.sh. formula molekulare,[EKSPERIMENTALE - nevojitet citim] p.sh. pika e shkrirjes,[E pasigurt - nuk jam e sigurt]. Mos shkruani pretendime të paetiketuara.
Dallimi: Ne e detyruam AI të shënonte pasigurinë e vet; Ne e bëmë të planifikuar punën e verifikimit.
Integriteti shkencor: ndershmëria dhe gjurmueshmëria
Verifikimi nuk është vetëm një hap teknik, është një çështje etike. Integriteti shkencor kërkon:
- Transparenca: Mos e fshihni se po përdorni AI; Specifikoni sipas politikës suaj të publikimit/raportit.
- Gjurmueshmëria: Regjistroni çfarë rezultati erdhi nga AI dhe si u verifikua.
- Integriteti i të dhënave: "Zbukurimi" i rezultateve me AI, hedhja e të dhënave të pajustifikuara është mashtrim.
- Përgjegjësia: Ju jeni përgjegjës për rezultatin përfundimtar; "AI tha kështu" nuk është një justifikim.
Këshillë: Pranoni që në fillim se nuk mund të përdorni kurrë frazën "AI tha kështu" në një raport ose mbrojtje. Ky pranim sjell automatikisht zakonin e verifikimit të çdo rezultati.
mini raste
Rasti 1 - Trekëndëzimi kapi një gabim. Një student kontrolloi një peshë molekulare në tre mënyra: YZ tha 178.2, llogaritja manuale dha 180.16, RDKit dha 180.16. Dy rrugë të pavarura u mbivendosën dhe eliminuan AI. Mësimi: dy verifikime të pavarura mposhtin në heshtje një dalje false.
Rasti 2 — Gjuhë e sigurt, informacion i gabuar. AI shkroi me shumë besim se një reagim "shkon spontanisht në temperaturën e dhomës". Literatura tregoi se kjo kërkonte ngrohje dhe katalizator. Studenti i besoi burimit, jo gjuhës së sigurt. Mësimi: rrjedhshmëria nuk është saktësi.
Rasti 3 — Fituar transparencë. Në pjesën e metodës së punimit të tij, një studiues deklaroi qartë se në cilat hapa përdori AI (redaktimi i tekstit, hartimi i kodit) dhe shkroi se ai verifikoi në mënyrë të pavarur të gjitha rezultatet numerike. Procesi i arbitrave shkoi pa probleme. Mësimi: transparenca ndërton besimin, fshehja krijon rrezik.
Gabimet e zakonshme
- Besimi në gjuhën e sigurt. Toni i sigurt i AI nuk është një tregues i saktësisë.
- Duke u mbështetur në një burim të vetëm. Pranimi i një prodhimi të vetëm pa trekëndëshim.
- Nuk ndan llojin e daljes. Duke menduar se kam "kontrolluar" numrin, atributin dhe pohimin e sigurisë me të njëjtën metodë.
- Fshehja e pasigurisë. Raportimi i diçkaje që nuk mund të verifikohet sikur të ishte e sigurt.
- Fshehja e përdorimit të AI. Mungesa e transparencës cenon integritetin shkencor.
- Delegimi i përgjegjësisë. Arsyetimi "AI tha kështu" është i pavlefshëm; Përgjegjësia i takon personit.
Në përmbledhje
- Halucinacioni është i natyrshëm në modelin gjuhësor; Zgjidhja është të ndërtohet një guaskë vërtetimi rreth çdo prodhimi.
- Çdo lloj i daljes ka metodën e vet të verifikimit; klasifikoni rezultatin dhe përdorni mjetin e duhur.
- Trekëndëshi (dy shtigje të pavarura) është kontrolli më i fortë; Mos i besoni një burimi të vetëm.
- Rrjedhshmëria dhe gjuha e sigurt nuk lidhen me saktësinë.
- Integriteti shkencor kërkon transparencë, gjurmueshmëri, integritet të të dhënave dhe përgjegjësi njerëzore.
Detyra e aplikimit
Prodhoni qëllimisht një shumëllojshmëri rezultatesh në një seancë AI: një peshë molekulare, një referencë, një konstante fizike, një pretendim sigurie, një llogaritje numerike. Verifikoni secilën në mënyrë të pavarur me metodën e duhur (shih tabelën). Mundohuni të kapni të paktën një halucinacion. Më pas përgatitni një "matricë verifikimi": daljet e rreshtave, kolonat (vlera e AI / vlera e pavarur / a mbivendosen / si e verifikova). Si do ta raportonit këtë sesion për sa i përket integritetit shkencor?
listë kontrolli
- [ ] Unë e kuptoj pse halucinacionet janë të pashmangshme.
- [ ] Klasifikoj çdo prodhim sipas llojit të tij dhe e verifikoj me metodën e duhur.
- [ ] Bëj trekëndëshim (dy shtigje të pavarura) në vlerat kritike.
- [ ] Unë i besoj burimit, jo gjuhës së sigurt.
- [ ] Unë shënoj atë që nuk mund të konfirmohet si "e pasigurt".
- [ ] Unë jam transparent në përdorimin tim të AI dhe mbaj veten përgjegjëse për rezultatin.