Kasu:
- Oskus mõista, et hallutsinatsioonid on omane keelemudelile ja valida iga väljunditüübi jaoks sobiv kontrollimeetod.
- Kontrollige kriitilisi väärtusi kahel sõltumatul viisil triangulatsiooni abil ja ärge ajage sujuvust täpsusega segamini
- Oskus rakendada teadusliku terviklikkuse alusena läbipaistvust, jälgitavust, andmete terviklikkust ja inimvastutust
Selle mooduli jooksul tuli ikka ja jälle tagasi üks fraas: "AI toodab, inimesed kontrollivad." Selles üksuses muudame selle lause süsteemiks. Eesmärk on ära tunda hallutsinatsioonid (vale/väljamõeldud teabe esitamine enesekindla keelega), mis on tehisintellekti kõige ohtlikum käitumine, luua igat tüüpi väljundi jaoks konkreetne kontrollimeetod ja asetada see kõik teadusliku terviklikkuse (ausus, läbipaistvus, jälgitavus) raamidesse. Kontrollimata tehisintellekti väljund keemias ei ole lihtsalt viga; See võib olla plahvatuskatse, inimese mürgitamine või paberi sissetõmbamine.
Miks on hallutsinatsioonid vältimatud?
Suur keelemudel toodab "järgmise kõige tõenäolisema sõna"; Selle eesmärk on see, mis on võimalik, mitte see, mis on tõsi. Seega saab ta sisestada molekulmassi, DOI või keemistemperatuuri väärtusega, mis tundub olevat mõistlik – kontrollimata, kas see on tõeline. Hallutsinatsioonid ei ole rike, vaid selle tehnoloogia olemuse tagajärg. Lahendus ei ole mudeli "parandamine", vaid iga väljundi ümber valideerimiskesta ehitamine.
Hallutsinatsiooni kõige salakavalam külg on selle enesekindel keel. Vale molekulmass esitatakse täpselt sama usaldusväärsusega kui õige molekulmass. Nii et "näeb välja enesekindel" ei tähenda kunagi "õige".
Tähelepanu: see, kui ladus ja enesekindel tehisintellekt mingil teemal räägib, ei ole seotud selle teabe täpsusega. Sujuvus veenab; Ainult sõltumatu allikas määrab täpsuse.
Valideerimine väljundi tüübi järgi keemias
Igal väljunditüübil on oma kontrollimeetod. Ühe reegli meeldejätmise asemel kasutage väljundi jaoks sobivat tööriista:
Väljundi tüüp
Kontrollimise meetod
sõidukit
Molekulmass, valem
Arvuta valemist ümber
RDKit / käsitsi
NAERATAD / struktuur
Parsimine + kanoniseeri
RDKit
Tsitaat/DOI
Lahenda andmebaasis
doi.org, Crossref
Füüsikaline konstant (kn, pKa)
Viide andmebaas
PubChem, käsiraamat
numbriline arvutus
Kirjutage + käivitage kood
Python
reaktsioon/seisund
Kirjanduse kinnitus
Reaxys, artikkel
tagatisnõue
SDS/GHS
Ametlik SDS
Spektri määramine
Multitehniline + inimene
Eksperimentaalne spekter
See tabel on tegelikult selle mooduli kokkuvõte: iga üksus on üks rida.
Triangulatsioon: kolm sõltumatut rada
Kõige võimsam kontrollitehnika on "triangulatsioon": samale järeldusele jõudmine kolmel sõltumatul viisil. Näiteks molekulmassi jaoks: (1) mida ütleb YZ, (2) RDKiti arvutus, (3) käsitsi arvutamine valemist. Kui need kolm kattuvad, on usaldus kõrge; Kui keegi eksib, peatuge ja uurige. Ärge kunagi tuginege keemia ühele allikale; Otsige vähemalt kahte sõltumatut teed.
Samm-sammult: kinnitamise töövoog
- Klassifitseerige väljund: kas see on arv, struktuur, omistamine, turvaväide?
- Valige sobiv tööriist: hankige ülaltoodud tabelist väljunditüübile sobiv kinnitustee.
- Arvutage/otsige iseseisvalt: käivitage sõiduk tehisintellektist sõltumatult; võrrelda tulemust.
- Kui esineb kõrvalekalle, lõpetage: kui väärtused ei ühti, ärge jätkake ilma, et uuriksite, milline neist on õige.
- Jäta endast märk: pange kirja, mida ja kuidas kontrollisite (teaduslik usaldusväärsus).
- Täpsustage ebakindlus: märkige midagi, mida ei saa kinnitada, kui "kinnitamata", ärge peitke seda.
Neli kopeeritavat malli
1) Enesekontroll:
Andsite just järgmise väljundi: [OUTPUT]. Ülesanne: loetlege selle väljundi kõik arvulised/faktilised väited eraldi real. Iga väite kohta: "kuidas seda iseseisvalt kontrollida?" kirjutamismeetod (mis tööriist/andmebaas). ÄRGE VÄIDA, et väide vastab tõele; lihtsalt andke võimalus seda kontrollida.
2) Triangulatsiooni juhtimine:
Soovin kontrollida järgmise molekuli kaalu kolmel viisil: [NAERATAD].Ülesanne: 1) tuletage molekulaarvalem.2) Näidake molekulmassi arvutamise aatomite kaupa (iga elemendi panus).Märkus: arvutan selle ka RDKitis ja kolmandaks võrdlen seda teie antud molekuliga. Kui need kolm ei kattu, hoiatage.
3) Ebaselguse märgistus:
Järgmises tekstis on mitu faktilist väidet:[TEKST]Ülesanne: lisage iga väite juurde usaldustaseme silt:[KINNITATUD] / [KINNITATUD] / [EI KINDLAKS].Ärge märkige midagi [KINNITATUD], kui te pole kindel.
4) Järjepidevuse ristpäring:
Esitan sama küsimuse kahel erineval viisil; Vaadake, kas teie vastused on järjepidevad. Küsimus A: Mis on ühendi molekulvalem
Nõrk viip / Tugev viip
Nõrk:
Kirjutage üles kõik, mida teate selle ühendi kohta.
AI segab valimatult kontrollitavat ja väljamõeldud teavet; On ebaselge, milline neist on tõeline.
Tugev:
Esitage teave selle ühendi kohta, kuid märgistage iga väide järgmiselt:[DETERMINISTILINE – kontrollitud instrumendiga] nt. molekulaarvalem,[EKSPERIMENTAALNE – vaja tsiteerida] nt. sulamistemperatuur,[EI KINDEL – pole kindel].Ärge kirjutage ühtegi märgistamata väidet.
Erinevus: sundisime AI-d märkima oma ebakindlust; Tegime taatlustöö planeeritavaks.
Teaduslik ausus: ausus ja jälgitavus
Kontrollimine ei ole ainult tehniline samm, see on eetiline küsimus. Teaduslik terviklikkus nõuab:
- Läbipaistvus: ärge varjake, et kasutate tehisintellekti; Täpsustage vastavalt oma avaldamis-/aruandepoliitikale.
- Jälgitavus: salvestage tehisintellekti väljund ja kuidas seda kontrolliti.
- Andmete terviklikkus: tehisintellektiga tulemuste „kaunistamine”, kõrvalekallete põhjendamata kõrvalejätmine on pettus.
- Vastutus: vastutate lõpptulemuse eest; "AI ütles nii" ei ole vabandus.
Näpunäide: nõustuge algusest peale, et te ei saa kunagi aruandes või kaitses kasutada fraasi "AI-d ütles nii". See aktsepteerimine toob automaatselt kaasa harjumuse kontrollida iga väljundit.
mini korpused
Juhtum 1 – triangulatsioonil tekkis viga. Õpilane kontrollis molekulmassi kolmel viisil: YZ ütles 178,2, käsitsi arvutamine andis 180,16, RDKit andis 180,16. Kaks sõltumatut teed kattusid ja kõrvaldasid AI. Õppetund: kaks sõltumatut kontrolli alistavad vaikselt ühe valeväljundi.
2. juhtum – turvaline keel, vale teave. Tehisintellekt kirjutas väga enesekindlalt, et reaktsioon "töötab toatemperatuuril spontaanselt". Kirjandus näitas, et see nõuab kuumutamist ja katalüsaatorit. Õpilane usaldas allikat, mitte turvalist keelt. Õppetund: sujuvus ei ole täpsus.
Juhtum 3 – saavutati läbipaistvus. Oma töö meetodi osas märkis üks teadlane selgelt, millistes etappides ta AI-d kasutas (teksti redigeerimine, koodide koostamine) ja kirjutas, et kontrollis iseseisvalt kõiki arvulisi tulemusi. Kohtuniku protsess kulges sujuvalt. Õppetund: läbipaistvus suurendab usaldust, varjamine tekitab riske.
Levinud vead
- Usaldades turvalist keelt. AI enesekindel toon ei viita täpsusele.
- Tuginedes ühele allikale. Ühe väljundi vastuvõtmine ilma triangulatsioonita.
- Väljundi tüüpi ei eraldata. Mõeldes, et "kontrollisin" numbrit, omistamist ja turvaväidet sama meetodiga.
- Ebakindluse varjamine. Teatamine millestki, mida ei saa kontrollida, nagu oleks see kindel.
- AI kasutamise peitmine. Läbipaistvuse puudumine õõnestab teaduslikku terviklikkust.
- Vastutuse delegeerimine. Vabandus "AI ütles nii" on kehtetu; Vastutus lasub inimesel.
Kokkuvõttes
- Hallutsinatsioonid on keelemudelile omane; Lahendus on ehitada iga väljundi ümber valideerimiskest.
- Igal väljunditüübil on oma kontrollimeetod; klassifitseerige väljund ja kasutage sobivat tööriista.
- Triangulatsioon (kaks sõltumatut rada) on tugevaim kontroll; Ärge usaldage ühte allikat.
- Sujuvus ja enesekindel keeleoskus ei ole seotud täpsusega.
- Teaduslik terviklikkus nõuab läbipaistvust, jälgitavust, andmete terviklikkust ja inimvastutust.
Rakenduse ülesanne
Tehke tehisintellekti seansi jooksul tahtlikult mitmesuguseid väljundeid: molekulmass, viide, füüsikaline konstant, turvanõue, arvuline arvutus. Kontrollige igaüks iseseisvalt õige meetodiga (vt tabelit). Proovige tabada vähemalt üks hallutsinatsioon. Seejärel valmistage ette "valideerimismaatriks": ridade väljundid, veerud (AI väärtus / sõltumatu väärtus / kas see kattus / kuidas ma seda kontrollisin). Kuidas te sellest istungist teadusliku terviklikkuse seisukohalt aru annaksite?
kontrollnimekiri
- [ ] Ma saan aru, miks hallutsinatsioonid on vältimatud.
- [ ] Klassifitseerin iga väljundi tüübi järgi ja kontrollin sobiva meetodiga.
- [ ] Teen triangulatsiooni (kaks sõltumatut rada) kriitilistel väärtustel.
- [ ] Ma usaldan allikat, mitte turvalist keelt.
- [ ] Selle, mida ei saa kinnitada, märgin "ebakindlaks".
- [ ] Olen tehisintellekti kasutamisel läbipaistev ja pean end tulemuse eest vastutama.