Voitot:
- Kyky ymmärtää, että hallusinaatiot ovat luontaisia kielimallissa ja valita sopiva varmennusmenetelmä kullekin tulostetyypille.
- Tarkista kriittiset arvot kahdella riippumattomalla tavalla kolmiomittauksella äläkä sekoita sujuvuutta tarkkuuteen
- Kyky soveltaa läpinäkyvyyttä, jäljitettävyyttä, tietojen eheyttä ja inhimillistä vastuuta tieteellisen eheyden perustana
Yksi lause palasi kerta toisensa jälkeen koko tässä moduulissa: "Tekoäly tuottaa, ihmiset varmistavat." Tässä yksikössä muutamme tämän lauseen järjestelmäksi. Tavoitteena on tunnistaa hallusinaatiot (väärän/kehitetyn tiedon tuottaminen luottavalla kielellä), joka on tekoälyn vaarallisin käyttäytyminen, luoda konkreettinen varmennusmenetelmä jokaiselle tulostyypille ja sijoittaa nämä kaikki tieteellisen eheyden (rehellisyys, läpinäkyvyys, jäljitettävyys) kehykseen. Vahvistamaton tekoälytulos kemiassa ei ole vain virhe; Se voi olla räjähdyskoe, myrkytys tai paperin vetäminen sisään.
Miksi hallusinaatiot ovat väistämättömiä?
Suuri kielimalli tuottaa "seuraavan todennäköisimmän sanan"; Se tähtää siihen, mikä on mahdollista, ei siihen, mikä on totta. Joten hän voi täyttää molekyylipainon, DOI:n tai kiehumispisteen arvolla, joka "näyttää kohtuulliselta" - tarkistamatta, onko se todellinen. Hallusinaatio ei ole toimintahäiriö, vaan seuraus tämän tekniikan luonteesta. Ratkaisu ei ole "yrittää korjata" mallia, vaan rakentaa validointikuori jokaisen tulosteen ympärille.
Hallusinaatioiden salakavalin puoli on sen itsevarma kieli. Väärä molekyylipaino esitetään täsmälleen samalla varmuudella kuin oikea. Joten "näyttää itsevarmalta" ei koskaan tarkoita "oikeaa".
Huomio: Se, kuinka sujuvasti ja luottavaisesti tekoäly puhuu aiheesta, ei liity tiedon tarkkuuteen. Sujuvuus vakuuttaa; Vain riippumaton lähde määrittää tarkkuuden.
Validointi tulostyypin mukaan kemiassa
Jokaisella tulostetyypillä on oma vahvistusmenetelmänsä. Sen sijaan, että opettelisit ulkoa yhden säännön, käytä tulostukseen sopivaa työkalua:
Lähtötyyppi
Varmistusmenetelmä
ajoneuvoa
Molekyylipaino, kaava
Laske uudelleen kaavasta
RDKit / manuaalisesti
Hymyt/rakenne
Jäsennä + kanonisoi
RDKit
Lainaus/DOI
Ratkaise tietokannassa
doi.org, Crossref
Fysikaalinen vakio (kn, pKa)
Viitetietokanta
PubChem, käsikirja
numeerinen laskelma
Kirjoita + suorita koodi
Python
reaktio/tila
Kirjallisuuden vahvistus
Reaxys, artikkeli
vakuusvaatimus
SDS/GHS
Virallinen SDS
Taajuusmääräys
Monitekninen + ihminen
Kokeellinen spektri
Tämä taulukko on itse asiassa tämän moduulin yhteenveto: jokainen yksikkö on yksi rivi.
Triangulaatio: kolme itsenäistä polkua
Tehokkain varmennustekniikka on "kolmiointi": samaan johtopäätökseen pääseminen kolmella riippumattomalla tavalla. Esimerkiksi molekyylipainolle: (1) mitä YZ sanoo, (2) RDKitin laskenta, (3) laskenta käsin kaavasta. Jos nämä kolme ovat päällekkäisiä, luottamus on korkea; Jos joku harhailee, pysähdy ja tutki. Älä koskaan luota yhteen kemian lähteeseen; Etsi vähintään kaksi itsenäistä polkua.
Vaihe vaiheelta: vahvistuksen työnkulku
- Luokittele tulos: Onko se numero, rakenne, attribuutio, turvallisuusväite?
- Valitse sopiva työkalu: Hanki oikea vahvistuspolku tulostyypille yllä olevasta taulukosta.
- Laske/hae itsenäisesti: Aja ajoneuvoa tekoälystä riippumatta; vertaa tulosta.
- Jos on poikkeama, lopeta: Jos arvot eivät täsmää, älä jatka tutkimatta kumpi on oikea.
- Jätä jälkesi: Kirjoita muistiin, mitä olet vahvistanut ja miten (tieteellinen rehellisyys).
- Määritä epävarmuus: Merkitse jokin, jota ei voida vahvistaa, "vahvistamattomaksi", älä piilota sitä.
Neljä kopioitavaa mallia
1) Itsevarmennus:
Annoit juuri seuraavan lähdön: [OUTPUT]. Tehtävä: Listaa jokainen tämän tulosteen numeerinen/faktuaalinen väite erilliselle riville. Jokaiselle väitteelle: "miten se voi tarkistaa itsenäisesti?" kirjoitusmenetelmä (mikä työkalu/tietokanta). ÄLÄ VÄITTÄ, että väite on totta; anna vain tapa varmistaa se.
2) Kolmiosäätö:
Haluan tarkistaa seuraavan molekyylin painon kolmella tavalla: [HYMIÄ]. Tehtävä: 1) Johda molekyylikaava.2) Näytä molekyylipainon laskelma atomi atomeittain (kunkin alkuaineen osuus).Huomaa: Lasken sen myös RDKitissä ja kolmanneksi vertaan sitä antamaasi. Jos nämä kolme eivät mene päällekkäin, varoita.
3) Epäselvyysmerkintä:
Seuraavassa tekstissä on useita tosiseikkoja koskevia väitteitä:[TEKSTI]Tehtävä: Laita jokaisen väitteen viereen luottamustason tunniste:[VAHVISTETTU] / [VAHVISTETTU] / [EIVARMA].Älä merkitse mitään [VAHVISTETTU], jos et ole varma.
4) Johdonmukaisuuden ristiinkysely:
Esitän saman kysymyksen kahdella eri tavalla; Katso, ovatko vastauksesi johdonmukaisia. Kysymys A: Mikä on yhdisteen molekyylikaava
Heikko kehote / Vahva kehote
Heikko:
Kirjoita ylös kaikki, mitä tiedät tästä yhdisteestä.
AI sekoittaa umpimähkäisesti todennettavissa olevaa ja keksittyä tietoa; On epäselvää, kumpi on todellinen.
Vahva:
Anna tiedot tästä yhdisteestä, mutta merkitse jokainen väite seuraavasti: [DETERMINISTINEN - välineen varmentanut] esim. molekyylikaava, [KOKEELLINEN - lainaus vaaditaan] esim. sulamispiste,[EPÄVARMA - ei varma].Älä kirjoita merkitsemättömiä väitteitä.
Ero: pakotimme tekoälyn merkitsemään oman epävarmuutensa; Teimme varmistustyöstä suunniteltavaa.
Tieteellinen rehellisyys: rehellisyys ja jäljitettävyys
Todentaminen ei ole vain tekninen vaihe, se on eettinen kysymys. Tieteellinen rehellisyys edellyttää:
- Läpinäkyvyys: Älä piilota, että käytät tekoälyä; Määritä julkaisu-/raporttikäytäntösi mukaisesti.
- Jäljitettävyys: Tallenna, mitä tekoälystä tuli ja miten se varmistettiin.
- Tietojen eheys: Tulosten "kaunistaminen" tekoälyllä, poikkeamien hylkääminen ilman perusteita on petosta.
- Vastuu: Olet vastuussa lopputuloksesta; "Tekoäly sanoi niin" ei ole tekosyy.
Vinkki: Hyväksy alusta alkaen, että et voi koskaan käyttää ilmausta "AI sanoi niin" raportissa tai puolustuksessa. Tämä hyväksyntä tuo automaattisesti tavan tarkistaa jokainen tulos.
minikotelot
Tapaus 1 – Triangulaatiossa tapahtui virhe. Opiskelija tarkisti molekyylipainon kolmella tavalla: YZ sanoi 178,2, manuaalinen laskelma antoi 180,16, RDKit antoi 180,16. Kaksi itsenäistä polkua meni päällekkäin ja eliminoi tekoälyn. Oppitunti: kaksi riippumatonta vahvistusta kumoaa hiljaa yhden väärän tulosteen.
Tapaus 2 – Turvallinen kieli, väärät tiedot. AI kirjoitti erittäin luottavaisesti, että reaktio "suorii spontaanisti huoneenlämpötilassa". Kirjallisuus osoitti, että tämä vaati kuumennusta ja katalyyttiä. Opiskelija luotti lähteeseen, ei turvalliseen kieleen. Oppitunti: sujuvuus ei ole tarkkuutta.
Tapaus 3 – Avoimuus lisääntyi. Eräs tutkija kertoi artikkelinsa menetelmäosiossa selvästi, missä vaiheissa hän käytti tekoälyä (tekstin muokkaus, koodin laatiminen) ja kirjoitti, että hän varmisti itsenäisesti kaikki numeeriset tulokset. Tuomariprosessi sujui mutkattomasti. Oppitunti: läpinäkyvyys rakentaa luottamusta, salailu luo riskiä.
Yleisiä virheitä
- Turvalliseen kieleen luottaminen. Tekoälyn varma ääni ei ole osoitus tarkkuudesta.
- Yhteen lähteeseen luottaen. Yhden lähdön hyväksyminen ilman kolmiota.
- Tulostyyppiä ei eroteta. Ajattelin, että "tarkastin" numeron, nimen ja suojausvahvistuksen samalla menetelmällä.
- Epävarmuuden piilottaminen. Ilmoita asiasta, jota ei voida vahvistaa, ikään kuin se olisi varmaa.
- Tekoälyn käytön piilottaminen. Avoimuuden puute heikentää tieteellistä rehellisyyttä.
- Vastuun delegointi. Tekoäly "AI sanoi niin" on virheellinen; Vastuu on ihmisellä.
Yhteenvetona
- Hallusinaatiot kuuluvat kielimalliin; Ratkaisu on rakentaa validointikuori kunkin lähdön ympärille.
- Jokaisella tulostetyypillä on oma vahvistusmenetelmänsä; Luokittele tulos ja käytä sopivaa työkalua.
- Triangulaatio (kaksi itsenäistä polkua) on vahvin ohjaus; Älä luota yhteen lähteeseen.
- Sujuvuus ja itsevarma kieli eivät liity tarkkuuteen.
- Tieteellinen eheys edellyttää läpinäkyvyyttä, jäljitettävyyttä, tietojen eheyttä ja inhimillistä vastuuta.
Sovellustehtävä
Tuota tarkoituksella erilaisia lähtöjä tekoäly-istunnossa: molekyylipaino, viite, fyysinen vakio, turvallisuusvaatimus, numeerinen laskelma. Tarkista jokainen erikseen oikealla menetelmällä (katso taulukko). Yritä saada kiinni ainakin yksi hallusinaatio. Valmistele sitten "validointimatriisi": rivit ulostulot, sarakkeet (AI-arvo / riippumaton arvo / menikö se päällekkäin / kuinka varmistin sen). Miten raportoisit tästä istunnosta tieteellisen eheyden kannalta?
tarkistuslista
- [ ] Ymmärrän, miksi hallusinaatiot ovat väistämättömiä.
- [ ] Luokittelen jokaisen tuotoksen tyypin mukaan ja tarkistan sen sopivalla menetelmällä.
- [ ] Teen triangulaatiota (kaksi itsenäistä polkua) kriittisillä arvoilla.
- [ ] Luotan lähteeseen, en turvalliseen kieleen.
- [ ] Merkitsen "epävarmaksi" sen, mitä ei voida vahvistaa.
- [ ] Olen avoin tekoälyn käytössä ja pidän itseäni vastuussa lopputuloksesta.