Staðfesting, ofskynjanir og vísindaleg heilindi

Hagnaður:

• Geta til að skilja að ofskynjanir eru eðlislægar í tungumálalíkaninu og velja viðeigandi sannprófunaraðferð fyrir hverja tegund úttaks.
• Staðfestu mikilvæg gildi á tvo óháða vegu með þríhyrningi og ekki rugla saman málkunnáttu og nákvæmni
• Hæfni til að beita gagnsæi, rekjanleika, gagnaheilleika og mannlegri ábyrgð sem grundvelli vísindalegrar heiðarleika

Ein setning kom aftur og aftur í gegnum þessa einingu: „AI framleiðir, menn sannreyna. Í þessari einingu breytum við þeirri setningu í kerfi. Markmiðið er að viðurkenna ofskynjanir (framleiða rangar/tilbúnar upplýsingar með öruggu tungumáli), sem er hættulegasta hegðun gervigreindar, að koma á áþreifanlegri sannprófunaraðferð fyrir hverja tegund framleiðslu og setja allt þetta innan ramma vísindalegrar heiðarleika (heiðarleika, gagnsæi, rekjanleika). Óstaðfest gervigreind framleiðsla í efnafræði er ekki bara mistök; Það gæti verið tilraun sem sprakk, eitrað fyrir manneskju eða pappír dreginn til baka.

Hvers vegna eru ofskynjanir óumflýjanlegar?

Stóra mállíkanið framleiðir „næst líklegasta orðið“; Það miðar að því sem er mögulegt, ekki því sem er satt. Þannig að hann getur fyllt út mólmassa, DOI eða suðumark með gildi sem „virðist sanngjarnt“ - án þess að athuga hvort það sé raunverulegt. Ofskynjanir eru ekki bilun, heldur afleiðing af eðli þessarar tækni. Lausnin er ekki að "reyna að laga" líkanið, heldur að byggja löggildingarskel utan um hverja útkomu.

Skaðlegasti þátturinn í ofskynjunum er öruggt tungumál hennar. Röng mólþyngd er sett fram með nákvæmlega sama öryggi og rétt. Þannig að "lítur sjálfstraust út" þýðir aldrei "rétt".

Athygli: Hversu reiprennandi og öruggur gervigreindin talar um efni tengist ekki nákvæmni þessara upplýsinga. Flutningur sannfærir; Aðeins óháð heimild ræður nákvæmni.

Löggilding eftir framleiðslutegund í efnafræði

Hver úttakstegund hefur sína eigin sannprófunaraðferð. Í stað þess að leggja á minnið eina reglu skaltu nota viðeigandi tól fyrir úttakið:

Úttakstegund

Staðfestingaraðferð

farartæki

Mólþyngd, formúla

Endurreikna út frá formúlu

RDKit / handvirkt

BROS/uppbygging

Parse + canonicalize

RDKit

Tilvitnun/DOI

Leysa í gagnagrunni

doi.org, Crossref

Eðlisfasti (kn, pKa)

Tilvísunargagnagrunnur

PubChem, handbók

tölulegur útreikningur

Skrifaðu+keyra kóða

Python

viðbrögð/ástand

Staðfesting bókmennta

Reaxys, grein

tryggingarkröfu

SDS/GHS

Opinber SDS

Litrófsverkefni

Fjöltæknilegt + mannlegt

Tilraunaróf

Þessi tafla er í raun samantekt á þessari einingu: hver eining er ein röð.

Þríhyrningur: þrjár sjálfstæðar leiðir

Öflugasta sannprófunartæknin er „triangulation“: að komast að sömu niðurstöðu á þrjá sjálfstæða vegu. Til dæmis, fyrir mólmassa: (1) það sem YZ segir, (2) útreikningur RDKit, (3) útreikningur með höndunum út frá formúlunni. Ef þessir þrír skarast er traustið mikið; Ef einhver er að villast skaltu hætta og rannsaka málið. Aldrei treysta á eina heimild í efnafræði; Leitaðu að að minnsta kosti tveimur sjálfstæðum leiðum.

Skref fyrir skref: verkflæði sannprófunar

1. Flokkaðu úttakið: Er það tala, uppbygging, eignarhlutur, öryggisfullyrðing?
2. Veldu viðeigandi tól: Fáðu viðeigandi staðfestingarslóð fyrir framleiðslugerðina úr töflunni hér að ofan.
3. Reiknaðu/leitaðu sjálfstætt: Keyrðu ökutækið óháð gervigreindinni; bera saman niðurstöðuna.
4. Ef það er frávik skaltu hætta: Ef gildin passa ekki skaltu ekki halda áfram án þess að kanna hvert þeirra er rétt.
5. Skildu eftir mark þitt: Skráðu hvað þú staðfestir og hvernig (vísindaleg heiðarleiki).
6. Tilgreindu óvissu: Merktu eitthvað sem ekki er hægt að staðfesta sem „óstaðfest“, ekki fela það.

Fjögur afritanleg sniðmát

1) Sjálfsstaðfesting:

Þú gafst bara eftirfarandi úttak: [OUTPUT]. Verkefni: Skráðu hverja tölulega/staðreynda fullyrðingu um þessa útkomu á sérstakri línu. Fyrir hverja fullyrðingu: "hvernig á að sannreyna það sjálfstætt?" skrifa aðferð (hvaða tól/gagnagrunnur). EKKI halda því fram að fullyrðingin sé sönn; gefðu bara leið til að sannreyna það.

2) Þríhyrningsstýring:

Mig langar að athuga þyngd eftirfarandi sameindar á þrjá vegu: [BROSIÐ].Verkefni: 1) Leiddu af sameindarformúlunni.2) Sýndu sameindarútreikning atóm fyrir atóm (framlag hvers frumefnis).Athugið: Ég mun einnig reikna það í RDKit og í þriðja lagi bera það saman við það sem þú gafst upp. Ef þessir þrír skarast ekki skaltu vara við.

3) Tvíræðni merking:

Það eru margar staðreyndafullyrðingar í eftirfarandi texta:[TEXT]Verkefni: Settu öryggisstigsmerki við hverja fullyrðingu:[STAÐFÖRÐ] / [STAÐFÖRÐ] / [ÓVISS]. Ekki merkja neitt [staðfest] ef þú ert ekki viss.

4) Samræmi kross fyrirspurn:

Ég mun spyrja sömu spurningarinnar á tvo mismunandi vegu; Athugaðu hvort svör þín séu samkvæm. Spurning A: Hver er sameindaformúla efnasambands

Veik kvaðning / Sterk kvaðning

Veik:

Skrifaðu niður allt sem þú veist um þetta efnasamband.

AI blandar saman sannanlegum og tilbúnum upplýsingum án mismununar; Óljóst er hver þeirra er raunverulegur.

Sterkur:

Gefðu upplýsingar um þetta efnasamband, en merktu hverja fullyrðingu sem:[ÁKVÆÐI - staðfest með tæki] t.d. sameindaformúla,[ TILRAUNA - tilvitnun þarf] t.d. bræðslumark,[ÓVISS - ekki viss].Ekki skrifa neinar ómerktar fullyrðingar.

Mismunur: Við neyddum gervigreindina til að merkja sína eigin óvissu; Við gerðum sannprófunarvinnuna skipulaganlega.

Vísindaleg heiðarleiki: heiðarleiki og rekjanleiki

Staðfesting er ekki bara tæknilegt skref, það er siðferðilegt mál. Vísindaleg heiðarleiki krefst:

• Gagnsæi: Ekki fela að þú sért að nota gervigreind; Tilgreindu samkvæmt stefnu þinni um útgáfu/skýrslu.
• Rekjanleiki: Skráðu hvaða framleiðsla kom frá gervigreindinni og hvernig það var staðfest.
• Gagnaheilleiki: „Að fegra“ niðurstöður með gervigreind, að fleygja frávikum án rökstuðnings er svik.
• Ábyrgð: Þú berð ábyrgð á endanlegri niðurstöðu; „Sjágreinin sagði það“ er ekki afsökun.

Ábending: Samþykktu frá upphafi að þú getur aldrei notað setninguna „Gigreindin sagði það“ í skýrslu eða vörn. Þessi samþykki færir sjálfkrafa þann vana að sannreyna hvert framlag.

smámál

Tilvik 1 - Þríhyrningur náði villu. Nemandi athugaði mólþyngd á þrjá vegu: YZ sagði 178,2, handvirkur útreikningur gaf 180,16, RDKit gaf 180,16. Tvær sjálfstæðar leiðir skarast og útrýma gervigreind. Lexía: tvær óháðar sannprófanir vinna þegjandi á einni rangri útkomu.

Mál 2 — Öruggt tungumál, rangar upplýsingar. AI skrifaði mjög öruggt að viðbrögð „keppa sjálfkrafa við stofuhita“. Bókmenntir sýndu að þetta krafðist upphitunar og hvata. Nemandinn treysti upprunanum, ekki hinu örugga tungumáli. Lærdómur: mælsku er ekki nákvæmni.

Mál 3 - Gagnsæi. Í aðferðahluta greinar sinnar sagði einn rannsakandi skýrt í hvaða skrefum hann notaði gervigreind (textaklippingu, kóðagerð) og skrifaði að hann staðfesti sjálfstætt allar tölulegar niðurstöður. Dómaraferlið gekk snurðulaust fyrir sig. Lærdómur: gagnsæi byggir upp traust, leyndarmál skapar áhættu.

Algeng mistök

• Að treysta hinu örugga tungumáli. Öruggur tónn gervigreindarinnar er ekki vísbending um nákvæmni.
• Að treysta á eina heimild. Samþykkja eina úttak án þríhyrninga.
• Ekki aðgreina framleiðslutegundina. Hélt að ég hefði „athugað“ númerið, eignunina og öryggisfullyrðinguna með sömu aðferð.
• Að fela óvissu. Að tilkynna eitthvað sem ekki er hægt að sannreyna eins og það sé víst.
• Að fela notkun gervigreindar. Skortur á gagnsæi grefur undan vísindalegum heilindum.
• Framselja ábyrgð. "AI sagði það" afsökunin er ógild; Ábyrgðin er hjá viðkomandi.

Í stuttu máli

• Ofskynjanir eru eðlislægar í mállíkaninu; Lausnin er að byggja löggildingarskel utan um hverja framleiðslu.
• Hver úttakstegund hefur sína eigin sannprófunaraðferð; flokka úttakið og nota viðeigandi tól.
• Þríhyrningur (tvær sjálfstæðar leiðir) er sterkasta stjórnin; Ekki treysta einni heimild.
• Fljótandi og öruggt tungumál tengist ekki nákvæmni.
• Vísindaleg heiðarleiki krefst gagnsæis, rekjanleika, gagnaheilleika og mannlegrar ábyrgðar.

Umsóknarverkefni

Framleiða viljandi margs konar úttak í gervigreindarlotu: mólþyngd, tilvísun, eðlisfasta, öryggiskröfu, tölulegan útreikning. Staðfestu hvern fyrir sig með réttri aðferð (sjá töflu). Reyndu að grípa að minnsta kosti eina ofskynjun. Undirbúðu síðan "fullgildingarfylki": raðir úttak, dálkar (AI gildi / óháð gildi / skarast það / hvernig sannreyndi ég það). Hvernig myndir þú tilkynna þennan fund með tilliti til vísindalegrar heiðarleika?

gátlisti

• [ ] Ég skil hvers vegna ofskynjanir eru óumflýjanlegar.
• [ ] Ég flokka hvert framlag eftir tegund og sannreyna það með viðeigandi aðferð.
• [ ] Ég geri þríhyrning (tvær sjálfstæðar leiðir) á mikilvægum gildum.
• [ ] Ég treysti upprunanum, ekki hinu örugga tungumáli.
• [ ] Ég merki það sem ekki er hægt að staðfesta sem "óvíst".
• [ ] Ég er gagnsæ í notkun minni á gervigreind og geri sjálfa mig ábyrgan fyrir niðurstöðunni.