Unità 10 / 11

Konferma, Alluċinazzjoni, u Integrità Xjentifika

Qligħ:

  • Kapaċità li tifhem li l-alluċinazzjoni hija inerenti fil-mudell tal-lingwa u tagħżel il-metodu ta 'verifika xieraq għal kull tip ta' output.
  • Ivverifika l-valuri kritiċi b'żewġ modi indipendenti bi trijangulazzjoni u tħawwadx il-ħeffa u l-eżattezza
  • Kapaċità li tapplika t-trasparenza, it-traċċabilità, l-integrità tad-dejta u r-responsabbiltà umana bħala l-bażi tal-integrità xjentifika

Frażi waħda reġgħet lura għal darb'oħra matul dan il-modulu: "L-AI tipproduċi, il-bnedmin jivverifikaw." F'din l-unità, inbiddlu dik is-sentenza f'sistema. L-għan huwa li tiġi rikonoxxuta l-alluċinazzjoni (il-produzzjoni ta' informazzjoni falza/fabbrikata b'lingwaġġ kunfidenti), li hija l-aktar imġieba perikoluża tal-IA, li jiġi stabbilit metodu ta' verifika konkret għal kull tip ta' output, u li dawn kollha jitqiegħdu fil-qafas tal-integrità xjentifika (onestà, trasparenza, traċċabilità). Output AI mhux verifikat fil-kimika mhuwiex biss żball; Jista 'jkun esperiment li jisplodi, persuna li tiġi vvelenata, jew karta li tiġi rtirata.

Għaliex l-alluċinazzjoni hija inevitabbli?

Il-mudell tal-lingwa kbira jipproduċi l-"kelma l-aktar probabbli li jmiss"; Timmira lejn dak li hu possibbli, mhux dak li hu veru. Allura jista 'jimla piż molekulari, DOI, jew punt tat-togħlija b'valur li "jidher raġonevoli" - mingħajr ma jiċċekkja jekk huwiex reali. L-alluċinazzjoni mhix malfunzjoni, iżda konsegwenza tan-natura ta 'din it-teknoloġija. Is-soluzzjoni mhix li "tipprova tiffissa" il-mudell, iżda li tinbena qoxra ta 'validazzjoni madwar kull output.

L-aktar aspett insidjuż tal-alluċinazzjoni huwa l-lingwa kunfidenti tagħha. Piż molekulari mhux korrett huwa ppreżentat bl-istess kunfidenza bħal wieħed korrett. Allura "tidher kunfidenti" qatt ma tfisser "korretta."

Attenzjoni: Kemm titkellem fluwenti u kunfidenti l-AI dwar suġġett mhijiex relatata mal-eżattezza ta’ dik l-informazzjoni. Il-ħeffa tikkonvinċi; Is-sors indipendenti biss jiddetermina l-eżattezza.

Validazzjoni skond it-tip ta' output fil-kimika

Kull tip ta 'output għandu l-metodu ta' verifika tiegħu stess. Minflok ma timmemorizza regola waħda, uża l-għodda xierqa għall-output:

Tip ta 'output

Metodu ta' verifika

vettura

Piż molekulari, formula

Ikkalkula mill-ġdid mill-formula

RDKit / manwalment

Tbissim/struttura

Parse + canonicalize

RDKit

Ċitazzjoni/DOI

Issolvi fid-database

doi.org, Crossref

Kostanti fiżika (kn, pKa)

Database ta' referenza

PubChem, manwal

kalkolu numeriku

Ikteb + run kodiċi

Python

reazzjoni/kundizzjoni

Konferma tal-letteratura

Reaxys, artikolu

talba ta' sigurtà

SDS/GHS

SDS uffiċjali

Assenjazzjoni tal-ispettru

Multi-tekniku + uman

Spettru sperimentali

Din it-tabella hija fil-fatt sommarju ta' dan il-modulu: kull unità hija ringiela waħda.

Trijangulazzjoni: tliet mogħdijiet indipendenti

L-aktar teknika ta 'verifika qawwija hija "trijangulazzjoni": tasal għall-istess konklużjoni fi tliet modi indipendenti. Per eżempju, għal piż molekulari: (1) dak li jgħid YZ, (2) kalkolu ta 'RDKit, (3) kalkolu bl-idejn mill-formula. Jekk it-tlieta jikkoinċidu, il-fiduċja hija għolja; Jekk xi ħadd qed jitbiegħed, waqqaf u investiga. Qatt toqgħod fuq sors wieħed fil-kimika; Fittex għall-inqas żewġ mogħdijiet indipendenti.

Pass pass: fluss tax-xogħol tal-verifika

  1. Ikklassifika l-output: Huwa numru, struttura, attribuzzjoni, asserzjoni tas-sigurtà?
  2. Agħżel l-għodda xierqa: Ikseb il-mogħdija ta 'verifika xierqa għat-tip ta' output mit-tabella ta 'hawn fuq.
  3. Ikkalkula/tfittex b'mod indipendenti: Mexxi l-vettura indipendentement mill-AI; qabbel ir-riżultat.
  4. Jekk ikun hemm devjazzjoni, waqqaf: Jekk il-valuri ma jaqblux, tipproċedix mingħajr ma tinvestiga liema waħda hija korretta.
  5. Ħalli l-marka tiegħek: Irreġistra dak li vverifikajt u kif (integrità xjentifika).
  6. Speċifika l-inċertezza: Immarka xi ħaġa li ma tistax tiġi vverifikata bħala "mhux ikkonfermata", taħbihiex.

Erba' mudelli li jistgħu jiġu kkupjati

1) Awtoverifika:

Inti biss tajt l-output li ġej: [OUTPUT]. Kompitu: Elenka kull affermazzjoni numerika/fattwali ta' dan l-output fuq linja separata. Għal kull affermazzjoni: "kif tivverifikaha b'mod indipendenti?" metodu tal-kitba (liema għodda/database). MA TALBA li t-talba hija vera; agħti biss mod biex tivverifikaha.

2) Kontroll tat-trijangulazzjoni:

Irrid niċċekkja l-piż tal-molekula li ġejja fi tliet modi: [SMILES].Kompitu: 1) Idderiva l-formula molekulari.2) Uri l-kalkolu tal-piż molekulari atomu b’atomu (kontribuzzjoni ta’ kull element).Nota: Se nikkalkulaha wkoll f’RDKit u t-tielet inqabbilha ma’ dik li tajt. Jekk it-tlieta ma jikkoinċidux, twissi.

3) Immarkar ta' ambigwità:

Hemm bosta dikjarazzjonijiet fattwali fit-test li ġej:[TEST]Kompitu: Poġġi tikketta tal-livell ta' kunfidenza ħdejn kull talba:[VERIFIKAT] / [VERIFIKAT] / [INĊERTA].Immarka xejn [VERIFIKAT] jekk m'intix ċert.

4) Mistoqsija inkroċjata ta' konsistenza:

Se nagħmel l-istess mistoqsija b’żewġ modi differenti; Ara jekk it-tweġibiet tiegħek humiex konsistenti. Mistoqsija A: X'inhi l-formula molekulari tal-kompost

Pront dgħajjef / Pront qawwi

Dgħajjef:

Ikteb dak kollu li taf dwar dan il-kompost.

L-AI tħallat b'mod indiskriminat informazzjoni verifikabbli u fabbrikata; Mhux ċar liema waħda hija reali.

Qawwija:

Ipprovdi informazzjoni dwar dan il-kompost, iżda ttikkettja kull stqarrija bħala:[DETERMINISTIKA - verifikata bl-istrument] eż. formula molekulari,[SPERIMENTALI - ċitazzjoni meħtieġa] eż. punt tat-tidwib,[INĊERTA - mhux ċert].Tiktebx xi stqarrijiet mingħajr tikketta.

Differenza: Sfurzajna lill-AI timmarka l-inċertezza tagħha stess; Għamilna x-xogħol ta' verifika ppjanabbli.

Integrità xjentifika: onestà u traċċabilità

Il-verifika mhix biss pass tekniku, hija kwistjoni etika. L-integrità xjentifika teħtieġ:

  • Trasparenza: Taħbix li qed tuża AI; Speċifika skont il-politika tal-pubblikazzjoni/rapport tiegħek.
  • Traċċabilità: Irreġistra liema output ġie mill-AI u kif ġie vverifikat.
  • Integrità tad-dejta: "It-tisbiħ" tar-riżultati bl-AI, it-tneħħija tal-outliers mingħajr ġustifikazzjoni hija frodi.
  • Responsabbiltà: Inti responsabbli għar-riżultat finali; "L-AI qalet hekk" mhix skuża.
Tip: Aċċetta mill-bidu li qatt ma tista' tuża l-frażi "L-AI qal hekk" f'rapport jew difiża. Din l-aċċettazzjoni awtomatikament ġġib il-vizzju li tivverifika kull output.

kaxxi żgħar

Każ 1 — It-trijangulazzjoni qabdet żball. Student ikkontrolla piż molekulari tliet modi: YZ qal 178.2, kalkolu manwali ta 180.16, RDKit ta 180.16. Żewġ mogħdijiet indipendenti kkoinċidu u eliminati l-AI. Lezzjoni: żewġ verifiki indipendenti siekta jegħlbu output falz wieħed.

Każ 2 — Lingwajja sikura, informazzjoni żbaljata. AI kiteb b'kunfidenza kbira li reazzjoni "taħdem spontanjament f'temperatura tal-kamra." Il-letteratura wriet li dan kien jeħtieġ tisħin u katalizzatur. L-istudent kien jafda s-sors, mhux il-lingwa sigura. Lezzjoni: il-ħeffa mhix preċiżjoni.

Każ 3 — Kisbet trasparenza. Fit-taqsima tal-metodu tad-dokument tiegħu, riċerkatur wieħed iddikjara b'mod ċar f'liema passi uża l-AI (editjar tat-test, abbozzar tal-kodiċi) u kiteb li ivverifika b'mod indipendenti r-riżultati numeriċi kollha. Il-proċess tar-referee mexa bla xkiel. Lezzjoni: it-trasparenza tibni l-fiduċja, il-ħabi joħloq riskju.

Żbalji komuni

  • Fidu fil-lingwa sigura. It-ton kunfidenti tal-AI mhuwiex indikazzjoni ta 'eżattezza.
  • Jiddependu fuq sors wieħed. Jaċċettaw output wieħed mingħajr trijangulazzjoni.
  • Mhux tissepara t-tip tal-output. Ħsibt li "iċċekkjajt" in-numru, l-attribuzzjoni, u l-affermazzjoni tas-sigurtà bl-istess metodu.
  • Ħabi ta 'inċertezza. Tirrapporta xi ħaġa li ma tistax tiġi vverifikata daqslikieku ċerta.
  • Ħabi tal-użu tal-AI. In-nuqqas ta' trasparenza jimmina l-integrità xjentifika.
  • Id-delega tar-responsabbiltà. L-iskuża "AI said so" hija invalida; Ir-responsabbiltà hija tal-persuna.

Fil-qosor

  • L-alluċinazzjoni hija inerenti fil-mudell tal-lingwa; Is-soluzzjoni hija li tinbena qoxra ta 'validazzjoni madwar kull output.
  • Kull tip ta 'output għandu l-metodu ta' verifika tiegħu stess; tikklassifika l-output u uża l-għodda xierqa.
  • Trijangulazzjoni (żewġ mogħdijiet indipendenti) hija l-aktar kontroll b'saħħtu; M'għandekx fiduċja sors wieħed.
  • Il-ħeffa u l-lingwaġġ kunfidenti mhumiex relatati mal-eżattezza.
  • L-integrità xjentifika teħtieġ trasparenza, traċċabilità, integrità tad-dejta u responsabbiltà umana.

Kompitu ta' applikazzjoni

Ipproduċi intenzjonalment varjetà ta 'outputs f'sessjoni AI: piż molekulari, referenza, kostanti fiżika, pretensjoni ta' sigurtà, kalkolu numeriku. Ivverifika kull wieħed indipendentement bil-metodu korrett (ara t-tabella). Ipprova taqbad mill-inqas alluċinazzjoni waħda. Imbagħad ipprepara "matriċi ta' validazzjoni": ringieli outputs, kolonni (valur AI / valur indipendenti / ikkoinċidet / kif ivverifikajt). Kif tirrapporta din is-sessjoni f'termini ta' integrità xjentifika?

lista ta' kontroll

  • [ ] Nifhem għaliex l-alluċinazzjoni hija inevitabbli.
  • [ ] Jien nikklassifika kull output skont it-tip tiegħu u nivverifikaha bil-metodu xieraq.
  • [ ] Nagħmel trijangulazzjoni (żewġ mogħdijiet indipendenti) fuq valuri kritiċi.
  • [ ] Jien nafda s-sors, mhux il-lingwa sigura.
  • [ ] Nimmarka dak li ma jistax jiġi kkonfermat bħala "inċert".
  • [ ] Jien trasparenti fl-użu tiegħi tal-IA u nżomm ruħi responsabbli għar-riżultat.