Mga nadagdag:
- Kakayahang maunawaan na ang hallucination ay likas sa modelo ng wika at piliin ang naaangkop na paraan ng pag-verify para sa bawat uri ng output.
- I-verify ang mga kritikal na halaga sa dalawang independiyenteng paraan gamit ang triangulation at huwag malito ang katatasan sa katumpakan
- Kakayahang ilapat ang transparency, traceability, integridad ng data at responsibilidad ng tao bilang batayan ng integridad ng siyensya
Isang parirala ang paulit-ulit na bumalik sa buong modyul na ito: "Ang AI ay gumagawa, ang mga tao ay nagpapatunay." Sa yunit na ito, ginagawa nating sistema ang pangungusap na iyon. Ang layunin ay kilalanin ang guni-guni (paggawa ng maling/fabricated na impormasyon na may kumpiyansa na wika), na siyang pinaka-mapanganib na pag-uugali ng AI, upang magtatag ng isang kongkretong paraan ng pag-verify para sa bawat uri ng output, at ilagay ang lahat ng ito sa loob ng balangkas ng siyentipikong integridad (katapatan, transparency, traceability). Ang isang hindi na-verify na output ng AI sa chemistry ay hindi lamang isang pagkakamali; Ito ay maaaring isang eksperimento na sumasabog, isang taong nalason, o isang papel na binawi.
Bakit hindi maiiwasan ang hallucination?
Ang malaking modelo ng wika ay gumagawa ng "susunod na pinaka-malamang na salita"; Nilalayon nito kung ano ang posible, hindi kung ano ang totoo. Kaya maaari niyang punan ang isang molecular weight, isang DOI, o isang boiling point na may halaga na "tila makatwiran" — nang hindi tinitingnan kung ito ay totoo. Ang guni-guni ay hindi isang malfunction, ngunit isang kinahinatnan ng likas na katangian ng teknolohiyang ito. Ang solusyon ay hindi ang "subukang ayusin" ang modelo, ngunit upang bumuo ng isang validation shell sa paligid ng bawat output.
Ang pinaka mapanlinlang na aspeto ng guni-guni ay ang tiwala nitong wika. Ang isang maling molekular na timbang ay ipinakita na may eksaktong parehong kumpiyansa bilang isang tama. Kaya ang "mukhang tiwala" ay hindi nangangahulugang "tama."
Pansin: Kung gaano katas at kumpiyansa ang AI ay nagsasalita sa isang paksa ay hindi nauugnay sa katumpakan ng impormasyong iyon. Nakakumbinsi ang katatasan; Tanging ang independiyenteng pinagmulan lamang ang tumutukoy sa katumpakan.
Pagpapatunay ayon sa uri ng output sa kimika
Ang bawat uri ng output ay may sariling paraan ng pag-verify. Sa halip na isaulo ang isang panuntunan, gamitin ang naaangkop na tool para sa output:
Uri ng output
Paraan ng pagpapatunay
sasakyan
Molekular na timbang, formula
Muling kalkulahin mula sa formula
RDKit / mano-mano
NGITI/istruktura
I-parse + i-canonicalize
RDKit
Sipi/DOI
Lutasin sa database
doi.org, Crossref
Pisikal na pare-pareho (kn, pKa)
Database ng sanggunian
PubChem, handbook
pagkalkula ng numero
Sumulat + magpatakbo ng code
sawa
reaksyon/kondisyon
Pagkumpirma ng panitikan
Reaxys, artikulo
paghahabol sa seguridad
SDS/GHS
Opisyal na SDS
pagtatalaga ng spectrum
Multi-teknikal + tao
Eksperimental na spectrum
Ang talahanayang ito ay talagang buod ng modyul na ito: ang bawat yunit ay isang hilera.
Triangulation: tatlong malayang landas
Ang pinakamakapangyarihang pamamaraan ng pag-verify ay "triangulation": pagdating sa parehong konklusyon sa tatlong independiyenteng paraan. Halimbawa, para sa isang molekular na timbang: (1) kung ano ang sinasabi ng YZ, (2) pagkalkula ng RDKit, (3) pagkalkula sa pamamagitan ng kamay mula sa formula. Kung magkakapatong ang tatlo, mataas ang tiwala; Kung may naliligaw, huminto at mag-imbestiga. Huwag umasa sa iisang pinagmulan sa kimika; Maghanap ng hindi bababa sa dalawang malayang landas.
Hakbang-hakbang: daloy ng trabaho sa pag-verify
- I-classify ang output: Ito ba ay isang numero, istraktura, attribution, security assertion?
- Pumili ng naaangkop na tool: Kunin ang naaangkop na landas sa pag-verify para sa uri ng output mula sa talahanayan sa itaas.
- Magkalkula/maghanap nang nakapag-iisa: Patakbuhin ang sasakyan nang hiwalay sa AI; ihambing ang resulta.
- Kung mayroong isang paglihis, huminto: Kung ang mga halaga ay hindi tumutugma, huwag magpatuloy nang hindi sinisiyasat kung alin ang tama.
- Iwanan ang iyong marka: Itala kung ano ang iyong na-verify at kung paano (siyentipikong integridad).
- Tukuyin ang kawalan ng katiyakan: Markahan ang isang bagay na hindi ma-verify bilang "hindi kumpirmado", huwag itong itago.
Apat na maaaring kopyahin na mga template
1) Self-verify:
Ibinigay mo lang ang sumusunod na output: [OUTPUT]. Gawain: Ilista ang bawat numerical/factual assertion ng output na ito sa isang hiwalay na linya. Para sa bawat assertion: "paano ito independiyenteng i-verify?" paraan ng pagsulat (aling tool/database). HUWAG I-ANGKIN na ang pag-aangkin ay totoo; bigyan lang ng paraan para ma-verify ito.
2) Triangulation control:
Gusto kong suriin ang bigat ng sumusunod na molekula sa tatlong paraan: [NAKAngiti].Gawain: 1) Kunin ang molecular formula.2) Ipakita ang molecular weight calculation atom sa pamamagitan ng atom (kontribusyon ng bawat elemento).Tandaan: Kakalkulahin ko rin ito sa RDKit at pangatlo ikumpara ito sa ibinigay mo. Kung hindi magkapatong ang tatlo, magbabala.
3) Pagmarka ng kalabuan:
Mayroong maraming makatotohanang claim sa sumusunod na text:[TEXT]Gawain: Maglagay ng label sa antas ng kumpiyansa sa tabi ng bawat claim:[VERIFIED] / [VERIFIED] / [UNCERTAIN].Huwag markahan ang anumang bagay na [VERIFIED] kung hindi ka sigurado.
4) Consistency cross query:
Magtatanong ako ng parehong tanong sa dalawang magkaibang paraan; Tingnan kung pare-pareho ang iyong mga sagot. Tanong A: Ano ang molecular formula ng compound
Mahinang prompt / Malakas na prompt
mahina:
Isulat ang lahat ng nalalaman mo tungkol sa tambalang ito.
Ang AI ay walang pinipiling paghahalo ng nabe-verify at gawa-gawang impormasyon; Hindi malinaw kung alin ang totoo.
malakas:
Magbigay ng impormasyon tungkol sa tambalang ito, ngunit lagyan ng label ang bawat claim bilang:[DETERMINISTIC - na-verify ng instrumento] hal. molecular formula,[EXPERIMENTAL - kailangan ng pagsipi] hal. punto ng pagkatunaw,[UNCERTAIN - hindi sigurado].Huwag magsulat ng anumang walang label na claim.
Pagkakaiba: Pinilit namin ang AI na markahan ang sarili nitong kawalan ng katiyakan; Ginawa naming plannable ang pag-verify.
Siyentipikong integridad: katapatan at traceability
Ang pag-verify ay hindi lamang isang teknikal na hakbang, ito ay isang etikal na isyu. Ang integridad ng siyensya ay nangangailangan ng:
- Transparency: Huwag itago na gumagamit ka ng AI; Tukuyin ayon sa iyong patakaran sa publikasyon/ulat.
- Traceability: Itala kung anong output ang nagmula sa AI at kung paano ito na-verify.
- Integridad ng data: Ang mga resulta ng "pagpapaganda" sa AI, ang pagtatapon ng mga outlier nang walang katwiran ay panloloko.
- Responsibilidad: Ikaw ang may pananagutan para sa huling resulta; "Sinabi ng AI" ay hindi isang dahilan.
Tip: Tanggapin mula sa simula na hindi mo magagamit ang pariralang "Sinabi ng AI" sa isang ulat o pagtatanggol. Ang pagtanggap na ito ay awtomatikong nagdadala ng ugali ng pag-verify ng bawat output.
maliit na kaso
Case 1 — Nagkaroon ng error ang Triangulation. Sinuri ng isang estudyante ang isang molekular na timbang sa tatlong paraan: Sinabi ng YZ na 178.2, ang manu-manong pagkalkula ay nagbigay ng 180.16, ang RDKit ay nagbigay ng 180.16. Dalawang independyenteng landas ang nag-overlap at inalis ang AI. Aralin: dalawang independiyenteng pag-verify ang tahimik na tinalo ang isang maling output.
Kaso 2 — Ligtas na wika, maling impormasyon. Sumulat si AI nang may kumpiyansa na ang isang reaksyon ay "kusang tumatakbo sa temperatura ng silid." Ipinakita ng panitikan na nangangailangan ito ng pag-init at katalista. Nagtiwala ang estudyante sa pinagmulan, hindi sa ligtas na wika. Aralin: ang katatasan ay hindi kawastuhan.
Case 3 — Nagkamit ng transparency. Sa seksyon ng pamamaraan ng kanyang papel, malinaw na sinabi ng isang mananaliksik kung aling mga hakbang ang ginamit niya sa AI (pag-edit ng teksto, pag-draft ng code) at isinulat na independyente niyang na-verify ang lahat ng mga resulta ng numero. Naging maayos ang proseso ng referee. Aral: ang transparency ay bumubuo ng tiwala, ang pagtatago ay lumilikha ng panganib.
Mga karaniwang pagkakamali
- Pagtitiwala sa ligtas na wika. Ang kumpiyansa na tono ng AI ay hindi isang indikasyon ng katumpakan.
- Umaasa sa iisang pinagmulan. Pagtanggap ng isang output nang walang triangulation.
- Hindi pinaghihiwalay ang uri ng output. Sa pag-iisip na "sinuri" ko ang numero, pagpapatungkol, at paninindigan sa seguridad sa parehong paraan.
- Itinatago ang kawalan ng katiyakan. Pag-uulat ng isang bagay na hindi ma-verify na parang tiyak.
- Itinatago ang paggamit ng AI. Ang kakulangan ng transparency ay sumisira sa integridad ng siyensya.
- Pagdelegasyon ng responsibilidad. Ang "sabi ng AI" na dahilan ay hindi wasto; Ang responsibilidad ay nasa tao.
Sa buod
- Ang halucination ay likas sa modelo ng wika; Ang solusyon ay ang bumuo ng validation shell sa paligid ng bawat output.
- Ang bawat uri ng output ay may sariling paraan ng pag-verify; uriin ang output at gamitin ang angkop na kasangkapan.
- Triangulation (dalawang independiyenteng landas) ang pinakamalakas na kontrol; Huwag magtiwala sa iisang source.
- Ang katatasan at kumpiyansa na wika ay hindi nauugnay sa katumpakan.
- Ang integridad ng siyentipiko ay nangangailangan ng transparency, traceability, integridad ng data at responsibilidad ng tao.
Gawain ng aplikasyon
Sinasadyang gumawa ng iba't ibang mga output sa isang session ng AI: isang molekular na timbang, isang reference, isang pisikal na pare-pareho, isang claim sa seguridad, isang pagkalkula ng numero. I-verify ang bawat isa nang nakapag-iisa gamit ang tamang pamamaraan (tingnan ang talahanayan). Subukang mahuli ang hindi bababa sa isang guni-guni. Pagkatapos ay maghanda ng "validation matrix": rows outputs, columns (AI value / independent value / nag-overlap ba ito / paano ko ito na-verify). Paano mo iuulat ang sesyon na ito sa mga tuntunin ng siyentipikong integridad?
checklist
- [ ] Naiintindihan ko kung bakit hindi maiiwasan ang hallucination.
- [ ] Inuuri ko ang bawat output ayon sa uri nito at bini-verify ito gamit ang naaangkop na pamamaraan.
- [ ] Ginagawa ko ang triangulation (dalawang independiyenteng landas) sa mga kritikal na halaga.
- [ ] Nagtitiwala ako sa pinagmulan, hindi sa ligtas na wika.
- [ ] Minarkahan ko ang hindi makumpirma bilang "hindi sigurado".
- [ ] Malinaw ako sa aking paggamit ng AI at pinananagot ko ang aking sarili para sa kinalabasan.