Tasdiqlash, gallyutsinatsiya va ilmiy yaxlitlik

Daromadlar:

• Gallyutsinatsiya til modeliga xos ekanligini tushunish va har bir chiqish turi uchun tegishli tekshirish usulini tanlash qobiliyati.
• Triangulyatsiya yordamida tanqidiy qiymatlarni ikkita mustaqil usulda tekshiring va ravonlikni aniqlik bilan aralashtirib yubormang
• Ilmiy yaxlitlikning asosi sifatida shaffoflik, kuzatuvchanlik, ma'lumotlar yaxlitligi va inson mas'uliyatini qo'llash qobiliyati

Ushbu modul davomida qayta-qayta takrorlangan bitta ibora: "AI ishlab chiqaradi, odamlar tekshiradi." Ushbu birlikda biz bu gapni tizimga aylantiramiz. Maqsad, AIning eng xavfli xatti-harakati bo'lgan gallyutsinatsiyani (ishonchli tilda noto'g'ri / uydirma ma'lumot ishlab chiqarish) tan olish, har bir mahsulot turi uchun aniq tekshirish usulini o'rnatish va bularning barchasini ilmiy yaxlitlik (halollik, shaffoflik, kuzatuvchanlik) doirasida joylashtirishdir. Kimyoda tasdiqlanmagan AI chiqishi shunchaki xato emas; Bu tajriba portlashi, odamning zaharlanishi yoki qog'ozni tortib olishi mumkin.

Nima uchun gallyutsinatsiya muqarrar?

Katta til modeli "keyingi eng ehtimol so'z" ni ishlab chiqaradi; U haqiqatga emas, balki mumkin bo'lgan narsaga intiladi. Shunday qilib, u molekulyar og'irlikni, DOIni yoki qaynash nuqtasini "oqilona ko'rinadigan" qiymat bilan to'ldirishi mumkin - bu haqiqiy yoki yo'qligini tekshirmasdan. Gallyutsinatsiya noto'g'ri ishlash emas, balki ushbu texnologiyaning tabiatining natijasidir. Yechim modelni "tuzatishga urinish" emas, balki har bir chiqish atrofida tasdiqlash qobig'ini qurishdir.

Gallyutsinatsiyaning eng makkor tomoni uning ishonchli tilidir. Noto'g'ri molekulyar og'irlik to'g'ri bilan bir xil ishonch bilan taqdim etiladi. Shunday qilib, "ishonchli ko'rinadi" hech qachon "to'g'ri" degani emas.

Diqqat: AIning mavzu bo'yicha qanchalik ravon va ishonchli gapirishi ushbu ma'lumotlarning to'g'riligiga bog'liq emas. Ravonlik ishontiradi; Faqat mustaqil manba aniqlikni aniqlaydi.

Kimyoda chiqish turi bo'yicha tekshirish

Har bir chiqish turi o'zining tekshirish usuliga ega. Bitta qoidani yodlash o'rniga, chiqish uchun mos vositadan foydalaning:

Chiqish turi

Tasdiqlash usuli

avtomobil

Molekulyar og'irlik, formula

Formuladan qayta hisoblang

RDKit / qo'lda

SMILELAR/tuzilma

Tahrirlash + kanoniklashtirish

RDKit

Iqtibos/DOI

Ma'lumotlar bazasida hal qilish

doi.org, Crossref

Fizik doimiy (kn, pKa)

Ma'lumot bazasi

PubChem, qo'llanma

raqamli hisoblash

Kodni yozish + ishga tushirish

Python

reaktsiya / holat

Adabiyotni tasdiqlash

Reaxys, maqola

xavfsizlik da'vosi

SDS/GHS

Rasmiy SDS

Spektrni tayinlash

Ko'p texnik + inson

Eksperimental spektr

Ushbu jadval aslida ushbu modulning qisqacha mazmuni: har bir birlik bitta qatordan iborat.

Triangulyatsiya: uchta mustaqil yo'l

Tekshirishning eng kuchli usuli bu "uchburchak": bir xil xulosaga uchta mustaqil usulda kelish. Masalan, molekulyar og'irlik uchun: (1) YZ nima deydi, (2) RDKit hisobi, (3) formuladan qo'lda hisoblash. Agar uchtasi bir-biriga mos kelsa, ishonch yuqori bo'ladi; Agar kimdir adashgan bo'lsa, to'xtating va tekshirib ko'ring. Hech qachon kimyoda bitta manbaga tayanmang; Kamida ikkita mustaqil yo'lni qidiring.

Bosqichma-bosqich: ish jarayonini tekshirish

1. Chiqishni tasniflang: bu raqam, tuzilma, atribut, xavfsizlikni tasdiqlashmi?
2. Tegishli vositani tanlang: Yuqoridagi jadvaldan chiqish turi uchun mos tekshirish yo'lini oling.
3. Mustaqil ravishda hisoblang/qidiring: transport vositasini AIdan mustaqil ravishda boshqaring; natijani solishtiring.
4. Agar og'ish bo'lsa, to'xtating: Agar qiymatlar mos kelmasa, qaysi biri to'g'ri ekanligini tekshirmasdan davom etmang.
5. Belgilaringizni qoldiring: nimani va qanday qilib tasdiqlaganingizni yozib oling (ilmiy yaxlitlik).
6. Noaniqlikni belgilang: Tekshirib bo'lmaydigan narsani "tasdiqlanmagan" deb belgilang, uni yashirmang.

To'rt nusxa ko'chirish shablonlari

1) O'z-o'zini tekshirish:

Siz hozirgina quyidagi natijani berdingiz: [OUTPUT]. Vazifa: Ushbu chiqishning har bir raqamli/faktik tasdiqini alohida qatorda ko'rsating. Har bir tasdiq uchun: "uni mustaqil ravishda qanday tekshirish mumkin?" yozish usuli (qaysi vosita/ma'lumotlar bazasi). Da'voning to'g'ri ekanligiga DAVO QILMANG; faqat uni tekshirish uchun yo'l bering.

2) Triangulyatsiya nazorati:

Men quyidagi molekulaning vaznini uchta usulda tekshirmoqchiman: [KULMAYISh].Vazifa: 1) Molekulyar formulani chiqaring.2) Molekulyar og‘irlikni hisoblash atomini atom bo‘yicha ko‘rsating (har bir elementning hissasi).Izoh: Men uni RDKitda ham hisoblab chiqaman va uchinchidan siz bergan molekula bilan solishtiraman. Agar uchtasi bir-biriga mos kelmasa, ogohlantiring.

3) noaniqlik belgisi:

Quyidagi matnda bir nechta faktik daʼvolar mavjud:[TEXT]Vazifa: Har bir daʼvo yoniga ishonch darajasi yorligʻini qoʻying:[TASHQIRILANGAN] / [TASHKILLANGAN] / [NOMAQLI]. Ishonchingiz komil boʻlmasa, hech narsani [TASHKORLANGAN] deb belgilamang.

4) Mustahkamlik o‘zaro so‘rovi:

Men bir xil savolni ikki xil usulda beraman; Javoblaringiz mos keladimi yoki yo'qligini tekshiring. Savol A: Murakkabning molekulyar formulasi nima?

Zaif taklif / Kuchli taklif

Zaif:

Ushbu birikma haqida bilgan hamma narsani yozing.

AI tekshirilishi mumkin bo'lgan va uydirilgan ma'lumotlarni befarq aralashtiradi; Qaysi biri haqiqiy ekanligi noma'lum.

Kuchli:

Ushbu birikma haqida ma'lumot bering, lekin har bir da'voni quyidagicha belgilang:[ANQARLASH - asbob bilan tasdiqlangan], masalan. molekulyar formula,[EXPERIMENTAL - iqtibos kerak], masalan. erish nuqtasi,[NOANLIQ - ishonchim komil emas]. Belgilanmagan da'volarni yozmang.

Farq: biz AIni o'z noaniqligini belgilashga majbur qildik; Biz tekshirish ishlarini rejalashtirilgan qilib qo'ydik.

Ilmiy yaxlitlik: halollik va kuzatuvchanlik

Tasdiqlash shunchaki texnik qadam emas, bu axloqiy masala. Ilmiy yaxlitlik quyidagilarni talab qiladi:

• Shaffoflik: AIdan foydalanayotganingizni yashirmang; Nashr/hisobot siyosatingizga muvofiq belgilang.
• Kuzatish mumkinligi: AIdan qanday chiqish kelganligini va u qanday tekshirilganligini yozib oling.
• Ma'lumotlarning yaxlitligi: AI yordamida natijalarni "chiroylash", asossiz ko'rsatkichlardan voz kechish firibgarlikdir.
• Mas'uliyat: Siz yakuniy natija uchun javobgarsiz; "AI shunday dedi" - bu bahona emas.

Maslahat: Hisobotda yoki himoyada hech qachon "AI shunday dedi" iborasini ishlata olmasligingizni boshidanoq qabul qiling. Ushbu qabul avtomatik ravishda har bir chiqishni tekshirish odatini keltirib chiqaradi.

mini holatlar

1-holat - Triangulyatsiya xatosi aniqlandi. Talaba molekulyar og'irlikni uchta usulda tekshirdi: YZ 178,2, qo'lda hisoblash 180,16, RDKit 180,16. Ikkita mustaqil yo'l bir-birining ustiga chiqdi va AIni yo'q qildi. Dars: ikkita mustaqil tekshirish bitta noto'g'ri natijani jimgina yo'q qiladi.

2-holat - xavfsiz til, noto'g'ri ma'lumot. AI reaktsiya "xona haroratida o'z-o'zidan ishlaydi" deb juda ishonch bilan yozgan. Adabiyot shuni ko'rsatdiki, bu isitish va katalizatorni talab qiladi. Talaba xavfsiz tilga emas, manbaga ishondi. Dars: ravonlik aniqlik emas.

3-holat - oshkoralikka erishildi. Bir tadqiqotchi o'z ishining metod bo'limida AIning qaysi bosqichlarida (matnni tahrirlash, kod yaratish) foydalanganligini aniq ko'rsatib berdi va barcha raqamli natijalarni mustaqil ravishda tekshirganligini yozdi. Hakamlar jarayoni muammosiz o'tdi. Dars: oshkoralik ishonchni mustahkamlaydi, yashirish esa xavf tug'diradi.

Umumiy xatolar

• Xavfsiz tilga ishonish. AIning ishonchli ohangi aniqlik belgisi emas.
• Bitta manbaga tayanish. Triangulyatsiyasiz bitta chiqishni qabul qilish.
• Chiqish turini ajratmaslik. Raqam, atribut va xavfsizlik tasdiqini xuddi shu usul bilan "tekshirganman" deb o'ylayman.
• Noaniqlikni yashirish. Tasdiqlab bo'lmaydigan narsani aniq bo'lganidek xabar qilish.
• AIdan foydalanishni yashirish. Shaffoflikning yo'qligi ilmiy yaxlitlikka putur etkazadi.
• Mas'uliyatni topshirish. “AI shunday dedi” bahonasi yaroqsiz; Mas'uliyat insonning o'zida.

Xulosa

• Gallyutsinatsiya til modeliga xosdir; Yechim har bir chiqish atrofida tekshirish qobig'ini yaratishdir.
• Har bir chiqish turi o'z tekshirish usuliga ega; chiqishni tasniflash va tegishli vositadan foydalanish.
• Triangulyatsiya (ikkita mustaqil yo'l) eng kuchli nazoratdir; Bitta manbaga ishonmang.
• Ravon va ishonchli til aniqlik bilan bog'liq emas.
• Ilmiy yaxlitlik shaffoflik, kuzatuvchanlik, ma'lumotlar yaxlitligi va inson mas'uliyatini talab qiladi.

Ilova vazifasi

AI sessiyasida ataylab turli xil natijalarni ishlab chiqaring: molekulyar og'irlik, ma'lumotnoma, jismoniy doimiylik, xavfsizlik da'vosi, raqamli hisoblash. To'g'ri usul bilan har birini mustaqil ravishda tekshiring (jadvalga qarang). Kamida bitta gallyutsinatsiyani ushlashga harakat qiling. Keyin "tasdiqlash matritsasi" ni tayyorlang: satrlar chiqishlari, ustunlar (AI qiymati / mustaqil qiymat / u bir-biriga mos keldimi / buni qanday tasdiqladim). Ilmiy yaxlitlik nuqtai nazaridan ushbu sessiya haqida qanday hisobot bergan bo'lardingiz?

nazorat ro'yxati

• [ ] Nima uchun gallyutsinatsiya muqarrar ekanligini tushunaman.
• [ ] Men har bir chiqishni turiga qarab tasniflayman va tegishli usul bilan tekshiraman.
• [ ] Men tanqidiy qiymatlar bo'yicha triangulyatsiya (ikkita mustaqil yo'l) qilaman.
• [ ] Men xavfsiz tilga emas, manbaga ishonaman.
• [ ] Tasdiqlab bo'lmaydigan narsani "noaniq" deb belgilayman.
• [ ] Men sun'iy intellektdan foydalanishda shaffofman va natija uchun o'zimni javobgarman.