Ырастоо, галлюцинация жана илимий бүтүндүк

Пайдалар:

• Галлюцинация тил моделине мүнөздүү экенин түшүнүү жана чыгаруунун ар бир түрү үчүн тиешелүү текшерүү ыкмасын тандоо.
• Критикалык маанилерди эки көзкарандысыз жол менен триангуляция менен текшериңиз жана эркин сүйлөмдү тактык менен чаташтырбаңыз
• Илимий бүтүндүктүн негизи катары ачык-айкындуулукту, байкоо жүргүзүүнү, маалыматтардын бүтүндүгүн жана адамдын жоопкерчилигин колдонуу мүмкүнчүлүгү

Бул модулда бир сөз айкашын кайра-кайра кайталады: "AI өндүрөт, адамдар текшерет." Бул бирдикте биз ал сүйлөмдү системага айландырабыз. Максаты - AIнын эң коркунучтуу жүрүм-туруму болгон галлюцинацияны (ишенимдүү тил менен жалган/ойдон чыгарылган маалыматты чыгаруу) таануу, ар бир чыгарылыш түрү үчүн конкреттүү текшерүү ыкмасын түзүү жана булардын баарын илимий бүтүндүктүн (чынчылдык, ачыктык, байкоо жүргүзүү) алкагында жайгаштыруу. Химиядагы текшерилбеген AI натыйжасы жөн гана ката эмес; Бул жарылган эксперимент, ууланган адам же кагазды алып салуу болушу мүмкүн.

Эмне үчүн галлюцинация сөзсүз болот?

Чоң тил модели "кийинки мүмкүн болгон сөздү" чыгарат; Ал чындыкты эмес, мүмкүн болгон нерсени максат кылат. Ошентип, ал молекулярдык салмакты, DOIди же кайноо температурасын "акылга сыярлык көрүнгөн" маани менен толтура алат - анын чындыгын текшербестен. Галлюцинация – бул бузулуу эмес, бул технологиянын табиятынын кесепети. Чечим моделди "оңдоо үчүн аракет кылуу" эмес, ар бир чыгарылыштын айланасында валидациялоо кабыкчасын куруу.

Галлюцинациянын эң тымызын жагы – анын ишенимдүү тили. Туура эмес бир молекулярдык салмак туурасы менен бирдей ишеним менен көрсөтүлөт. Демек, "ишенимдүү көрүнөт" эч качан "туура" дегенди билдирбейт.

Көңүл буруңуз: AI бир темада канчалык эркин жана ишенимдүү сүйлөөрү ал маалыматтын тактыгына байланыштуу эмес. Акылдуулук ынандырат; Тактыгын көз карандысыз булак гана аныктайт.

Химия боюнча чыгаруу түрү боюнча валидация

Ар бир чыгаруу түрү өзүнүн текшерүү ыкмасына ээ. Бир эрежени жаттап алуунун ордуна, чыгаруу үчүн ылайыктуу куралды колдонуңуз:

Чыгуу түрү

Текшерүү ыкмасы

транспорт

Молекулярдык салмак, формула

Формуладан кайра эсептөө

RDKit / кол менен

SMILES/структура

Талдоо + канонизациялоо

RDKit

Citation/DOI

Маалыматтар базасында чечүү

doi.org, Crossref

Физикалык туруктуу (kn, pKa)

Маалымат базасы

PubChem, колдонмо

сандык эсептөө

Кодду жаз+

Python

реакция/шарт

Адабият ырастоо

Reaxys, макала

коопсуздук дооматы

SDS/GHS

Расмий SDS

Спектрди дайындоо

Көп техникалык + адам

Эксперименталдык спектр

Бул таблица чындыгында бул модулдун корутундусу: ар бир бирдик бир катардан турат.

Triangulation: үч көз карандысыз жол

Эң күчтүү текшерүү ыкмасы "триангуляция": бир эле жыйынтыкка үч көз карандысыз жол менен келүү. Мисалы, молекулярдык салмак үчүн: (1) YZ эмне дейт, (2) RDKitтин эсеби, (3) формуладан кол менен эсептөө. Эгерде үчөө бири-бирине дал келсе, ишеним жогору болот; Кимдир бирөө адашып жатса, токтотуп, териштир. Химияда эч качан бир булакка таянба; Жок дегенде эки көз карандысыз жолду издеңиз.

Кадам кадам: текшерүү иш процесси

1. Чыгарууну классификациялаңыз: Бул сан, структура, атрибуция, коопсуздук ырастообу?
2. Тийиштүү куралды тандаңыз: Жогорудагы таблицадан чыгаруу түрү үчүн тиешелүү текшерүү жолун алыңыз.
3. Эсептөө/өз алдынча издөө: AIдан көз карандысыз унааны иштетиңиз; натыйжаны салыштыруу.
4. Эгерде четтөө бар болсо, токтотуңуз: Эгерде баалуулуктар дал келбесе, кайсынысы туура экенин иликтебестен уланта бербеңиз.
5. Белгиңизди калтырыңыз: Эмнени жана кантип текшергениңизди жазыңыз (илимий бүтүндүк).
6. Белгисиздикти көрсөтүңүз: Текшерүүгө мүмкүн болбогон нерсени "тастыкталбаган" деп белгилеңиз, аны жашырбаңыз.

Көчүрүү үчүн төрт шаблон

1) өзүн өзү текшерүү:

Сиз жөн гана төмөнкү жыйынтыкты бердиңиз: [OUTPUT]. Тапшырма: Бул чыгарылыштын ар бир сандык/фактылуу ырастоосун өзүнчө сапта жазыңыз. Ар бир ырастоо үчүн: "аны кантип өз алдынча текшерүү керек?" жазуу ыкмасы (кайсы курал/берилиш базасы). доо чындык деп ДОО БОЛБОЙТ; жөн гана аны текшерүү үчүн жол бер.

2) Триангуляцияны көзөмөлдөө:

Төмөнкү молекуланын салмагын үч жол менен текшергим келет: [ЖЫЛМАЙЛАР].Тапшырма: 1) Молекулярдык формуланы чыгаргыла.2) Молекулярдык салмакты атом боюнча эсептөөнү көрсөт (ар бир элементтин салымы). Эскертүү: Мен аны RDKitте да эсептеп, үчүнчүдөн сиз берген молекула менен салыштырам. Үчөө бири-бирине дал келбесе, эскертиңиз.

3) түшүнүксүз белгилөө:

Төмөнкү текстте бир нече фактылык дооматтар бар:[TEXT]Тапшырма: Ар бир дооматтын жанына ишеним деңгээли энбелгисин коюңуз:[ТЕКСЕРИЛГЕН] / [ТЕКШЕРИЛГЕН] / [БЕЛГЕНсиз]. Ишенбесеңиз, эч нерсени [ТЕКСЕРИЛГЕН] деп белгилебеңиз.

4) ырааттуулук кайчылаш суроо:

Мен бир эле суроону эки башка жол менен берем; Жоопторуңуз ырааттуу болсо, караңыз. Суроо А: кошулмалардын молекулалык формуласы кандай?

Алсыз тездик / Күчтүү тездик

Алсыз:

Бул кошулма жөнүндө билгениңиздин баарын жазыңыз.

AI текшерилүүчү жана жасалма маалыматты ылгабай аралаштырат; Кайсысы реалдуу экени белгисиз.

Күчтүү:

Бул кошулма тууралуу маалымат бериңиз, бирок ар бир дооматты төмөнкүдөй белгилеңиз:[ДЕТЕРМИНИСТИКАЛЫК - аспап менен текшерилген] мис. молекулярдык формула,[ЭКСПЕРИМЕНТТИК - цитата керек] мис. эрүү температурасы,[БЕЛГИЛсиз - так эмес].Эч кандай белгиленбеген дооматтарды жазбаңыз.

Айырмасы: Биз AIны өзүнүн белгисиздигин белгилөөгө мажбур кылдык; Текшерүү иштерин пландуу кылдык.

Илимий бүтүндүк: чынчылдык жана байкоо жүргүзүү

Текшерүү жөн гана техникалык кадам эмес, бул этикалык маселе. Илимий бүтүндүк төмөнкүлөрдү талап кылат:

• Ачыктык: AI колдонуп жатканыңызды жашырбаңыз; Жарыялоо/отчет саясатыңызга ылайык көрсөтүңүз.
• Көз салуу: AIдан кандай жыйынтык чыкканын жана ал кантип текшерилгенин жазыңыз.
• Берилиштердин бүтүндүгү: AI менен натыйжаларды "сулуулуктандыруу", четтөөлөрдү негизсиз жокко чыгаруу - алдамчылык.
• Жоопкерчилик: Сиз акыркы жыйынтык үчүн жооптуусуз; "AI мындай деди" шылтоо эмес.

Кеңеш: Баяндамада же коргоодо "AI мындай деди" деген сөз айкашын эч качан колдоно албасыңызды башынан эле кабыл алыңыз. Бул кабыл алуу автоматтык түрдө ар бир жыйынтыкты текшерүү адатын алып келет.

мини учурлар

1-жагдай — Триангуляция ката кетти. Студент молекулярдык салмакты үч жол менен текшерди: YZ 178,2, кол менен эсептөө 180,16, RDKit 180,16 деп айтты. Эки көз карандысыз жол бири-бирин кайталады жана AI жок кылды. Сабак: эки көз карандысыз текшерүү үнсүз түрдө бир жалган жыйынтыкты жеңет.

2-жагдай — Коопсуз тил, туура эмес маалымат. AI реакция "бөлмө температурасында өзүнөн-өзү жүрөт" деп абдан ишенимдүү жазган. Бул жылытуу жана катализатор талап кылынарын адабият көрсөткөн. Студент коопсуз тилге эмес, булакка ишенген. Сабак: эркин сүйлөө тактык эмес.

3-жагдай — айкындуулукка ээ болду. Ишинин метод бөлүмүндө бир изилдөөчү AI (текстти түзөтүү, кодду түзүү) кайсы кадамдарда колдонгонун ачык айтып, бардык сандык натыйжаларды өз алдынча текшергенин жазган. Калыстын процесси жакшы өттү. Сабак: ачыктык ишенимди жаратат, жашыруу тобокелчиликти жаратат.

Жалпы каталар

• Коопсуз тилге ишенүү. AIнын ишенимдүү үнү тактыктын көрсөткүчү эмес.
• Бир булакка таянуу. Триангуляциясыз бир гана чыгарууну кабыл алуу.
• Чыгуу түрүн бөлбөйт. Мен санды, атрибуцияны жана коопсуздук ырастоосун ошол эле ыкма менен "текшердим" деп ойлоп.
• Белгисиздикти жашыруу. Текшерүүгө мүмкүн болбогон нерсени анык болгондой кабарлоо.
• AI колдонууну жашыруу. Ачыктыктын жоктугу илимий бүтүндүккө доо кетирет.
• Жоопкерчиликти өткөрүп берүү. "AI мындай деди" деген шылтоо жараксыз; Жоопкерчилик адамдын мойнунда.

Кыскача айтканда

• Галлюцинация тил моделине мүнөздүү; Чечим ар бир чыгаруунун айланасында валидациялык кабыкты куруу болуп саналат.
• Ар бир чыгаруу түрү өзүнүн текшерүү ыкмасына ээ; чыгарууну классификациялоо жана тиешелүү куралды колдонуу.
• Триангуляция (эки көз карандысыз жол) эң күчтүү башкаруу; Бир булакка ишенбеңиз.
• Акыл жана ишенимдүү тил тактыкка байланыштуу эмес.
• Илимий бүтүндүк айкындуулукту, байкоо жүргүзүүнү, маалыматтардын бүтүндүгүн жана адамдын жоопкерчилигин талап кылат.

Колдонмо тапшырмасы

AI сессиясында ар кандай жыйынтыктарды атайылап чыгарыңыз: молекулярдык салмак, маалымдама, физикалык константа, коопсуздук доосу, сандык эсептөө. Ар бирин туура ыкма менен өз алдынча текшериңиз (таблицаны караңыз). Жок дегенде бир галлюцинацияны кармаганга аракет кылыңыз. Андан кийин "текшерүү матрицасын" даярдаңыз: саптардын натыйжалары, мамычалар (AI мааниси / көз карандысыз маани / дал келдиби / мен аны кантип текшердим). Бул сессияны илимий жактан кандайча баяндайт элеңиз?

текшерүү тизмеси

• [ ] Мен галлюцинация эмне үчүн сөзсүз болоорун түшүнөм.
• [ ] Мен ар бир чыгарууну анын түрүнө жараша классификациялап, тиешелүү ыкма менен текшерем.
• [ ] Мен критикалык баалуулуктар боюнча үч бурчтук (эки көз карандысыз жол) кылам.
• [ ] Мен коопсуз тилге эмес, булакка ишенем.
• [ ] Мен "белгисиз" деп ырасталбаган нерсени белгилейм.
• [ ] Мен AI колдонууда ачыкмын жана натыйжа үчүн өзүмдү жооп берем.