Прибуток:
- Здатність зрозуміти, що галюцинація властива мовній моделі, і вибрати відповідний метод перевірки для кожного типу виведення.
- Перевірте критичні значення двома незалежними способами за допомогою тріангуляції та не плутайте плавність із точністю
- Здатність застосовувати прозорість, відстежуваність, цілісність даних і людську відповідальність як основу наукової чесності
У цьому модулі знову і знову повторюється одна фраза: «ШІ виробляє, люди перевіряють». У цьому підрозділі ми перетворюємо це речення на систему. Мета полягає в тому, щоб розпізнати галюцинацію (виробництво неправдивої/сфабрикованої інформації за допомогою впевненої мови), яка є найнебезпечнішою поведінкою штучного інтелекту, встановити конкретний метод перевірки для кожного типу результату та поставити все це в рамки наукової цілісності (чесність, прозорість, відстежуваність). Неперевірений результат штучного інтелекту в хімії — це не просто помилка; Це може бути вибух експерименту, отруєння людини або втягування паперу.
Чому галюцинація неминуча?
Велика мовна модель створює «наступне найбільш імовірне слово»; Він націлений на те, що можливо, а не на те, що правда. Таким чином, він може заповнити молекулярну масу, DOI або точку кипіння значенням, яке «видається розумним» — не перевіряючи, чи воно справжнє. Галюцинація — це не збій, а наслідок природи цієї технології. Рішення полягає не в тому, щоб «спробувати виправити» модель, а в тому, щоб створити оболонку перевірки навколо кожного виходу.
Найпідступнішим аспектом галюцинації є її впевнена мова. Неправильна молекулярна маса представлена з такою ж впевненістю, як і правильна. Тому «виглядає впевнено» ніколи не означає «правильно».
Увага: те, наскільки вільний і впевнений ШІ говорить про тему, не залежить від точності цієї інформації. Вільне володіння переконує; Тільки незалежне джерело визначає точність.
Перевірка за типом виходу в хімії
Кожен тип виводу має свій спосіб перевірки. Замість того, щоб запам’ятовувати одне правило, використовуйте відповідний інструмент для виведення:
Тип виведення
Спосіб перевірки
транспортний засіб
Молекулярна маса, формула
Перерахувати за формулою
RDKit / вручну
УСМІШКИ/буд
Синтаксичний аналіз + канонізація
RDKit
Цитування/DOI
Розв’язати в базі даних
doi.org, Crossref
Фізична константа (kn, pKa)
Довідкова база даних
PubChem, довідник
чисельний розрахунок
Написати+запустити код
Python
реакція/стан
Літературне підтвердження
Reaxys, стаття
вимога забезпечення
SDS/GHS
Офіційний SDS
Присвоєння спектру
Багатотехнічний + людина
Експериментальний спектр
Ця таблиця фактично є підсумком цього модуля: кожен блок є одним рядком.
Тріангуляція: три незалежні шляхи
Найпотужнішим методом перевірки є «тріангуляція»: прихід до одного висновку трьома незалежними способами. Наприклад, для молекулярної маси: (1) те, що каже YZ, (2) розрахунок RDKit, (3) обчислення вручну за формулою. Якщо три збігаються, довіра висока; Якщо хтось заблукав, зупиніться та розслідуйте. Ніколи не покладайтеся на одне джерело в хімії; Шукайте принаймні два незалежних шляху.
Крок за кроком: процес перевірки
- Класифікуйте вихід: це число, структура, атрибуція, твердження безпеки?
- Виберіть відповідний інструмент: Отримайте відповідний шлях перевірки для типу виводу з таблиці вище.
- Обчислюйте/шукайте самостійно: керуйте транспортним засобом незалежно від ШІ; порівняти результат.
- Якщо є відхилення, зупиніться: якщо значення не збігаються, не продовжуйте, не з’ясувавши, яке з них правильне.
- Залиште свій слід: запишіть, що ви перевірили та як (наукова чесність).
- Вкажіть невизначеність: Позначте те, що не можна перевірити, як «непідтверджене», не приховуйте це.
Чотири шаблони, які можна копіювати
1) Самоперевірка:
Ви щойно дали такий результат: [ВИВІД]. Завдання: перелічіть кожне числове/фактичне твердження цього результату в окремому рядку. Для кожного твердження: "як це самостійно перевірити?" метод запису (який інструмент/база даних). НЕ ЗАЯВЛЯЙТЕ, що твердження правдиве; просто дайте спосіб перевірити це.
2) Контроль тріангуляції:
Я хочу перевірити вагу такої молекули трьома способами: [ПОСМІХАЄТЬСЯ]. Завдання: 1) Виведіть молекулярну формулу. 2) Покажіть розрахунок молекулярної ваги атом за атомом (внесок кожного елемента). Примітка: я також обчислю його в RDKit і, по-третє, порівню з тією, яку ви дали. Якщо три не накладаються, попередьте.
3) Позначення неоднозначності:
У наведеному нижче тексті є кілька фактичних тверджень:[ТЕКСТ]Завдання: позначте рівень достовірності біля кожного твердження: [ПЕРЕВІРЕНО] / [ПЕРЕВІРЕНО] / [НЕПЕВНО]. Не позначайте нічого [ПЕРЕВІРЕНО], якщо ви не впевнені.
4) Перехресний запит узгодженості:
Я задам те саме запитання двома різними способами; Подивіться, чи послідовні ваші відповіді. Питання А: Яка молекулярна формула сполуки
Слабка підказка / Сильна підказка
Слабкий:
Запишіть усе, що вам відомо про цю сполуку.
ШІ без розбору змішує перевірену та сфабриковану інформацію; Незрозуміло, яка з них справжня.
Сильний:
Надайте інформацію про цю сполуку, але позначте кожну заяву так: [ДЕТЕРМІНІСТИЧНИЙ – перевірено приладом], напр. молекулярна формула, [ЕКСПЕРИМЕНТАЛЬНА ЧАСТИНА - потрібна цитата] напр. температура плавлення, [НЕПЕЧЕННО - не впевнений]. Не пишіть жодних тверджень без міток.
Відмінність: ми змусили ШІ позначити власну невизначеність; Ми зробили роботу з перевірки плановою.
Наукова доброчесність: чесність і відстежуваність
Верифікація — це не просто технічний крок, це етичне питання. Наукова доброчесність вимагає:
- Прозорість: не приховуйте, що ви використовуєте ШІ; Укажіть відповідно до вашої політики публікації/звіту.
- Відстежуваність: записуйте, які результати надійшли від ШІ та як вони були перевірені.
- Цілісність даних: «прикрашання» результатів за допомогою ШІ, відкидання викидів без обґрунтування є шахрайством.
- Відповідальність: ви несете відповідальність за кінцевий результат; «Так сказав ШІ» — не виправдання.
Порада: з самого початку визнайте, що ви ніколи не можете використовувати фразу «ШІ так сказав» у звіті чи захисті. Це прийняття автоматично приносить звичку перевіряти кожен вихід.
міні-чохли
Випадок 1 — тріангуляція виявила помилку. Студент перевірив молекулярну масу трьома способами: YZ сказав 178,2, ручний розрахунок дав 180,16, RDKit дав 180,16. Два незалежні шляхи перетиналися й усунули ШІ. Урок: дві незалежні перевірки мовчки перешкоджають одному помилковому виходу.
Випадок 2 — Безпечна мова, неправильна інформація. AI дуже впевнено писав, що реакція «протікає спонтанно при кімнатній температурі». Літературні джерела показали, що для цього потрібні нагрівання та каталізатор. Студент довіряв джерелу, а не безпечній мові. Урок: плавність - це не точність.
Випадок 3 — Здобута прозорість. У розділі методу своєї роботи один дослідник чітко вказав, на яких етапах він використовував ШІ (редагування тексту, складання коду), і написав, що він незалежно перевірив усі чисельні результати. Суддівський процес пройшов гладко. Урок: прозорість створює довіру, приховування створює ризик.
Поширені помилки
- Довіряючи безпечній мові. Впевнений тон ШІ не є показником точності.
- Покладаючись на єдине джерело. Прийняття єдиного виходу без тріангуляції.
- Не відокремлюючи тип виведення. Думаючи, що я «перевірив» номер, атрибуцію та твердження про безпеку тим самим методом.
- Приховування невизначеності. Повідомлення про те, що не можна перевірити, як про певність.
- Приховування використання ШІ. Відсутність прозорості підриває наукову чесність.
- Делегування відповідальності. Виправдання «ШІ так сказав» недійсне; Відповідальність лежить на людині.
Підсумовуючи
- Галюцинація властива мовній моделі; Рішення полягає в створенні оболонки перевірки навколо кожного виходу.
- Кожен тип виведення має власний метод перевірки; класифікуйте результат і використовуйте відповідний інструмент.
- Тріангуляція (два незалежних шляху) є найсильнішим контролем; Не довіряйте одному джерелу.
- Вільна та впевнена мова не пов’язана з точністю.
- Наукова цілісність вимагає прозорості, можливості відстеження, цілісності даних і людської відповідальності.
Аплікаційне завдання
Навмисно створюйте різноманітні результати під час сеансу штучного інтелекту: молекулярну масу, еталон, фізичну константу, вимогу безпеки, числове обчислення. Перевірте кожен окремо правильним методом (див. таблицю). Спробуйте зловити хоча б одну галюцинацію. Потім підготуйте «матрицю перевірки»: вихідні дані рядків, стовпці (значення AI / незалежне значення / чи воно перекривалося / як я це перевірив). Як би ви відзвітували про цю сесію з точки зору наукової чесності?
контрольний список
- [ ] Я розумію, чому галюцинації неминучі.
- [ ] Я класифікую кожен результат відповідно до його типу та перевіряю його відповідним методом.
- [ ] Я роблю тріангуляцію (два незалежні шляхи) на критичних значеннях.
- [ ] Я довіряю джерелу, а не безпечній мові.
- [ ] Я позначаю те, що не можна підтвердити, як «невизначене».
- [ ] Я прозоро використовую штучний інтелект і несу відповідальність за результат.