Прибыль:
- Умение понять, что галлюцинация присуща языковой модели, и выбрать подходящий метод проверки для каждого типа вывода.
- Проверяйте критические значения двумя независимыми способами с помощью триангуляции и не путайте беглость с точностью.
- Способность применять прозрачность, отслеживаемость, целостность данных и ответственность человека как основу научной честности.
На протяжении всего модуля снова и снова повторялась единственная фраза: «ИИ производит, люди проверяют». В этом разделе мы превращаем это предложение в систему. Цель состоит в том, чтобы распознать галлюцинацию (производство ложной/сфабрикованной информации на уверенном языке), которая является наиболее опасным поведением ИИ, установить конкретный метод проверки для каждого типа выходных данных и поместить все это в рамки научной честности (честность, прозрачность, отслеживаемость). Непроверенные результаты ИИ в области химии — это не просто ошибка; Это может быть взрыв эксперимента, отравление человека или изъятие бумаги.
Почему галлюцинации неизбежны?
Большая языковая модель выдает «следующее наиболее вероятное слово»; Он нацелен на то, что возможно, а не на то, что истинно. Таким образом, он может указать молекулярную массу, DOI или температуру кипения значением, которое «кажется разумным», не проверяя, является ли оно реальным. Галлюцинация — это не неисправность, а следствие природы этой технологии. Решение состоит не в том, чтобы «пытаться исправить» модель, а в том, чтобы построить оболочку проверки вокруг каждого результата.
Самый коварный аспект галлюцинации — ее уверенный язык. Неправильная молекулярная масса представляется с той же достоверностью, что и правильная. Поэтому «выглядит уверенно» никогда не означает «правильно».
Внимание: то, насколько бегло и уверенно ИИ говорит по теме, не связано с точностью этой информации. Беглость убеждает; Только независимый источник определяет точность.
Валидация по типу выходных данных по химии
Каждый тип вывода имеет свой метод проверки. Вместо запоминания одного правила используйте соответствующий инструмент для вывода:
Тип выхода
Метод проверки
транспортное средство
Молекулярная масса, формула
Пересчитать по формуле
РДКит/вручную
УЛЫБКИ/структура
Разобрать + канонизировать
РДКит
Цитирование/DOI
Решить в базе данных
doi.org, перекрестная ссылка
Физическая константа (кн, пКа)
Справочная база данных
ПабХим, справочник
численный расчет
Написать+запустить код
Питон
реакция/состояние
Литературное подтверждение
Реаксис, статья
требование обеспечения
Паспорт безопасности безопасности/СГС
Официальный паспорт безопасности
Назначение спектра
Мультитехнический + человеческий
Экспериментальный спектр
Эта таблица на самом деле представляет собой краткое изложение этого модуля: каждая единица представляет собой одну строку.
Триангуляция: три независимых пути
Самый мощный метод проверки — «триангуляция»: прийти к одному и тому же выводу тремя независимыми способами. Например, для молекулярной массы: (1) то, что говорит YZ, (2) расчет RDKit, (3) расчет вручную по формуле. Если эти три фактора совпадают, уровень доверия высок; Если кто-то отклоняется, остановитесь и расследуйте. Никогда не полагайтесь на один источник по химии; Найдите как минимум два независимых пути.
Шаг за шагом: процесс проверки
- Классифицируйте выходные данные: это число, структура, атрибуция, утверждение безопасности?
- Выберите подходящий инструмент: получите соответствующий путь проверки для типа вывода из таблицы выше.
- Самостоятельный расчет/поиск: управляйте автомобилем независимо от ИИ; сравните результат.
- Если есть отклонение, остановитесь: если значения не совпадают, не продолжайте, не выяснив, какое из них правильное.
- Оставьте свой след: запишите, что и как вы проверили (научная честность).
- Укажите неопределенность: пометьте то, что невозможно проверить, как «неподтвержденное», не скрывайте это.
Четыре копируемых шаблона
1) Самопроверка:
Вы только что дали следующий результат: [ВЫХОД]. Задача: перечислить каждое числовое/фактическое утверждение этого результата в отдельной строке. По каждому утверждению: «как это самостоятельно проверить?» метод записи (какой инструмент/база данных). НЕ УТВЕРЖДАЙТЕ, что это утверждение верно; просто дайте способ это проверить.
2) Контроль триангуляции:
Я хочу проверить вес следующей молекулы тремя способами: [УЛЫБКА].Задание: 1) Вывести молекулярную формулу. 2) Показать расчет молекулярной массы атом за атомом (вклад каждого элемента). Примечание: я также рассчитаю ее в RDKit и в-третьих сравню с той, которую вы дали. Если эти три не пересекаются, предупредите.
3) Неоднозначность маркировки:
В следующем тексте содержится несколько фактических утверждений:[ТЕКСТ]Задание: Поставьте рядом с каждым утверждением метку уровня достоверности: [ПОДВЕРЕНО] / [ПОДВЕРЕНО] / [НЕОПРЕДЕЛЕНО]. Не отмечайте ничего [ПОДВЕРЕНО], если вы не уверены.
4) Перекрестный запрос согласованности:
Я задам один и тот же вопрос двумя разными способами; Посмотрите, совпадают ли ваши ответы. Вопрос А: Какова молекулярная формула соединения?
Слабая подсказка / Сильная подсказка
Слабый:
Запишите все, что вы знаете об этом соединении.
ИИ без разбора смешивает поддающуюся проверке и сфабрикованную информацию; Непонятно, какой из них настоящий.
Сильный:
Предоставьте информацию об этом соединении, но обозначьте каждое утверждение следующим образом: [ДЕТЕРМИНИСТИЧЕСКОЕ - проверено прибором], например. молекулярная формула, [ЭКСПЕРИМЕНТАЛЬНАЯ ЧАСТЬ - необходима ссылка], например температура плавления,[НЕОПРЕДЕЛЕННО - не уверен]. Не пишите никаких немаркированных претензий.
Отличие: мы заставили ИИ отмечать собственную неуверенность; Мы сделали работу по проверке плановой.
Научная честность: честность и отслеживаемость
Верификация — это не просто технический шаг, это этический вопрос. Научная честность требует:
- Прозрачность: не скрывайте, что вы используете ИИ; Укажите в соответствии с вашей политикой публикации/отчета.
- Прослеживаемость: записывайте, какие выходные данные поступили от ИИ и как они были проверены.
- Целостность данных: «украшение» результатов с помощью ИИ, отбрасывание выбросов без обоснования является мошенничеством.
- Ответственность: Вы несете ответственность за конечный результат; «Так сказал ИИ» — не оправдание.
Совет: с самого начала примите тот факт, что в докладе или защите ни в коем случае нельзя использовать фразу «Так сказал ИИ». Такое принятие автоматически приводит к привычке проверять каждый вывод.
мини-чехлы
Случай 1. При триангуляции произошла ошибка. Студент проверил молекулярную массу тремя способами: YZ показал 178,2, ручной расчет дал 180,16, RDKit дал 180,16. Два независимых пути пересеклись и устранили ИИ. Урок: две независимые проверки молча подавляют один ложный вывод.
Случай 2. Безопасный язык, неверная информация. А.И. очень уверенно писал, что реакция «протекает самопроизвольно при комнатной температуре». Литература показала, что для этого требуется нагрев и катализатор. Студент доверял источнику, а не безопасному языку. Урок: беглость – это не точность.
Случай 3 — Достигнута прозрачность. В разделе о методах своей статьи один исследователь четко указал, на каких этапах он использовал ИИ (редактирование текста, составление кода), и написал, что он самостоятельно проверял все числовые результаты. Судейский процесс прошел гладко. Урок: прозрачность укрепляет доверие, сокрытие создает риск.
Распространенные ошибки
- Доверяя безопасному языку. Уверенный тон ИИ не является показателем точности.
- Опираясь на один источник. Принятие одного вывода без триангуляции.
- Не разделяя тип вывода. Думая, что я «проверил» количество, атрибуцию и утверждение безопасности тем же методом.
- Скрытие неуверенности. Сообщение о чем-то, что невозможно проверить, как если бы это было достоверно.
- Сокрытие использования ИИ. Отсутствие прозрачности подрывает научную честность.
- Делегирование ответственности. Оправдание «ИИ так сказал» недействительно; Ответственность лежит на человеке.
В заключение
- Галлюцинация присуща языковой модели; Решение состоит в том, чтобы создать оболочку проверки вокруг каждого результата.
- Каждый тип вывода имеет свой собственный метод проверки; классифицируйте выходные данные и используйте соответствующий инструмент.
- Триангуляция (два независимых пути) — самый сильный контроль; Не доверяйте одному источнику.
- Беглость и уверенная речь не связаны с точностью.
- Научная честность требует прозрачности, отслеживаемости, целостности данных и ответственности человека.
Задача приложения
Намеренно выдавайте различные выходные данные в сеансе ИИ: молекулярный вес, эталон, физическую константу, заявление о безопасности, численный расчет. Проверьте каждый независимо, используя правильный метод (см. таблицу). Попробуйте уловить хотя бы одну галлюцинацию. Затем подготовьте «матрицу проверки»: выходные данные строк, столбцы (значение AI / независимое значение / перекрывается ли оно / как я это проверил). Как бы вы оценили эту сессию с точки зрения научной честности?
контрольный список
- [ ] Я понимаю, почему галлюцинации неизбежны.
- [ ] Я классифицирую каждый вывод в соответствии с его типом и проверяю его соответствующим методом.
- [ ] Я выполняю триангуляцию (два независимых пути) по критическим значениям.
- [ ] Я доверяю источнику, а не безопасному языку.
- [ ] То, что невозможно подтвердить, я отмечаю как «неопределенное».
- [ ] Я открыто использую ИИ и несу ответственность за результат.