Галлюцинации, этика, конфиденциальность и научная честность

Прибыль:

• Умение распознавать формы галлюцинаций в физике (фальшивая константа, ложный закон, единичная ошибка, неверный результат, ложная атрибуция) и ловить их соответствующим методом.
• Возможность защитить неопубликованные, конфиденциальные и личные данные путем анонимизации и минимизации, не вводя их в неавторизованные инструменты.
• Возможность понять, что основная ответственность лежит на людях, честно сообщая данные, не приукрашивая их, и прозрачно документируя использование искусственного интеллекта.

На протяжении всего этого модуля мы рассматривали одну и ту же дисциплину в каждом разделе: искусственный интеллект (ИИ) ускоряется, люди проверяют. В этом заключительном разделе мы объединяем всю эту практику проверки под эгидой научной честности, самой фундаментальной ценности физической науки. Физика – это стремление получить поддающиеся проверке знания о природе; В основе этого стремления лежат честность, повторяемость и ответственность. ИИ можно использовать для укрепления этих ценностей, но при неправильном использовании он угрожает им всем. В этом разделе мы обсудим физические формы галлюцинаций, ответственность за данные и конфиденциальность, этические границы и то, почему основная ответственность всегда остается за людьми.

Формы галлюцинаций в физике

Галлюцинация — уверенное производство ложной информации искусственным интеллектом — принимает в физике уникальные и опасные формы. Признание этого является первым шагом к обнаружению:

тип галлюцинации

пример

Метод захвата

Установка фиксированных/данных

Неправильная плотность материала

Подтверждение достоверной ссылкой

Ложная формула/закон

Несуществующее «принципиальное» имя

Вывод из учебника/SymPy

Ошибка единицы/заказа

путаю эВ с Дж

Размерный анализ, контроль агрегата

Неправильный численный результат

Неправильный вывод кода

Запустите код

апокрифическая атрибуция

несуществующая статья

Проверка с помощью DOI

Неверно указанный результат

Искажение реальной статьи

Прочтите первоисточник

Общая нить такова: большая языковая модель предназначена не для того, чтобы говорить правду, а для создания «текста, выглядящего возможным». В физике разница между «кажущимся возможным» и «истинным» и является причиной существования науки.

Ответственность за данные, конфиденциальность и интеллектуальную собственность

Физики часто работают с конфиденциальными данными: неопубликованными экспериментальными данными, предпатентными разработками, конфиденциальными измерениями, полученными в результате промышленного сотрудничества, исследованиями, включающими данные о личном здоровье или безопасности. Ввод таких данных в общий инструмент ИИ может сделать их доступными третьим лицам и, возможно, данным обучения модели, что будет означать как нарушение конфиденциальности, так и потерю научного приоритета (права первым сделать открытие). Правило ясно: не вводите неопубликованные, конфиденциальные или личные данные в инструмент искусственного интеллекта, который не одобрен вашей организацией. Если собираетесь входить, анонимизируйте, сверните (дайте только то, что необходимо) и прочтите условия данных инструмента.

Внимание: ввод неопубликованных результатов лабораторных измерений или конфиденциальных проектных параметров компании в инструмент искусственного интеллекта «для быстрого анализа» может стать необратимой ошибкой. Как только данные будут переданы, их невозможно будет отозвать. В случае сомнений не вводите данные; Сначала уточните политику вашего учреждения и условия конфиденциальности инструмента.

Этические границы и научная честность

Использование может быть технически возможным и даже законным, но при этом быть неэтичным. В физике есть несколько красных линий, касающихся научной честности:

Фальсификация или приукрашивание данных. Просить ИИ «сгенерировать точки, которые лучше соответствуют доходности» или «сделать график более убедительным» — это мошенничество с данными. Данные предоставляются как есть; Выбросы устраняются только при наличии документально подтвержденной законной причины.

Прозрачность вклада. Если вы использовали ИИ в исследовании — написании кода, языковой коррекции, анализе — будет справедливо прояснить это в соответствующем месте. Многие журналы и учреждения требуют этого.

Авторство и ответственность. ИИ не писатель; не может нести ответственность за содержание произведения. Ответственность всегда лежит на людях-писателях. Ошибку, допущенную искусственным интеллектом, нельзя оправдать словами: «Это сделал автомобиль».

Воспроизводимость. Научный результат требует, чтобы метод (включая используемый код, параметры, подсказки ИИ) был четко задокументирован, чтобы другие могли его воспроизвести.

три мини-кейса

Случай 1 — Утечка конфиденциальных данных. Один исследователь вставил данные измерений из соглашения о неразглашении с компанией в универсальный инструмент искусственного интеллекта «для быстрого построения графика». Позже он понял, что этот инструмент может хранить входные данные. Произошло нарушение договора и возможная потеря приоритета. Урок: конфиденциальные данные никогда не вводятся в неутвержденный инструмент.

Случай 2 — Благоустройство печати. Один студент попросил ИИ внести правку, которая «сделала бы данные более близкими к теории», поскольку экспериментальные данные не полностью соответствовали теории. Его советник заметил это и остановил его: несоответствие означало либо систематическую ошибку в эксперименте, либо интересную новую физику — что-то, что нужно исследовать, а не скрывать. Данные были представлены честно, и была обнаружена систематическая ошибка.

Случай 3 — Достигнута прозрачность. Одна команда написала код анализа данных для статьи с помощью ИИ и четко указала это в разделе методов; поделился кодом и подсказками в виде дополнительных файлов. Рецензент проверил код и предложил небольшое исправление. Прозрачность выявила ошибку еще до публикации и повысила доверие к исследованию.

Четыре копируемых шаблона

1) Проверка галлюцинаций:

Просканируйте следующие результаты физики на наличие галлюцинаций: есть ли какие-либо фиктивные константы, фиктивные названия формул/законов, ошибки единиц измерения/порядка, непроверенные числовые результаты и неподтвержденные атрибуции? Пометьте каждый подозрительный элемент и укажите, как его проверить (ссылка, код, DOI). Вывод: [здесь]

2) Предварительная проверка конфиденциальности данных:

Оцените следующие данные/текст перед вводом их в инструмент искусственного интеллекта: содержат ли они неопубликованную, конфиденциальную, личную или защищенную договором информацию? Если да, предложите, как я могу анонимизировать или минимизировать это. Если вы не уверены, скажите «проверьте корпоративную политику». Содержание: [здесь]

3) Проект заявления о прозрачности/вкладе:

В одном исследовании я использовал ИИ для: [кодирования/коррекции языка/анализа и т. д.]. Напишите краткий проект «Заявления об использовании ИИ», который честно это документирует. Также должно быть указано, какие части были проверены людьми.

4) Обеспечение научной честности:

Выполните проверку целостности следующего анализа/результата: данные представлены как есть (без приукрашиваний), указаны ли неопределенности, документирован ли метод воспроизводимым образом, прозрачно ли использование искусственного интеллекта? Перечислите все недостатки. Содержание: [здесь]

Слабая подсказка / Сильная подсказка

Слабое: «Отредактируйте доходность, чтобы она лучше соответствовала теории и сделала график убедительным».

Результат: мошенничество с данными; Прямое нарушение научной честности, необратимая потеря репутации.

Стронг: «Доходность не полностью соответствует теории. Помогите мне проанализировать возможные причины этого несоответствия (систематическая ошибка, статистическое колебание, отсутствующая модель или новый эффект); предложите, как честно сообщить о несоответствии, не меняя данные».

Результат: честный, исследовательский и верный подход к научной честности; Конфликт становится возможностью для открытий.

Распространенные ошибки

• Путаница галлюцинации с самоуверенностью. Тот факт, что ИИ говорит уверенно, не является гарантией точности; Даже самое точное предложение может быть сфабриковано.
• Внесение конфиденциальных данных в транспортное средство без согласования. После совместного использования данные невозможно получить; Приоритет и конфиденциальность теряются.
• Украшаем данные. Подмена данных «подходящей теорией» — одно из самых серьёзных научных преступлений.
• Сокрытие использования ИИ. Прозрачность является требованием честности и является обязательной во многих учреждениях.
• Возложение ответственности на автомобиль. «Это сделал ИИ» — не защита; Конечная ответственность всегда лежит на человеке.

Совет: В конце каждого исследования с использованием искусственного интеллекта задайте себе три вопроса: (1) Были ли все факты, цифры и атрибуции в этих результатах проверены независимо? (2) Содержат ли использованные мной данные конфиденциальную/личную информацию, которую мне не следует вводить? (3) Достаточно ли прозрачно я задокументировал свое использование и методологию ИИ, чтобы кто-то другой мог их воспроизвести? Если вы не можете ответить однозначно «да» на эти три вопроса, исследование еще не завершено.

В итоге

Научная честность является основой существования физики и становится еще более важной в эпоху искусственного интеллекта. Галлюцинация проявляется в физике в виде ложных констант, ложных законов, единичных ошибок, ложных заключений и ложных ссылок; каждый фиксируется с помощью своего уникального метода проверки. Конфиденциальные и персональные данные не вводятся в неавторизованные инструменты; данные никогда не украшаются; Использование ИИ прозрачно документировано; и конечная ответственность всегда лежит на человеке. В этом модуле вы изучаете только одну дисциплину: ИИ — мощный ускоритель, но проверка, честность и ответственность лежат на плечах компетентного физика — то есть на вас. Непроверенные результаты ИИ никогда не заменяют подтверждения физика.

Задача приложения

Выберите результат ИИ (счет, анализ или текст), который вы создали в этом модуле. 1. проверка галлюцинаций с помощью шаблона: есть ли какие-либо фиктивные константы, ложные формулы, ошибки единиц или непроверенные атрибуции? С помощью шаблона 2 оцените, являются ли используемые вами данные безопасными для конфиденциальности. Наконец, напишите краткое заявление об использовании/прозрачности ИИ с помощью шаблона 3. Запишите в 5–6 предложениях: что показало сканирование, какие шаги проверки вы предприняли?

контрольный список

• [ ] Я независимо проверил каждую константу, формулу и результат вывода.
• [ ] Я сверил каждую цитату с DOI/источником.
• [ ] Я проверил, что не вводил конфиденциальные/личные данные в инструмент без разрешения.
• [ ] Я привел данные как есть, без прикрас.
• [ ] Я документировал свое использование ИИ прозрачным и воспроизводимым образом.
• [ ] Я признал, что основная ответственность лежит на мне; Я не приписывал машине никакой неисправности.

Модульный экзамен

1. Что из перечисленного является наиболее точным позиционированием искусственного интеллекта в физике?

• А) Искусственный интеллект — помощник по кодированию, черновикам и редактированию; Ответственность за подразделение, звание, проверку и этические решения лежит на человеке ✔
• Б) Искусственный интеллект — это калькулятор, и числовые результаты, которые он дает, всегда точны.
• В) Искусственный интеллект работает только в расчетах, он не имеет ничего общего с анализом экспериментов и обучением.
• D) Поскольку искусственный интеллект более беспристрастен, чем люди, решения о единицах измерения и результатах следует оставить за ним.

Описание: Искусственный интеллект; Это помощник, который пишет код, создает черновики, создает и систематизирует структуры вывода. Однако конечная ответственность за единичную и порядковую проверку результата, обеспечение его законами сохранения, постоянным и эталонным подтверждением лежит на компетентном физике. Большая языковая модель — это не калькулятор или физический движок; — это генератор текста, который генерирует «следующее наиболее вероятное слово», и его непроверенный вывод может привести к неправильному значению, дизайну или результату.

2. Какова наиболее точная аппроксимация численного результата вычислительного кода, который вы печатаете в большой языковой модели?

• А) Доверие к числу, которое говорит модель: «этот код дает то», потому что он написал код
• Б) Запустите код самостоятельно и посмотрите результат; ✔ не полагаться на вербальный численный прогноз модели
• В) Принятие кода как правильного, просто глядя на то, как он читается, вообще не запуская его.
• Г) Если результат напрямую запрашивается у модели еще раз и она сообщает то же число, он считается правильным.

Пояснение: LLM может «вычислить» результат написанного им в голове кода и вернуть неправильное число; тогда как при запуске того же кода он дает правильный результат. Детерминистическим является код, который выполняется; Это не словесное предсказание модели. Поэтому код всегда следует запускать в вашей собственной среде и видеть выходные данные.

3. Какой самый эффективный способ проверить, точно ли моделирование динамической системы без трения отражает физику?

• А) Видеть, что диаграмма выглядит визуально аккуратно и убедительно
• Б) Запуск симуляции только с одним временным шагом и доверие к результату
• В) Мониторинг величины, которую необходимо сохранить, например, полной энергии или импульса, и проверка, остается ли она постоянной ✔
• D) Оценка моделирования по скорости его работы.

Пояснение: В системе без трения полная энергия (и импульс, если таковой имеется) должна сохраняться. Мониторинг этой величины на протяжении всего моделирования и наблюдение за тем, остается ли она постоянной, выявляет числовые недостатки (например, примитивный метод Эйлера, постоянно увеличивающий энергию). Если энергия дрейфует, моделирование ненадежно; Тот факт, что он создает красивую графику, не означает, что он правильный.

4. Какой из следующих подходов является правильным при подгонке модели к экспериментальным данным?

• А) Выбор полинома более высокой степени, который лучше всего соответствует данным, поскольку он проходит через все точки.
• Б) Задание параметров в виде одного числа без двусмысленности.
• В) Заявление о качестве соответствия, просто глядя на то, как красиво выглядит кривая.
• D) Выбор модели из физики, сообщение параметров с их неопределенностями и оценка соответствия с остатками ✔

Пояснение: Модель следует выбирать исходя из физического закона, которому должно подчиняться событие, а не путем просмотра данных и размышлений о том, «какая из них подходит лучше всего». При наличии достаточного количества свободных параметров (например, полинома высокой степени) к любым данным можно выполнить «идеальную», но физически бессмысленную подгонку (переподбор). Параметры следует сообщать с указанием их неопределенности, качество соответствия следует оценивать с помощью остатков, а физическую достоверность следует проверять.

5. Какой тип неопределенности уменьшает многократное повторение измерения?

• А) Случайная неопределенность; систематическая неопределенность не уменьшается при повторении, причину необходимо найти и устранить ✔
• Б) Систематическая неопределенность; потому что это исключает ошибку перекалибровки
• В) Полностью устраняет обе двусмысленности
• Г) Не уменьшает ни одного из них; неопределенность не зависит от количества измерений

Пояснение: Повторные измерения уменьшают случайную неопределенность (со стандартной ошибкой среднего стандартного значения/√N), возникающую в результате случайного распределения результатов. Систематическая же неопределенность — это ошибка, которая всегда отклоняется в одну и ту же сторону (например, неправильно откалиброванные весы) и не уменьшается при повторении; Однако причину можно найти и устранить. Сообщение об «очень маленькой» неопределенности при множественных измерениях может скрыть основную систематическую ошибку.

6. Каков наиболее надежный независимый способ проверки формулы распространения ошибок, полученной с помощью ИИ?

• А) Полагаться на формулу, чтобы она выглядела плавной и убедительной
• Б) Перекрестная проверка с расчетом Монте-Карло, который случайным образом выбирает входные данные с учетом их неопределенности ✔
• В) Снова задать ту же формулу искусственному интеллекту и ожидать, что он даст тот же результат.
• D) Непосредственный сбор неопределенностей и сравнение их с результатом.

Пояснение: ИИ часто смешивает коэффициенты частных производных и структуру квадратного корня в формулах распространения ошибок. Мощным способом добиться этого независимо является перекрестная проверка методом Монте-Карло: случайная выборка каждого входного сигнала с учетом его неопределенности, вычисление функции тысячи раз и сравнение стандартного отклонения выходных данных с неопределенностью, заданной формулой. Встреча двух независимых методов повышает доверие.

7. Каково правильное разделение труда между AI и SymPy в долгом развитии символической физики?

• А) SymPy генерирует идею вывода, ИИ точно проверяет каждый шаг
• Б) Оба не нужны; длинные выводы необходимо выполнять только вручную
• В) ИИ строит структуру вывода, SymPy точно проверяет каждый алгебраический шаг ✔
• Г) Искусственный интеллект делает вывод самостоятельно, нет необходимости в проверке, поскольку он выглядит бегло

Пояснение: ИИ разрабатывает стратегию вывода и объясняет путь, но в длинной алгебре он допускает ошибки знаков, экранированные термины и неправильные упрощения. SymPy же работает по правилам и точно проверяет каждый алгебраический шаг. Самый мощный рабочий процесс объединяет эти два процесса: получить скелет от ИИ, исходить из каждого шага с помощью SymPy, проверять результат с помощью обратного интеграла производной и граничного случая.

8. Что анализ размерностей говорит о точности физической формулы?

• А) Анализ размерностей всегда окончательно доказывает правильность формулы.
• Б) Анализ размерностей не имеет практической ценности в физике.
• В) Анализ размерностей дает только постоянный коэффициент формулы, но не ее последовательность.
• Г) Формула, которая не соответствует размерности, абсолютно неверна; Анализ размеров обнаруживает ошибку без подсчета чисел ✔

Пояснение: Две стороны физического уравнения должны быть равны по размерам, прежде чем они смогут быть равны численно. Формула, которая не соответствует размерности, просто неверна; это фиксируется при подсчете количества. Анализ размерностей не доказывает окончательно, что формула правильна (в ней может отсутствовать безразмерный постоянный коэффициент или угол), но он убедительно доказывает, что она неверна; так что это первый и самый дешевый аудит каждого аккаунта.

9. Какой первый шаг является наиболее важным при расчете кинетической энергии объекта, движущегося со скоростью 36 км/ч?

• А) Преобразование всех исходных данных в единую систему единиц (СИ); Преобразование 36 км/ч в 10 м/с ✔
• Б) Подставляя скорость в км/ч непосредственно в формулу, не переводя ее в м/с.
• В) Умножение только чисел без учета единиц измерения
• Г) Предполагая, что нет необходимости проверять заказ после подсчета результата

Пояснение: Формулы, основанные на системе SI (E = ½mv²), предполагают скорость в м/с. Путать км/ч с м или часы с секундами при расчетах — одна из самых распространенных ошибок в физике. Сначала все входные данные необходимо преобразовать в единую систему единиц (СИ): 36 км/ч = 10 м/с. Поскольку ИИ может совершать неявные ошибки при преобразовании составных единиц, это преобразование необходимо проверять вручную или с помощью инструмента, учитывающего единицы измерения.

10. Какая практика правильна с точки зрения «честности» в научном графике?

• А) Скрытие неопределенности, поскольку полосы ошибок загромождают диаграмму.
• Б) Обозначьте оси единицами измерения, выберите масштаб без искажений и покажите неопределенность с помощью полос погрешностей ✔
• В) Всегда начинайте ось Y в диапазоне, где будет наблюдаться наиболее существенная разница.
• Г) Оставляем оси без единиц измерения, потому что читатель может угадать единицу измерения.

Описание: Честная научная таблица; он маркирует оси величиной и единицей измерения, сознательно и без искажений выбирает масштаб (начинание оси Y от нуля для преувеличения вводит в заблуждение) и делает неопределенность измерения видимой с помощью полос погрешностей. Сокрытие неопределенности делает данные более достоверными и создает ложное впечатление предвзятости или согласия. Чем убедительнее графика, тем важнее проверка целостности.

11. Каков самый большой риск и правильная дисциплина при получении поддержки литературы и цитирования от искусственного интеллекта?

• А) Искусственный интеллект тратит время, потому что он очень медленно цитирует
• Б) Источники, предложенные искусственным интеллектом, всегда реальны, в проверке нет необходимости
• В) Искусственный интеллект может создавать атрибуции, которые кажутся реальными, но не существуют; Каждая цитата должна быть подтверждена DOI/источником, а литература должна быть найдена в реальной базе данных ✔
• Г) Вымышленные цитаты легко распознать, поскольку в них всегда используются нереальные названия журналов.

Объяснение: Большая языковая модель не связана с реальной базой данных; Имитируя шаблоны цитирования, он может создавать статьи, которые имеют настоящее название журнала, надежных авторов и разумный год, но совершенно отсутствуют. Поэтому литературу следует искать в реальных базах данных, искусственный интеллект следует использовать только для обобщения/перевода имеющегося под рукой текста, а каждая цитата должна быть независимо проверена по DOI или названию. Непроверенная цитата является нарушением академической честности.

12. Что нужно, чтобы получить надежные результаты при резюмировании статьи с помощью ИИ?

• А) Достаточно просто указать название статьи, модель знает содержание
• Б) Использование резюме напрямую, вообще не проверяя его, потому что оно выглядит плавным
• В) Дважды запросить у модели одно и то же резюме и принять его как правильное, если оно похоже.
• D) Передача исходного текста модели и сравнение полученного резюме с исходным текстом, чтобы убедиться, что ничего не было добавлено/искажено ✔

Пояснение: если просто дать ИИ название статьи и запросить краткое изложение, модель выдаст «правдоподобное резюме», даже не видя статьи; Это резюме может быть противоположностью истины. Надежное резюме можно получить только в том случае, если исходный текст подается в модель и сгенерированное резюме сравнивается с исходным текстом. Дополнительно следует проверить, чтобы в резюме не добавлялись результаты или цифры, которых нет в тексте.

13. Что верно в отношении результатов искусственного интеллекта в производстве материалов для курса физики?

• А) Каждое решение должно быть независимо проверено, должны быть указаны границы аналогий, а дистракторы должны быть нацелены на реальные заблуждения ✔
• Б) Ключ ответа, выдаваемый искусственным интеллектом, всегда правильный, нет необходимости в проверке
• В) Аналогии совершенны во всех случаях, нет необходимости указывать их пределы.
• Г) Дистракторы следует выбирать совершенно случайно, поскольку характер неправильного выбора неважен.

Описание: ИИ быстро генерирует вопросы, примеры и аналогии, но проверка необходима по трем пунктам: решение каждой проблемы должно проверяться независимо (вручную или с помощью кода), поскольку модель может допускать ошибки в знаке/единице измерения в решении; Каждая аналогия должна быть указана там, где она не работает, иначе она приведет к новой ошибке; Отвлекающие должны быть нацелены на истинные заблуждения. Ответственность лежит на учителе; Неправильный ключ ответа оставляет учащимся недоразумения, которые трудно исправить.

14. Какое поведение соответствует научной честности, когда экспериментальные данные не полностью согласуются с теорией?

• А) Наличие искусственного интеллекта организует данные в соответствии с теорией и убедительно показывает график.
• Б) Расследование причин расхождения (систематическая ошибка, отсутствие модели, новый эффект) и честное составление отчета без изменения данных ✔
• В) Игнорирование разногласий и сообщение только подходящих моментов.
• D) Удаление данных и установка нового результата эксперимента.

Пояснение: Просить ИИ «упорядочить данные так, чтобы они лучше соответствовали теории» — это мошенничество с данными и грубое нарушение научной честности. Разногласия следует исследовать, а не скрывать: они могут указывать на систематическую ошибку, статистическое колебание, отсутствие закономерности или интересный новый эффект. Данные предоставляются как есть, с неопределенностью; Конечная ответственность лежит на человеке, и фраза «инструмент сделал это» не является защитой.