Критические вопросы безопасности, этика, конфиденциальность и подотчетность

Прибыль:

• Способность оценивать ограничения и требования к проверке ИИ в инженерных работах, критически важных для безопасности.
• Способность управлять рисками конфиденциальности, политики данных и интеллектуальной собственности при конфиденциальном обмене проектами/данными.
• Способность практически доказать, что результаты ИИ не могут заменить одобрение инженера и ответственность за подпись.

В машиностроении часть продукции является не эстетическим выбором, а вопросом жизни человека и безопасности имущества: тормоз лифта, сосуд под давлением, часть подъемного оборудования, деталь автомобильной подвески. На этих критически важных для безопасности работах ошибки могут привести к травмам или смерти. Искусственный интеллект (ИИ) также является катализатором в этих областях; но здесь ее границы проявляются наиболее резко. Этот блок является основой этического и подотчетного модуля и основан на одном принципе: результаты ИИ не заменяют проверку, одобрение и подпись компетентного инженера в любой критически важной для безопасности работе. ИИ может быть проектом, источником информации, вторым глазом; но он не может взять на себя ответственность, потому что юридическая и этическая ответственность принадлежит инженеру, подписавшему. Помимо этого, необходимо управлять двумя другими основными рисками: конфиденциальностью (проекты компании, данные клиентов, незапатентованные идеи) и точностью (галлюцинации). В этом модуле вы узнаете об ограничениях ИИ в критически важной работе, рисках конфиденциальности и интеллектуальной собственности, а также о том, почему ответственность не подлежит делегированию.

Критическая безопасность: вот место и пределы ИИ

Является ли работа «критичной с точки зрения безопасности» или нет, определяется серьезностью результата в случае ошибки. В этом масштабе роль ИИ сужается: генерация идей, составление проектов, составление контрольных списков — да; но утверждать окончательный отчет, постановлять «безопасно» или разрешать производство — нет-нет. Следующее различие делает это конкретным:

тип бизнеса

Соответствующая роль ИИ

Неотъемлемая роль инженера

Обычный, низкий риск

Черновик, автоматизация, первый аккаунт

обзор

средний риск

Альтернатива, контрольный список, предварительный анализ

Проверка и решение

Критически важные для безопасности

Только черновик/второй глаз

Анализ, тестирование, утверждение, подпись, ответственность

Критический принцип: какими бы убедительными ни были результаты ИИ, это всего лишь гипотеза и план. Критически важные для безопасности расчеты воспроизводятся независимо, проверяются на соответствие стандартам, при необходимости тестируются и подписываются компетентным инженером. Подпись означает «Я подтвердил это и беру за это ответственность»; языковая модель не может сделать это заявление.

Совет: задавайте себе этот вопрос при каждом выводе ИИ: «Если это неправильно, кто пострадает и кто несет ответственность?» Если ответ: «Люди пострадали, я несу ответственность», этот результат ни к чему не приведет без прохождения самых высоких стандартов проверки.

Галлюцинации и ловушка самоуверенности

Самая опасная особенность ИИ заключается в том, что он предоставляет ложную информацию с той же уверенностью, что и правильную. Он может составить стандартную вещь, дать неправильную материальную ценность, неправильно применить формулу и написать все это беглым профессиональным языком. Когда к этому добавляется предвзятость самоуверенности (предвзятость автоматизации; склонность человека слишком сильно доверять выводам автоматической системы), опасность возрастает: инженер может принять вывод, который хорошо выглядит на экране, не проверив его. Оборонительная позиция — это культурная привычка: рассматривать результаты ИИ как «сомнительные, пока не доказано обратное», а не как «вероятно правдивые».

Внимание: фраза «ИИ выглядел уверенным» не является защитой. «Так сказал ИИ» не является оправданием при расследовании несчастного случая, проверке или судебном процессе; Ответственность остается за утверждающим инженером. Думайте об ИИ как о стажере, который никогда не разделяет ответственности, но иногда сильно ошибается: вы принимаете его мнение и никогда не подписываете его работу, не проверив ее.

Политика конфиденциальности, интеллектуальной собственности и данных

Второй по величине риск — конфиденциальность. Загрузка незапатентованной разработки компании, данных клиента или конкурентно-чувствительного решения в общедоступный инструмент искусственного интеллекта, политика данных которого неизвестна; может привести к потере интеллектуальной собственности, нарушению конфиденциальности и нарушению договора. Некоторые инструменты могут использовать входные данные для обучения модели; Секретная геометрия, которую вы загружаете, может быть доступна кому-то еще. Правильный подход: соблюдение политики данных компании, анонимизация конфиденциальных данных (удаление идентифицирующей информации и перевод ее в общедоступный формат) или использование корпоративного/изолированного инструмента, из которого данные не удаляются.

Шаг за шагом: использование безопасного и этичного ИИ

1. Классифицируйте риск. Критична ли эта работа с точки зрения безопасности, каковы последствия в случае ошибки?
2. Подумайте о конфиденциальности. Могут ли эти данные выйти наружу; Что говорит политика?
3. Анонимизируйте или используйте изолированные инструменты. Удалите конфиденциальную информацию.
4. Используйте ИИ в качестве черновика/второго глаза. Это не одобрение, это вклад.
5. Самостоятельно проверить. Воспроизведение, стандартирование, тестирование.
6. Компетентный инженер утверждает и подписывает. Ответственность не может быть делегирована; Запись о прослеживаемости сохраняется.

Подсказка для оценки рисков и конфиденциальности

Роль: Консультант по инженерной этике и управлению рисками. Задача: Оценить следующую работу с точки зрения критичности безопасности и конфиденциальности. Должность: [описание должности; возможный исход в случае ошибки; тип данных, подлежащих совместному использованию]. Выходные данные: - Класс риска (обычный / средний / критический для безопасности) и обоснование - ЧТО я могу заставить ИИ делать в этой работе, ЧТО я не могу делать - Существует ли риск конфиденциальности; должны ли данные быть анонимными; Требуется ли изолированное транспортное средство? Правило: Подчеркните, что окончательное утверждение и ответственность остается за компетентным инженером.

Подсказка анонимизации

Я собираюсь задать ИИ задачу дизайна, но не хочу делиться информацией о компании. АНОНИМИЗИРУЙТЕ следующий контекст: опустите название компании, название продукта, клиентов и описательные показатели; Перепишите проблему в общих инженерных терминах, чтобы конфиденциальная информация не утекла, но техническое ядро было сохранено. Контекст: [текст]

Подсказка о проверке дисциплины

Проверьте эту критически важную для безопасности учетную запись в качестве независимого рецензента, НИКОГДА не присоединяйтесь ко мне. Формула вопроса, единица измерения, допущение и соответствие стандартам. Воспроизведите результат независимым методом и покажите разницу. Для каждого вывода напишите: «Как мне это доказать/проверить?» Правило: Вы НЕ МОЖЕТЕ подтвердить; удаляйте только те точки, которые нужно проверить.[аккаунт]

Запрос на регистрацию ответственности

Напишите черновой вариант записи о прослеживаемости/решении для этого проектного решения. Поля: решение, основа (расчет/стандарт/испытание), вклад ИИ (проект?), метод независимой проверки, утверждающий инженер, дата, поле подписи. Правило: четко обозначьте вклад ИИ как «проект/помощь»; Оставьте поле подтверждения пустым.

Слабая подсказка/Сильная подсказка

Слабая подсказка:

Безопасна ли эта конструкция тормоза лифта, подтвердите.

ИИ не может и не должен предоставлять допуск к секретной информации; Если он говорит «безопасно», это вводит в заблуждение и опасно, потому что он не может нести ответственность.

Мощная подсказка:

Просмотрите этот расчет тормозов как независимый рецензент; Участие, слабые стороны и предположения, которые необходимо проверить. Воспроизведите результат самостоятельно и покажите разницу. Знайте, что у меня есть одобрение и ответственность; вы просто перечисляете контрольно-пропускные пункты.

Вторая подсказка позиционирует ИИ как инструмент критического контроля, а не как орган одобрения; ответственность возлагается на инженера.

Три мини-кейса (по номерам)

Случай 1 – Ответственность подписавшего. Инженер будет использовать расчет подъемного крюка, который ИИ подготовил за 2 часа. Крюк поднимет 2 тонны; разрыв был бы фатальным. Инженер самостоятельно переделывает расчет, корректирует коэффициент запаса до ≥ 4, требуемого стандартом, вместо 1,8, заданного AI, и увеличивает геометрию. Число ИИ «казалось разумным», но не достигало критического для безопасности порога. Он подписывает только после проверки. Урок: одобрение и решение о коэффициенте безопасности не подлежат передаче.

Случай 2 – Утечка дизайна. Стажер загружает новый незапатентованный механизм компании в общедоступный инструмент искусственного интеллекта и говорит «оптимизируйте». Политика данных инструмента сохраняет входные данные и может использоваться при обучении. Когда компания осознает это, в дело вступает команда юристов; Патентная стратегия страдает из-за риска интеллектуальной собственности. Правильный путь — анонимизировать механизм или использовать корпоративную изоляцию. Урок: секретная политика проектирования: не входите в неизвестный автомобиль.

Случай 3 – Анонимизация спасает. Инженер хочет обсудить конкретную проблему с редуктором для клиента с помощью ИИ, но клиент и продукт являются конфиденциальными. Он анонимизирует контекст: удаляет название компании/продукта, описательные размеры и переписывает задачу как «общий редуктор для заданного передаточного числа и крутящего момента». Он использует искусственный интеллект без утечки конфиденциальной информации, сохраняя техническую суть. Урок: анонимизация — это безопасный путь между конфиденциальностью и эффективностью.

Распространенные ошибки

• Предоставление полномочий на одобрение ИИ: говорить «Безопасно ли, одобрите» и пытаться делегировать ответственность.
• Чрезмерная самоуверенность (предвзятость автоматизации): принятие убедительных результатов без их проверки.
• Загрузка конфиденциальных данных в общедоступный инструмент: обмен данными о дизайне/клиентах без знания политики.
• Обход анонимности: задать деликатную проблему без удаления идентифицирующей информации.
• Не вести учет прослеживаемости: не документировать вклад и проверку ИИ.
• Недооценка фактора безопасности: пересечение критического для безопасности порога с низким значением, заданным ИИ.

В заключение

• В критически важной для безопасности работе ИИ может быть образцом и вторым глазом; Утверждение, подпись и ответственность принадлежат компетентному инженеру.
• ИИ представляет неправильное так же убедительно, как и правильное; Позиция «подозреваю, пока не доказано обратное» необходима для предотвращения предвзятости из-за самоуверенности.
• «ИИ казался уверенным» не является юридической или этической защитой; Ответственность остается за утверждающим.
• Конфиденциальный дизайн, данные клиентов и незапатентованные идеи не загружаются в неизвестные автомобили; анонимизировать или использовать изолированные инструменты.
• Критическая с точки зрения безопасности учетная запись воспроизводится независимо, проверяется в соответствии со стандартом, и ответственность принимается путем подписания.

Задача приложения

Выберите работу, которая может быть критичной с точки зрения безопасности (лифтовый элемент, напорный компонент, тормоз или опорная конструкция). Сначала классифицируйте работу с точки зрения риска и конфиденциальности: каковы последствия в случае ошибки, какие данные являются конфиденциальными? Пусть ИИ оценит эту работу и составит список «что я могу делать, а что нет?» Анонимизируйте контекст, которым вы поделитесь (удалите информацию о компании/продукте/клиенте). Затем проведите аудит учетной записи, используя ИИ только в качестве критического инструмента проверки, но воспроизведите результат самостоятельно независимым методом и сравните коэффициент безопасности с соответствующим стандартом. Наконец, составьте проект протокола отслеживания/решения; Пометьте вклад ИИ как «черновик/помощник» и оставьте поле утверждения квалифицированному инженеру.

контрольный список

• [ ] Работа оценивалась по классу риска (рутинный/средний/критический с точки зрения безопасности).
• [ ] Конфиденциальность оценена; Конфиденциальные данные анонимизируются или используется изолированный инструмент.
• [ ] ИИ использовался в качестве черновика/второго глаза, а не органа утверждения.
• [ ] Критически важные для безопасности расчеты воспроизводятся независимо и проверяются на соответствие стандарту.
• [ ] Коэффициент безопасности сравнивался с порогом соответствующего стандарта.
• [ ] Сохраняется запись о отслеживаемости/решениях; Утверждение, подпись и ответственность были оставлены на усмотрение компетентного инженера.

Модульный экзамен

1. Что из перечисленного является наиболее реалистичной и безопасной ролью ИИ в рабочем процессе САПР и проектирования?

• А) Вспомогательные функции, такие как предложение альтернатив дизайна и создание параметрических сценариев/макросов ✔
• Б) Автоматическое утверждение статики и прочности
• В) Отправка конструкции непосредственно в производство без утверждения инженером.
• D) Принятие полномочий на подпись и утверждение от инженера

Описание: ИИ хорошо справляется со вспомогательными задачами, такими как предложение альтернатив дизайна, создание параметрических сценариев/макросов, составление проектов материалов и метаданных (дивергентное мышление). Окончательная геометрия, допуск, утверждение прочности и решение об отправке в производство (конвергентное решение) остаются за инженером.

2. AI дал для материала значение «предел текучести 250 МПа». Что следует сделать, прежде чем использовать это значение в качестве основы для проектирования?

• А) Внесение суммы непосредственно на счет, поскольку ИИ обновлен
• Б) Проверьте значение, указанное в паспорте производителя или стандарте материала. ✔
• В) Округление значения в большую сторону и предположение, что оно безопасно
• D) Добавить случайный коэффициент запаса и пройти

Описание: ИИ может аппроксимировать, аппроксимировать или полностью подделывать (галлюцинировать) свойства материала; Его значение варьируется в зависимости от состояния отпуска/термической обработки одного и того же материала. Значение не следует включать в проект без проверки из таблицы данных производителя или соответствующего стандарта на материал.

3. Для чего в основном используются диаграммы Эшби (выбора материала)?

• А) Рассчитать точную себестоимость детали
• Б) Создать прайс-лист поставщика
• В) Сравнить свойства материала (например, прочность-плотность) и выбрать кандидатов ✔
• D) Для определения допусков детали.

Описание: Диаграммы Эшби сравнивают материалы, помещая два свойства материала (например, прочность-плотность, модуль упругости) на оси и визуализируя наиболее подходящий набор кандидатов на основе индекса производительности. Он не предназначен для определения точной стоимости, допуска или цены поставки.

4. ИИ выполнил расчет напряжения, но вы не уверены в согласованности единиц измерения. Что в первую очередь отражает размерный (единичный) анализ?

• А) Орфографические ошибки в тексте.
• Б) Цветовые ошибки в графике
• В) Размер выходного файла
• D) Несогласованность единиц измерения и ошибки преобразования двух частей уравнения ✔

Описание. Размерный (единичный) анализ проверяет соответствие единиц измерения обеих частей уравнения; Например, для напряжения результат должен быть Н/м² = Па. Если единицы не совпадают, значит, в формуле или преобразовании допущена ошибка. Дело не в типе, цвете или размере файла.

5. В тепловом расчете AI сообщила, что водонагреватель мощностью 5 кВт нагревает 1 литр воды на 20°С за 2 секунды. Какова лучшая первая реакция?

• А) Проверка и отбраковка результата с сохранением энергии и порядка величины ✔
• Б) Запись результата с большим количеством десятичных знаков и принятие его
• В) Спросите ИИ: «Вы уверены?» и удовлетворитесь ответом «да»
• Г) Удалить вопрос, задать его с начала и получить первый ответ

Описание: Быстрая проверка производится с проверкой работоспособности и энергосбережением: для нагрева 1 кг воды до 20°C требуется около 84 кДж; При мощности 5 кВт это занимает ~17 секунд, а не 2 секунды. Результат нефизичен и не может быть принят без проверки.

6. Какую наиболее важную проверку следует выполнить, прежде чем доверять результату стресса, интерпретированному ИИ в анализе FEA?

• А) Цветная карта стресса визуально выглядит «красиво»
• Б) Проверка независимости сетки, граничных условий и аналитического сравнения ✔
• В) Выполнение решения в сжатые сроки.
• D) ИИ говорит: «Результат безопасен»

Описание: Результат FEA зависит от плотности сетки, граничных условий и определения материала. Заключение; Независимость сетки (результат не меняется при затягивании сетки) следует проверять путем сравнения с точностью граничного условия и, если возможно, с аналитическим подходом.

7. В МКЭ по мере уплотнения сетки в остром внутреннем углу значение напряжения постоянно увеличивается. О чем в первую очередь говорит эта ситуация?

• А) Материал определенно бракованный
• Б) Имеется ошибка измерения датчика
• В) Искусственная (особая) концентрация напряжений на остром углу; угловой радиус должен быть смоделирован ✔
• D) Решение всегда на безопасной стороне

Пояснение: Идеальный острый (нулевой радиус) внутренний угол — это особая точка в теории упругости; По мере того как сетка становится более плотной, натяжение стремится к бесконечности. Это искусственный результат. В реальной детали угловой радиус должен быть смоделирован или интерпретирован с помощью коэффициента выреза/локальной оценки.

8. AI обнаружил «возможную неисправность внутреннего кольца» в данных вибрации подшипника. Какой подход наиболее правильный?

• А) Полная списание машины без спроса
• Б) Проигнорировать комментарий и продолжить работу
• В) Полное отключение датчика
• D) Проверьте интерпретацию по характеристической частоте ошибок, калибровке и проверке на месте ✔

Пояснение: Интерпретация ИИ аномалии/сбоя является гипотезой. Следует проверить характерные частоты неисправностей в спектре вибрации (например, частоту перехода внутреннего кольца BPFI), калибровку датчика и возможные ошибки данных; Комментарий не должен превращаться в решение о техническом обслуживании без проверки с помощью проверки на месте и механизма физического отказа.

9. Какой аспект вывода требует наибольшего внимания при оценке технологичности (ДФМ) детали с ИИ?

• А) Соответствие рекомендаций фактическим ограничениям станка, инструмента и процесса ✔
• Б) Только эстетический вид изделия
• C) Размер файла модели САПР.
• D) Варианты цвета и покрытия

Описание: ИИ; Он может учитывать ограничения станка, инструмента, пресс-формы и процесса без реальных ограничений мастерской. Например, это может означать недостижимый внутренний радиус угла или невозможный допуск. Рекомендации DFM должны быть проверены на соответствие существующему оборудованию и фактическим ограничениям процесса.

10. Что следует сделать перед отправкой в ​​производство созданного AI допуска чертежа/примечания GD&T?

• А) Обработка заметок непосредственно в чертеж по мере создания ИИ.
• Б) Проверьте и утвердите оценки в соответствии со стандартными и функциональными требованиями ✔
• В) Случайное сужение допусков и уверенность в том, что это безопасно.
• D) Изменение символов, чтобы сделать их запоминающимися.

Описание: ИИ; могут выдавать неверные или нестандартные значения допусков, символы GD&T (геометрические размеры и допуски) или обозначения шероховатости поверхности. Примечания должны быть проверены на соответствие соответствующему стандарту (например, ISO/ASME GD&T) и функциональным требованиям; Соответствие допусков с точки зрения сборки и функционирования должно быть подтверждено инженером.

11. AI заявила, что конструкция «соответствует EN 13445, пункт 7.4.2». Какое поведение является наиболее правильным?

• А) Пишите прямо в отчет, потому что ИИ указывает авторство
• Б) Опираясь на комментарий на интернет-форуме
• C) Проверка номера и содержания вещества по официальному/действующему стандартному тексту ✔
• Г) Изменение номера позиции, чтобы его запомнили

Описание. ИИ может выдавать неправильные или галлюцинированные стандартные номера элементов и точки останова. Указанное вещество и его значение не следует принимать в качестве основы для проекта или отчета без проверки на основании официального и текущего стандартного текста.

12. Что является обязательным перед использованием сценария инженерных расчетов Python, созданного искусственным интеллектом?

• А) Прямое доверие к коду, потому что он работает без ошибок
• Б) Сократите имена переменных и удалите строки комментариев.
• В) Напишите сценарий дольше и считайте, что он безопасен.
• D) Проверка с помощью тестов с известными результатами, модульной проверки и крайних случаев ✔

Комментарий: код AI может содержать неправильное преобразование единиц измерения, неправильную формулу или, в крайних случаях, неправильный результат и может рассчитывать неправильно, даже если он работает без ошибок. Код; Тестовые входные данные с известными результатами должны быть проверены с проверкой единиц измерения (размеров) и крайних случаев.

13. Что правильно с точки зрения ответственности при выполнении критических по безопасности расчетов с использованием ИИ в машиностроении?

• А) Ответственность остается за компетентным инженером, выдавшим утверждение; ИИ не заменяет одобрение ✔
• Б) Инженер освобождается от ответственности, если одобрен AI.
• C) Выходные данные AI заменяют подпись инженера
• D) Проверка человеком не требуется для учетной записи, критически важной для безопасности.

Описание: Компетентный инженер несет ответственность за точность и утверждение/подпись результатов проектирования; ИИ не может взять на себя эту ответственность. Для расчетов и проектов, критически важных для безопасности, AI является черновиком/входными данными и не заменяет инженерное одобрение и проверку.

14. Как лучше всего действовать при попытке проанализировать конфиденциальный дизайн продукта компании с помощью общедоступного инструмента искусственного интеллекта?

• А) Установка стелс-дизайна на общественный транспорт в плане скорости
• Б) Соблюдение политики обработки данных, анонимизация конфиденциальных данных или использование корпоративных/изолированных инструментов ✔
• В) Обмен данными о клиентах всегда необходим для скорости
• D) Вопрос конфиденциальности не имеет отношения к использованию ИИ.

Раскрытие информации: Конфиденциальный дизайн, данные клиентов или незапатентованные идеи не должны быть загружены как таковые в общедоступные инструменты, политика использования данных которых неизвестна; Это создает риск нарушения интеллектуальной собственности и конфиденциальности. Необходимо соблюдать политику компании в отношении данных, конфиденциальные данные должны быть анонимизированы или необходимо использовать корпоративный/изолированный инструмент.