Прибыль:
- Возможность различать, где в рабочем процессе ML (код, данные, документ) искусственный интеллект экономит время с низким риском, а где такие решения, как метрика/данные/запуск в производство, оставляются на усмотрение человека, в зависимости от уровня риска задачи.
- Способность применять дисциплину, которая проверяет каждый выходной сигнал ИИ, подключая его к источнику, повторно запуская, измеряя и пропуская через инженерный фильтр.
- Способность приобрести привычку не отправлять необработанные конфиденциальные и личные данные во внешние инструменты, использовать одобренные корпорацией инструменты и решать проблемы безопасности только в защитных целях.
Искусственный интеллект в машинном обучении: роль, границы, проверка и ответственность
Инженер по машинному обучению (инженер ML: специалист по программному обеспечению, который проектирует, обучает и переносит модели, обучающиеся на основе данных, в производство) сегодня на каждом этапе своей работы работает с другим инструментом искусственного интеллекта. Помощник по кодированию действует при написании кода, модель диалога — при изучении данных, а большая языковая модель (LLM: нейронная сеть с миллиардами параметров, которая понимает и создает текст) при создании документации. В этом модуле искусственный интеллект рассматривается как разрабатываемый продукт и как ежедневный рабочий инструмент инженера ML. Он действует, четко разграничивая границы ответственности, не смешивая две роли.
В этом первом модуле мы отвечаем на основной вопрос: где в ML-инжиниринге искусственный интеллект экономит реальное время, а где мы должны оставить принятие решения людям? Ответ лежит в основе инженерной дисциплины: тот, кто делает быстро, тот, кто проверяет, несет ответственность.
Где искусственный интеллект может пригодиться в машинном обучении?
Проект ML проходит примерно по следующим направлениям: сбор данных, очистка данных, разработка функций (преобразование необработанных данных в цифровые сигналы, понятные модели), обучение модели, оценка, развертывание (развертывание: открытие модели для реального пользователя) и мониторинг. ИИ помогает на каждой остановке на этом пути, но уровень его полномочий варьируется.
Области с высоким вознаграждением и низким риском: создание скелета кода, набросок функции преобразования данных, интерпретация сообщений журнала, описание трассировки стека, обобщение заметок об экспериментах, написание документации и файлов README, предложение тестового примера. Здесь ошибки искусственного интеллекта обходятся дешево; потому что результат уже пройдет тестирование и проверку.
Области высокого риска: принятие решения о том, какие данные пойдут на обучение, подтверждение того, должна ли модель быть запущена в производство, оценка метрики «достаточно хороша», решение об обработке личных данных, закрытие уязвимости безопасности как «мусор». Они влияют на деньги, конфиденциальность, юридическую ответственность и доверие пользователей. Искусственный интеллект дает здесь предложения; Решение принимает компетентный инженер и ответственная команда.
Совет: прежде чем передать задачу ИИ, спросите: «Какова будет цена, если этот результат окажется неверным, и насколько легко кто-нибудь обнаружит ошибку?» Если цена низкая и поймать легко, передайте это дальше. Если цена высока или захват сложен, используйте ИИ только для драфта и решайте сами.
Дисциплина проверки: три шага
В ML-инжиниринге результаты ИИ никогда не являются «законченной работой»; Это черновик. Пропустите каждый вывод через следующие три шага:
- Подключите его к источнику. Если в модели указано число, пороговое значение или «лучшая практика», основывайте ее на официальной документации, фактическом значении в базе кода или измеренном показателе. Здесь чаще всего ловится «подгонка модели» (галлюцинация: уверенное производство нереальной информации языковой моделью).
- Перезагрузите и измерьте. Запустите сгенерированный код, пересчитайте выдаваемую им метрику на вашем собственном наборе тестов, проверьте предложенный SQL-запрос на небольшой выборке. Код, который не работает, бесполезен, даже если он выглядит красиво.
- Пропустите его через инженерный фильтр. Выдерживает ли производительность масштаб? Были ли рассмотрены пограничные случаи (пустые данные, очень большие входные данные, отсутствующие поля)? Есть ли нарушение безопасности и конфиденциальности? Этот шаг может сделать только человек, знающий эту область.
Слабая подсказка / Сильная подсказка
Слабая подсказка: «Напишите мне какой-нибудь код обучения модели».
Мощная подсказка: «Напишите сценарий обучения для двоичной классификации с помощью scikit-learn. Входные данные: data/train.parquet, целевой столбец is_churn. Существует дисбаланс классов (положительный коэффициент ~ 8%), обработайте его с помощью class_weight. Используйте PR-AUC (площадь под кривой точного отзыва) в качестве оценочной метрики, потому что точность вводит в заблуждение для несбалансированных данных. Исправьте случайное начальное число равным 42. Проверьте в конце набора печати кода PR-AUC».
Разница: вторая подсказка содержит достоверность данных, правильную метрику, информацию о дисбалансе и требования к повторяемости. Именно в этом контексте результат можно проверить и использовать.
Конфиденциальность и безопасность данных: первая обязанность инженера
Инженер ML часто затрагивает наиболее конфиденциальные данные компании: записи клиентов, историю транзакций, данные о состоянии здоровья или финансовые данные, журналы производственных систем. Три правила при передаче данных в инструменты искусственного интеллекта:
- Не отправляйте необработанные личные и конфиденциальные данные во внешние инструменты. Например, вместо вставки электронных писем клиентов в приглашение отправьте схему и фиктивные (синтетические) образцы. Используйте замаскированный пример, например «ex: ahmet@example.com», вместо реальных данных.
- Используйте утвержденные корпоративными транспортными средствами. Выбирайте инструменты, в которых по договору четко указано, где обрабатываются данные, хранятся ли они, используются ли они в образовательных целях или нет. Обработка корпоративных данных с помощью личного кабинета является нарушением в большинстве компаний.
- Минимальная политика данных. Дайте минимальный контекст, необходимый для решения задачи. Не всю таблицу, а соответствующие 5 столбцов и схему.
Внимание: Предположим, что текст, переданный в языковую модель, не может быть отменен. Не отправляйте необработанные личные данные, думая: «Я удалю их позже»; Риск возник в момент отправки.
Оборонительное использование в сфере безопасности
Инженеры ML часто устанавливают системы безопасности: обнаружение мошенничества, классификация вредоносного трафика, аутентификация. В этом модуле мы рассматриваем вопросы безопасности только в защитных целях: обнаружение атак, усиление защиты системы, закрытие уязвимостей. Использование искусственного интеллекта для несанкционированного доступа, утечки данных или несанкционированного вмешательства в чужую систему является незаконным и противоречит профессиональной этике. Когда вы обнаружите уязвимость, правильный путь — ответственно сообщить о ней и исправить ее; не эксплуатировать.
три мини-кейса
Случай 1 – Экономия времени. Инженер ML обычно тратит полдня на исследовательский анализ данных (EDA) набора данных из 40 столбцов. Он передал схему и выходные данные df.describe() искусственному интеллекту и спросил: «Какие столбцы имеют высокий уровень выбросов и пропусков, какие преобразования вы рекомендуете?» Через 20 минут он получил расставленный по приоритетам список, сверив каждый пункт своим кодом. Экономия: ~3 часа, низкий риск ошибки, поскольку измеряется каждая претензия.
Случай 2. Обнаружена ошибка. «Точность обучения 99%, отлично», — сказал модели ассистент в чате. Инженер применил третий шаг (инженерный фильтр) и понял: в целевом столбце случайно произошла утечка атрибутов (утечка данных: модель видит информацию, которую она не должна видеть при обучении). Реальная производительность была намного ниже. Скептицизм инженера, а не «великая» интерпретация ИИ, спас работу.
Случай 3 – Предотвращение нарушения конфиденциальности. Команда вставляла журналы производственных ошибок во внешнюю модель и просила «исправить эту ошибку». В журналах были идентификационные номера клиентов. Команда взяла за правило писать небольшой скрипт, который сначала маскирует логи (делая их идентификационные номера ***) и отправляет их таким образом. Риск взлома исчез, скорость оказания помощи не изменилась.
Копируемые шаблоны
Задача: [что делать, одно предложение] Контекст: [схема данных, размер, ограничения; НЕТ АКТУАЛЬНЫХ персональных данных]Ограничения: [язык/библиотека, производительность, воспроизводимость]Метрики: [как измерить успех]Желаемый результат: [код/описание/список] и почему именно в этом формате
Проверьте этот код. Оцените не только то, что это работает, но и с точки зрения: 1) Краевых случаев (пустой ввод, отсутствующий столбец, очень большие данные) 2) Риска утечки данных 3) Воспроизводимости (начальное число, версия) Предложите исправления для каждой обнаруженной проблемы. Отметьте «проверить» там, где вы не уверены. Код: [код]
Интерпретируйте результат этого показателя, но сначала спросите: подходит ли этот показатель для данной проблемы? Проблема: [сбалансированная/несбалансированная классификация, регрессия, ранжирование...] Сообщаемый показатель и значение: [например, точность 0,99]Какую метрику вы бы порекомендовали и почему, и на какие признаки мне следует обратить внимание, чтобы заставить меня усомниться в текущем результате?
Проверьте, есть ли личная/конфиденциальная информация в данных, которые я предоставлю в следующем запросе. Перечислите поля (имя, адрес электронной почты, идентификационный номер, телефон, адрес), которые необходимо замаскировать в тексте ниже. Текст: [текст]
Таблица ролей и полномочий
Квест
Роль искусственного интеллекта
Владелец решения
Скелет кода/функция преобразования
генератор тяги
Инженер (отзывы)
EDA/сводка данных
ускоритель
Инженер (проверяет путем измерения)
Метрическая интерпретация
Предложение
инженер
Какие данные пойдут на обучение?
Предложение
Команда + владелец данных
Запустить модель в производство
Напоминание о контрольном списке
Ответственный инженер + команда
Обработка персональных данных
Нет (не используется)
Юридическое лицо + контроллер данных
Распространенные ошибки
- Использование вывода без его проверки. Самая распространенная и самая дорогая ошибка. Код или метрика, которая выглядит красиво, не означает, что она правильна.
- Вставка необработанных конфиденциальных данных в инструмент. После отправки его невозможно вернуть обратно.
- Опираясь на неправильную метрику. Несовместимые показатели, такие как точность несбалансированных данных и среднеквадратическое отклонение в задачах ранжирования, вводят в заблуждение.
- Ошибочное восприятие искусственного интеллекта как лица, принимающего решения. Он дает предложения; Ответственность лежит на подписавшей стороне.
- Бесконтекстная подсказка. Неоднозначные запросы, такие как «написать модель», приводят к непроверяемым результатам.
В заключение
Искусственный интеллект — это одновременно продукт, разработанный инженером ML, и его ежедневный репликатор. Его ценность наиболее высока в легко проверяемых задачах с низким уровнем риска, таких как код-данные-документ; Решения, касающиеся денег, конфиденциальности и безопасности, остаются за человеком. Подключите каждый выход к источнику, измерьте еще раз, пропустите через инженерный фильтр. Защищайте конфиденциальные данные, используйте одобренные транспортные средства, работайте в сфере безопасности только в оборонительных целях. Эта дисциплина является основой для всех последующих разделов.
Задача приложения
Выберите задачу из собственного проекта (например, написание функции очистки данных). Сначала напишите слабую подсказку, затем напишите сильную подсказку, используя шаблон в этом модуле. Возьмите оба выхода, примените трехэтапную проверку (ссылка на источник, повтор, инженерный фильтр). Обратите внимание, какая подсказка экономит, сколько минут и сколько исправлений.
контрольный список
- [ ] Я определил уровень риска (низкий/высокий) для своей задачи.
- [ ] Я не указал в приглашении никаких реальных личных/конфиденциальных данных; Я замаскировал это или использовал синтетический образец.
- [ ] Я подключил вывод к источнику, запустил его снова, отфильтровал с инженерной точки зрения.
- [ ] Я проверил, что выбрал правильную метрику.
- [ ] Критическое решение (запуск в производство, обработку данных) я принимал сам/вместе с командой, я не оставлял это искусственному интеллекту.
- [ ] Я использовал одобренный компанией автомобиль.