Прибыль:
- Понимание критически важного для безопасности характера блокчейна и причин, по которым искусственный интеллект не может обнаружить исходную ошибку, предоставить ложную уверенность, устареть и не взять на себя ответственность.
- Возможность предотвратить утечку единой ошибки в действующую систему с помощью многоуровневой проверки, которая обеспечивает проверку человеком на каждом этапе.
- Критическое для безопасности окончательное одобрение принадлежит компетентному эксперту и его способности принять принципы человеческой ответственности, обороноспособности, конфиденциальности, прозрачности и честности.
Это самый важный блок данного модуля. До сих пор мы видели, как ИИ ускоряет все: от написания смарт-контрактов до ончейн-анализа, от токеномики до обнаружения мошенничества. В этом разделе мы сделаем шаг назад и посмотрим на суть вопроса: почему результаты ИИ не могут заменить одобрение компетентных экспертов в критически важных для безопасности работах. И как эксперт, какова основа ответственного использования ИИ? Блокчейн-инжиниринг — это критически важная для безопасности область, где ошибки напрямую и необратимо трансформируются в деньги; Этот модуль посвящен требованиям этой реальности.
Что означает «критичный для безопасности» и почему он отличается?
Область является критической с точки зрения безопасности, если последствия ошибки необратимы и серьезны: гибель людей при проектировании мостов, халатность в медицине, немедленная и постоянная потеря миллионов долларов в блокчейне. Принятый стандарт в этих областях полностью отличается от обычного программного обеспечения:
- «Возможно, это работает» недостаточно; должно быть доказано.
- «Мы исправим это позже» недопустимо; Необратимость не прощает.
- Окончательное утверждение лежит на компетентном эксперте, который принимает на себя профессиональную и юридическую ответственность.
ИИ — помощник; не может брать на себя ответственность, не может нести ответственность и не может гарантировать результаты. Если в отчете об аудите не учтена уязвимость, ответственность лежит на подписавшем его эксперте, а не на ИИ. «ИИ так сказал» — это не защита инженерной мысли.
Почему ИИ не может заменить эксперта: четыре ключевые причины
1. ИИ не может видеть исходную и контекстную ошибку. ИИ распознает закономерности в обучающих данных. Новая уязвимость, ошибка бизнес-логики, специфичная для протокола, или уникальное взаимодействие компонентов — это «слепое пятно» ИИ. Самые дорогостоящие атаки Web3 происходят именно из-за этих уникальных уязвимостей.
2. ИИ дает ложную уверенность. ИИ может бегло и уверенно сказать: «Этот код выглядит безопасным», — при этом ошибаясь. Эта «галлюцинация безопасности» является наиболее опасным результатом в критической для безопасности области; потому что это создает ложное чувство безопасности.
3. ИИ устарел. Знания ИИ прекращаются в момент окончания обучения. Новейшие атаки, последние версии библиотек, новейшие лучшие практики остаются за пределами его горизонта. Безопасность — это постоянно меняющаяся гонка; Вчерашней информации сегодня может оказаться недостаточно.
4. ИИ не может брать на себя ответственность. Это, пожалуй, самая основная причина. Техническое одобрение — это не только техническое, но также юридическое и этическое обязательство. Машина не может взять на себя это обязательство.
Внимание: в критически важных для безопасности выводах вопрос «Что сказал ИИ?» но «Кто является компетентным лицом, которое проверяет, подтверждает и поддерживает эти результаты?» должно быть. Никакое одобрение неэксперта — ни со стороны ИИ, ни со стороны инструмента — не может считаться гарантией.
Многоуровневая проверка: предотвращение утечки отдельных ошибок в реальном времени
Ответственный рабочий процесс предполагает человеческую проверку на каждом этапе. Вы не можете пройти через одну дверь, не пройдя через другую:
Этап
Вклад ИИ
ворота проверки человека
правописание
проект кодекса
Сборка + тестирование + обзор
сканировать
Уязвимость кандидата
Статический анализ + подтверждение аудитора
Аудит
Совет, черновик отчета
Грамотная подпись аудитора
тест
черновик сценария
Тестовая сеть + фаззинг + симуляция
Распространение
контрольный список
Подтверждение мультиподписью + постепенный выход
Мониторинг
знак аномалии
план реагирования человека
Эта многоуровневая структура предотвращает утечку одной ошибки ИИ в основную сеть. У каждой двери есть четкое условие прохождения: прошел ли тест, поставил ли аудитор подпись, выдержала ли симуляция?
Слабый подход/Сильный подход
Слабый подход:
ИИ сгенерировал код, он выглядит чистым, давайте разместим его в основной сети.
Это верный путь к катастрофе в безвозвратной сфере.
Мощный подход:
1. ИИ подготовил черновик → мы его скомпилировали, протестировали.2. Статический анализ + сканирование ИИ → подтверждено аудитором.3. Независимый аудит безопасности → подписанный отчет.4. Тестовая сеть + фаззинг + моделирование → сценарии выдержали.5. Мультиподпись, каскадный выход из основной сети + мониторинг. На каждом порту: прогресс отсутствует, пока не будет выполнено условие перехода.
Четыре копируемых шаблона
1) Контроль ворот проверки:
Создайте контрольный список проверки для этого критического с точки зрения безопасности результата: с помощью каких независимых шагов (компиляция, статический анализ, аудит, тестирование, моделирование) он должен быть проверен? Напишите условие перехода для каждого шага. Укажите, какой риск возникнет, если пропустить один шаг.
2) Маркировка уровня достоверности выходного сигнала AI:
Просмотрите приведенные ниже выходные данные, сгенерированные ИИ, и отметьте каждое утверждение: «проверено/должно быть проверено/слабая область ИИ». Выделите моменты, которые требуют человеческого опыта, особенно те, которые связаны с бизнес-логикой и уникальными рисками.
3) Экспертная записка о передаче:
Чтобы передать этот вывод компетентному эксперту, подготовьте конспект: что делал ИИ, с какими предположениями, где не уверен, где конкретно эксперту нужно подтвердить? Дайте понять, что ответственность лежит на эксперте.
4) Подготовка реагирования на инциденты:
Составьте схему реагирования на чрезвычайную ситуацию/инцидент для этого протокола: какие шаги (полномочия по перехвату, связь, защита средств) будут предприняты, если в существе будет использована уязвимость? Это черновик; Команда и эксперт должны провести калибровку.
Три мини-кейса (в цифрах)
Случай 1. Прыжок в дверь привел к катастрофе. Из-за нехватки времени команда пропустила независимый аудит и, полагаясь на собственные тесты AI+, перешла в основную сеть. 11 дней спустя из-за уязвимости в бизнес-логике удалено около 4 миллионов долларов. Досмотровые ворота, вероятно, зафиксировали бы это. Урок: не обходите дверь в критической зоне безопасности.
Случай 2 — многоуровневая аутентификация сохранена. Каждыми воротами управляла другая команда: план ИИ → статический анализ → аудит → тестовая сеть → моделирование. На этапе аудита при моделировании был обнаружен риск повторного входа, риск оракула. Оба они закрылись до того, как появилась основная сеть. Урок: слои предотвращают утечку единичных ошибок.
Случай 3 — «Безопасная галлюцинация». Разработчик спросил ИИ о коде; «Похоже, что никаких серьезных проблем с безопасностью не существует», — сказал AI. Команда все равно отправила его на проверку, и были сделаны два вывода высокого уровня. Если бы мы доверились ИИ, они оба ожили бы. Урок: Выражение уверенности ИИ не является подтверждением.
Принципы ответственного использования
Суть этого модуля можно свести к шести принципам:
- Ответственность человека: окончательное утверждение критически важных для безопасности решений возлагается на компетентного эксперта; ИИ не может быть привлечен к ответственности.
- Многоуровневая аутентификация: человеческие ворота и условия пропуска на каждом этапе.
- Оборонительное использование: для защиты и контроля информации; Не использовать/поймать в ловушку.
- Конфиденциальность: код и данные клиента не передаются открытым инструментам без разрешения.
- Прозрачность: в отчете честно указано использование ИИ; Никаких преувеличений или ложных заверений не дано.
- Честность: инвесторы и пользователи не вводятся в заблуждение; Риск не скрывается, советы не маскируются.
Совет: Задавайте себе один вопрос для каждого критического с точки зрения безопасности решения: «Если это неправильно и деньги потеряны, была ли проведена компетентная проверка человеком, чтобы поддержать это и взять на себя ответственность?» Если ответ «нет, так сказал ИИ», процесс незавершен.
Распространенные ошибки
- Обход ворот независимого аудита. Это неумолимо в безвозвратной области.
- Приняв выражение доверия ИИ за подтверждение. «Безопасная галлюцинация» наиболее опасна.
- Пытаюсь переложить ответственность на ИИ. Ответственность лежит на подписавшем эксперте.
- При условии своевременности. ИИ ничего не знает после даты окончания обучения.
- Укорочение дверей из-за нехватки времени. Источник самой дорогой ошибки.
- Уход без плана реагирования на инцидент. Когда происходит утечка, человек остается неподготовленным.
В заключение
- Блокчейн критически важен для безопасности; Ошибки необратимы и напрямую превращаются в деньги.
- ИИ не может увидеть исходную ошибку, дает ложную уверенность, устарел и не может взять на себя ответственность.
- Вот почему окончательное одобрение критически важных для безопасности решений всегда остается за компетентным экспертом.
- Многоуровневая проверка предотвращает утечку одной ошибки в рабочую среду, размещая на каждом этапе «человеческие ворота».
- Ответственное использование: человеческая ответственность, оборонительные цели, конфиденциальность, прозрачность и целостность.
Задача приложения
Представьте себе проект смарт-контракта (или возьмите реальный пример). Напишите многоуровневый план проверки всего пути от идеи до мейннета: что делает ИИ на каждом этапе, какие там человеческие ворота, каково условие перехода? Затем добавьте сценарий «цель времени»: какую дверь будет опаснее всего обойти и почему? Также включите схему реагирования на инциденты.
контрольный список
- [ ] Я согласен с тем, что окончательное утверждение критически важных для безопасности решений остается за экспертом.
- [ ] На каждом этапе я устанавливаю шлюзы для проверки людьми.
- [ ] Я не считал выражение уверенности ИИ подтверждением.
- [ ] Я не обошел дверь независимого аудита.
- [ ] Я не предполагал актуальности; Я подтвердил последнюю информацию у человека.
- [ ] Я не возлагал ответственность на ИИ.
- [ ] Я подготовил план реагирования на инцидент.