Добици:
- Разумевање безбедносно критичне природе блокчејна и разлога зашто вештачка интелигенција не може да открије оригиналну грешку, да пружи лажна уверења, да буде застарела и не преузме одговорност.
- Способност да се спречи да једна грешка процури у систем уживо помоћу слојевите верификације која поставља капију за верификацију људи у свакој фази
- Безбедносно критично коначно одобрење припада компетентном стручњаку и способности да усвоји принципе људске одговорности, сврхе одбране, поверљивости, транспарентности и поштења.
Ово је најважнија јединица овог модула. До сада смо видели како вештачка интелигенција убрзава све од писања паметних уговора до анализе на ланцу, од токеномике до откривања превара. У овој јединици, враћамо се уназад и сагледавамо срж ствари: зашто АИ излаз не може да замени компетентно стручно одобрење у раду који је критичан за безбедност. И као стручњак, који је оквир за одговорно коришћење вештачке интелигенције? Блоцкцхаин инжењеринг је безбедносно критично поље где се грешке директно и неповратно претварају у новац; Ова јединица се бави захтевима те стварности.
Шта значи „безбедносно критично“ и зашто је другачије?
Област је критична за безбедност ако је последица грешке неповратна и озбиљна: губитак живота у инжењерингу мостова, несавесност у медицини, тренутни и трајни губитак милиона долара у блокчејну. Прихваћени стандард у овим областима је потпуно другачији од обичног софтвера:
- „Вероватно ради“ није довољно; мора се доказати.
- „Поправићемо то касније“ је неважеће; Неповратност не прашта.
- Коначну сагласност даје компетентан стручњак који преузима професионалну и правну одговорност.
АИ је помоћник; не може преузети одговорност, не може се сматрати одговорним и не може стајати иза резултата. Ако у ревизорском извештају недостаје рањивост, одговорност лежи на експерту који је потписао уговор, а не на АИ. „АИ је тако рекао“ није одбрана инжењеринга.
Зашто АИ не може да замени стручњака: четири кључна разлога
1. АИ не може да види оригиналну и контекстуалну грешку. АИ препознаје обрасце у подацима о обуци. Нова рањивост, грешка пословне логике специфична за протокол или јединствена интеракција компоненти је слепа тачка АИ. Најскупљи Веб3 напади потичу управо из ових јединствених рањивости.
2. АИ даје лажна уверења. АИ може течно и самоуверено да каже „овај код изгледа безбедно“ — а да није у праву. Ова „халуцинација безбедности“ је најопаснији резултат у области која је критична за безбедност; јер ствара лажни осећај сигурности.
3. АИ је застарео. Знање АИ престаје на образовном граничном датуму. Најновији напади, најновије верзије библиотеке, најновије најбоље праксе су изван његовог хоризонта. Безбедност је трка која се стално мења; Јучерашње информације данас могу бити недовољне.
4. АИ не може преузети одговорност. Ово је можда најосновнији разлог. Инжењерско одобрење није само техничка већ и правна и етичка обавеза. Машина не може да изврши ову обавезу.
Опрез: У безбедносно критичном излазу, питање је „Шта је АИ рекла?“ али "Ко је компетентна особа која верификује, потврђује и стоји иза овог резултата?" требало би да буде. Никакво нестручно одобрење – ни од АИ ни од стране алата – не може се сматрати гаранцијом.
Вишеслојна верификација: спречавање цурења појединачних грешака уживо
Одговоран ток посла поставља капију за верификацију људи у свакој фази. Не можете проћи кроз једна врата, а да не прођете кроз друга:
Стаге
АИ допринос
капија људске верификације
правопис
нацрт законика
Израда + тестирање + преглед
скенирати
Рањивост кандидата
Статичка анализа + потврда ревизора
Ревизија
Савет, нацрт извештаја
Потпис надлежног ревизора
тест
нацрт сценарија
Тестнет + фуззинг + симулација
Дистрибуција
контролна листа
Потврда вишеструких потписа + постепени излазак
Мониторинг
знак аномалије
план људског одговора
Ова слојевита структура спречава да једна АИ грешка процури у главну мрежу. Свака врата имају јасан услов пролазности: да ли је тест прошао, да ли је ревизор потписао, да ли је симулација издржала?
Слаб приступ / Снажан приступ
Слаб приступ:
АИ је генерисао код, изгледа чисто, ставимо га на маиннет.
Ово је рецепт за катастрофу у неопозивом подручју.
Моћан приступ:
1. АИ је направио нацрт → ми смо га саставили, тестирали.2. Статичка анализа + АИ скенирање → ревизор потврђен.3. Независна ревизија безбедности → потписан извештај.4. Тестнет + фуззинг + симулација → издржани сценарији.5. Вишеструки потпис, каскадни излаз из главне мреже + надзор. На сваком порту: нема напретка док се не испуни услов транзиције.
Четири шаблона за копирање
1) Контрола капије за верификацију:
Генеришите контролну листу за овај безбедносно критични излаз: којим независним корацима (компилација, статичка анализа, ревизија, тестирање, симулација) треба да буде валидиран? Напишите прелазни услов за сваки корак. Наведите који ће ризик настати ако се прескочи један корак.
2) Означавање нивоа поузданости АИ излаза:
Прегледајте излаз генерисан АИ у наставку и означите сваку тврдњу: „проверено / требало би да буде верификовано / област слабости АИ“. Истакните тачке које захтевају људску стручност, посебно оне које укључују пословну логику и јединствени ризик.
3) Стручна преписка:
Да бисте овај резултат предали компетентном стручњаку, припремите резиме: шта је АИ урадио, са којим претпоставкама, где није сигуран, где конкретно стручњак треба да потврди? Објасните да одговорност лежи на стручњаку.
4) Припрема одговора на инцидент:
Направите нацрт одговора на хитне случајеве/инцидент за овај протокол: који би кораци (овлашћење за пресретање, комуникација, заштита фондова) били укључени ако би се рањивост искористила у створењу? Ово је нацрт; Тим и стручњак морају калибрисати.
Три мини кофера (у бројевима)
Случај 1 — Прескакање врата донело је катастрофу. Због временског притиска, тим је прескочио независну ревизију и ослонио се на сопствене тестове АИ + и отишао на маиннет. 11 дана касније ~4 милиона долара је уклоњено из рањивости пословне логике. Инспекцијска капија би ово вероватно ухватила. Поука: не заобилазите врата у безбедносно критичном подручју.
Случај 2 — Вишеслојна аутентификација је сачувана. Други тим је управљао сваком капијом: АИ план → статичка анализа → ревизија → тестна мрежа → симулација. Током фазе ревизије, поновни улазак, ризик пророчанства је ухваћен у симулацији. Оба су се затворила пре главне мреже. Лекција: слојеви спречавају пропуштање појединачних грешака.
Случај 3 — „Сигурне халуцинације“. Програмер је питао АИ о коду; „Изгледа да нема значајних безбедносних проблема“, рекао је АИ. Тим га је ипак послао на инспекцију и појавила су се два налаза на високом нивоу. Да смо веровали вештачкој интелигенцији, обојица би оживела. Поука: Израз самопоуздања АИ није потврда.
Принципи одговорног коришћења
Суштину овог модула можемо свести на шест принципа:
- Људска одговорност: Безбедносно критично коначно одобрење је на компетентном стручњаку; АИ се не може сматрати одговорним.
- Вишеслојна аутентификација: Услов људских капија и пролаза у свакој фази.
- Одбрамбена употреба: За заштиту и контролу информација; Не да се експлоатише/замци.
- Поверљивост: Кориснички код и подаци се не дају отвореним алатима без дозволе.
- Транспарентност: употреба вештачке интелигенције је искрено наведена у извештају; Не даје се претеривање или лажна уверења.
- Искреност: Инвеститори и корисници нису заведени; Ризик се не скрива, савети нису маскирани.
Савет: Поставите себи једно питање за сваку одлуку која је критична за безбедност: „Ако је ово погрешно и новац је изгубљен, да ли постоји компетентна људска провера да стоји иза тога и преузме одговорност?“ Ако је одговор „не, АИ је тако рекао“, процес је непотпун.
Уобичајене грешке
- Заобилазећи капију независне ревизије. Неумољиво је у неопозивом подручју.
- Погрешити израз поверења АИ као потврду. „Сигурна халуцинација“ је најопаснија.
- Покушавам да пребацим одговорност на АИ. Одговорност је на стручњаку који је потписао.
- Под претпоставком правовремености. АИ не зна даље од датума прекида обуке.
- Скраћивање врата услед временског притиска. Извор најскупље грешке.
- Одлазак без плана одговора на инцидент. Када дође до цурења, човек остаје неспреман.
Укратко
- Блоцкцхаин је критичан за безбедност; Грешке су неповратне и претварају се директно у новац.
- АИ не може да види оригиналну грешку, даје лажна уверења, застарео је и не може да преузме одговорност.
- Зато коначно одобрење од кључне важности за безбедност увек лежи на компетентном стручњаку.
- Вишеслојна верификација спречава да једна грешка процури у живо окружење постављањем људске капије у свакој фази.
- Одговорно коришћење: људска одговорност, одбрамбена сврха, поверљивост, транспарентност и интегритет.
Задатак апликације
Замислите пројекат паметног уговора (или узмите прави пример). Напишите слојевити план верификације за цело путовање од идеје до главне мреже: шта АИ ради у свакој фази, која људска капија је ту, који је прелазни услов? Затим додајте сценарио „временског притиска“: која врата би било најопасније заобићи и зашто? Такође укључите нацрт одговора на инцидент.
контролна листа
- [ ] Прихватио сам да коначно безбедносно критично одобрење лежи на стручњаку.
- [ ] Ставио сам капију људске верификације у сваку фазу.
- [ ] Нисам рачунао израз поверења АИ као потврду.
- [ ] Нисам заобишао врата независне ревизије.
- [ ] Нисам претпоставио актуелност; Последњу информацију сам потврдио код човека.
- [ ] Нисам ставио одговорност на АИ.
- [ ] Припремио сам план реаговања на инцидент.