Добивки:
- Разбирање на безбедносно-критичната природа на блокчејнот и причините зошто вештачката интелигенција не може да ја открие оригиналната грешка, да обезбеди лажно уверување, да биде застарена и да не преземе одговорност.
- Способност да се спречи протекување на единечна грешка во системот во живо со повеќеслојна верификација што поставува човечка порта за верификација во секоја фаза
- Безбедносно критичното конечно одобрување му припаѓа на надлежниот експерт и способноста да ги усвои принципите на човечка одговорност, одбранбена цел, доверливост, транспарентност и чесност.
Ова е најважната единица на овој модул. Досега видовме како вештачката интелигенција забрзува сè, од паметно пишување договори до анализа на синџирот, од токеномика до откривање измами. Во оваа единица, се повлекуваме и гледаме во суштината на работата: зошто излезот со вештачка интелигенција не може да го замени компетентното стручно одобрение во работата која е критична за безбедноста. И како експерт, која е рамката за одговорно користење на вештачката интелигенција? Блокчејн инженерството е безбедносно критично поле каде грешките директно и неповратно се претвораат во пари; Оваа единица се занимава со барањата на таа реалност.
Што значи „безбедносно-критично“ и зошто е различно?
Областа е критична за безбедноста ако последицата од грешката е неповратна и сериозна: загуба на животи во инженерството на мостови, неправилност во медицината, непосредна и трајна загуба на милиони долари во блокчејн. Прифатениот стандард во овие области е сосема различен од обичниот софтвер:
- „Веројатно функционира“ не е доволно; мора да се докаже.
- „Ќе го поправиме подоцна“ е неважечко; Неповратноста не простува.
- Конечното одобрение го има компетентно стручно лице кое презема професионална и законска одговорност.
АИ е асистент; не може да преземе одговорност, не може да биде повикана на одговорност и не може да стои зад резултатите. Ако ревизорскиот извештај пропушти ранливост, одговорноста е на експертот кој потпишал, а не на вештачката интелигенција. „Вештачката интелигенција рече така“ не е одбрана на инженерството.
Зошто вештачката интелигенција не може да го замени експертот: четири клучни причини
1. ВИ не може да ја види оригиналната и контекстуалната грешка. ВИ препознава шаблони во податоците за обуката. Нова ранливост, грешка во деловната логика специфична за протоколот или единствена интеракција на компоненти е слепата точка на вештачката интелигенција. Најскапите Web3 напади доаѓаат токму од овие уникатни пропусти.
2. ВИ дава лажно уверување. Вештачката интелигенција може течно и самоуверено да каже „овој код изгледа безбедно“ - додека е погрешен. Оваа „халуцинација на безбедноста“ е најопасниот излез во безбедносно критична област; бидејќи создава лажно чувство на сигурност.
3. ВИ е застарена. Знаењето на вештачката интелигенција престанува на датумот на прекин на образованието. Најновите напади, најновите верзии на библиотеката, најновите најдобри практики се надвор од неговиот хоризонт. Безбедноста е трка која постојано се менува; Вчерашните информации може да бидат недоволни денес.
4. ВИ не може да преземе одговорност. Ова е можеби најосновната причина. Инженерското одобрение не е само техничка, туку и законска и етичка обврска. Машината не може да ја преземе оваа обврска.
Внимание: во безбедносно критичен излез, прашањето е „Што рече вештачката интелигенција? но „Кое е надлежното лице кое го проверува, потврдува и стои зад овој излез? треба да биде. Ниту едно нестручно одобрение - ниту од вештачката интелигенција ниту од алатката - не може да се смета за гаранција.
Потврда со слоеви: спречување на истекување на единечни грешки во живо
Одговорниот работен тек поставува порти за човечка проверка во секоја фаза. Не можете да поминете низ една врата без да поминете низ друга:
Фаза
Придонес за вештачка интелигенција
човечка порта за верификација
правопис
нацрт код
Изградба + тест + преглед
скенирање
Ранливост на кандидатот
Статичка анализа + потврда од ревизор
Ревизија
Совет, нацрт извештај
Потпис на надлежен ревизор
тест
нацрт на сценариото
Тест мрежа + замаглување + симулација
Дистрибуција
листа за проверка
Потврда со повеќе потписи + постепено излегување
Мониторинг
знак на аномалија
план за човечки одговор
Оваа слоевита структура спречува протекување на единечна грешка со ВИ во главната мрежа. Секоја врата има чист услов: дали тестот помина, дали ревизорот потпиша, дали симулацијата издржа?
Слаб пристап / Силен пристап
Слаб пристап:
ВИ го генерира кодот, изгледа чист, ајде да го ставиме на mainnet.
Ова е рецепт за катастрофа во неотповиклива област.
Моќен пристап:
1. ВИ го произведе нацртот → го составивме, го тестиравме.2. Статичка анализа + скен со вештачка интелигенција → ревизор потврдено.3. Независна безбедносна ревизија → потпишан извештај.4. Тест мрежа + замаглување + симулација → издржаа сценарија.5. Каскаден излез од мрежата со повеќе потписи + мониторинг. На секое пристаниште: нема напредок додека не се исполни условот за транзиција.
Четири шаблони за копирање
1) Контрола на портата за верификација:
Создадете листа за проверка за валидација за овој безбедносно критичен излез: со кои независни чекори (компилација, статичка анализа, ревизија, тестирање, симулација) треба да се потврди? Напишете ја преодната состојба за секој чекор. Наведете каков ризик ќе се појави ако се прескокне еден чекор.
2) Означување на нивото на доверба на излезната вештачка интелигенција:
Прегледајте го излезот генериран од вештачката интелигенција подолу и означете го секое тврдење: „потврдено / треба да се потврди / област на слабост на ВИ“. Истакнете ги точките кои бараат човечка експертиза, особено оние кои вклучуваат деловна логика и единствен ризик.
3) Експертска белешка за трансфер:
За да го предадете овој резултат на компетентен експерт, подгответе резиме: што направила вештачката интелигенција, со какви претпоставки, каде не е сигурно, каде конкретно треба да потврди експертот? Наведете јасно дека одговорноста е кај експертот.
4) Подготовка за одговор на инцидентот:
Направете преглед за одговор во итни случаи/инциденти за овој протокол: кои чекори (овластување за пресретнување, комуникација, заштита на фондови) би биле вклучени ако ранливоста се искористи кај суштество? Ова е нацрт; Тимот и експертот мора да калибрираат.
Три мини футроли (во бројки)
Случај 1 - Прескокнувањето на вратата донесе катастрофа. Поради временскиот притисок, тим ја прескокна независната ревизија и се потпре на сопствените тестови за вештачка интелигенција + и отиде во мрежата. 11 дена подоцна ~4 милиони долари отстранети од ранливоста на деловната логика. Инспекциската порта веројатно би го фатила ова. Поука: не заобиколувајте врата во безбедносно критична област.
Случај 2 - Слоевната автентикација е зачувана. Друг тим управуваше со секоја порта: план за вештачка интелигенција → статичка анализа → ревизија → тест мрежа → симулација. За време на фазата на ревизија, во симулацијата беше забележан повторно влегување, ризик од пророк. И двајцата се затворија пред главната мрежа. Лекција: слоевите спречуваат протекување на поединечни грешки.
Случај 3 - „Безбедна халуцинација“. Програмер ја праша вештачката интелигенција за кодот; „Се чини дека нема никакви значајни безбедносни проблеми“, рече АИ. Тимот сепак го испрати на увид и се појавија два наоди на високо ниво. Да имавме доверба во вештачката интелигенција, и двајцата ќе оживеаа. Поука: Изразот на доверба од вештачката интелигенција не е потврда.
Принципи на одговорна употреба
Можеме да ја намалиме суштината на овој модул на шест принципи:
- Човечка одговорност: Безбедносно-критичното конечно одобрување е на компетентен експерт; ВИ не може да биде повикана на одговорност.
- Слоевна автентикација: состојба на човечка порта и премин во секоја фаза.
- Одбранбена употреба: За заштита и контрола на информациите; Да не се експлоатира/заробува.
- Доверливост: Кодот и податоците на клиентот не се даваат на отворените алатки без дозвола.
- Транспарентност: Употребата на вештачка интелигенција е искрено наведена во извештајот; Не се дава претерување или лажно уверување.
- Искреност: Инвеститорите и корисниците не се заведени; Ризикот не се крие, советите не се маскирани.
Совет: Поставете си едно прашање за секоја безбедносно-критична одлука: „Ако ова е погрешно и парите се изгубат, дали има компетентна човечка проверка за да застане зад тоа и да преземе одговорност? Ако одговорот е „не, вештачката интелигенција рече така“, процесот е нецелосен.
Вообичаени грешки
- Заобиколувајќи ја портата за независна ревизија. Тоа е непростливо во неотповикливата област.
- Погрешно изразување на доверба на вештачката интелигенција како потврда. „Безбедната халуцинација“ е најопасна.
- Се обидува да ја префрли одговорноста на вештачката интелигенција. Одговорноста е на вештакот кој потпишал.
- Претпоставувајќи навременост. Вештачката интелигенција не знае надвор од датумот на прекин на обуката.
- Скратување на вратите поради временски притисок. Извор на најскапата грешка.
- Заминување без план за одговор на инцидентот. Кога ќе дојде до истекување, човек останува неподготвен.
Сумирано
- Блокчејн е безбедносно критичен; Грешките се неповратни и директно се претвораат во пари.
- ВИ не може да ја види оригиналната грешка, дава лажно уверување, е застарена и не може да преземе одговорност.
- Затоа, конечното безбедносно критично одобрение секогаш го има надлежниот експерт.
- Слоевната верификација спречува протекување на една грешка во живата средина со поставување на човечка порта во секоја фаза.
- Одговорна употреба: човечка одговорност, одбранбена цел, доверливост, транспарентност и интегритет.
Задача за апликација
Замислете проект за паметен договор (или земете вистински пример). Напишете повеќеслоен план за верификација за целото патување од идеја до мрежа: што прави вештачката интелигенција во секоја фаза, која човечка порта е таму, каква е транзициската состојба? Потоа додадете сценарио за „временски притисок“: која врата би била најопасна да се заобиколи и зошто? Вклучете и преглед за одговор на инцидентот.
листа за проверка
- [ ] Прифатив дека конечното безбедносно критично одобрение е кај експертот.
- [ ] Ставив капија за човечка проверка во секоја фаза.
- [ ] Не го сметав изразот на доверба на вештачката интелигенција како потврда.
- [ ] Не ја заобиколив вратата на независната ревизија.
- [ ] Не претпоставував актуелност; Последната информација ја потврдив со човекот.
- [ ] Не ја префрлив одговорноста на вештачката интелигенција.
- [ ] Подготвив план за одговор на инцидентот.