Pelnas:
- Suprasti saugumo požiūriu kritinį blokų grandinės pobūdį ir priežastis, kodėl dirbtinis intelektas negali aptikti pradinės klaidos, pateikti klaidingą patikinimą, pasenusi ir neprisiima atsakomybės.
- Galimybė užkirsti kelią vienos klaidos nutekėjimui į veikiančią sistemą naudojant daugiasluoksnį patikrinimą, kuris kiekviename etape sukuria žmogaus patikrinimo vartus
- Saugumui svarbus galutinis patvirtinimas priklauso kompetentingam ekspertui ir gebėjimui perimti žmogaus atsakomybės, gynybos tikslo, konfidencialumo, skaidrumo ir sąžiningumo principus.
Tai yra svarbiausias šio modulio vienetas. Iki šiol matėme, kaip AI pagreitina viską nuo išmaniųjų sutarčių rašymo iki grandinės analizės, nuo tokenomikos iki sukčiavimo aptikimo. Šiame skyriuje atsitraukiame ir žiūrime į dalyko esmę: kodėl dirbtinio intelekto išvestis negali pakeisti kompetentingo eksperto patvirtinimo atliekant saugos požiūriu svarbų darbą. O kaip ekspertas, kokia yra atsakinga AI naudojimo sistema? Blockchain inžinerija yra saugumui svarbi sritis, kurioje klaidos tiesiogiai ir negrįžtamai virsta pinigais; Šis skyrius nagrinėja tos tikrovės reikalavimus.
Ką reiškia „saugumui labai svarbus“ ir kodėl jis skiriasi?
Vieta yra labai svarbi saugai, jei klaidos pasekmės yra negrįžtamos ir rimtos: žmonių žūtis tiltų inžinerijoje, netinkama medicinos praktika, tiesioginis ir nuolatinis milijonų dolerių praradimas blokų grandinėje. Šiose srityse priimtas standartas visiškai skiriasi nuo įprastos programinės įrangos:
- „Tikriausiai veikia“ neužtenka; turi būti įrodyta.
- „Pataisysime vėliau“ negalioja; Negrįžtamumas neatleidžia.
- Galutinį patvirtinimą turi kompetentingas ekspertas, kuris prisiima profesinę ir teisinę atsakomybę.
AI yra asistentas; negali prisiimti atsakomybės, negali būti atsakingas ir negali atsispirti už rezultatus. Jei audito ataskaitoje nėra pažeidžiamumo, atsakomybė tenka ekspertui, kuris pasirašė, o ne AI. „Taip pasakė AI“ nėra inžinerijos gynyba.
Kodėl AI negali pakeisti eksperto: keturios pagrindinės priežastys
1. AI nemato pradinės ir kontekstinės klaidos. AI atpažįsta mokymo duomenų modelius. Naujas pažeidžiamumas, su protokolu susijusi verslo logikos klaida arba unikali komponentų sąveika yra AI akloji zona. Brangiausios Web3 atakos kyla būtent dėl šių unikalių spragų.
2. AI suteikia klaidingą patikinimą. AI gali sklandžiai ir užtikrintai pasakyti „šis kodas atrodo saugus“ – nors ir klysta. Ši „saugos haliucinacija“ yra pavojingiausias rezultatas saugai svarbioje srityje; nes sukuria klaidingą saugumo jausmą.
3. AI pasenęs. AI žinios sustoja ties mokymosi pabaigos data. Naujausios atakos, naujausios bibliotekos versijos, naujausios geriausios praktikos pavyzdžiai yra už jos horizonto. Saugumas yra nuolat besikeičiančios lenktynės; Vakar dienos informacijos šiandien gali nepakakti.
4. AI negali prisiimti atsakomybės. Tai turbūt pati pagrindinė priežastis. Inžinerinis patvirtinimas yra ne tik techninis, bet ir teisinis bei etinis įsipareigojimas. Mašina negali prisiimti tokio įsipareigojimo.
Atsargiai: saugumui svarbioje išvestyje kyla klausimas: „Ką pasakė AI? bet "kas yra kompetentingas asmuo, kuris patikrina, patvirtina ir stovi už šią produkciją?" turėtų būti. Joks ne ekspertų patvirtinimas – nei AI, nei įrankio – negali būti laikomas užtikrinimu.
Sluoksniuotas patikrinimas: apsaugo nuo pavienių klaidų nutekėjimo tiesiogiai
Atsakinga darbo eiga kiekviename etape sukuria žmogaus patikrinimo vartus. Negalite praeiti pro vienas duris nepraėję pro kitas:
Scena
AI indėlis
žmogaus patikrinimo vartai
rašyba
kodekso projektas
Sukurti + išbandyti + peržiūra
nuskaityti
Kandidato pažeidžiamumas
Statinė analizė + auditoriaus patvirtinimas
Auditas
Patarimas, ataskaitos juodraštis
Kompetentingo auditoriaus parašas
bandymas
scenarijaus juodraštis
„Testnet“ + „fuzzing“ + modeliavimas
Paskirstymas
kontrolinis sąrašas
Kelių parašų patvirtinimas + laipsniškas išėjimas
Stebėjimas
anomalijos ženklas
žmogaus atsako planas
Ši daugiasluoksnė struktūra neleidžia vienai AI klaidai patekti į pagrindinį tinklą. Kiekvienos durys turi aiškią išlaikymo sąlygą: ar testas buvo išlaikytas, ar auditorius pasirašė, ar simuliacija išsilaikė?
Silpnas požiūris / Stiprus požiūris
Silpnas požiūris:
AI sugeneravo kodą, jis atrodo švarus, įdėkime jį į pagrindinį tinklą.
Tai nelaimės receptas neatšaukiamoje srityje.
Galingas požiūris:
1. AI parengė juodraštį → mes jį sudarėme, išbandėme.2. Statinė analizė + AI skenavimas → auditorius patvirtino.3. Nepriklausomas saugumo auditas → pasirašyta ataskaita.4. Testnet + fuzzing + simuliacija → scenarijai ištvėrė.5. Kelių parašų, pakopinis tinklo išėjimas + stebėjimas. Kiekviename prievade: jokios pažangos, kol nebus įvykdyta perėjimo sąlyga.
Keturi kopijuojami šablonai
1) Patvirtinimo vartų valdymas:
Sukurkite šios saugumui svarbios išvesties patvirtinimo kontrolinį sąrašą: kokiais nepriklausomais veiksmais (kompiliavimu, statine analize, auditu, testavimu, modeliavimu) jis turėtų būti patvirtintas? Parašykite kiekvieno žingsnio perėjimo sąlygą. Nurodykite, kokia rizika kils, jei vienas žingsnis bus praleistas.
2) AI išvesties patikimumo lygio žymėjimas:
Peržiūrėkite toliau pateiktą AI sukurtą išvestį ir pažymėkite kiekvieną teiginį: „patvirtinta / turėtų būti patikrinta / DI silpnumo sritis“. Pabrėžkite dalykus, kuriems reikia žmogiškosios patirties, ypač susijusius su verslo logika ir unikalia rizika.
3) Eksperto perdavimo pastaba:
Norėdami perduoti šią išvestį kompetentingam ekspertui, paruoškite santrauką: ką AI padarė, su kokiomis prielaidomis, kur jis nėra tikras, kur konkrečiai ekspertas turi patvirtinti? Paaiškinkite, kad atsakomybė tenka ekspertui.
4) Reagavimo į incidentą paruošimas:
Sukurkite šio protokolo reagavimo į avariją / incidentą metmenis: kokie veiksmai (perėmimas, ryšys, lėšų apsauga) būtų atliekami, jei būtybės pažeidžiamumas būtų išnaudojamas? Tai juodraštis; Komanda ir ekspertas turi sukalibruoti.
Trys mini dėklai (skaičiais)
1 atvejis – peršokus duris įvyko nelaimė. Dėl laiko trūkumo komanda praleido nepriklausomą auditą ir pasikliovė AI + savo testais ir perėjo į pagrindinį tinklą. Po 11 dienų iš verslo logikos pažeidžiamumo pašalinta ~4 mln. USD. Tikriausiai tai užfiksuotų patikrinimo vartai. Pamoka: neapeikite durų saugumui svarbioje vietoje.
2 atvejis – išsaugotas daugiasluoksnis autentifikavimas. Kita komanda valdė kiekvieną vartus: AI planas → statinė analizė → auditas → testų tinklas → modeliavimas. Audito etapo metu modeliuojant buvo užfiksuotas pakartotinis įėjimas, orakulo rizika. Abu jie užsidarė prieš pagrindinį tinklą. Pamoka: sluoksniai apsaugo nuo pavienių klaidų nutekėjimo.
3 atvejis – „Saugi haliucinacija“. Kūrėjas paklausė AI apie kodą; „Atrodo, kad nėra jokių reikšmingų saugumo problemų“, – sakė AI. Komanda vis tiek nusiuntė jį apžiūrėti, ir paaiškėjo dvi aukšto lygio išvados. Jei būtume pasitikėję AI, jie abu būtų atgyvę. Pamoka: AI pasitikėjimo išraiška nėra patvirtinimas.
Atsakingo naudojimo principai
Šio modulio esmę galime sumažinti iki šešių principų:
- Žmogaus atsakomybė: saugai svarbų galutinį patvirtinimą turi kompetentingas ekspertas; AI negali būti laikomas atsakingas.
- Sluoksniuotas autentifikavimas: žmogaus vartų ir leidimo sąlyga kiekviename etape.
- Apsauginis naudojimas: informacijai apsaugoti ir valdyti; Neišnaudoti/įstrigti.
- Konfidencialumas: Kliento kodas ir duomenys nesuteikiami atviriems įrankiams be leidimo.
- Skaidrumas: ataskaitoje sąžiningai nurodomas dirbtinio intelekto naudojimas; Nėra perdėtų ar klaidingų patikinimų.
- Sąžiningumas: investuotojai ir vartotojai nėra klaidinami; Rizika neslepiama, patarimai neužmaskuoti.
Patarimas: užduokite sau vieną klausimą kiekvienam saugumui svarbiam sprendimui: „Jei tai neteisinga ir pinigai prarasti, ar buvo atliktas kompetentingas žmogaus patikrinimas, kad būtų galima atsistoti ir prisiimti atsakomybę? Jei atsakymas yra „ne, AI taip pasakė“, procesas yra nebaigtas.
Dažnos klaidos
- Apeinant nepriklausomo audito vartus. Tai negailestinga neatšaukiamoje srityje.
- Klaidingai AI reiškia pasitikėjimą kaip patvirtinimą. „Saugi haliucinacija“ yra pati pavojingiausia.
- Bandoma perkelti atsakomybę ant AI. Atsakomybė tenka pasirašiusiam ekspertui.
- Darant prielaidą savalaikiškumu. AI nežino daugiau nei mokymo pabaigos data.
- Durų sutrumpinimas dėl laiko spaudimo. Brangiausios klaidos šaltinis.
- Išvykimas be reagavimo į incidentą plano. Kai įvyksta nuotėkis, žmogus lieka nepasiruošęs.
Apibendrinant
- Blockchain yra labai svarbus saugumui; Klaidos yra negrįžtamos ir tiesiogiai virsta pinigais.
- AI nemato pradinės klaidos, suteikia klaidingą patikinimą, yra pasenusi ir negali prisiimti atsakomybės.
- Štai kodėl galutinį saugos požiūriu kritinį patvirtinimą visada turi kompetentingas ekspertas.
- Sluoksniuotas patikrinimas apsaugo nuo vienos klaidos nutekėjimo į gyvą aplinką, kiekviename etape pastatant žmogaus vartus.
- Atsakingas naudojimas: žmogaus atsakomybė, gynybinis tikslas, konfidencialumas, skaidrumas ir sąžiningumas.
Taikymo užduotis
Įsivaizduokite protingą sutarties projektą (arba paimkite tikrą pavyzdį). Parašykite daugiasluoksnį patikrinimo planą visai kelionei nuo idėjos iki pagrindinio tinklo: ką AI daro kiekviename etape, kokie yra žmogaus vartai, kokia yra perėjimo sąlyga? Tada pridėkite „laiko spaudimo“ scenarijų: kurias duris būtų pavojingiausia apeiti ir kodėl? Taip pat įtraukite reagavimo į incidentą metmenis.
kontrolinis sąrašas
- [ ] Sutikau, kad galutinį saugumo požiūriu kritinį patvirtinimą turi ekspertas.
- [ ] Kiekviename etape įdėjau žmogaus patikrinimo vartus.
- [ ] Aš nelaikiau AI pasitikėjimo išraiška patvirtinimu.
- [ ] Neapėjau nepriklausomo audito durų.
- [ ] Aktualumo neįsivaizdavau; Paskutinę informaciją patvirtinau su žmogumi.
- [ ] Aš neperkėliau atsakomybės dirbtiniam intelektui.
- [ ] Parengiau reagavimo į incidentą planą.