Zyski:
- Zrozumienie krytycznego dla bezpieczeństwa charakteru blockchainu oraz powodów, dla których sztuczna inteligencja nie może wykryć pierwotnego błędu, zapewnić fałszywe zapewnienie, jest nieaktualna i nie bierze na siebie odpowiedzialności.
- Możliwość zapobiegania przedostawaniu się pojedynczego błędu do działającego systemu dzięki weryfikacji warstwowej, która na każdym etapie stawia bramkę weryfikacyjną przez człowieka
- Ostateczne zatwierdzenie krytyczne dla bezpieczeństwa należy do kompetentnego eksperta i umiejętności przyjęcia zasad ludzkiej odpowiedzialności, celu obronnego, poufności, przejrzystości i uczciwości.
Jest to najważniejsza jednostka tego modułu. Do tej pory widzieliśmy, jak sztuczna inteligencja przyspiesza wszystko, od pisania inteligentnych kontraktów po analizę w łańcuchu, od tokenomiki po wykrywanie oszustw. W tej jednostce cofamy się i patrzymy na sedno sprawy: dlaczego wyniki sztucznej inteligencji nie mogą zastąpić zatwierdzenia kompetentnego eksperta w pracy o krytycznym znaczeniu dla bezpieczeństwa. Jakie są ramy odpowiedzialnego korzystania ze sztucznej inteligencji, jako ekspert? Inżynieria Blockchain to dziedzina o krytycznym znaczeniu dla bezpieczeństwa, w której błędy bezpośrednio i nieodwracalnie przekładają się na pieniądze; Jednostka ta zajmuje się wymogami tej rzeczywistości.
Co oznacza „krytyczny dla bezpieczeństwa” i dlaczego jest inaczej?
Obszar jest krytyczny dla bezpieczeństwa, jeśli konsekwencja błędu jest nieodwracalna i poważna: śmierć w inżynierii mostowej, błąd w sztuce lekarskiej, natychmiastowa i trwała strata milionów dolarów w blockchain. Przyjęty standard w tych obszarach całkowicie różni się od zwykłego oprogramowania:
- „Prawdopodobnie działa” nie wystarczy; musi zostać udowodnione.
- „Naprawimy to później” jest nieprawidłowe; Nieodwracalność nie wybacza.
- Ostateczna akceptacja należy do kompetentnego eksperta, który ponosi odpowiedzialność zawodową i prawną.
AI jest asystentem; nie może brać na siebie odpowiedzialności, nie może być pociągnięty do odpowiedzialności i nie może stać za wynikami. Jeśli w raporcie z audytu nie zostanie uwzględniona luka, odpowiedzialność spoczywa na ekspertu, który podpisał raport, a nie na sztucznej inteligencji. „AI tak powiedziała” nie jest obroną inżynierii.
Dlaczego sztuczna inteligencja nie zastąpi eksperta: cztery kluczowe powody
1. AI nie widzi błędu oryginalnego i kontekstowego. Sztuczna inteligencja rozpoznaje wzorce w danych szkoleniowych. Nowa luka w zabezpieczeniach, błąd logiki biznesowej specyficzny dla protokołu lub unikalna interakcja komponentów to martwy punkt sztucznej inteligencji. Najdroższe ataki Web3 wynikają właśnie z tych unikalnych luk.
2. Sztuczna inteligencja daje fałszywą pewność. Sztuczna inteligencja może płynnie i pewnie powiedzieć „ten kod wygląda na bezpieczny” – jednocześnie się myląc. Ta „halucynacja bezpieczeństwa” jest najniebezpieczniejszym skutkiem w obszarze krytycznym dla bezpieczeństwa; ponieważ stwarza fałszywe poczucie bezpieczeństwa.
3. Sztuczna inteligencja jest przestarzała. Wiedza sztucznej inteligencji kończy się w ostatecznym terminie edukacji. Najnowsze ataki, najnowsze wersje bibliotek, najnowsze najlepsze praktyki są poza jego horyzontem. Bezpieczeństwo to ciągle zmieniający się wyścig; Wczorajsze informacje mogą dzisiaj okazać się niewystarczające.
4. AI nie może przejąć odpowiedzialności. To być może najbardziej podstawowy powód. Zatwierdzenie projektu to nie tylko zobowiązanie techniczne, ale także prawne i etyczne. Maszyna nie może podjąć takiego zobowiązania.
Uwaga: w przypadku wyników krytycznych dla bezpieczeństwa pytanie brzmi: „Co powiedziała sztuczna inteligencja?” ale „Kto jest kompetentną osobą, która weryfikuje, zatwierdza i stoi za tymi wynikami?” powinno być. Żadnej zgody osoby nieeksperckiej – ani ze strony sztucznej inteligencji, ani narzędzia – nie można uznać za pewność.
Weryfikacja warstwowa: zapobieganie wyciekaniu pojedynczych błędów na żywo
Odpowiedzialny przepływ pracy wymaga weryfikacji przez człowieka na każdym etapie. Nie możesz przejść przez jedne drzwi, nie przechodząc przez drugie:
Scena
Wkład AI
bramka weryfikacyjna człowieka
ortografia
projekt kodeksu
Budowanie + testowanie + recenzja
skanuj
Wrażliwość kandydata
Analiza statyczna + potwierdzenie audytora
Audyt
Wskazówka, wersja robocza raportu
Podpis kompetentnego audytora
test
projekt scenariusza
Sieć testowa + fuzzing + symulacja
Dystrybucja
lista kontrolna
Potwierdzenie wielopodpisowe + stopniowe wyjście
Monitorowanie
znak anomalii
plan reakcji człowieka
Ta warstwowa struktura zapobiega przedostawaniu się pojedynczego błędu AI do sieci głównej. Każde drzwi spełniają warunek pozytywnego wyniku: czy test przebiegł pomyślnie, czy audytor podpisał, czy symulacja przebiegła pomyślnie?
Słabe podejście / Silne podejście
Słabe podejście:
AI wygenerowała kod, wygląda na czysty, umieśćmy go w sieci głównej.
To przepis na katastrofę w obszarze nieodwracalnym.
Potężne podejście:
1. AI stworzyła wersję roboczą → skompilowaliśmy ją, przetestowaliśmy.2. Analiza statyczna + skan AI → potwierdzony przez audytora.3. Niezależny audyt bezpieczeństwa → podpisany raport.4. Sieć testowa + fuzzing + symulacja → przetrwane scenariusze.5. Wiele podpisów, kaskadowe wyjście z sieci głównej + monitorowanie. W każdym porcie: brak postępu do czasu spełnienia warunku przejścia.
Cztery szablony do kopiowania
1) Sterowanie bramką weryfikacyjną:
Wygeneruj listę kontrolną walidacji dla tych wyników o krytycznym znaczeniu dla bezpieczeństwa: za pomocą jakich niezależnych kroków (kompilacja, analiza statyczna, audyt, testowanie, symulacja) należy je zweryfikować? Zapisz warunek przejścia dla każdego kroku. Określ, jakie ryzyko powstanie, jeśli pominiesz jeden krok.
2) Oznaczenie poziomu ufności wyników AI:
Przejrzyj poniżej wyniki wygenerowane przez sztuczną inteligencję i zaznacz każde stwierdzenie: „zweryfikowane/należy zweryfikować/obszar słabości sztucznej inteligencji”. Podkreśl punkty wymagające wiedzy ludzkiej, szczególnie te dotyczące logiki biznesowej i unikalnego ryzyka.
3) Notatka o przeniesieniu eksperta:
Aby przekazać ten wynik kompetentnemu ekspertowi, przygotuj podsumowanie: co zrobiła sztuczna inteligencja, przy jakich założeniach, gdzie jest niepewność, gdzie konkretnie ekspert musi potwierdzić? Wyjaśnij, że odpowiedzialność spoczywa na ekspertze.
4) Przygotowanie reakcji na incydent:
Przygotuj zarys reakcji na awarię/incydent dla tego protokołu: jakie kroki (władza przechwytująca, komunikacja, ochrona funduszy) byłyby wymagane, gdyby luka w zabezpieczeniach została wykorzystana w stworzeniu? To jest projekt; Zespół i ekspert muszą dokonać kalibracji.
Trzy mini etui (w liczbach)
Przypadek 1 — Skok przez drzwi przyniósł katastrofę. Ze względu na presję czasu zespół pominął niezależny audyt i oparł się na AI + własnych testach i udał się do sieci głównej. 11 dni później usunięto ~4 miliony dolarów z powodu luki w logice biznesowej. Bramka inspekcyjna prawdopodobnie by to wyłapała. Lekcja: nie omijaj drzwi w obszarze krytycznym dla bezpieczeństwa.
Przypadek 2 — Zapisano uwierzytelnianie warstwowe. Każdą bramkę obsługiwał inny zespół: plan AI → analiza statyczna → audyt → sieć testowa → symulacja. Na etapie audytu w symulacji wzięto pod uwagę ryzyko ponownego wejścia na platformę Oracle. Oba zostały zamknięte przed siecią główną. Lekcja: warstwy zapobiegają przedostawaniu się pojedynczych błędów.
Przypadek 3 — „Bezpieczna halucynacja”. Deweloper zapytał sztuczną inteligencję o kod; „Wydaje się, że nie ma żadnych poważnych problemów związanych z bezpieczeństwem” – stwierdziła AI. Zespół i tak wysłał go do kontroli i wyłonił dwa istotne ustalenia. Gdybyśmy zaufali sztucznej inteligencji, obaj ożyliby. Lekcja: Wyrażenie zaufania przez sztuczną inteligencję nie jest potwierdzeniem.
Zasady odpowiedzialnego użytkowania
Istotę tego modułu możemy sprowadzić do sześciu zasad:
- Odpowiedzialność ludzka: Ostateczne zatwierdzenie mające kluczowe znaczenie dla bezpieczeństwa należy do kompetentnego eksperta; AI nie może ponosić odpowiedzialności.
- Uwierzytelnianie warstwowe: warunek przejścia i przejścia przez człowieka na każdym etapie.
- Zastosowanie obronne: w celu ochrony i kontroli informacji; Nie do wykorzystania/pułapki.
- Poufność: Kod i dane klienta nie są udostępniane otwartym narzędziom bez pozwolenia.
- Przejrzystość: w raporcie uczciwie opisano wykorzystanie sztucznej inteligencji; Nie podaje się żadnych przesad ani fałszywych zapewnień.
- Uczciwość: inwestorzy i użytkownicy nie są wprowadzani w błąd; Ryzyko nie jest ukryte, porady nie są maskowane.
Wskazówka: w przypadku każdej decyzji krytycznej dla bezpieczeństwa zadaj sobie jedno pytanie: „Jeśli jest to niewłaściwe i pieniądze zostaną utracone, czy przeprowadzono kompetentną weryfikację przez człowieka, która mogłaby za tym stanąć i wziąć na siebie odpowiedzialność?” Jeśli odpowiedź brzmi „nie, sztuczna inteligencja tak powiedziała”, proces jest niekompletny.
Typowe błędy
- Ominięcie niezależnej bramki audytu. Jest bezlitosny w obszarze nieodwołalnym.
- Uznawanie wyrażenia zaufania AI za potwierdzenie. „Bezpieczna halucynacja” jest najniebezpieczniejsza.
- Próbuję zrzucić odpowiedzialność na sztuczną inteligencję. Odpowiedzialność spoczywa na biegłym, który podpisał.
- Zakładając terminowość. AI nie zna daty zakończenia szkolenia.
- Skrócenie drzwi ze względu na presję czasu. Źródło najdroższego błędu.
- Wyjście bez planu reagowania na incydenty. Kiedy nastąpi wyciek, pozostaje się nieprzygotowanym.
Podsumowując
- Blockchain ma kluczowe znaczenie dla bezpieczeństwa; Błędy są nieodwracalne i zamieniają się bezpośrednio w pieniądze.
- Sztuczna inteligencja nie widzi pierwotnego błędu, daje fałszywą pewność, jest nieaktualna i nie może brać odpowiedzialności.
- Dlatego ostateczna akceptacja mająca kluczowe znaczenie dla bezpieczeństwa zawsze należy do kompetentnego eksperta.
- Weryfikacja warstwowa zapobiega przedostawaniu się pojedynczego błędu do środowiska na żywo poprzez umieszczenie ludzkiej bramki na każdym etapie.
- Odpowiedzialne użycie: odpowiedzialność ludzka, cel obronny, poufność, przejrzystość i integralność.
Zadanie aplikacji
Wyobraź sobie projekt inteligentnej umowy (lub weź prawdziwy przykład). Napisz wielowarstwowy plan weryfikacji całej podróży od pomysłu do sieci głównej: co robi sztuczna inteligencja na każdym etapie, jaka jest tam ludzka brama, jaki jest warunek przejścia? Następnie dodaj scenariusz „presji czasu”: które drzwi byłyby najbardziej niebezpieczne do ominięcia i dlaczego? Dołącz także zarys reakcji na incydent.
lista kontrolna
- [ ] Zaakceptowałem fakt, że ostateczna zgoda dotycząca kwestii krytycznych dla bezpieczeństwa należy do eksperta.
- [ ] Na każdym etapie stawiam ludzką bramkę weryfikacyjną.
- [ ] Nie uznałem wyrażenia zaufania przez AI za potwierdzenie.
- [ ] Nie ominąłem niezależnych drzwi audytu.
- [ ] Nie zakładałem aktualności; Potwierdziłem najnowsze informacje z człowiekiem.
- [ ] Nie zrzucałem odpowiedzialności na sztuczną inteligencję.
- [ ] Przygotowałem plan reakcji na incydent.