Kitengo 10 / 11

Ukaguzi Muhimu wa Usalama, Uidhinishaji wa Mtaalamu na Matumizi Yanayowajibika

Faida:

  • Kuelewa asili muhimu ya usalama ya blockchain na sababu kwa nini akili ya bandia haiwezi kugundua kosa la asili, kutoa uhakikisho wa uwongo, kupitwa na wakati na kushindwa kuwajibika.
  • Uwezo wa kuzuia kosa moja kuvuja kwenye mfumo wa moja kwa moja na uthibitishaji wa tabaka ambao huweka lango la uthibitishaji wa kibinadamu katika kila hatua.
  • Uidhinishaji wa mwisho muhimu wa kiusalama ni wa mtaalam mwenye uwezo na uwezo wa kupitisha kanuni za uwajibikaji wa binadamu, madhumuni ya ulinzi, usiri, uwazi na uaminifu.

Hiki ndicho kitengo muhimu zaidi cha moduli hii. Kufikia sasa tumeona jinsi AI inavyoharakisha kila kitu kutoka kwa uandishi wa mikataba mahiri hadi uchanganuzi wa mtandaoni, kutoka kwa tokenomics hadi kugundua ulaghai. Katika kitengo hiki, tunarudi nyuma na kuangalia kiini cha jambo: kwa nini matokeo ya AI hayawezi kuchukua nafasi ya uidhinishaji mahiri wa mtaalamu katika kazi muhimu ya usalama. Na kama mtaalam, ni mfumo gani wa kutumia AI kwa kuwajibika? Uhandisi wa Blockchain ni uwanja muhimu wa usalama ambapo makosa hutafsiriwa moja kwa moja na kwa njia isiyoweza kutenduliwa kuwa pesa; Kitengo hiki kinahusika na mahitaji ya ukweli huo.

"Usalama-muhimu" unamaanisha nini na kwa nini ni tofauti?

Eneo ni muhimu sana kwa usalama ikiwa matokeo ya hitilafu hayawezi kutenduliwa na makubwa: kupoteza maisha katika uhandisi wa daraja, utendakazi wa dawa, hasara ya papo hapo na ya kudumu ya mamilioni ya dola katika blockchain. Kiwango kinachokubalika katika maeneo haya ni tofauti kabisa na programu ya kawaida:

  • "Labda inafanya kazi" haitoshi; lazima ithibitishwe.
  • "Tutairekebisha baadaye" ni batili; Kutoweza kutenduliwa hakusamehe.
  • Uidhinishaji wa mwisho ni wa mtaalam mwenye uwezo ambaye anachukua jukumu la kitaaluma na kisheria.

AI ni msaidizi; hawezi kuwajibika, hawezi kuwajibishwa, na hawezi kusimama nyuma ya matokeo. Ikiwa ripoti ya ukaguzi itakosa athari, jukumu ni la mtaalamu aliyetia saini, si AI. "AI ilisema hivyo" sio utetezi wa uhandisi.

Kwa nini AI haiwezi kuchukua nafasi ya mtaalam: sababu nne muhimu

1. AI haiwezi kuona kosa la asili na la muktadha. AI inatambua mifumo katika data ya mafunzo. Athari mpya, hitilafu ya mantiki ya itifaki mahususi ya biashara, au mwingiliano wa kipekee wa vijenzi ndio sehemu pofu ya AI. Mashambulizi ya gharama kubwa zaidi ya Web3 yanatokana na udhaifu huu wa kipekee.

2. AI inatoa uhakikisho wa uongo. AI inaweza kusema kwa ufasaha na kwa ujasiri "nambari hii inaonekana salama" - huku ikikosea. Hii "hallucination ya usalama" ni pato hatari zaidi katika eneo muhimu kwa usalama; kwa sababu inajenga hisia ya uongo ya usalama.

3. AI imepitwa na wakati. Maarifa ya AI yatakoma katika tarehe ya mwisho ya elimu. Mashambulizi ya hivi punde, matoleo mapya zaidi ya maktaba, mbinu bora zaidi ziko nje ya upeo wake. Usalama ni mbio zinazobadilika kila mara; Taarifa ya jana inaweza kuwa haitoshi leo.

4. AI haiwezi kuwajibika. Labda hii ndiyo sababu ya msingi zaidi. Uidhinishaji wa uhandisi sio tu wa kiufundi lakini pia ahadi ya kisheria na ya kimaadili. Mashine haiwezi kufanya ahadi hii.

Tahadhari: Katika matokeo muhimu ya usalama, swali ni "AI ilisema nini?" lakini "Ni nani mtu mwenye uwezo ambaye anathibitisha, kuthibitisha na kusimama nyuma ya matokeo haya?" inapaswa kuwa. Hakuna idhini isiyo ya kitaalamu—wala AI wala chombo—inaweza kuchukuliwa kuwa hakikisho.

Uthibitishaji wa tabaka: kuzuia hitilafu moja kuvuja moja kwa moja

Mtiririko wa kazi unaowajibika huweka lango la uthibitishaji wa kibinadamu katika kila hatua. Huwezi kupita mlango mmoja bila kupita mlango mwingine:

Jukwaa

Mchango wa AI

lango la uthibitishaji wa binadamu

tahajia

rasimu ya kanuni

Jenga + jaribio + hakiki

scan

Udhaifu wa mgombea

Uchambuzi tuli + uthibitisho wa mkaguzi

Ukaguzi

Kidokezo, ripoti rasimu

Saini ya mkaguzi mwenye uwezo

mtihani

rasimu ya hati

Testnet + fuzzing + simulation

Usambazaji

orodha ya ukaguzi

Uthibitishaji wa saini nyingi + kuondoka kwa taratibu

Ufuatiliaji

ishara isiyo ya kawaida

mpango wa majibu ya binadamu

Muundo huu wa tabaka huzuia mdudu mmoja wa AI kuvuja kwenye mainnet. Kila mlango una hali ya wazi ya kupita: je, mtihani ulipita, je, mkaguzi alisaini, je, simulation ilishikilia?

Mbinu dhaifu / Mbinu kali

Mbinu dhaifu:

AI ilitoa nambari, inaonekana safi, wacha tuiweke kwenye mainnet.

Hii ni kichocheo cha maafa katika eneo lisiloweza kubadilika.

Mbinu yenye nguvu:

1. AI ilitoa rasimu → tuliikusanya, tukaifanyia majaribio.2. Uchambuzi tuli + Uchanganuzi wa AI → mkaguzi amethibitishwa.3. Ukaguzi huru wa usalama → ripoti iliyotiwa saini.4. Testnet + fuzzing + simulation → matukio yaliyovumiliwa.5. Sahihi nyingi, kutoka kwa mtandao wa nje + na ufuatiliaji. Katika kila bandari: hakuna maendeleo hadi masharti ya mpito yatimizwe.

Violezo vinne vinavyoweza kunakiliwa

1) Udhibiti wa lango la uthibitishaji:

Tengeneza orodha hakiki ya uthibitishaji wa matokeo haya muhimu kwa usalama: inapaswa kuthibitishwa kwa hatua gani huru (mkusanyiko, uchambuzi tuli, ukaguzi, majaribio, simulizi)? Andika hali ya mpito kwa kila hatua. Eleza hatari gani itatokea ikiwa hatua moja itarukwa.

2) Uwekaji alama wa kiwango cha imani cha pato la AI:

Kagua pato linalozalishwa na AI hapa chini na utie alama kwa kila dai: "imethibitishwa / inapaswa kuthibitishwa / eneo dhaifu la AI". Angazia mambo ambayo yanahitaji utaalamu wa kibinadamu, hasa yale yanayohusisha mantiki ya biashara na hatari ya kipekee.

3) Ujumbe wa uhamishaji wa kitaalam:

Ili kutoa pato hili kwa mtaalam mwenye uwezo, jitayarisha muhtasari: AI ilifanya nini, na mawazo gani, wapi haijulikani, wapi hasa mtaalam anahitaji kuthibitisha? Fanya wazi kuwa jukumu liko kwa mtaalam.

4) Maandalizi ya majibu ya tukio:

Toa muhtasari wa majibu ya dharura/tukio kwa itifaki hii: ni hatua gani (mamlaka ya kuzuia, mawasiliano, ulinzi wa hazina) zingehusika ikiwa udhaifu ungetumiwa kwa kiumbe? Hii ni rasimu; Timu na mtaalam lazima wasawazishe.

Kesi tatu ndogo (kwa nambari)

Kesi ya 1 - Kuruka mlango kulileta maafa. Kwa sababu ya shinikizo la wakati, timu iliruka ukaguzi huru na kutegemea majaribio ya AI + na kwenda kwa mainnet. Siku 11 baadaye ~$4M iliondolewa kutoka kwa athari ya mantiki ya biashara. Lango la ukaguzi labda lingepata hii. Somo: usikwepe mlango katika eneo muhimu kwa usalama.

Kesi ya 2 - Uthibitishaji wa tabaka umehifadhiwa. Timu nyingine iliendesha kila lango: Mchoro wa AI → uchanganuzi tuli → ukaguzi → testnet → uigaji. Wakati wa awamu ya ukaguzi, kuingia tena, hatari ya ora ilipatikana katika uigaji. Wote wawili walifunga kabla ya mainnet. Somo: tabaka huzuia kosa moja kuvuja.

Kesi ya 3 - "Mtazamo salama." Msanidi programu aliuliza AI juu ya nambari; "Hakuonekani kuwa na maswala yoyote muhimu ya usalama," AI ilisema. Timu iliituma kwa ukaguzi hata hivyo, na matokeo mawili ya kiwango cha juu yaliibuka. Ikiwa tungeamini AI, wote wawili wangekuwa hai. Somo: Usemi wa AI wa kujiamini sio uthibitisho.

Kanuni za matumizi ya kuwajibika

Tunaweza kupunguza kiini cha moduli hii hadi kanuni sita:

  1. Wajibu wa kibinadamu: Uidhinishaji wa mwisho muhimu wa usalama unabaki na mtaalam mwenye uwezo; AI haiwezi kuwajibika.
  2. Uthibitishaji wa tabaka: Lango la kibinadamu na hali ya kupita katika kila hatua.
  3. Matumizi ya kujihami: Kulinda na kudhibiti habari; Sio kunyonya/kutega.
  4. Usiri: Nambari ya Mteja na data haipewi kufungua zana bila ruhusa.
  5. Uwazi: Matumizi ya AI yamesemwa kwa uaminifu katika ripoti; Hakuna kutia chumvi au uhakikisho wa uwongo unaotolewa.
  6. Uaminifu: Wawekezaji na watumiaji hawapotoshwi; Hatari haifichiki, ushauri haufichwa.
Kidokezo: Jiulize swali moja kwa kila uamuzi muhimu wa kiusalama: "Ikiwa hili si sawa na pesa zikapotea, je, kumekuwa na uthibitishaji wa kibinadamu wa kusimama nyuma yake na kuwajibika?" Ikiwa jibu ni "hapana, AI ilisema hivyo," mchakato haujakamilika.

Makosa ya kawaida

  • Kupita lango huru la ukaguzi. Ni kutosamehe katika eneo lisiloweza kubatilishwa.
  • Kukosea usemi wa uaminifu wa AI kama uthibitisho. "Hallucination salama" ni hatari zaidi.
  • Kujaribu kuweka jukumu kwenye AI. Jukumu liko kwa mtaalamu aliyetia saini.
  • Kwa kuchukulia muda muafaka. AI haijui zaidi ya tarehe ya kukata mafunzo.
  • Kufupisha milango kwa sababu ya shinikizo la wakati. Chanzo cha kosa la gharama kubwa zaidi.
  • Kuondoka bila mpango wa majibu ya tukio. Wakati uvujaji hutokea, mtu huachwa bila kujiandaa.

Kwa muhtasari

  • Blockchain ni usalama-muhimu; Makosa hayawezi kutenduliwa na yanageuka moja kwa moja kuwa pesa.
  • AI haiwezi kuona kosa la asili, inatoa uhakikisho wa uwongo, imepitwa na wakati na haiwezi kuwajibika.
  • Ndiyo maana idhini ya mwisho muhimu ya usalama huwa inatoka kwa mtaalamu aliye na ujuzi.
  • Uthibitishaji wa tabaka huzuia kosa moja kuvuja kwenye mazingira ya moja kwa moja kwa kuweka lango la binadamu katika kila hatua.
  • Matumizi ya kuwajibika: uwajibikaji wa binadamu, madhumuni ya ulinzi, usiri, uwazi na uadilifu.

Jukumu la maombi

Hebu fikiria mradi mzuri wa mkataba (au chukua mfano halisi). Andika mpango wa uthibitishaji wa safu nzima kutoka kwa wazo hadi mainnet: AI ​​inafanya nini katika kila hatua, kuna lango gani la mwanadamu, hali ya mpito ni nini? Kisha ongeza hali ya "shinikizo la wakati": ni mlango gani ambao unaweza kuwa hatari zaidi kupita na kwa nini? Pia jumuisha muhtasari wa majibu ya tukio.

orodha ya ukaguzi

  • [ ] Nilikubali kwamba kibali cha mwisho muhimu cha usalama kinatoka kwa mtaalamu.
  • [ ] Niliweka lango la uthibitishaji wa kibinadamu katika kila hatua.
  • [ ] Sikuhesabu usemi wa AI wa kujiamini kama uthibitisho.
  • [ ] Sikuupita mlango huru wa ukaguzi.
  • [ ] Sikuchukua mada; Nilithibitisha habari za hivi punde na mwanadamu.
  • [ ] Sikuweka jukumu kwa AI.
  • [ ] Nilitayarisha mpango wa kukabiliana na tukio.