Faida:
- Uwezo wa kuainisha matukio ya matumizi katika viwango vya chini/kati/vya juu kulingana na athari
- Uwezo wa kujaribu muundo kwa utaratibu kabla ya uzalishaji na timu nyekundu
- Uwezo wa kufanya maamuzi ya uzalishaji na kadi ya mfano na mlango wa kukubalika (kwenda/hakuna-kwenda)
Sio kila matumizi ya AI hubeba hatari sawa. Msaidizi akitoa muhtasari wa dokezo la mkutano na msaidizi anayetathmini maombi ya mkopo hutoa matokeo tofauti kabisa. Msingi wa usimamizi wa shirika ni kuainisha matumizi kulingana na kiwango cha hatari na kutumia udhibiti unaofaa kwa kila ngazi. Katika kitengo hiki, tutajifunza mfumo wa usimamizi wa hatari wa kielelezo (nidhamu ya kudhibiti hatari inayosababishwa na mtindo kuwa si sahihi, wenye upendeleo au wa kunyonywa), jinsi ya kupima modeli kabla ya uzalishaji kwa kutumia timu nyekundu, na kadi ya mfano na vigezo vya kukubalika.
Uainishaji kwa Hatari
Hatua ya kwanza daima ni sawa: "Ni nini kinatokea ikiwa matumizi haya yataenda vibaya?" Viwango vitatu vibaya kulingana na potency na ugeuzaji nyuma:
- Hatari ndogo: Hitilafu hugunduliwa kwa urahisi na kutenduliwa; Hakuna matokeo ya kibinafsi/kifedha. Mfano: muhtasari wa mkutano wa ndani, uundaji wa wazo la rasimu.
- Hatari ya wastani: Hitilafu huathiri mchakato wa biashara lakini hupitia kwa jicho la mwanadamu. Mfano: rasimu ya majibu kwa mteja, muhtasari wa ripoti ya awali.
- Hatari kubwa: Uamuzi huathiri moja kwa moja mtu/fedha, ni vigumu kutendua. Mfano: uamuzi wa mkopo/bima, utatuzi wa huduma ya afya, uchunguzi wa ajira.
Kiwango cha udhibiti huongezeka kwa kiwango cha hatari: kwa hatari ndogo, udhibiti wa mwanga ni wa kutosha; Katika hatari kubwa, usimamizi wa binadamu, uthibitishaji mkali, timu nyekundu na ufuatiliaji wa mara kwa mara ni wa lazima.
Makini: Fanya uainishaji wa hatari kulingana na athari ya matumizi, sio jina lake. Mfumo unaojulikana kama "chatbot" una hatari kubwa ikiwa unaweza kuanzisha malipo.
Timu Nyekundu (Timu Nyekundu)
Timu nyekundu inajaribu kuvunja mfumo kwa makusudi kwa kujifanya mshambuliaji mbaya. Hii ni katika AI; Inajumuisha uvunjaji wa gereza (kukiuka sheria za usalama za modeli), kudunga sindano haraka, uchujaji wa data, kutoa matokeo yenye upendeleo/hasidi, na matukio makali ya majaribio. Lengo ni kupata udhaifu kabla ya mshambuliaji halisi.
Hatua kwa hatua:
- Orodhesha matukio ya tishio. Je, mfumo huu unawezaje kutumiwa vibaya?
- Tayarisha seti ya mashambulizi. Andika mifano halisi ya ingizo kwa kila tishio.
- Jaribu kwa utaratibu. Endesha kila kisa na urekodi matokeo.
- Tanguliza matokeo. Panga kwa athari × uwezekano.
- Irekebishe na ujaribu tena. Baada ya kiraka, jaribu tena na seti sawa (regression).
Kadi ya Mfano na Vigezo vya Kukubalika
Kadi ya mfano ni hati ambayo inatoa muhtasari wa mfano unaofaa, mapungufu yake, hatari zinazojulikana na utendaji. Kabla ya kuiweka katika toleo la umma, unapaswa kuwa na vigezo vya uamuzi wa kukubalika: kiwango cha usahihi, kiwango cha kufaulu kwa timu nyekundu, muda wa kusubiri, gharama na majaribio ya upendeleo.
Violezo Vinne Vinakiliwa
Kidokezo cha uainishaji wa hatari:
Zingatia hali ifuatayo ya utumiaji: {{scenario }}Maswali:- Je, mdudu huathiri nani/nini? (mtu, pesa, sifa, maelewano)- Je, inaweza kubadilishwa? (ndiyo/hapana) - Je, wanadamu wanaweza kuingilia kati? Matokeo: "Hatari ya Chini / Kati / Juu" + orodha ya ukaguzi wa lazima.
Jenereta ya seti ya mashambulizi ya timu nyekundu:
Wewe ni mtaalamu wa timu nyekundu. Tengeneza matukio 15 ya mashambulizi kwa msaidizi afuatayo: mapumziko ya jela 5, sindano 5 za papo hapo (3 kati ya hizo si za moja kwa moja), majaribio 5 ya kuchuja data. Kwa kila hali: andika madhumuni, maandishi kamili ya utangulizi, na "vigezo vya kufaulu" (chochote ninachoona kinahesabu shambulio kuwa limefaulu).
Mfano wa mifupa ya bodi:
Kadi ya Kielelezo:- Matumizi yanayokusudiwa / matumizi yasiyotarajiwa- Vikomo vya mafunzo/data na udhaifu unaojulikana- Utendaji: usahihi, muda wa kusubiri, gharama (kwenye seti ya majaribio)- Usalama: kiwango cha kufaulu kwa timu nyekundu, mapumziko ya jela yanayojulikana- Matokeo ya majaribio ya upendeleo- Uamuzi wa kukubalika: RIDHIKI / MASHARTI / KUKATAA + sababu
Sheria ya udhibiti wa lango la kiingilio:
Masharti YOTE lazima yatimizwe ili kuhamia uzalishaji:- >= kiwango cha juu kinacholengwa kwenye seti ya jaribio la usahihi- Hesabu ya matokeo muhimu ya timu nyekundu = 0- Ikiwa kuna hatari kubwa: ukaguzi wa kibinadamu na ubao wa ufuatiliajiKama hakuna kinachotimizwa: "NO-GO" + kipengee kinachokosekana.
Uhamasishaji dhaifu / Uhamasishaji Wenye Nguvu
mbinu mbaya
Mbinu kali
Inachakata kila matumizi kwa udhibiti sawa
Kuainisha kwa hatari na udhibiti wa mizani
"Tuliijaribu, inafanya kazi" (njia ya furaha)
Jaribio la kuvunja kwa makusudi na timu nyekundu
Kuweka mfano katika uzalishaji bila uhalali
Kadi ya mfano + lango la kukubali (kwenda/hakuna-kwenda)
Haijajaribu tena baada ya kuweka viraka
Mtihani wa urekebishaji baada ya kusahihisha
Kesi Tatu Ndogo
Kesi ya 1 - Uainishaji usio sahihi ulikuwa wa gharama kubwa. Kampuni moja iliona uhakiki wa awali wa uandikishaji kama "kiambatisho" na ikaona ni hatari ndogo. Mfano huo uliwaondoa kwa utaratibu wahitimu kutoka shule fulani; hili liligeuka kuwa malalamiko ya ubaguzi. Matumizi yaliwekwa upya kuwa "hatari kubwa" na upimaji wa upendeleo na ufuatiliaji wa kibinadamu uliongezwa.
Kesi ya 2 - Timu nyekundu ilipata udhaifu 3 muhimu. Msaidizi wa mteja alipewa timu nyekundu kabla ya kuanza uzalishaji. Matukio 3 kati ya 15 yalifaulu: taarifa ya agizo la mteja mwingine inaweza kuvuja kupitia sindano isiyo ya moja kwa moja. Mapengo yalifungwa na kupimwa tena kwa kuweka sawa; Uzalishaji ulianza tena wakati ugunduzi muhimu ulipowekwa upya.
Kesi ya 3 - Mfano ulifafanua uamuzi wa kukubali kadi. Kuchagua kati ya mifano miwili, timu iliweka kadi za kielelezo kando kando. Mtindo wa bei nafuu uligonga alama kwa usahihi, lakini ulikuwa hatarini kwa mapumziko 2 muhimu ya jela kwenye timu nyekundu. Timu ilichagua mtindo wa gharama kubwa lakini salama kwa sababu ya sheria ya lango la kukubalika "utafutaji muhimu = 0" na ikaandika uamuzi.
Kidokezo: Timu nyekundu si tukio la mara moja. Rudia shambulio lililowekwa wakati wowote muundo, kidokezo au zana zinabadilika; Usalama sio serikali, lakini mazoezi endelevu.
Makosa ya kawaida
- Kuainisha matumizi kwa jina (badala ya athari); kukosea hatari kubwa kwa chini.
- Kujaribu tu "njia ya furaha" na usijaribu unyanyasaji kabisa.
- Kufanya timu nyekundu mara moja na si kurudia baada ya mabadiliko.
- Kuweka mfano katika uzalishaji bila kadi ya mfano na vigezo vya kukubalika.
- Kupitia upimaji wa upendeleo/ubaguzi (haswa katika maamuzi ya juu ya binadamu).
- Inamaanisha "imefungwa" bila kufanya majaribio ya urekebishaji wa baada ya kusahihisha.
Kwa muhtasari
- Hatua ya kwanza ni kuainisha matumizi kuwa hatari ndogo/kati/kubwa kulingana na athari; Nguvu ya udhibiti huongezeka na hatari.
- Timu nyekundu inajaribu kuvunja mfumo kwa makusudi kama mshambuliaji; hupata udhaifu mbele ya mshambulizi halisi.
- Kadi ya mfano huandika madhumuni, vikwazo na hatari za mfano; ndio msingi wa uamuzi wa uandikishaji.
- Mpito kwa uzalishaji lazima uambatane na kwenda/hapana-kwenda: usahihi, kutafuta muhimu sifuri, ufuatiliaji unaohitajika.
- Usalama unaendelea: upangaji timu nyekundu na majaribio ya urejeshaji hurudiwa kila mabadiliko.
Jukumu la maombi
Chagua matumizi yako ya AI, tambua kiwango cha hatari kulingana na athari, na uandike sababu. Kisha toa angalau hali 10 za uvamizi kwa matumizi hayo (mapumziko ya jela, sindano, uchujaji wa data) na ujaribu mwenyewe. Kwa kila shambulio lililofanikiwa, pendekeza kurekebisha. Hatimaye, jaza mifupa ya kadi ya mfano na ufanye uamuzi wa "GO/NO-GO" na sababu.
orodha ya ukaguzi
- [ ] Nimeainisha matumizi kulingana na kiwango cha hatari kulingana na athari.
- [ ] Nililinganisha nguvu ya udhibiti na kiwango cha hatari.
- [ ] Nilitayarisha seti ya mashambulizi ya timu nyekundu na kuijaribu kwa utaratibu.
- [ ] Nilirekebisha matokeo muhimu na kuyathibitisha kwa majaribio ya rejista.
- [ ] Nilitayarisha kadi ya mfano (kusudi, kikomo, utendaji, usalama).
- [ ] Niliunganisha uamuzi wa uzalishaji na kwenda/hapana-kwenda.