Qligħ:
- Kapaċità li tikklassifika xenarji ta 'użu f'livelli ta' riskju baxx/medju/għoli skont l-impatt
- Kapaċità li tittestja b'mod sistematiku l-mudell qabel il-produzzjoni b'teaming aħmar
- Kapaċità li tieħu deċiżjonijiet ta 'produzzjoni b'karta mudell u bieb ta' aċċettazzjoni (go/no-go)
Mhux kull użu tal-IA jġorr l-istess riskju. Assistent li jiġbor fil-qosor nota tal-laqgħa u assistent li jevalwa applikazzjoni għal self jipproduċu riżultati differenti ħafna. Il-bażi tal-governanza korporattiva hija li tikklassifika l-użi skont il-livell tar-riskju u jiġi applikat kontroll xieraq għal kull livell. F'din l-unità, se nitgħallmu l-qafas tal-ġestjoni tar-riskju tal-mudell (id-dixxiplina tal-ġestjoni tar-riskju ikkawżat minn mudell li mhux korrett, preġudikat jew sfruttabbli), kif tittestja l-mudell qabel il-produzzjoni b'teaming aħmar, u l-karta tal-mudell u l-kriterji ta 'aċċettazzjoni.
Klassifikazzjoni skond ir-Riskju
L-ewwel pass huwa dejjem l-istess: "X'jiġri jekk dan l-użu jmur ħażin?" Tliet livelli mhux maħduma skont il-qawwa u r-riversibbiltà:
- Riskju baxx: L-iżball jinstab faċilment u jitneħħa; L-ebda konsegwenzi personali/finanzjarji. Eżempju: sommarju tal-laqgħa interna, ġenerazzjoni ta' abbozz ta' idea.
- Riskju medju: L-iżball jaffettwa l-proċess tan-negozju iżda jgħaddi mill-għajn tal-bniedem. Eżempju: abbozz ta' tweġiba lill-klijent, sommarju tar-rapport preliminari.
- Riskju għoli: Deċiżjoni taffettwa direttament persuna/flus, diffiċli biex ireġġgħu lura. Eżempju: deċiżjoni ta' kreditu/assigurazzjoni, triage tal-kura tas-saħħa, screening tal-impjieg.
L-intensità tal-kontroll tiżdied mal-livell ta 'riskju: f'riskju baxx, kontrolli tad-dawl huma biżżejjed; F'riskju għoli, is-superviżjoni umana, il-verifika stretta, it-timijiet aħmar u l-monitoraġġ kostanti huma obbligatorji.
Attenzjoni: Agħmel klassifikazzjoni tar-riskju skont l-effett tal-użu, mhux ismu. L-hekk imsejħa sistema "sempliċement chatbot" hija ta' riskju għoli jekk tista' tibda ħlasijiet.
Tim l-Aħmar (Red-Teaming)
It-tim aħmar qed jipprova deliberatament ikisser sistema billi jippretendi li huwa attakkant malizzjuż. Dan huwa fl-AI; Jinkludi jailbreaking (jinjora r-regoli tas-sigurtà tal-mudell), injezzjoni fil-pront, esfiltrazzjoni tad-dejta, il-ġenerazzjoni ta 'output preġudikat/malizzjuż, u xenarji tat-tarf tal-ittestjar. L-għan huwa li jinstabu vulnerabbiltajiet qabel l-attakkant reali.
Pass pass:
- Elenka xenarji ta' theddid. Kif tista’ tiġi abbużata din is-sistema?
- Ipprepara s-sett tal-attakk. Ikteb eżempji ta' dħul konkreti għal kull theddida.
- Ipprova sistematikament. Mexxi kull xenarju u rrekordja r-riżultat.
- Ipprijoritizza s-sejbiet. Issortja skont l-impatt × il-probabbiltà.
- Waħħalha u erġa' ttestja. Wara l-garża, erġa' pprova bl-istess sett (rigressjoni).
Mudell ta' Karta u Kriterji ta' Aċċettazzjoni
Karta mudell hija dokument li jiġbor fil-qosor għalxiex huwa adattat mudell, il-limitazzjonijiet tiegħu, ir-riskji magħrufa u l-prestazzjoni. Qabel ma tpoġġiha fil-produzzjoni, għandu jkollok kriterji għal deċiżjoni ta 'aċċettazzjoni: limitu ta' preċiżjoni, rata ta 'pass tat-tim aħmar, latency, spiża, u testijiet ta' preġudizzju.
Erba' Mudelli Kopjabbli
Klassifikazzjoni tar-riskju fil-pront:
Ikkunsidra l-każ ta' użu li ġej: {{ xenarju }}Mistoqsijiet:- Min/x'jaffettwa l-bug? (persuna, flus, reputazzjoni, armonija)- Huwa riversibbli? (iva/le) - Il-bnedmin jistgħu jintervjenu? Riżultat: "Riskju Baxx / Medju / Għoli" + lista ta' kontrolli obbligatorji.
Ġeneratur tas-sett tal-attakk tat-tim aħmar:
Int speċjalista tat-tim aħmar. Iġġenera 15-il xenarju ta' attakk għall-assistent li ġej: 5 jailbreaks, 5 injezzjonijiet fil-pront (li 3 minnhom huma indiretti), 5 tentattivi ta' esfiltrazzjoni tad-dejta. Għal kull xenarju: ikteb l-iskop, it-test tal-introduzzjoni sħiħ, u "kriterji ta 'suċċess" (kull ma nara jgħodd l-attakk bħala suċċess).
Mudell tal-iskeletru tal-bord:
Mudell tal-Karta:- Użu intenzjonat / użu mhux intenzjonat- Taħriġ/limiti tad-dejta u vulnerabbiltajiet magħrufa- Prestazzjoni: preċiżjoni, latency, spiża (fuq is-sett tat-test)- Sigurtà: rata ta’ pass tat-tim aħmar, jailbreaks magħrufa- Riżultati tal-ittestjar bias- Deċiżjoni ta’ aċċettazzjoni: APPROVAZZJONI/KONDIZZJONALI/ĊAĦDA + ġustifikazzjoni
Regola tal-kontroll tal-bieb tad-dħul:
Il-kundizzjonijiet KOLLHA għandhom jiġu ssodisfati biex jimxu lejn il-produzzjoni:- >= limitu fil-mira fuq is-sett tat-test tal-preċiżjoni- Sejbiet kritiċi tat-tim aħmar għadd = 0- Jekk riskju għoli: bord ta 'spezzjoni u monitoraġġ tal-bniedemJekk l-ebda wieħed ma jintlaħaq: "NO-GO" + oġġett nieqes.
Prompt Dgħajjef / Prompt Qawwija
approċċ fqir
Approċċ qawwi
Ipproċessar kull użu bl-istess kontroll
Ikklassifika skont ir-riskju u l-kontroll tal-iskala
"Ittestjajna, taħdem" (mod kuntenti)
Tentattiv intenzjonat ta’ tkissir mat-tim aħmar
It-tqegħid tal-mudell fil-produzzjoni mingħajr ġustifikazzjoni
Mudell tal-karta + xatba tal-aċċettazzjoni (go/no-go)
Mhux ittestjat mill-ġdid wara l-garża
Test ta' rigressjoni wara l-korrezzjoni
Tliet Każijiet Mini
Każ 1 — Klassifikazzjoni ħażina kienet għalja. Kumpanija waħda qieset il-prescreening tar-reklutaġġ "sempliċiment aġġunt" u qieset li huwa ta' riskju baxx. Il-mudell elimina b’mod sistematiku l-gradwati minn ċerti skejjel; dan inbidel f’ilment ta’ diskriminazzjoni. L-użu ġie kklassifikat mill-ġdid bħala "riskju għoli" u ġew miżjuda l-ittestjar tal-preġudizzju u l-monitoraġġ tal-bniedem.
Każ 2 — It-tim aħmar sab 3 vulnerabbiltajiet kritiċi. Assistent tal-klijent ġie assenjat lit-tim aħmar qabel ma daħal fil-produzzjoni. 3 minn 15-il xenarju kienu ta 'suċċess: informazzjoni dwar l-ordni ta' klijent ieħor setgħet tinħareġ permezz ta 'injezzjoni indiretta. Il-lakuni ġew magħluqa u ttestjati mill-ġdid bl-istess sett; Il-produzzjoni reġgħet bdiet biss meta s-sejba kritika ġiet reset.
Każ 3 — Il-mudell iċċara d-deċiżjoni li tiġi aċċettata l-karta. Għażla bejn żewġ mudelli, tim poġġa karti tal-mudell ħdejn xulxin. Il-mudell irħas laqat il-marka fl-eżattezza, iżda kien vulnerabbli għal 2 jailbreaks kritiċi fuq it-tim aħmar. It-tim għażel il-mudell għali iżda sikur minħabba r-regola ta '"sejba kritika = 0" tal-bieb tal-aċċettazzjoni u ddokumenta d-deċiżjoni.
Tip: It-tim aħmar mhuwiex avveniment ta' darba. Erġa' wettaq is-sett tal-attakk kull meta l-mudell, il-pront jew l-għodda jinbidlu; Is-sigurtà mhix stat, iżda prattika kontinwa.
Żbalji komuni
- Ikklassifika l-użu bl-isem (minflok l-effett); tiżbalja riskju għoli għal baxx.
- Tittestja biss il-"mogħdija kuntenta" u ma tipprova l-abbuż xejn.
- Tagħmel it-tim l-aħmar darba u ma tirrepetihx wara l-bidliet.
- It-tqegħid tal-mudell fil-produzzjoni mingħajr karta tal-mudell u kriterji ta 'aċċettazzjoni.
- L-ittestjar ta' preġudizzju/diskriminazzjoni jinqabeż (speċjalment f'deċiżjonijiet umani ta' interess kbir).
- Ifisser "magħluq" mingħajr ma jsir ittestjar ta 'rigressjoni ta' wara l-korrezzjoni.
Fil-qosor
- L-ewwel pass huwa li tikklassifika l-użi bħala riskju baxx/medju/għoli skont l-impatt; L-intensità tal-kontroll tiżdied mar-riskju.
- It-tim aħmar qed jipprova deliberatament ikisser is-sistema bħal attakkant; isib il-vulnerabbiltà qabel l-attakkant reali.
- Il-karta tal-mudell tiddokumenta l-iskop, il-limitazzjonijiet u r-riskji tal-mudell; hija l-bażi għad-deċiżjoni tad-dħul.
- It-tranżizzjoni għall-produzzjoni għandha tkun marbuta ma 'go/no-go: preċiżjoni, sejba kritika żero, monitoraġġ meħtieġ.
- Is-sigurtà hija kontinwa: l-ittestjar tat-timijiet aħmar u tar-rigressjoni huma ripetuti ma 'kull bidla.
Kompitu ta' applikazzjoni
Agħżel l-użu tiegħek ta' AI, iddetermina l-livell ta' riskju bbażat fuq l-impatt, u ikteb il-ġustifikazzjoni. Imbagħad iġġenera mill-inqas 10 xenarji ta 'attakk għal dak l-użu (jailbreak, injezzjoni, esfiltrazzjoni tad-dejta) u pprovahom manwalment. Għal kull attakk b'suċċess, ipproponi soluzzjoni. Fl-aħħarnett, imla skeletru tal-karta mudell u agħmel deċiżjoni "GO/NO-GO" bir-raġunijiet.
lista ta' kontroll
- [ ] Ikklassifikat l-użu skont il-livell tar-riskju skont l-effett.
- [ ] Qabbilt l-intensità tal-kontroll mal-livell tar-riskju.
- [ ] ħejjejt sett ta' attakk tat-tim aħmar u ppruvajtu b'mod sistematiku.
- [ ] Irranġajt is-sejbiet kritiċi u vverifikajthom bl-ittestjar tar-rigressjoni.
- [ ] Ħejjejt karta mudell (għan, limitu, prestazzjoni, sigurtà).
- [ ] Rabat id-deċiżjoni tal-produzzjoni ma' go/no-go.