Hagnaður:
- Geta til að flokka notkunarsviðsmyndir í lágt/miðlungs/mikið áhættustig eftir áhrifum
- Geta til að prófa líkanið kerfisbundið fyrir framleiðslu með rauðum teymi
- Geta til að taka framleiðsluákvarðanir með módelkorti og móttökuhurð (fara/ekki fara)
Ekki fylgir öllum notkun gervigreindar sömu áhættu. Aðstoðarmaður sem tekur saman fundarbréf og aðstoðarmaður sem metur lánsumsókn gefa mjög mismunandi niðurstöður. Grundvöllur stjórnarhátta fyrirtækja er að flokka notkun eftir áhættustigi og beita viðeigandi eftirliti á hverju stigi. Í þessari einingu munum við læra umgjörð áhættustýringar líkansins (greinin við að stjórna áhættunni sem stafar af því að líkan er rangt, hlutdrægt eða hagnýtanlegt), hvernig á að prófa líkanið fyrir framleiðslu með rauðum teymi, og líkanskortið og samþykkisviðmið.
Flokkun eftir áhættu
Fyrsta skrefið er alltaf það sama: "Hvað gerist ef þessi notkun fer úrskeiðis?" Þrjú gróf stig í samræmi við virkni og afturkræfni:
- Lítil áhætta: Villa er auðvelt að greina og afturkalla; Engar persónulegar/fjárhagslegar afleiðingar. Dæmi: samantekt á innri fundi, drög að hugmyndagerð.
- Meðaláhætta: Villan hefur áhrif á viðskiptaferlið en fer í gegnum mannsaugað. Dæmi: drög að svari til viðskiptavinar, bráðabirgðaskýrsluyfirlit.
- Mikil áhætta: Ákvörðun hefur bein áhrif á mann/fé, erfitt að snúa við. Dæmi: láns-/tryggingaákvörðun, sjúkraþjálfun, atvinnuskoðun.
Styrkur eykst með áhættustiginu: í lítilli áhættu er ljósstýring nægjanleg; Í mikilli áhættu er mannlegt eftirlit, ströng sannprófun, rauð liðsheild og stöðugt eftirlit skylda.
Athugið: Gerðu áhættuflokkun eftir áhrifum notkunarinnar, ekki nafni hennar. Hið svokallaða „bara spjallbot“ kerfi er mikil áhætta ef það getur hafið greiðslur.
Rauða liðið (Rauðsveitin)
Red teaming er vísvitandi að reyna að brjóta kerfi með því að þykjast vera illgjarn árásarmaður. Þetta er í gervigreind; Það felur í sér flóttabrot (framhjá öryggisreglum líkansins), skjóta innspýtingu, gagnasíun, að búa til hlutdrægan/illgjarn framleiðsla og prófa jaðarsviðsmyndir. Markmiðið er að finna veikleika fyrir alvöru árásarmanninn.
Skref fyrir skref:
- Listaðu ógnarsviðsmyndir. Hvernig er hægt að misnota þetta kerfi?
- Undirbúðu árásarsettið. Skrifaðu áþreifanleg færsludæmi fyrir hverja ógn.
- Reyndu kerfisbundið. Keyrðu hverja atburðarás og skráðu niðurstöðuna.
- Forgangsraða niðurstöðum. Raða eftir áhrifum × líkum.
- Lagaðu það og prófaðu aftur. Eftir plásturinn skaltu reyna aftur með sama setti (aðhvarf).
Fyrirmyndarkort og viðurkenningarviðmið
Líkanspjald er skjal sem tekur saman hvað líkan hentar, takmörkunum þess, þekktri áhættu og frammistöðu. Áður en þú setur það í framleiðslu ættirðu að hafa viðmið fyrir samþykkisákvörðun: nákvæmniþröskuld, rautt liðsgengi, leynd, kostnað og hlutdrægnipróf.
Fjögur afritanleg sniðmát
Hættur við áhættuflokkun:
Íhugaðu eftirfarandi notkunartilvik: {{ atburðarás }}Spurningar:- Hvern/hvað hefur villan áhrif á? (persóna, peningar, orðspor, sátt) - Er það afturkræft? (já/nei) - Geta menn gripið inn í? Niðurstaða: "Lítil / miðlungs / mikil áhætta" + listi yfir lögboðnar athuganir.
Rauða liðið árásarsett rafall:
Þú ert sérfræðingur í rauðu liðinu. Búðu til 15 árásarsviðsmyndir fyrir eftirfarandi aðstoðarmann: 5 jailbreaks, 5 skyndisprautur (þar af 3 óbeinar), 5 tilraunir til útrýmingar gagna. Fyrir hverja atburðarás: skrifaðu tilganginn, allan kynningartextann og "viðmið um árangur" (hvað sem ég sé telur árásina árangursríka).
Módel borð beinagrind:
Fyrirmyndarkort:- Fyrirhuguð notkun / óviljandi notkun- Þjálfun/gagnatakmörk og þekktir veikleikar- Afköst: nákvæmni, leynd, kostnaður (á prófunarsetti)- Öryggi: rautt liðsgengi, þekkt jailbreak- Niðurstöður hlutdrægniprófa- Samþykkisákvörðun: SAMÞYKKT / SKYLDIR / HÖNNUN + rökstuðningur
Eftirlitsregla inngönguhliðs:
ÖLL skilyrði verða að vera uppfyllt til að fara í framleiðslu:- >= markmiðsþröskuldur á nákvæmni prófunarsetti- Rauða teymi mikilvægar niðurstöður telja = 0- Ef mikil áhætta er: skoðun manna og eftirlitsborð Ef enginn er uppfylltur: "NO-GO" + hlutur sem vantar.
Veik kvaðning / sterk kvaðning
léleg nálgun
Sterk nálgun
Vinnsla hverrar notkunar með sömu stjórn
Flokkaðu eftir áhættu- og kvarðaeftirliti
„Við prófuðum það, það virkar“ (til hamingju)
Vísvitandi brottilraun með rauða liðinu
Að setja líkanið í framleiðslu án rökstuðnings
Fyrirmyndarkort + móttökuhlið (fara/ekki fara)
Ekki endurprófa eftir plástur
Aðhvarfspróf eftir leiðréttingu
Þrjú Mini Cass
Mál 1 - Rangflokkun var dýr. Eitt fyrirtæki taldi forskoðun ráðningar „bara aukaatriði“ og taldi hana litla áhættu. Líkanið útilokaði kerfisbundið útskriftarnema úr ákveðnum skólum; þetta varð að kvörtun um mismunun. Notkun var endurflokkuð sem „mikil áhætta“ og hlutdrægni og eftirliti með mönnum var bætt við.
Tilfelli 2 - Rauða teymið fann 3 mikilvæga veikleika. Aðstoðarmaður viðskiptavina var skipaður í rauða teymið áður en farið var í framleiðslu. 3 af 15 atburðarásum tókst: pöntunarupplýsingum annars viðskiptavinar gæti lekið með óbeinni inndælingu. Bilunum var lokað og aftur prófað með sama setti; Framleiðsla var aðeins hafin aftur þegar mikilvæga niðurstaðan var endurstillt.
Mál 3 — Fyrirmyndin skýrði ákvörðunina um að samþykkja kortið. Teymi valdi á milli tveggja gerða og setti módelspjöld hlið við hlið. Ódýrari gerðin hitti í mark í nákvæmni, en var viðkvæm fyrir 2 mikilvægum jailbreaks á rauða liðinu. Teymið valdi dýra en örugga líkanið vegna samþykkishliðsins „kritísk uppgötvun = 0“ og skjalfesti ákvörðunina.
Ábending: Rauða liðið er ekki einskiptisviðburður. Endurræstu árásarsettið hvenær sem líkanið, kvaðningurinn eða verkfærin breytast; Öryggi er ekki ríki, heldur viðvarandi venja.
Algeng mistök
- Flokkaðu notkun eftir nafni (frekar en áhrif); að misskilja mikla áhættu fyrir lága.
- Bara að prófa „hamingjulega leiðina“ og alls ekki reyna á misnotkunina.
- Að gera rauða liðið einu sinni og ekki endurtaka það eftir breytingar.
- Setja líkanið í framleiðslu án fyrirmyndarkorts og samþykkisskilyrða.
- Framhjá hlutdrægni/mismununarprófum (sérstaklega í mannlegum ákvörðunum sem eru miklar í húfi).
- Það þýðir "lokað" án þess að gera aðhvarfspróf eftir leiðréttingu.
Í stuttu máli
- Fyrsta skrefið er að flokka notkun sem litla/miðlungs/mikla áhættu eftir áhrifum; Styrkleiki eykst með áhættu.
- Rautt lið er vísvitandi að reyna að brjóta kerfið eins og árásarmaður; finnur varnarleysið á undan hinum raunverulega árásarmanni.
- Líkanskortið skráir tilgang líkansins, takmarkanir og áhættu; er grundvöllur ákvörðunar um inntöku.
- Umskipti yfir í framleiðslu verða að vera bundin við go/no-go: nákvæmni, mikilvæga niðurstöðu núll, nauðsynlegt eftirlit.
- Öryggi er stöðugt: rautt lið og aðhvarfspróf eru endurtekin við hverja breytingu.
Umsóknarverkefni
Veldu notkun þína á gervigreind, ákvarðaðu áhættustigið út frá áhrifunum og skrifaðu rökstuðninginn. Búðu síðan til að minnsta kosti 10 árásarsviðsmyndir fyrir þá notkun (flótti, innspýting, gagnasíun) og reyndu þær handvirkt. Fyrir hverja árangursríka árás skaltu leggja til lagfæringu. Að lokum skaltu fylla út beinagrind af korti og taka "GO/NO-GO" ákvörðun með ástæðum.
gátlisti
- [ ] Ég hef flokkað notkunina eftir áhættustigi eftir áhrifum.
- [ ] Ég passaði stjórnstyrk við áhættustig.
- [ ] Ég útbjó sóknarsett rauðra liða og prófaði það markvisst.
- [ ] Ég lagaði mikilvægu niðurstöðurnar og sannreyndi þær með aðhvarfsprófi.
- [ ] Ég útbjó módelkort (tilgangur, takmörk, árangur, öryggi).
- [ ] Ég tengdi framleiðsluákvörðunina við að fara/ekki fara.