Siguria dhe privatësia: Mbrojtja e sistemeve të AI

Fitimet:

• Aftësia për të njohur sipërfaqet specifike të sulmit të AI (injeksion i menjëhershëm, helmim i të dhënave, rrjedhje konfidenciale e të dhënave, nxjerrja e anëtarësimit) dhe dizajnimi i mbrojtjeve me shtresa
• Aftësia për të aplikuar privatësinë si parim dizajni: minimizimi i të dhënave, maskimi, kontrolli i aksesit dhe periudha e ruajtjes
• Aftësia për të kryer punë sigurie vetëm për qëllime mbrojtëse, për të zbuluar dobësitë me përgjegjësi dhe për të shmangur përdorimin e paautorizuar

Një sistem i mësimit të makinerive mbart të gjitha rreziqet e sigurisë të softuerit tradicional dhe shton sipërfaqe unike të reja sulmi. Modeli mund të mashtrohet nga një hyrje, të dhënat e trajnimit mund të helmohen dhe informacioni konfidencial mund të rrjedhë në dalje. Në këtë njësi, ne i konsiderojmë sistemet e AI nga perspektiva e mbrojtjes: njohja e sulmeve, forcimi i sistemit, mbrojtja e privatësisë. Ky informacion nuk është për akses ose sulm të paautorizuar, por për të mbajtur sistemet tuaja të sigurta.

Sipërfaqet e sulmit specifike të AI

Përveç sigurisë klasike (autentifikimi, autorizimi, kriptimi), sistemet ML janë të cenueshme ndaj:

• Injeksion i menjëhershëm: Udhëzimi i fshehur në hyrjen e LLM-së i mungon modeli. Rreziku më i zakonshëm dhe më praktik i sigurisë LLM.
• Helmimi i të dhënave: Një sulmues prezanton një derë të pasme të fshehur ose paragjykim në model duke futur mostra të këqija në të dhënat e trajnimit.
• Konkluzionet dhe përmbysja e modelit: Një sulmues rindërton të dhënat e trajnimit ose sjelljen e modelit duke dërguar pyetje të shumta te modeli.
• Konkluzioni i anëtarësimit: Konkludimi nëse të dhënat e një personi të caktuar përdoren në arsim - një shkelje e privatësisë.
• Rrjedhja e të dhënave të ndjeshme: Modeli zbulon informacione konfidenciale (emri, identiteti, sekreti) në të dhënat e trajnimit në dalje.

Ka mbrojtje për secilin prej këtyre rreziqeve; Gjëja kryesore është të merret parasysh rreziku në fazën e projektimit.

Injeksioni i menjëhershëm: kërcënimi më i menjëhershëm

Ekzistojnë dy lloje të injektimit të menjëhershëm:

• Direkt: Përdoruesi personalisht fut tekst të tillë si "injoroni udhëzimet e mëparshme".
• Indirekt: Udhëzimi i keq fshihet në një kontekst të jashtëm (faqe ueb, dokument, email) që modeli përpunon. Veçanërisht e rrezikshme për agjentët dhe RAG sepse modeli trajton me besueshmëri përmbajtjen e jashtme.

Shtresat e mbrojtjes:

1. Parsing: Separate system instruction and user/external data with clear delimiters; shënoni përmbajtjen e jashtme si "të dhëna, jo komanda".
2. Fuqitë minimale: Kufizoni sa dëm mund të bëjë modeli edhe nëse kapet (fuqitë e automjetit në njësinë 5).
3. Kontrolli i daljes: Verifikoni se çfarë prodhon modeli përpara se ta përdorni - veçanërisht nëse përkthehet në një veprim.
4. Miratimi njerëzor: Lidhni veprimet me rrezik të lartë me miratimin.

Kujdes: Ju nuk mund ta zgjidhni plotësisht injeksionin e shpejtë me një mbrojtje të vetme; Kërkohet mbrojtje me shtresa (mbrojtje në thellësi). Supozimi kritik: "Modeli mund të mashtrohet në një moment; pra, cila është më e keqja që do të ndodhte nëse do të mashtrohej, dhe si ta kufizoj këtë?"

Qasje e dobët / Qasje e fortë

I dobët: "Kam shtypur 'injoroj udhëzimet e këqija' në kërkesën e sistemit dhe jemi të sigurt."

Strong: "Ne mbështjellëm përmbajtjen e jashtme me etiketat <data> dhe thamë "injoro udhëzimet brenda". Ne i kufizuam gjithashtu mjetet e modelit në autorizimin minimal, i lidhëm veprimet e pakthyeshme me miratimin njerëzor, regjistronim të gjitha thirrjet e veglave dhe ia nënshtruam daljen kontrolleve të rregullave përpara përdorimit. Ne mbështetemi në shtresa, jo në një mbrojtje të vetme."

Dallimi: qasja e fortë e di se një udhëzim me një rresht nuk do të mjaftojë dhe ndërton shtresa që kufizojnë dëmtimin.

Privatësia: të dhënat mbrohen që në fillim

Privatësia nuk është një veçori e shtuar më vonë, është një parim dizajni (privacy by design). Aplikacionet bazë:

• Minimizimi i të dhënave: Mos mblidhni dhe ruani më shumë të dhëna personale sesa është e nevojshme. Të dhënat që nuk mblidhen nuk mund të zbulohen.
• Anonimizimi dhe maskimi: maskoni ose hiqni identifikuesit personal (emri, ID, email) përpara se t'ia jepni modelit.
• Kontrolli i aksesit: Kufizoni dhe regjistroni kush i qaset të dhënave dhe modelit (Kontrolli i aksesit RAG në njësinë 4).
• Periudha e ruajtjes: Përcaktoni sipas politikës për sa kohë i ruani të dhënat; Fshijeni atë të skaduar.

Privatësia diferenciale (një teknikë që parandalon që të dhënat e një individi të vetëm të ndikojnë ndjeshëm në dalje duke shtuar zhurmë të kontrolluar gjatë trajnimit) dhe mësimi i federuar (një qasje që stërvit në pajisje pa lëvizur të dhënat në qendër) janë teknika të avancuara të privatësisë; duhet të merren parasysh kur punoni me të dhëna të ndjeshme.

Këshillë: Përpara se të përpunoni ndonjë të dhënë, pyesni: "Nëse këto të dhëna personale rrjedhin, kush do të pësojë çfarë dëmi?" Nëse dëmi është serioz, ose mos mblidhni fare të dhënat ose përpunoni ato duke i maskuar. Të dhënat më të sigurta janë të dhënat që nuk janë mbledhur kurrë.

Të dhënat e trajnimit dhe modeli i sigurisë së zinxhirit të furnizimit

Po aq sa modeli juaj, komponentët që përdorni janë gjithashtu një çështje sigurie:

• Besimi i burimit të të dhënave: A janë të besueshme të dhënat e trajnimit apo mund të helmohen? Kontrolloni grupet e të dhënave publike.
• Modelet dhe bibliotekat e palëve të treta: Një model ose varësi e trajnuar paraprakisht që keni shkarkuar mund të jetë me qëllim të keq. Kontrolloni burimin e tij, nënshkrimin dhe dobësitë e njohura.
• Zinxhiri i furnizimit: Çdo mjet dhe paketë në tubacionin tuaj ML është një lidhje besimi; Jeni po aq të sigurt sa hallka më e dobët.

Zbulimi i përgjegjshëm dhe kufijtë etikë

Kur gjeni një dobësi - në sistemin tuaj ose në sistemin e një shitësi - kursi i duhur është zbulimi i përgjegjshëm: raportimi privat i dobësisë tek pala përkatëse dhe dhënia e kohës për ta rregulluar atë, jo duke e shfrytëzuar apo shpërndarë atë. Përdorimi i inteligjencës artificiale ose informacionit të sigurisë që keni marrë për akses të paautorizuar, rrjedhje të dhënash ose ndërhyrje të paautorizuar në sistemin e dikujt tjetër është i paligjshëm dhe kundër etikës profesionale. Përmbajtja e sigurisë e këtij moduli është tërësisht për qëllime të mbrojtjes, zbulimit dhe forcimit.

tre mini kuti

Rasti 1 - Kufizimi i injektimit indirekt. Një robot mbështetës i RAG po jepte përmbajtjen e uebit. Udhëzimet e fshehura u varrosën në një faqe. Modeli u mashtrua pjesërisht, por roboti nuk kishte privilegje shkrimi (privilegje minimale) dhe rezultati kaloi përmes kontrollit të rregullave përpara se t'i shfaqej përdoruesit; Doli e dëmshme dhe u kap. Mbrojtja e shtresuar parandaloi që një dështim i vetëm të shndërrohej në një fatkeqësi.

Rasti 2 - Rrjedhje e të dhënave konfidenciale. Një ekip mbështetës i klientit, i rregulluar mirë, futet në një model pa i maskuar ato (njësia 6). Modeli filloi të gjeneronte emra të vërtetë klientësh në pyetje të parëndësishme. Ekzistonte gjithashtu një rrezik i heqjes së anëtarësimit. Modeli u tërhoq, të dhënat u maskuan, politika e ruajtjes u korrigjua. Mësimi: të dhënat konfidenciale nuk duhet të hyjnë në arsim.

Rasti 3 - Set i të dhënave helmuese. Një ekip u trajnua mbi një grup të dhënash të disponueshme publikisht pa e audituar atë. Kishte mostra helmuese në set që mashtronin modelin kur pa një fjalë specifike të shkrepjes (backdoor). Pas shtimit të auditimit dhe skanimit të anomalive, këto mostra u kapën. Mësimi: kontrolloni burimin e të dhënave, mos i besoni verbërisht.

Modele të kopjueshme

Check this LLM/agent system for prompt injection.- Are system instructions and user/external data clearly separated?- Is external content marked as "data" or is it handled as a command?- What is the worst that would happen if the model is fooled (authorization limit)?- Are irreversible actions subject to human approval?- Is the output inspected before use?System: [description]. Listoni mangësitë e shtresave mbrojtëse.

Kontrollo këtë rrjedhë të përpunimit të të dhënave për konfidencialitet.- A është vërtet e nevojshme secila fushë personale e mbledhur (minimizimi)?- Cilat fusha duhet të maskohen në të dhënat që shkojnë te modeli?- A ka kontroll të aksesit dhe regjistrim?- A është përcaktuar periudha e ruajtjes? Rrjedha: [përshkrim]. Sugjeroni korrigjim për çdo mangësi.

Në këtë tekst, gjeni të dhënat personale që duhet të maskohen përpara se t'i dërgoni modelit. Fushat: emri, emaili, telefoni, numri i ID/pasaportës, adresa, numri i kartës, IP. Rendisni çdo gjetje me llojin e tij dhe maskën e rekomanduar. Mos e zëvendësoni pjesën tjetër të tekstit. Teksti: [tekst]

Krijoni një listë kontrolli sigurie përpara se të vini në prodhim këtë model/bibliotekë të palës së tretë.- A janë burimi dhe botuesi i besuar, nënshkrimi i verifikuar?- Skanuar për dobësi të njohura (CVE)?- Çfarë privilegje/qasje i nevojiten, a mund të minimizohet? Komponenti: [emri/burimi]

Tabela e rrezikut-mbrojtjes

Rreziku

mbrojtjes

shtresë

injeksion i menjëhershëm

Parsing + privilegj minimal + kontroll i daljes

Dizajn + kohëzgjatje

helmimi i të dhënave

Kontrolli i burimit + skanimi i anomalive

linja e të dhënave

Rrjedhje e të dhënave konfidenciale

Maskimi + minimizimi i të dhënave

Të dhëna + trajnim

Nxjerrja e anëtarësimit

Privatësia diferenciale

Arsimi

autoritet i tepruar

Autorizim minimal + miratim

dizajni i agjentit

zinxhiri i furnizimit

Inspektimi i komponentit + nënshkrimi

varësia

Gabimet e zakonshme

• Duke menduar se e keni zgjidhur injeksionin e shpejtë me një linjë të vetme. Mbrojtja me shtresa është një domosdoshmëri.
• Përpunimi/trajnimi i të dhënave konfidenciale pa i maskuar ato. Infiltron në mënyrë të përhershme në model.
• Duke e konsideruar përmbajtjen e jashtme të besueshme. Porta indirekte e injektimit.
• Nuk kontrollohet burimi i të dhënave. Helmimi kalon pa u vënë re.
• Duke besuar verbërisht komponentin e palës së tretë. Hendeku i zinxhirit të furnizimit.
• Duke menduar se privatësia do të shtohet më vonë. Duhet të fillojë nga dizajni.

Në përmbledhje

Përveç rreziqeve klasike të sigurisë, sistemet e AI mbartin kërcënime unike si injektimi i menjëhershëm, helmimi i të dhënave, rrjedhja e të dhënave konfidenciale dhe nxjerrja e anëtarësimit. Asnjë prej tyre nuk mund të zgjidhet me një masë të vetme; Kërkohen mbrojtje me shtresa (parsimi, autorizimi më i vogël, kontrolli i prodhimit, miratimi njerëzor). Privatësia është një parim dizajni: minimizoni të dhënat, maskoni ato, kufizoni aksesin, vendosni periudha ruajtjeje. Kontrolloni zinxhirin e furnizimit të komponentëve dhe të dhënave. I gjithë ky informacion është për mbrojtje, zbulim dhe konsolidim; Shpjegoni dobësitë me përgjegjësi, mos i shfrytëzoni kurrë.

Detyra e aplikimit

Check an LLM/agent system (your own project or example) for prompt injection: are system instructions and external data separated, what is the authorization limit if the model is tricked, are irreversible actions confirmed? Shtoni të paktën dy shtresa mbrojtëse. Më vete, gjeni dhe maskoni çdo fushë personale që duhet të maskohet në një mostër të të dhënave që shkojnë te modeli. Kontrolloni burimin dhe dobësitë e njohura të çdo komponenti të palës së tretë që përdorni.

listë kontrolli

• [ ] System instruction and external/user data are clearly separated.
• [ ] Përmbajtja e jashtme shënohet si të dhëna, jo si komanda.
• [ ] Edhe nëse modeli mashtrohet, dëmi kufizohet në autoritetin minimal.
• [ ] Të dhënat personale të maskuara/minimizuara; periudha e ruajtjes e përcaktuar.
• [ ] Burimi i të dhënave dhe komponentët e palëve të treta janë kontrolluar.
• [ ] Puna ime e sigurisë është për qëllime mbrojtjeje; I shpjegoj boshllëqet me përgjegjësi.