Awọn anfani:
- Agbara lati ṣe idanimọ awọn aaye ikọlu kan pato AI (abẹrẹ kiakia, majele data, jijo data asiri, isediwon ọmọ ẹgbẹ) ati apẹrẹ awọn aabo siwa
- Agbara lati lo asiri bi ipilẹ apẹrẹ: idinku data, iboju iparada, iṣakoso wiwọle ati akoko idaduro
- Agbara lati ṣe iṣẹ aabo nikan fun awọn idi igbeja, ṣafihan awọn ailagbara ni ifojusọna, ati yago fun lilo laigba aṣẹ
Eto ẹkọ ẹrọ gbe gbogbo awọn eewu aabo ti sọfitiwia ibile ati ṣafikun awọn ipele ikọlu tuntun alailẹgbẹ. Awoṣe le jẹ aṣiwere nipasẹ titẹ sii, data ikẹkọ le jẹ majele, ati alaye asiri le jo sinu abajade. Ninu ẹyọ yii, a gbero awọn eto AI lati irisi aabo: idanimọ awọn ikọlu, lile eto, aabo asiri. Alaye yii kii ṣe fun iraye si laigba aṣẹ tabi ikọlu, ṣugbọn lati tọju awọn ọna ṣiṣe tirẹ.
AI-kan pato ikọlu roboto
Ni afikun si aabo Ayebaye (ifọwọsi, aṣẹ, fifi ẹnọ kọ nkan), awọn eto ML jẹ ipalara si:
- Abẹrẹ kiakia: Ilana ti o farapamọ sinu titẹ sii si LLM padanu awoṣe naa. Ewu aabo LLM ti o wọpọ julọ ati iwulo julọ.
- Majele data: Olukọni n ṣafihan ẹnu-ọna ti o farapamọ tabi ojuṣaaju sinu awoṣe nipa fifi awọn apẹẹrẹ buburu sii sinu data ikẹkọ.
- Itọkasi awoṣe ati iyipada: Olukọni tun ṣe data ikẹkọ tabi ihuwasi awoṣe nipasẹ fifiranṣẹ awọn ibeere pupọ si awoṣe.
- Itọkasi ọmọ ẹgbẹ: Iwa boya a lo data eniyan kan ni eto ẹkọ - irufin ikọkọ.
- Ifamọ data ti o ni imọlara: Awoṣe naa ṣafihan alaye asiri (orukọ, idanimọ, aṣiri) ninu data ikẹkọ ninu iṣelọpọ.
Awọn aabo wa fun ọkọọkan awọn ewu wọnyi; Bọtini naa ni lati ronu ewu ni ipele apẹrẹ.
Abẹrẹ kiakia: irokeke lẹsẹkẹsẹ julọ
Awọn oriṣi meji ti abẹrẹ kiakia ni:
- Taara: Olumulo tikalararẹ tẹ ọrọ sii gẹgẹbi “kọju awọn ilana iṣaaju”.
- Aiṣe-taara: Ilana buburu ti wa ni pamọ ni ipo ita (oju-iwe ayelujara, iwe-ipamọ, imeeli) ti awọn ilana awoṣe. Paapa lewu fun awọn aṣoju ati RAG nitori awoṣe n kapa akoonu ita ni igbẹkẹle.
Awọn ipele aabo:
- Parsing: Separate system instruction and user/external data with clear delimiters; samisi akoonu ita bi "data, kii ṣe awọn aṣẹ".
- Awọn agbara ti o kere julọ: Idinwo iye ibajẹ ti awoṣe le ṣe paapaa ti o ba gba (awọn agbara ọkọ ni ẹyọ 5).
- Iṣakoso iṣejade: Daju ohun ti awoṣe n gbejade ṣaaju lilo rẹ - pataki ti o ba tumọ si iṣe.
- Ifọwọsi eniyan: Di awọn iṣe eewu giga si ifọwọsi.
Išọra: O ko le yanju abẹrẹ kiakia pẹlu aabo kan; Idaabobo Layer (olugbeja ni ijinle) nilo. Idaniloju pataki: "Awoṣe naa le jẹ aṣiwere ni aaye kan; nitorina kini o buru julọ ti yoo ṣẹlẹ ti o ba jẹ aṣiwere, ati bawo ni MO ṣe ṣe idinwo pe?"
Ọna ti ko lagbara / Ona ti o lagbara
Alailagbara: "Mo ti tẹ 'foju awọn ilana buburu' ni kiakia eto ati pe a wa ni ailewu."
Alagbara: "A ti yika akoonu ita pẹlu awọn ami <data> ati sọ pe 'foju awọn ilana laarin'. A tun ni opin awọn irinṣẹ awoṣe si aṣẹ to kere, ti so awọn iṣe ti ko ni iyipada si itẹwọgba eniyan, wọle gbogbo awọn ipe irinṣẹ, ati tẹriba abajade si awọn sọwedowo ofin ṣaaju lilo. A gbẹkẹle awọn ipele fẹlẹfẹlẹ, kii ṣe aabo kan. ”
Iyatọ: ọna ti o lagbara mọ pe itọnisọna laini kan kii yoo to ati ki o kọ awọn ipele ti o dinku ipalara naa.
Asiri: data ni aabo lati ibẹrẹ
Asiri kii ṣe ẹya ti a ṣafikun nigbamii, o jẹ ipilẹ apẹrẹ (aṣiri nipasẹ apẹrẹ). Awọn ohun elo ipilẹ:
- Idinku data: Maṣe gba ati tọju data ti ara ẹni diẹ sii ju iwulo lọ. Awọn data ti a ko gba ko le jẹ jijo.
- Aifọwọyi ati bojuboju: Boju tabi yọ awọn idamọ ti ara ẹni kuro (orukọ, ID, imeeli) ṣaaju fifun wọn si awoṣe.
- Iṣakoso wiwọle: Idiwọn ati wọle ẹniti o wọle si data ati awoṣe (Iṣakoso iwọle RAG lori ẹyọkan 4).
- Akoko idaduro: Ṣe ipinnu nipasẹ eto imulo bi o ṣe pẹ to da data duro; Pa eyi ti o ti pari rẹ.
Aṣiri iyatọ (ilana kan ti o ṣe idiwọ data ti ẹni kọọkan lati ni ipa pataki ti iṣelọpọ nipasẹ fifi ariwo iṣakoso lakoko ikẹkọ) ati ikẹkọ idapọ (ọna kan ti o ṣe ikẹkọ lori awọn ẹrọ laisi gbigbe data si aarin) jẹ awọn imuposi ikọkọ ti ilọsiwaju; yẹ ki o ṣe akiyesi nigbati o n ṣiṣẹ pẹlu data ifura.
Imọran: Ṣaaju ṣiṣe eyikeyi data, beere: "Ti data ti ara ẹni yii ba ti jo, tani yoo jiya ipalara wo?" Ti ibajẹ naa ba ṣe pataki, boya maṣe gba data naa rara tabi ṣe ilana rẹ nipa boju-boju rẹ. Awọn safest data ni data ti o ti ko ti gba.
Data ikẹkọ ati aabo pq ipese awoṣe
Gẹgẹ bi awoṣe rẹ, awọn paati ti o lo tun jẹ ọran aabo:
- Igbẹkẹle orisun data: Njẹ data ikẹkọ jẹ igbẹkẹle tabi o le jẹ majele? Se ayewo àkọsílẹ data tosaaju.
- Awọn awoṣe ẹni-kẹta ati awọn ile-ikawe: Awoṣe ti ikẹkọ tẹlẹ tabi igbẹkẹle ti o ṣe igbasilẹ le jẹ irira. Ṣayẹwo orisun rẹ, ibuwọlu, ati awọn ailagbara ti a mọ.
- Ẹwọn Ipese: Gbogbo ọpa ati package ninu opo gigun ti epo ML rẹ jẹ ọna asopọ ti igbẹkẹle; O wa ni ailewu bi ọna asopọ alailagbara.
Iṣafihan lodidi ati awọn aala ihuwasi
Nigbati o ba rii ailagbara kan - lori eto tirẹ tabi eto ataja kan — ipa ọna ti o tọ jẹ ifihan ti o ni iduro: jijabọ ailagbara si ẹgbẹ ti o yẹ ati fifun ni akoko lati ṣatunṣe, kii ṣe ilokulo tabi kaakiri. Lilo itetisi atọwọda tabi alaye aabo ti o ti gba fun iraye si laigba aṣẹ, jijo data, tabi idasi laigba aṣẹ sinu eto ẹlomiran jẹ arufin ati lodi si awọn iṣe alamọdaju. Akoonu aabo ti module yii jẹ patapata fun aabo, wiwa ati awọn idi lile.
mẹta mini igba
Ọran 1 - Idiwọn ti abẹrẹ aiṣe-taara. Boti atilẹyin RAG kan n ṣe akoonu wẹẹbu naa. Awọn ilana ti o farasin ni a sin si oju-iwe kan. Awoṣe naa jẹ aṣiwere ni apakan, ṣugbọn bot ko ni awọn anfani kikọ (awọn anfani ti o kere ju) ati abajade ti kọja nipasẹ ṣiṣe ayẹwo ofin ṣaaju ki o to han si olumulo; O wa ni ipalara ati pe a mu. Idaabobo Layer ṣe idiwọ ikuna kan lati di ajalu kan.
Irú 2 - Asiri data jo. Atilẹyin alabara ti o ni aifwy ẹgbẹ kan ṣe igbasilẹ sinu awoṣe laisi boju wọn (ẹka 6). Awoṣe naa bẹrẹ ṣiṣẹda awọn orukọ alabara gidi ni awọn ibeere ti ko ṣe pataki. Ewu tun wa ti yiyọ ọmọ ẹgbẹ kuro. Awoṣe yọkuro, ti o boju-boju data, atunse eto imulo idaduro. Ẹkọ: data asiri ko yẹ ki o tẹ ẹkọ sii.
Case 3 - Oloro data ṣeto. Ẹgbẹ kan ti ṣe ikẹkọ lori iwe data ti o wa ni gbangba laisi ṣiṣayẹwo rẹ. Awọn ayẹwo oloro wa lori ṣeto ti o tan awoṣe jẹ nigbati o rii ọrọ ti o nfa kan pato (ẹyin ẹhin). Lẹhin fifi iṣatunṣe ati iṣayẹwo anomaly kun, awọn ayẹwo wọnyi ni a mu. Ẹkọ: ṣayẹwo orisun data, maṣe gbẹkẹle afọju.
Awọn awoṣe idakọ
Check this LLM/agent system for prompt injection.- Are system instructions and user/external data clearly separated?- Is external content marked as "data" or is it handled as a command?- What is the worst that would happen if the model is fooled (authorization limit)?- Are irreversible actions subject to human approval?- Is the output inspected before use?System: [description]. Akojọ siwa awọn ailagbara igbeja.
Ṣiṣayẹwo ṣiṣan sisẹ data yii fun asiri.- Njẹ kọọkan ti o gba aaye ti ara ẹni jẹ pataki (idinku)? - Awọn aaye wo ni o yẹ ki o boju-boju ninu data ti o lọ si awoṣe? Daba atunse fun aipe kọọkan.
Ninu ọrọ yii, wa data ti ara ẹni ti o nilo lati boju-boju ṣaaju fifiranṣẹ si awoṣe. Awọn aaye: orukọ, imeeli, foonu, ID/nọmba iwe irinna, adirẹsi, nọmba kaadi, IP. Ṣe atokọ wiwa kọọkan pẹlu iru rẹ ati iboju-boju ti a ṣeduro. Maṣe rọpo ọrọ iyokù. Ọrọ: [ọrọ]
Ṣe agbekalẹ iwe ayẹwo aabo ṣaaju ki o to fi awoṣe / ile-ikawe ẹni-kẹta si iṣelọpọ.- Njẹ orisun ati olutẹwewe ni igbẹkẹle, ijẹrisi ibuwọlu? - Ti ṣayẹwo fun awọn ailagbara ti a mọ (CVE)? - Awọn anfani/iwọle wo ni o nilo, ṣe o le dinku? Ẹka: [orukọ/orisun]
Ewu-olugbeja tabili
Ewu
olugbeja
Layer
abẹrẹ kiakia
Iṣaro + anfani ti o kere julọ + iṣakoso iṣelọpọ
Design + asiko isise
data oloro
Iṣakoso orisun + anomaly Antivirus
ila data
Asiri data jo
Masking + data idinku
Data + ikẹkọ
Iyọkuro ẹgbẹ
Asiri iyatọ
Ẹkọ
aṣẹ ti o pọju
Aṣẹ ti o kere ju + ifọwọsi
aṣoju oniru
pq ipese
Ayẹwo paati + ibuwọlu
afẹsodi
Awọn aṣiṣe ti o wọpọ
- Ni ero pe o ti yanju abẹrẹ kiakia pẹlu laini kan. Idaabobo Layered jẹ dandan.
- Ṣiṣẹda / ikẹkọ data asiri laisi boju-boju rẹ. Yẹ infiltrates awọn awoṣe.
- Ṣiyesi akoonu ita ni igbẹkẹle. Enu abẹrẹ aiṣe-taara.
- Ko ṣayẹwo orisun data. Majele n lọ lai ṣe akiyesi.
- Ni afọju gbigbekele paati ẹnikẹta. Ipese pq aafo.
- Lerongba pe asiri yoo wa ni afikun nigbamii. O yẹ ki o bẹrẹ lati apẹrẹ.
Ni akojọpọ
Ni afikun si awọn eewu aabo kilasika, awọn eto AI gbe awọn irokeke alailẹgbẹ bii abẹrẹ kiakia, majele data, jijo data asiri ati isediwon ọmọ ẹgbẹ. Ko si ọkan ninu wọn ti a le yanju nipasẹ iwọn kan; awọn aabo siwa (itupalẹ, aṣẹ ti o kere ju, iṣakoso iṣelọpọ, ifọwọsi eniyan) nilo. Aṣiri jẹ ipilẹ apẹrẹ: gbe data dinku, boju-boju, iwọle si opin, fa awọn akoko idaduro. Ṣakoso paati ati pq ipese data. Gbogbo alaye yii wa fun aabo, wiwa ati isọdọkan; Ṣe alaye awọn ailagbara ni ojuṣe, maṣe lo nilokulo.
Ohun elo iṣẹ-ṣiṣe
Check an LLM/agent system (your own project or example) for prompt injection: are system instructions and external data separated, what is the authorization limit if the model is tricked, are irreversible actions confirmed? Fi o kere ju meji fẹlẹfẹlẹ ti olugbeja. Lọtọ, wa ati boju-boju eyikeyi awọn aaye ti ara ẹni ti o nilo lati boju-boju ni data ayẹwo ti n lọ si awoṣe. Ṣayẹwo orisun ati awọn ailagbara ti a mọ ti eyikeyi paati ẹnikẹta ti o lo.
akojọ ayẹwo
- [ ] System instruction and external/user data are clearly separated.
- [] Akoonu ita ti samisi bi data, kii ṣe awọn aṣẹ.
- [] Paapa ti awoṣe ba jẹ aṣiwere, ibajẹ naa ni opin si aṣẹ to kere julọ.
- [] data ti ara ẹni boju-boju / o ti gbe sẹgbẹ; akoko ipamọ asọye.
- [] Orisun data ati awọn paati ẹnikẹta ti ṣayẹwo.
- [] Iṣẹ aabo mi jẹ fun awọn idi aabo; Mo ṣe alaye awọn ela ni ojuṣe.