Keselamatan dan Privasi: Mempertahankan Sistem AI

Keuntungan:

• Keupayaan untuk mengenali permukaan serangan khusus AI (suntikan segera, keracunan data, kebocoran data sulit, pengekstrakan keahlian) dan mereka bentuk pertahanan berlapis
• Keupayaan untuk menggunakan privasi sebagai prinsip reka bentuk: pengecilan data, penyamaran, kawalan akses dan tempoh pengekalan
• Keupayaan untuk menjalankan kerja keselamatan semata-mata untuk tujuan pertahanan, mendedahkan kelemahan secara bertanggungjawab dan mengelakkan penggunaan tanpa kebenaran

Sistem pembelajaran mesin membawa semua risiko keselamatan perisian tradisional dan menambah permukaan serangan baharu yang unik. Model boleh ditipu oleh input, data latihan boleh diracuni, dan maklumat sulit boleh bocor ke dalam output. Dalam unit ini, kami mempertimbangkan sistem AI dari perspektif pertahanan: mengiktiraf serangan, mengeraskan sistem, melindungi privasi. Maklumat ini bukan untuk akses atau serangan yang tidak dibenarkan, tetapi untuk memastikan sistem anda sendiri selamat.

Permukaan serangan khusus AI

Selain keselamatan klasik (pengesahan, kebenaran, penyulitan), sistem ML terdedah kepada:

• Suntikan segera: Arahan tersembunyi dalam input kepada LLM terlepas model. Risiko keselamatan LLM yang paling biasa dan paling praktikal.
• Keracunan data: Penyerang memperkenalkan pintu belakang tersembunyi atau berat sebelah ke dalam model dengan memasukkan sampel yang tidak baik ke dalam data latihan.
• Inferens dan penyongsangan model: Penyerang membina semula data latihan atau tingkah laku model dengan menghantar berbilang pertanyaan kepada model.
• Inferens keahlian: Membuat kesimpulan sama ada data orang tertentu digunakan dalam pendidikan — pelanggaran privasi.
• Kebocoran data sensitif: Model mendedahkan maklumat sulit (nama, identiti, rahsia) dalam data latihan dalam output.

Terdapat pertahanan untuk setiap risiko ini; Perkara utama ialah mempertimbangkan risiko pada peringkat reka bentuk.

Suntikan segera: ancaman paling segera

Terdapat dua jenis suntikan segera:

• Langsung: Pengguna secara peribadi memasukkan teks seperti "abaikan arahan sebelumnya".
• Tidak langsung: Arahan buruk disembunyikan dalam konteks luaran (halaman web, dokumen, e-mel) yang diproses oleh model. Terutamanya berbahaya untuk ejen dan RAG kerana model mengendalikan kandungan luaran dengan pasti.

Lapisan pertahanan:

1. Parsing: Separate system instruction and user/external data with clear delimiters; tandakan kandungan luaran sebagai "data, bukan arahan".
2. Kuasa minimum: Hadkan jumlah kerosakan yang boleh dilakukan oleh model walaupun ia ditangkap (kuasa kenderaan dalam unit 5).
3. Kawalan output: Sahkan perkara yang dihasilkan oleh model sebelum anda menggunakannya — terutamanya jika ia diterjemahkan kepada tindakan.
4. Kelulusan manusia: Mengikat tindakan berisiko tinggi kepada kelulusan.

Awas: Anda tidak boleh menyelesaikan sepenuhnya suntikan segera dengan satu pertahanan; Pertahanan berlapis (pertahanan secara mendalam) diperlukan. Andaian kritikal: "Model mungkin tertipu pada satu ketika; jadi apakah yang paling teruk yang akan berlaku jika ia ditipu, dan bagaimana saya mengehadkannya?"

Pendekatan yang lemah / Pendekatan yang kuat

Lemah: "Saya menaip 'abaikan arahan buruk' pada gesaan sistem dan kami selamat."

Kuat: "Kami membungkus kandungan luaran dengan teg <data> dan berkata 'abaikan arahan dalam'. Kami juga mengehadkan alatan model kepada kebenaran minimum, mengikat tindakan tidak boleh balik dengan kelulusan manusia, merekodkan semua panggilan alat dan menyerahkan output kepada semakan peraturan sebelum digunakan. Kami bergantung pada lapisan, bukan satu pertahanan."

Perbezaannya: pendekatan yang kukuh tahu bahawa arahan satu baris tidak akan mencukupi dan membina lapisan yang mengehadkan kerosakan.

Privasi: data dilindungi dari awal

Privasi bukan ciri yang ditambahkan kemudian, ia adalah prinsip reka bentuk (privasi mengikut reka bentuk). Aplikasi asas:

• Pengurangan data: Jangan kumpul dan simpan lebih banyak data peribadi daripada yang diperlukan. Data yang tidak dikumpul tidak boleh dibocorkan.
• Anonimisasi dan penyamaran: Topeng atau alih keluar pengecam peribadi (nama, ID, e-mel) sebelum memberikannya kepada model.
• Kawalan akses: Hadkan dan log orang yang mengakses data dan model (kawalan akses RAG pada unit 4).
• Tempoh pengekalan: Tentukan mengikut dasar berapa lama anda menyimpan data; Padamkan yang telah tamat tempoh.

Privasi pembezaan (teknik yang menghalang data individu tunggal daripada menjejaskan output dengan ketara dengan menambahkan hingar terkawal semasa latihan) dan pembelajaran bersekutu (pendekatan yang melatih pada peranti tanpa mengalihkan data ke pusat) ialah teknik privasi lanjutan; harus dipertimbangkan apabila bekerja dengan data sensitif.

Petua: Sebelum memproses sebarang data, tanya: "Jika data peribadi ini dibocorkan, siapa yang akan mengalami apa yang akan dirugikan?" Jika kerosakan serius, sama ada jangan kumpulkan data sama sekali atau proseskannya dengan menutupnya. Data paling selamat ialah data yang tidak pernah dikumpul.

Latihan data dan model keselamatan rantaian bekalan

Sama seperti model anda, komponen yang anda gunakan juga merupakan isu keselamatan:

• Kepercayaan sumber data: Adakah data latihan boleh dipercayai atau mungkinkah ia diracuni? Audit set data awam.
• Model dan perpustakaan pihak ketiga: Model atau kebergantungan yang telah dilatih yang anda muat turun mungkin berniat jahat. Semak sumber, tandatangan dan kelemahan yang diketahui.
• Rantaian bekalan: Setiap alat dan pakej dalam saluran paip ML anda ialah pautan kepercayaan; Anda selamat seperti pautan paling lemah.

Pendedahan yang bertanggungjawab dan sempadan etika

Apabila anda menemui kelemahan — pada sistem anda sendiri atau sistem vendor — kursus yang betul ialah pendedahan yang bertanggungjawab: melaporkan kelemahan secara peribadi kepada pihak yang berkaitan dan memberi masa untuk memperbaikinya, bukan mengeksploitasi atau menyebarkannya. Menggunakan kecerdasan buatan atau maklumat keselamatan yang anda perolehi untuk akses tanpa kebenaran, kebocoran data atau campur tangan tanpa kebenaran ke dalam sistem orang lain adalah menyalahi undang-undang dan bertentangan dengan etika profesional. Kandungan keselamatan modul ini adalah untuk tujuan pertahanan, pengesanan dan pengerasan sepenuhnya.

tiga kes mini

Kes 1 - Had suntikan tidak langsung. Bot sokongan RAG sedang memaparkan kandungan web. Arahan tersembunyi terkubur pada satu muka surat. Model ini telah ditipu sebahagiannya, tetapi bot tidak mempunyai keistimewaan menulis (keistimewaan minimum) dan output telah diluluskan melalui semakan peraturan sebelum dipaparkan kepada pengguna; Ia ternyata berbahaya dan ditangkap. Pertahanan berlapis menghalang satu kegagalan daripada menjadi bencana.

Kes 2 - Kebocoran data sulit. Pasukan sokongan pelanggan yang diperhalusi log masuk ke dalam model tanpa menutupnya (unit 6). Model itu mula menjana nama pelanggan sebenar dalam soalan yang tidak berkaitan. Terdapat juga risiko penyingkiran keahlian. Model ditarik balik, data bertopeng, dasar pengekalan diperbetulkan. Pengajaran: data sulit tidak boleh memasuki pendidikan.

Kes 3 - Set data beracun. Satu pasukan dilatih pada set data yang tersedia untuk umum tanpa mengauditnya. Terdapat sampel beracun pada set yang memperdayakan model apabila ia melihat perkataan pencetus tertentu (pintu belakang). Selepas menambah pengauditan dan pengimbasan anomali, sampel ini telah ditangkap. Pengajaran: semak sumber data, jangan percaya membabi buta.

Templat yang boleh disalin

Check this LLM/agent system for prompt injection.- Are system instructions and user/external data clearly separated?- Is external content marked as "data" or is it handled as a command?- What is the worst that would happen if the model is fooled (authorization limit)?- Are irreversible actions subject to human approval?- Is the output inspected before use?System: [description]. Senaraikan kelemahan pertahanan berlapis.

Audit aliran pemprosesan data ini untuk kerahsiaan.- Adakah setiap medan peribadi yang dikumpul benar-benar perlu (pengurangan)?- Medan manakah yang harus disembunyikan dalam data yang pergi ke model?- Adakah terdapat kawalan akses dan pengelogan?- Adakah tempoh pengekalan ditakrifkan? Aliran: [penerangan]. Cadangkan pembetulan bagi setiap kekurangan.

Dalam teks ini, cari data peribadi yang perlu ditutup sebelum menghantarnya kepada model. Medan: nama, e-mel, telefon, nombor ID/pasport, alamat, nombor kad, IP. Senaraikan setiap penemuan dengan jenis dan topeng yang disyorkan. Jangan ganti teks yang lain.Teks: [teks]

Jana senarai semak keselamatan sebelum meletakkan model/perpustakaan pihak ketiga ini ke dalam pengeluaran.- Adakah sumber dan penerbit dipercayai, tandatangan disahkan?- Diimbas untuk kelemahan yang diketahui (CVE)?- Apakah keistimewaan/akses yang diperlukan, bolehkah ia diminimumkan? Komponen: [nama/sumber]

Jadual pertahanan risiko

risiko

pertahanan

lapisan

suntikan segera

Penghuraian + keistimewaan minimum + kawalan keluaran

Reka bentuk + masa jalan

keracunan data

Kawalan sumber + pengimbasan anomali

talian data

Kebocoran data sulit

Masking + pengecilan data

Data + latihan

Pengekstrakan keahlian

Privasi yang berbeza

Pendidikan

kuasa yang berlebihan

Keizinan + kelulusan minimum

reka bentuk ejen

rantaian bekalan

Pemeriksaan komponen + tandatangan

ketagihan

Kesilapan biasa

• Berfikir bahawa anda telah menyelesaikan suntikan segera dengan satu baris. Pertahanan berlapis adalah satu kemestian.
• Memproses/melatih data sulit tanpa menyembunyikannya. Menyusup secara kekal ke dalam model.
• Memandangkan kandungan luaran boleh dipercayai. Pintu suntikan tidak langsung.
• Tidak menyemak sumber data. Keracunan tidak disedari.
• Mempercayai komponen pihak ketiga secara membuta tuli. Jurang rantaian bekalan.
• Berfikir bahawa privasi akan ditambah kemudian. Ia harus bermula dari reka bentuk.

Secara ringkasnya

Selain risiko keselamatan klasik, sistem AI membawa ancaman unik seperti suntikan segera, keracunan data, kebocoran data sulit dan pengekstrakan keahlian. Tiada satu pun daripada mereka boleh diselesaikan dengan satu langkah; pertahanan berlapis (penghuraian, kebenaran paling sedikit, kawalan keluaran, kelulusan manusia) diperlukan. Privasi ialah prinsip reka bentuk: meminimumkan data, menutupnya, mengehadkan akses, mengenakan tempoh pengekalan. Kawal komponen dan rantaian bekalan data. Semua maklumat ini adalah untuk pertahanan, pengesanan dan penyatuan; Terangkan kelemahan secara bertanggungjawab, jangan sekali-kali mengeksploitasi.

Tugasan permohonan

Check an LLM/agent system (your own project or example) for prompt injection: are system instructions and external data separated, what is the authorization limit if the model is tricked, are irreversible actions confirmed? Tambah sekurang-kurangnya dua lapisan pertahanan. Secara berasingan, cari dan tutup mana-mana medan peribadi yang perlu disembunyikan dalam data sampel yang pergi ke model. Semak sumber dan kelemahan yang diketahui bagi mana-mana komponen pihak ketiga yang anda gunakan.

senarai semak

• [ ] System instruction and external/user data are clearly separated.
• [ ] Kandungan luaran ditandakan sebagai data, bukan arahan.
• [ ] Walaupun model itu ditipu, kerosakan adalah terhad kepada kuasa yang minimum.
• [ ] Data peribadi bertopeng/diminimumkan; tempoh penyimpanan ditentukan.
• [ ] Sumber data dan komponen pihak ketiga telah disemak.
• [ ] Kerja keselamatan saya adalah untuk tujuan pertahanan; Saya menerangkan jurang secara bertanggungjawab.