लाभ:
- एआई-विशिष्ट हमले की सतहों (त्वरित इंजेक्शन, डेटा विषाक्तता, गोपनीय डेटा रिसाव, सदस्यता निष्कर्षण) को पहचानने और स्तरित सुरक्षा डिजाइन करने की क्षमता
- डिज़ाइन सिद्धांत के रूप में गोपनीयता को लागू करने की क्षमता: डेटा न्यूनतमकरण, मास्किंग, पहुंच नियंत्रण और अवधारण अवधि
- केवल रक्षात्मक उद्देश्यों के लिए सुरक्षा कार्य करने, कमजोरियों का जिम्मेदारी से खुलासा करने और अनधिकृत उपयोग से बचने की क्षमता
एक मशीन लर्निंग सिस्टम पारंपरिक सॉफ़्टवेयर के सभी सुरक्षा जोखिमों को वहन करता है और अद्वितीय नई आक्रमण सतहों को जोड़ता है। मॉडल को इनपुट द्वारा मूर्ख बनाया जा सकता है, प्रशिक्षण डेटा को जहरीला बनाया जा सकता है, और गोपनीय जानकारी आउटपुट में लीक हो सकती है। इस इकाई में, हम एआई सिस्टम पर रक्षा दृष्टिकोण से विचार करते हैं: हमलों को पहचानना, सिस्टम को सख्त करना, गोपनीयता की रक्षा करना। यह जानकारी अनधिकृत पहुंच या हमले के लिए नहीं है, बल्कि आपके अपने सिस्टम को सुरक्षित रखने के लिए है।
एआई-विशिष्ट आक्रमण सतहें
क्लासिक सुरक्षा (प्रमाणीकरण, प्राधिकरण, एन्क्रिप्शन) के अलावा, एमएल सिस्टम इसके प्रति संवेदनशील हैं:
- शीघ्र इंजेक्शन: एलएलएम के इनपुट में छिपा निर्देश मॉडल से चूक जाता है। सबसे आम और सबसे व्यावहारिक एलएलएम सुरक्षा जोखिम।
- डेटा विषाक्तता: एक हमलावर प्रशिक्षण डेटा में खराब नमूने डालकर मॉडल में एक छिपे हुए पिछले दरवाजे या पूर्वाग्रह का परिचय देता है।
- मॉडल अनुमान और उलटा: एक हमलावर मॉडल पर कई प्रश्न भेजकर प्रशिक्षण डेटा या मॉडल व्यवहार का पुनर्निर्माण करता है।
- सदस्यता अनुमान: यह अनुमान लगाना कि क्या किसी विशेष व्यक्ति का डेटा शिक्षा में उपयोग किया जाता है - गोपनीयता का उल्लंघन है।
- संवेदनशील डेटा लीक: मॉडल आउटपुट में प्रशिक्षण डेटा में गोपनीय जानकारी (नाम, पहचान, रहस्य) का खुलासा करता है।
इनमें से प्रत्येक जोखिम के लिए बचाव मौजूद हैं; मुख्य बात डिज़ाइन चरण में जोखिम पर विचार करना है।
शीघ्र इंजेक्शन: सबसे तात्कालिक खतरा
शीघ्र इंजेक्शन दो प्रकार के होते हैं:
- प्रत्यक्ष: उपयोगकर्ता व्यक्तिगत रूप से "पिछले निर्देशों को अनदेखा करें" जैसे पाठ दर्ज करता है।
- अप्रत्यक्ष: खराब निर्देश बाहरी संदर्भ (वेब पेज, दस्तावेज़, ईमेल) में छिपा होता है जिसे मॉडल संसाधित करता है। एजेंटों और आरएजी के लिए विशेष रूप से खतरनाक है क्योंकि मॉडल बाहरी सामग्री को विश्वसनीय रूप से संभालता है।
रक्षा परतें:
- Parsing: Separate system instruction and user/external data with clear delimiters; बाहरी सामग्री को "डेटा, कमांड नहीं" के रूप में चिह्नित करें।
- न्यूनतम शक्तियाँ: यह सीमित करें कि मॉडल पकड़े जाने पर भी कितना नुकसान कर सकता है (इकाई 5 में वाहन की शक्तियाँ)।
- आउटपुट नियंत्रण: उपयोग करने से पहले सत्यापित करें कि मॉडल क्या उत्पन्न करता है - खासकर यदि यह किसी क्रिया में परिवर्तित होता है।
- मानवीय अनुमोदन: उच्च जोखिम वाले कार्यों को अनुमोदन से जोड़ें।
सावधानी: आप एक ही बचाव से शीघ्र इंजेक्शन को पूरी तरह से हल नहीं कर सकते; स्तरित रक्षा (गहराई में रक्षा) की आवश्यकता है। गंभीर धारणा: "किसी बिंदु पर मॉडल को मूर्ख बनाया जा सकता है; तो यदि इसे मूर्ख बनाया गया तो इससे बुरी बात क्या होगी, और मैं इसे कैसे सीमित कर सकता हूं?"
कमजोर दृष्टिकोण/मजबूत दृष्टिकोण
कमज़ोर: "मैंने सिस्टम प्रॉम्प्ट पर 'बुरे निर्देशों को नज़रअंदाज़ करें' टाइप किया और हम सुरक्षित हैं।"
मजबूत: "हमने बाहरी सामग्री को <डेटा> टैग के साथ लपेटा और कहा कि 'अंदर के निर्देशों को अनदेखा करें'। हमने मॉडल के टूल को न्यूनतम प्राधिकरण तक सीमित कर दिया, अपरिवर्तनीय कार्यों को मानव अनुमोदन से बांध दिया, सभी टूल कॉल लॉग किए, और उपयोग से पहले आउटपुट को नियम जांच के अधीन कर दिया। हम परतों पर भरोसा करते हैं, एक भी बचाव पर नहीं।"
अंतर: मजबूत दृष्टिकोण जानता है कि एक-पंक्ति निर्देश पर्याप्त नहीं होगा और क्षति को सीमित करने वाली परतें बनाता है।
गोपनीयता: डेटा शुरू से ही सुरक्षित है
गोपनीयता बाद में जोड़ी गई कोई सुविधा नहीं है, यह एक डिज़ाइन सिद्धांत (डिज़ाइन द्वारा गोपनीयता) है। बुनियादी अनुप्रयोग:
- डेटा न्यूनतमकरण: आवश्यकता से अधिक व्यक्तिगत डेटा एकत्र और संग्रहीत न करें। जो डेटा एकत्र नहीं किया गया है उसे लीक नहीं किया जा सकता है।
- गुमनामीकरण और मास्किंग: मॉडल को देने से पहले व्यक्तिगत पहचानकर्ताओं (नाम, आईडी, ईमेल) को छिपाएं या हटा दें।
- अभिगम नियंत्रण: डेटा और मॉडल तक पहुंचने वाले को सीमित और लॉग करें (यूनिट 4 पर आरएजी अभिगम नियंत्रण)।
- अवधारण अवधि: नीति द्वारा निर्धारित करें कि आप कितने समय तक डेटा बनाए रखते हैं; जो समाप्त हो गया है उसे हटा दें.
विभेदक गोपनीयता (एक ऐसी तकनीक जो प्रशिक्षण के दौरान नियंत्रित शोर जोड़कर किसी एक व्यक्ति के डेटा को आउटपुट को महत्वपूर्ण रूप से प्रभावित करने से रोकती है) और फ़ेडरेटेड लर्निंग (एक दृष्टिकोण जो डेटा को केंद्र में ले जाए बिना उपकरणों पर प्रशिक्षित करता है) उन्नत गोपनीयता तकनीकें हैं; संवेदनशील डेटा के साथ काम करते समय इस पर विचार किया जाना चाहिए।
टिप: किसी भी डेटा को संसाधित करने से पहले, पूछें: "यदि यह व्यक्तिगत डेटा लीक हो गया, तो किसे क्या नुकसान होगा?" यदि क्षति गंभीर है, तो या तो डेटा एकत्र न करें या इसे छिपाकर संसाधित करें। सबसे सुरक्षित डेटा वह डेटा है जिसे कभी एकत्र नहीं किया गया है।
प्रशिक्षण डेटा और मॉडल आपूर्ति श्रृंखला सुरक्षा
आपके मॉडल की तरह, आपके द्वारा उपयोग किए जाने वाले घटक भी एक सुरक्षा मुद्दा हैं:
- डेटा स्रोत पर भरोसा: क्या प्रशिक्षण डेटा विश्वसनीय है या यह जहरीला हो सकता है? सार्वजनिक डेटा सेट का ऑडिट करें।
- तृतीय-पक्ष मॉडल और लाइब्रेरी: आपके द्वारा डाउनलोड किया गया पूर्व-प्रशिक्षित मॉडल या निर्भरता दुर्भावनापूर्ण हो सकती है। इसके स्रोत, हस्ताक्षर और ज्ञात कमजोरियों की जाँच करें।
- आपूर्ति श्रृंखला: आपकी एमएल पाइपलाइन में प्रत्येक उपकरण और पैकेज भरोसे की एक कड़ी है; आप सबसे कमजोर कड़ी की तरह सुरक्षित हैं।
जिम्मेदार प्रकटीकरण और नैतिक सीमाएँ
जब आपको कोई भेद्यता मिलती है - अपने सिस्टम पर या किसी विक्रेता के सिस्टम पर - तो सही तरीका जिम्मेदार प्रकटीकरण है: निजी तौर पर संबंधित पक्ष को भेद्यता की रिपोर्ट करना और उसे ठीक करने के लिए समय देना, न कि उसका शोषण करना या उसका प्रसार करना। अनधिकृत पहुंच, डेटा रिसाव, या किसी अन्य के सिस्टम में अनधिकृत हस्तक्षेप के लिए कृत्रिम बुद्धिमत्ता या आपके द्वारा अर्जित सुरक्षा जानकारी का उपयोग करना अवैध और पेशेवर नैतिकता के खिलाफ है। इस मॉड्यूल की सुरक्षा सामग्री पूरी तरह से रक्षा, पता लगाने और सख्त करने के उद्देश्यों के लिए है।
तीन मिनी मामले
केस 1 - अप्रत्यक्ष इंजेक्शन की सीमा। एक RAG सपोर्ट बॉट वेब सामग्री प्रस्तुत कर रहा था। छुपे निर्देश एक पन्ने पर दफ़न थे. मॉडल को आंशिक रूप से मूर्ख बनाया गया था, लेकिन बॉट के पास कोई लेखन विशेषाधिकार (न्यूनतम विशेषाधिकार) नहीं था और उपयोगकर्ता को प्रदर्शित होने से पहले आउटपुट को नियम जांच के माध्यम से पारित किया गया था; यह हानिकारक निकला और पकड़ा गया। स्तरित रक्षा ने एक भी विफलता को आपदा बनने से रोका।
केस 2 - गोपनीय डेटा लीक। ग्राहक सहायता को बेहतर ढंग से तैयार करने वाली एक टीम बिना मास्क लगाए मॉडल में लॉग इन करती है (इकाई 6)। मॉडल ने अप्रासंगिक प्रश्नों में वास्तविक ग्राहक नाम उत्पन्न करना शुरू कर दिया। सदस्यता जाने का भी ख़तरा था. मॉडल वापस ले लिया गया, डेटा छुपाया गया, अवधारण नीति को सही किया गया। पाठ: गोपनीय डेटा को शिक्षा में प्रवेश नहीं करना चाहिए।
केस 3 - जहरीला डेटा सेट। एक टीम ने बिना ऑडिट किए सार्वजनिक रूप से उपलब्ध डेटासेट पर प्रशिक्षण लिया। सेट पर ज़हरीले नमूने थे, जिसने मॉडल को एक विशिष्ट ट्रिगर शब्द (बैकडोर) देखकर बेवकूफ बना दिया। ऑडिटिंग और विसंगति स्कैनिंग को जोड़ने के बाद, इन नमूनों को लिया गया। सबक: डेटा स्रोत की जांच करें, आंख मूंदकर भरोसा न करें।
कॉपी करने योग्य टेम्पलेट
Check this LLM/agent system for prompt injection.- Are system instructions and user/external data clearly separated?- Is external content marked as "data" or is it handled as a command?- What is the worst that would happen if the model is fooled (authorization limit)?- Are irreversible actions subject to human approval?- Is the output inspected before use?System: [description]. स्तरित रक्षात्मक कमियों की सूची बनाएं।
गोपनीयता के लिए इस डेटा प्रोसेसिंग प्रवाह का ऑडिट करें। - क्या प्रत्येक एकत्रित व्यक्तिगत क्षेत्र वास्तव में आवश्यक (न्यूनीकरण) है? - मॉडल में जाने वाले डेटा में कौन से फ़ील्ड को छुपाया जाना चाहिए? - क्या पहुंच नियंत्रण और लॉगिंग है? - क्या अवधारण अवधि परिभाषित है? प्रवाह: [विवरण]। प्रत्येक कमी के लिए सुधार का सुझाव दें।
इस पाठ में, वह व्यक्तिगत डेटा ढूंढें जिसे मॉडल पर भेजने से पहले छुपाया जाना आवश्यक है। फ़ील्ड: नाम, ईमेल, फ़ोन, आईडी/पासपोर्ट नंबर, पता, कार्ड नंबर, आईपी। प्रत्येक खोज को उसके प्रकार और अनुशंसित मास्क के साथ सूचीबद्ध करें। शेष पाठ को प्रतिस्थापित न करें। पाठ: [पाठ]
इस तृतीय-पक्ष मॉडल/लाइब्रेरी को उत्पादन में लगाने से पहले एक सुरक्षा जांच सूची तैयार करें। - क्या स्रोत और प्रकाशक विश्वसनीय हैं, हस्ताक्षर सत्यापित हैं? - ज्ञात कमजोरियों के लिए स्कैन किया गया (सीवीई)? - इसे किन विशेषाधिकारों/पहुंच की आवश्यकता है, क्या इसे कम किया जा सकता है? घटक: [नाम/स्रोत]
जोखिम-रक्षा तालिका
जोखिम
रक्षा
परत
शीघ्र इंजेक्शन
पार्सिंग + न्यूनतम विशेषाधिकार + आउटपुट नियंत्रण
डिज़ाइन + रनटाइम
डेटा विषाक्तता
स्रोत नियंत्रण + विसंगति स्कैनिंग
डेटा लाइन
गोपनीय डेटा लीक
मास्किंग + डेटा न्यूनीकरण
डेटा + प्रशिक्षण
सदस्यता निष्कर्षण
विभेदक गोपनीयता
शिक्षा
अत्यधिक अधिकार
न्यूनतम प्राधिकरण + अनुमोदन
एजेंट डिज़ाइन
आपूर्ति श्रृंखला
घटक निरीक्षण + हस्ताक्षर
लत
सामान्य गलतियाँ
- यह सोचकर कि आपने एक लाइन से शीघ्र इंजेक्शन का समाधान कर लिया है। स्तरित रक्षा जरूरी है.
- गोपनीय डेटा को छुपाए बिना उसका प्रसंस्करण/प्रशिक्षण करना। मॉडल में स्थायी रूप से घुसपैठ करता है।
- बाह्य सामग्री को विश्वसनीय मानना। अप्रत्यक्ष इंजेक्शन गेट.
- डेटा स्रोत की जाँच नहीं हो रही है. जहर देने पर किसी का ध्यान नहीं जाता।
- तीसरे पक्ष के घटक पर आँख मूँद कर भरोसा करना। सप्लाई चेन गैप.
- सोच रहा हूं कि प्राइवेसी बाद में जोड़ी जाएगी. इसकी शुरुआत डिज़ाइन से होनी चाहिए.
संक्षेप में
शास्त्रीय सुरक्षा जोखिमों के अलावा, एआई सिस्टम में त्वरित इंजेक्शन, डेटा विषाक्तता, गोपनीय डेटा रिसाव और सदस्यता निष्कर्षण जैसे अद्वितीय खतरे होते हैं। उनमें से किसी को भी एक उपाय से हल नहीं किया जा सकता; स्तरित सुरक्षा (पार्सिंग, कम से कम प्राधिकरण, आउटपुट नियंत्रण, मानव अनुमोदन) की आवश्यकता है। गोपनीयता एक डिज़ाइन सिद्धांत है: डेटा को कम से कम करें, उसे छुपाएं, पहुंच सीमित करें, अवधारण अवधि लागू करें। घटक और डेटा आपूर्ति श्रृंखला को नियंत्रित करें। यह सारी जानकारी रक्षा, पता लगाने और समेकन के लिए है; कमजोरियों को जिम्मेदारी से समझाएं, कभी शोषण न करें।
आवेदन कार्य
Check an LLM/agent system (your own project or example) for prompt injection: are system instructions and external data separated, what is the authorization limit if the model is tricked, are irreversible actions confirmed? सुरक्षा की कम से कम दो परतें जोड़ें। मॉडल में जाने वाले नमूना डेटा में किसी भी व्यक्तिगत फ़ील्ड को अलग से ढूंढें और छिपाएं, जिसे छुपाने की आवश्यकता है। आपके द्वारा उपयोग किए जाने वाले किसी भी तृतीय-पक्ष घटक के स्रोत और ज्ञात कमजोरियों की जाँच करें।
चेकलिस्ट
- [ ] System instruction and external/user data are clearly separated.
- [ ] बाहरी सामग्री को डेटा के रूप में चिह्नित किया जाता है, कमांड के रूप में नहीं।
- [ ] भले ही मॉडल को मूर्ख बनाया गया हो, क्षति न्यूनतम अधिकार तक सीमित है।
- [ ] व्यक्तिगत डेटा को छिपाया/छोटा किया गया; भंडारण अवधि परिभाषित.
- [ ] डेटा स्रोत और तृतीय-पक्ष घटकों की जाँच की गई है।
- [ ] मेरा सुरक्षा कार्य रक्षा उद्देश्यों के लिए है; मैं कमियों को जिम्मेदारी से समझाता हूं।