লাভ:
- এআই-নির্দিষ্ট আক্রমণের পৃষ্ঠগুলি সনাক্ত করার ক্ষমতা (প্রম্পট ইনজেকশন, ডেটা পয়জনিং, গোপনীয় ডেটা ফাঁস, সদস্যপদ নিষ্কাশন) এবং স্তরযুক্ত প্রতিরক্ষা ডিজাইন
- একটি নকশা নীতি হিসাবে গোপনীয়তা প্রয়োগ করার ক্ষমতা: ডেটা মিনিমাইজেশন, মাস্কিং, অ্যাক্সেস নিয়ন্ত্রণ এবং ধরে রাখার সময়কাল
- শুধুমাত্র প্রতিরক্ষামূলক উদ্দেশ্যে নিরাপত্তা কাজ পরিচালনা করার ক্ষমতা, দায়িত্বের সাথে দুর্বলতা প্রকাশ করা এবং অননুমোদিত ব্যবহার এড়ানো
একটি মেশিন লার্নিং সিস্টেম ঐতিহ্যগত সফ্টওয়্যারগুলির সমস্ত নিরাপত্তা ঝুঁকি বহন করে এবং অনন্য নতুন আক্রমণের পৃষ্ঠগুলি যোগ করে। মডেলটিকে একটি ইনপুট দ্বারা বোকা বানানো যেতে পারে, প্রশিক্ষণের ডেটা বিষাক্ত হতে পারে এবং গোপনীয় তথ্য আউটপুটে ফাঁস হতে পারে। এই ইউনিটে, আমরা একটি প্রতিরক্ষা দৃষ্টিকোণ থেকে AI সিস্টেমগুলি বিবেচনা করি: আক্রমণ সনাক্ত করা, সিস্টেমকে শক্ত করা, গোপনীয়তা রক্ষা করা। এই তথ্যটি অননুমোদিত অ্যাক্সেস বা আক্রমণের জন্য নয়, কিন্তু আপনার নিজস্ব সিস্টেমগুলিকে সুরক্ষিত রাখার জন্য।
এআই-নির্দিষ্ট আক্রমণ পৃষ্ঠতল
ক্লাসিক নিরাপত্তা (প্রমাণিকরণ, অনুমোদন, এনক্রিপশন) ছাড়াও, এমএল সিস্টেমগুলি এর জন্য ঝুঁকিপূর্ণ:
- প্রম্পট ইনজেকশন: এলএলএম-এর ইনপুটে লুকানো নির্দেশ মডেলটি মিস করে। সবচেয়ে সাধারণ এবং সবচেয়ে ব্যবহারিক LLM নিরাপত্তা ঝুঁকি।
- ডেটা পয়জনিং: একজন আক্রমণকারী ট্রেনিং ডেটাতে খারাপ নমুনা ঢোকানোর মাধ্যমে মডেলের মধ্যে লুকানো ব্যাকডোর বা পক্ষপাতিত্বের পরিচয় দেয়।
- মডেল অনুমান এবং বিপরীত: একজন আক্রমণকারী মডেলে একাধিক প্রশ্ন পাঠিয়ে প্রশিক্ষণ ডেটা বা মডেল আচরণ পুনর্গঠন করে।
- সদস্যতা অনুমান: শিক্ষায় একটি নির্দিষ্ট ব্যক্তির ডেটা ব্যবহার করা হয়েছে কিনা তা অনুমান করা - একটি গোপনীয়তা লঙ্ঘন।
- সংবেদনশীল তথ্য ফাঁস: মডেলটি আউটপুটে প্রশিক্ষণের ডেটাতে গোপনীয় তথ্য (নাম, পরিচয়, গোপন) প্রকাশ করে।
এই ঝুঁকি প্রতিটি জন্য প্রতিরক্ষা আছে; মূল বিষয় হল নকশা পর্যায়ে ঝুঁকি বিবেচনা করা।
প্রম্পট ইনজেকশন: সবচেয়ে তাৎক্ষণিক হুমকি
দুটি ধরণের প্রম্পট ইনজেকশন রয়েছে:
- সরাসরি: ব্যবহারকারী ব্যক্তিগতভাবে পাঠ্য প্রবেশ করান যেমন "পূর্ববর্তী নির্দেশাবলী উপেক্ষা করুন"।
- পরোক্ষ: খারাপ নির্দেশটি একটি বাহ্যিক প্রেক্ষাপটে (ওয়েব পৃষ্ঠা, নথি, ইমেল) লুকানো থাকে যা মডেলটি প্রক্রিয়া করে। বিশেষ করে এজেন্ট এবং RAG এর জন্য বিপজ্জনক কারণ মডেলটি নির্ভরযোগ্যভাবে বাহ্যিক বিষয়বস্তু পরিচালনা করে।
প্রতিরক্ষা স্তর:
- Parsing: Separate system instruction and user/external data with clear delimiters; বাহ্যিক বিষয়বস্তুকে "ডেটা, কমান্ড নয়" হিসেবে চিহ্নিত করুন।
- ন্যূনতম ক্ষমতা: ক্যাপচার করা হলেও মডেলটি কতটা ক্ষতি করতে পারে তা সীমিত করুন (ইউনিট 5 এ যানবাহনের ক্ষমতা)।
- আউটপুট নিয়ন্ত্রণ: আপনি এটি ব্যবহার করার আগে মডেলটি কী তৈরি করে তা যাচাই করুন - বিশেষ করে যদি এটি একটি ক্রিয়াতে অনুবাদ করে।
- মানব অনুমোদন: অনুমোদনের সাথে উচ্চ-ঝুঁকিপূর্ণ ক্রিয়াগুলি সংযুক্ত করুন।
সতর্কতা: আপনি একটি একক প্রতিরক্ষার সাথে প্রম্পট ইনজেকশন সম্পূর্ণরূপে সমাধান করতে পারবেন না; স্তরযুক্ত প্রতিরক্ষা (গভীরভাবে প্রতিরক্ষা) প্রয়োজন। সমালোচনামূলক অনুমান: "মডেলটিকে কোনো এক সময়ে বোকা বানানো হতে পারে; সুতরাং এটিকে বোকা বানানো হলে সবচেয়ে খারাপ কী ঘটবে, এবং আমি কীভাবে এটি সীমাবদ্ধ করব?"
দুর্বল পন্থা / শক্তিশালী পন্থা
দুর্বল: "আমি সিস্টেম প্রম্পটে 'খারাপ নির্দেশাবলী উপেক্ষা করুন' টাইপ করেছি এবং আমরা নিরাপদ।"
শক্তিশালী: "আমরা বাহ্যিক বিষয়বস্তুকে <data> ট্যাগ দিয়ে মুড়েছি এবং বলেছি 'অভ্যন্তরে নির্দেশাবলী উপেক্ষা করুন'। আমরা মডেলের সরঞ্জামগুলিকে ন্যূনতম অনুমোদনের মধ্যে সীমিত করেছি, মানুষের অনুমোদনের সাথে অপরিবর্তনীয় ক্রিয়াগুলিকে সংযুক্ত করেছি, সমস্ত টুল কল লগ করেছি, এবং ব্যবহারের আগে আউটপুটকে নিয়ম চেক করার বিষয়বস্তু দিয়েছি। আমরা স্তরগুলির উপর নির্ভর করি, একক প্রতিরক্ষা নয়।"
পার্থক্য: শক্তিশালী পন্থা জানে যে একটি এক-লাইন নির্দেশ যথেষ্ট হবে না এবং স্তরগুলি তৈরি করে যা ক্ষতিকে সীমাবদ্ধ করে।
গোপনীয়তা: ডেটা শুরু থেকে সুরক্ষিত
গোপনীয়তা পরে যোগ করা একটি বৈশিষ্ট্য নয়, এটি একটি ডিজাইন নীতি (ডিজাইন দ্বারা গোপনীয়তা)। মৌলিক অ্যাপ্লিকেশন:
- ডেটা মিনিমাইজেশন: প্রয়োজনের চেয়ে বেশি ব্যক্তিগত ডেটা সংগ্রহ ও সংরক্ষণ করবেন না। যে তথ্য সংগ্রহ করা হয় না তা ফাঁস করা যাবে না।
- বেনামীকরণ এবং মাস্কিং: মডেলকে দেওয়ার আগে ব্যক্তিগত শনাক্তকারী (নাম, আইডি, ইমেল) মাস্ক করুন বা সরিয়ে দিন।
- অ্যাক্সেস কন্ট্রোল: কে ডেটা এবং মডেল অ্যাক্সেস করে তা সীমাবদ্ধ করুন এবং লগ করুন (ইউনিট 4-এ RAG অ্যাক্সেস নিয়ন্ত্রণ)।
- ধরে রাখার সময়কাল: আপনি কতক্ষণ ডেটা ধরে রাখবেন নীতি অনুসারে নির্ধারণ করুন; মেয়াদোত্তীর্ণটি মুছুন।
ডিফারেনশিয়াল প্রাইভেসি (একটি কৌশল যা প্রশিক্ষণের সময় নিয়ন্ত্রিত শব্দ যোগ করে আউটপুটকে উল্লেখযোগ্যভাবে প্রভাবিত করা থেকে একক ব্যক্তির ডেটাকে বাধা দেয়) এবং ফেডারেটেড লার্নিং (একটি পদ্ধতি যা ডেটা কেন্দ্রে না নিয়ে ডিভাইসে প্রশিক্ষণ দেয়) হল উন্নত গোপনীয়তা কৌশল; সংবেদনশীল ডেটা নিয়ে কাজ করার সময় বিবেচনা করা উচিত।
টিপ: কোনো ডেটা প্রক্রিয়া করার আগে, জিজ্ঞাসা করুন: "যদি এই ব্যক্তিগত ডেটা ফাঁস হয়, তাহলে কার কী ক্ষতি হবে?" ক্ষতি গুরুতর হলে, হয় মোটেও ডেটা সংগ্রহ করবেন না বা এটি মাস্ক করে প্রক্রিয়া করুন। সবচেয়ে নিরাপদ ডেটা হল ডেটা যা কখনও সংগ্রহ করা হয়নি।
প্রশিক্ষণ তথ্য এবং মডেল সরবরাহ চেইন নিরাপত্তা
আপনার মডেলের মতো, আপনি যে উপাদানগুলি ব্যবহার করেন সেগুলিও একটি সুরক্ষা সমস্যা:
- ডেটা সোর্স ট্রাস্ট: প্রশিক্ষণ ডেটা কি নির্ভরযোগ্য বা এটি বিষাক্ত হতে পারে? পাবলিক ডেটা সেট অডিট করুন।
- তৃতীয় পক্ষের মডেল এবং লাইব্রেরি: আপনার ডাউনলোড করা একটি প্রাক-প্রশিক্ষিত মডেল বা নির্ভরতা ক্ষতিকারক হতে পারে। এর উৎস, স্বাক্ষর এবং পরিচিত দুর্বলতা পরীক্ষা করুন।
- সাপ্লাই চেইন: আপনার ML পাইপলাইনের প্রতিটি টুল এবং প্যাকেজ হল বিশ্বাসের একটি লিঙ্ক; আপনি দুর্বল লিঙ্ক হিসাবে নিরাপদ.
দায়িত্বশীল প্রকাশ এবং নৈতিক সীমানা
যখন আপনি একটি দুর্বলতা খুঁজে পান — আপনার নিজের সিস্টেমে বা কোনও বিক্রেতার সিস্টেমে — সঠিক কোর্সটি হল দায়ী প্রকাশ: প্রাসঙ্গিক পক্ষকে ব্যক্তিগতভাবে দুর্বলতার প্রতিবেদন করা এবং এটিকে শোষণ বা প্রচার না করে এটি ঠিক করার জন্য সময় দেওয়া। কৃত্রিম বুদ্ধিমত্তা বা আপনার অর্জিত নিরাপত্তা তথ্য ব্যবহার করে অননুমোদিত অ্যাক্সেস, ডেটা ফাঁস বা অন্য কারো সিস্টেমে অননুমোদিত হস্তক্ষেপ বেআইনি এবং পেশাদার নৈতিকতার বিরুদ্ধে। এই মডিউলের নিরাপত্তা বিষয়বস্তু সম্পূর্ণরূপে প্রতিরক্ষা, সনাক্তকরণ এবং শক্ত করার উদ্দেশ্যে।
তিনটি মিনি কেস
কেস 1 - পরোক্ষ ইনজেকশনের সীমাবদ্ধতা। একটি RAG সমর্থন বট ওয়েব বিষয়বস্তু রেন্ডার করছিল। লুকানো নির্দেশাবলী এক পৃষ্ঠায় সমাহিত করা হয়েছিল। মডেলটিকে আংশিকভাবে বোকা বানানো হয়েছিল, কিন্তু বটটিতে কোনো লেখার সুযোগ ছিল না (ন্যূনতম সুযোগ-সুবিধা) এবং আউটপুটটি ব্যবহারকারীর কাছে প্রদর্শিত হওয়ার আগে নিয়ম যাচাইয়ের মাধ্যমে পাস করা হয়েছিল; এটি ক্ষতিকারক বলে প্রমাণিত হয়েছিল এবং ধরা পড়েছিল। স্তরপূর্ণ প্রতিরক্ষা একক ব্যর্থতাকে বিপর্যয় হতে বাধা দেয়।
কেস 2 - গোপনীয় তথ্য ফাঁস। একটি টিম ফাইন-টিউনড কাস্টমার সাপোর্ট তাদের মাস্ক না করে একটি মডেলে লগ ইন করে (ইউনিট 6)। মডেলটি অপ্রাসঙ্গিক প্রশ্নে প্রকৃত গ্রাহকের নাম তৈরি করা শুরু করেছে। সদস্যপদ অপসারণের ঝুঁকিও ছিল। মডেল প্রত্যাহার করা হয়েছে, ডেটা মাস্ক করা হয়েছে, ধরে রাখার নীতি সংশোধন করা হয়েছে। পাঠ: গোপনীয় তথ্য শিক্ষায় প্রবেশ করা উচিত নয়।
কেস 3 - বিষাক্ত ডেটা সেট। একটি দল অডিট না করেই একটি সর্বজনীনভাবে উপলব্ধ ডেটাসেটের উপর প্রশিক্ষণ নিয়েছে৷ সেটে বিষাক্ত নমুনা ছিল যা মডেলটিকে বোকা বানিয়েছিল যখন এটি একটি নির্দিষ্ট ট্রিগার শব্দ (ব্যাকডোর) দেখেছিল। অডিটিং এবং অসঙ্গতি স্ক্যানিং যোগ করার পরে, এই নমুনাগুলি ক্যাপচার করা হয়েছিল। পাঠ: ডেটা উত্স পরীক্ষা করুন, অন্ধভাবে বিশ্বাস করবেন না।
অনুলিপিযোগ্য টেমপ্লেট
Check this LLM/agent system for prompt injection.- Are system instructions and user/external data clearly separated?- Is external content marked as "data" or is it handled as a command?- What is the worst that would happen if the model is fooled (authorization limit)?- Are irreversible actions subject to human approval?- Is the output inspected before use?System: [description]. স্তরযুক্ত প্রতিরক্ষামূলক ঘাটতিগুলি তালিকাভুক্ত করুন।
গোপনীয়তার জন্য এই ডেটা প্রসেসিং প্রবাহ নিরীক্ষণ করুন।- প্রতিটি সংগৃহীত ব্যক্তিগত ক্ষেত্র কি সত্যিই প্রয়োজনীয় (নিম্নকরণ)?- মডেলে যাওয়া ডেটাতে কোন ক্ষেত্রগুলিকে মুখোশ করা উচিত?- অ্যাক্সেস নিয়ন্ত্রণ এবং লগিং আছে কি?- ধরে রাখার সময়কাল সংজ্ঞায়িত করা হয়েছে? প্রবাহ: [বর্ণনা]। প্রতিটি ঘাটতির জন্য সংশোধনের পরামর্শ দিন।
এই পাঠ্যটিতে, মডেলে পাঠানোর আগে যে ব্যক্তিগত ডেটা মাস্ক করা প্রয়োজন তা খুঁজুন। ক্ষেত্র: নাম, ইমেল, ফোন, আইডি/পাসপোর্ট নম্বর, ঠিকানা, কার্ড নম্বর, আইপি। প্রতিটি ফাইন্ডিং এর ধরন এবং প্রস্তাবিত মাস্ক সহ তালিকাভুক্ত করুন। বাকি পাঠ প্রতিস্থাপন করবেন না। পাঠ্য: [পাঠ্য]
এই থার্ড-পার্টি মডেল/লাইব্রেরিটিকে প্রোডাকশনে রাখার আগে একটি নিরাপত্তা চেকলিস্ট তৈরি করুন।- উৎস এবং প্রকাশক কি বিশ্বস্ত, স্বাক্ষর যাচাই করা হয়েছে?- পরিচিত দুর্বলতার জন্য স্ক্যান করা হয়েছে (CVE)?- এটির কোন সুবিধা/অ্যাক্সেস প্রয়োজন, এটা কি কম করা যেতে পারে? উপাদান: [নাম/উৎস]
ঝুঁকি-প্রতিরক্ষা টেবিল
ঝুঁকি
প্রতিরক্ষা
স্তর
প্রম্পট ইনজেকশন
পার্সিং + ন্যূনতম বিশেষাধিকার + আউটপুট নিয়ন্ত্রণ
ডিজাইন + রানটাইম
তথ্য বিষক্রিয়া
উত্স নিয়ন্ত্রণ + অসঙ্গতি স্ক্যানিং
ডেটা লাইন
গোপন তথ্য ফাঁস
মাস্কিং + ডেটা মিনিমাইজেশন
ডেটা + প্রশিক্ষণ
সদস্যপদ নিষ্কাশন
ডিফারেনশিয়াল গোপনীয়তা
শিক্ষা
অত্যধিক কর্তৃত্ব
ন্যূনতম অনুমোদন + অনুমোদন
এজেন্ট নকশা
সরবরাহ চেইন
উপাদান পরিদর্শন + স্বাক্ষর
আসক্তি
সাধারণ ভুল
- ভাবছেন যে আপনি একটি লাইন দিয়ে প্রম্পট ইনজেকশন সমাধান করেছেন। স্তরপূর্ণ প্রতিরক্ষা একটি আবশ্যক.
- গোপনীয় ডেটা মাস্ক না করে প্রক্রিয়াকরণ/প্রশিক্ষণ দেওয়া। স্থায়ীভাবে মডেল অনুপ্রবেশ.
- বাহ্যিক বিষয়বস্তু বিশ্বাসযোগ্য বিবেচনা করে। পরোক্ষ ইনজেকশন গেট।
- ডাটা সোর্স চেক করা হচ্ছে না। বিষক্রিয়া অলক্ষিত যায়।
- তৃতীয় পক্ষের উপাদানকে অন্ধভাবে বিশ্বাস করা। সাপ্লাই চেইন গ্যাপ।
- গোপনীয়তা পরে যোগ করা হবে ভেবে। এটি ডিজাইন থেকে শুরু করা উচিত।
সংক্ষেপে
শাস্ত্রীয় নিরাপত্তা ঝুঁকি ছাড়াও, এআই সিস্টেমগুলি প্রম্পট ইনজেকশন, ডেটা বিষক্রিয়া, গোপনীয় ডেটা ফাঁস এবং সদস্যপদ নিষ্কাশনের মতো অনন্য হুমকি বহন করে। তাদের কোনোটিই একক পরিমাপে সমাধান করা যায় না; স্তরযুক্ত প্রতিরক্ষা (পার্সিং, ন্যূনতম অনুমোদন, আউটপুট নিয়ন্ত্রণ, মানুষের অনুমোদন) প্রয়োজন। গোপনীয়তা একটি ডিজাইনের নীতি: ডেটা ছোট করুন, এটি মাস্ক করুন, অ্যাক্সেস সীমিত করুন, ধরে রাখার সময়সীমা আরোপ করুন। কম্পোনেন্ট এবং ডেটা সাপ্লাই চেইন নিয়ন্ত্রণ করুন। এই সমস্ত তথ্য প্রতিরক্ষা, সনাক্তকরণ এবং একত্রীকরণের জন্য; দুর্বলতাগুলিকে দায়িত্বের সাথে ব্যাখ্যা করুন, কখনও শোষণ করবেন না।
আবেদন টাস্ক
Check an LLM/agent system (your own project or example) for prompt injection: are system instructions and external data separated, what is the authorization limit if the model is tricked, are irreversible actions confirmed? প্রতিরক্ষা অন্তত দুটি স্তর যোগ করুন. আলাদাভাবে, মডেলে যাওয়া একটি নমুনা ডেটাতে মুখোশ করা প্রয়োজন এমন যেকোন ব্যক্তিগত ক্ষেত্রগুলি খুঁজুন এবং মাস্ক করুন৷ আপনি যে কোনো তৃতীয় পক্ষের উপাদান ব্যবহার করেন তার উৎস এবং পরিচিত দুর্বলতা পরীক্ষা করুন।
চেকলিস্ট
- [ ] System instruction and external/user data are clearly separated.
- [ ] বহিরাগত বিষয়বস্তু ডেটা হিসাবে চিহ্নিত করা হয়, আদেশ নয়।
- এমনকি মডেলটিকে বোকা বানানো হলেও ক্ষতি ন্যূনতম কর্তৃত্বের মধ্যে সীমাবদ্ধ।
- [ ] ব্যক্তিগত ডেটা মাস্কড/মিনিমাইজ করা হয়েছে; স্টোরেজ সময়কাল সংজ্ঞায়িত।
- [ ] ডেটা উত্স এবং তৃতীয় পক্ষের উপাদানগুলি পরীক্ষা করা হয়েছে৷
- আমার নিরাপত্তা কাজ প্রতিরক্ষা উদ্দেশ্যে; আমি দায়িত্বের সঙ্গে ফাঁক ব্যাখ্যা.