মডেল ঝুঁকি ব্যবস্থাপনা এবং লাল দল

লাভ:

• প্রভাব অনুযায়ী নিম্ন/মাঝারি/উচ্চ ঝুঁকির স্তরে ব্যবহারের পরিস্থিতিগুলিকে শ্রেণীবদ্ধ করার ক্ষমতা
• রেড-টিমিংয়ের সাথে উত্পাদনের আগে পদ্ধতিগতভাবে মডেলটি পরীক্ষা করার ক্ষমতা
• মডেল কার্ড এবং গ্রহণযোগ্যতার দরজা দিয়ে উৎপাদন সিদ্ধান্ত নেওয়ার ক্ষমতা (go/no-go)

AI এর প্রতিটি ব্যবহার একই ঝুঁকি বহন করে না। একজন সহকারী একটি মিটিং নোটের সারসংক্ষেপ এবং একজন সহকারী একটি ঋণ আবেদনের মূল্যায়ন করে খুব ভিন্ন ফলাফল দেয়। কর্পোরেট গভর্নেন্সের ভিত্তি হল ঝুঁকির স্তর অনুযায়ী ব্যবহারকে শ্রেণীবদ্ধ করা এবং প্রতিটি স্তরে উপযুক্ত নিয়ন্ত্রণ প্রয়োগ করা। এই ইউনিটে, আমরা মডেল ঝুঁকি ব্যবস্থাপনার কাঠামো (একটি মডেল ভুল, পক্ষপাতদুষ্ট বা শোষণযোগ্য হওয়ার কারণে সৃষ্ট ঝুঁকি পরিচালনার শৃঙ্খলা), কীভাবে রেড-টিমিংয়ের সাথে উত্পাদনের আগে মডেলটি পরীক্ষা করতে হয় এবং মডেল কার্ড এবং গ্রহণযোগ্যতার মানদণ্ড শিখব।

ঝুঁকি দ্বারা শ্রেণীবিভাগ

প্রথম ধাপ সবসময় একই: "এই ব্যবহার ভুল হলে কি হবে?" ক্ষমতা এবং বিপরীত ক্ষমতা অনুযায়ী তিনটি রুক্ষ স্তর:

• কম ঝুঁকি: ত্রুটি সহজেই সনাক্ত করা যায় এবং পূর্বাবস্থায় ফেরানো যায়; কোনো ব্যক্তিগত/আর্থিক পরিণতি নেই। উদাহরণ: অভ্যন্তরীণ বৈঠকের সারাংশ, খসড়া ধারণা তৈরি করা।
• মাঝারি ঝুঁকি: ত্রুটিটি ব্যবসায়িক প্রক্রিয়াকে প্রভাবিত করে কিন্তু মানুষের চোখের মধ্য দিয়ে যায়। উদাহরণ: গ্রাহকের খসড়া প্রতিক্রিয়া, প্রাথমিক প্রতিবেদনের সারাংশ।
• উচ্চ ঝুঁকি: সিদ্ধান্ত সরাসরি একজন ব্যক্তি/অর্থকে প্রভাবিত করে, বিপরীত করা কঠিন। উদাহরণ: ক্রেডিট/বীমা সিদ্ধান্ত, স্বাস্থ্যসেবা ট্রাইজ, কর্মসংস্থান স্ক্রীনিং।

ঝুঁকির মাত্রার সাথে নিয়ন্ত্রণের তীব্রতা বৃদ্ধি পায়: কম ঝুঁকিতে, হালকা নিয়ন্ত্রণ যথেষ্ট; উচ্চ ঝুঁকিতে, মানুষের তত্ত্বাবধান, কঠোর যাচাইকরণ, রেড টিমিং এবং অবিরাম পর্যবেক্ষণ বাধ্যতামূলক।

মনোযোগ: ব্যবহারের প্রভাব অনুযায়ী ঝুঁকি শ্রেণীবিভাগ করুন, এর নাম নয়। তথাকথিত "শুধু একটি চ্যাটবট" সিস্টেমটি উচ্চ ঝুঁকিপূর্ণ যদি এটি অর্থপ্রদান শুরু করতে পারে।

লাল দল (রেড-টিমিং)

রেড টিমিং ইচ্ছাকৃতভাবে একটি দূষিত আক্রমণকারী হওয়ার ভান করে একটি সিস্টেম ভাঙ্গার চেষ্টা করছে। এটি AI তে রয়েছে; এর মধ্যে রয়েছে জেলব্রেকিং (মডেলের নিরাপত্তা নিয়মগুলিকে বাইপাস করে), প্রম্পট ইনজেকশন, ডেটা এক্সফিল্ট্রেশন, পক্ষপাতদুষ্ট/দূষিত আউটপুট তৈরি করা এবং প্রান্তের পরিস্থিতিগুলি পরীক্ষা করা। আসল আক্রমণকারীর আগে দুর্বলতা খুঁজে বের করাই লক্ষ্য।

ধাপে ধাপে:

1. হুমকি পরিস্থিতি তালিকা. কিভাবে এই সিস্টেম অপব্যবহার করা যেতে পারে?
2. আক্রমণ সেট প্রস্তুত. প্রতিটি হুমকির জন্য কংক্রিট এন্ট্রি উদাহরণ লিখুন।
3. পদ্ধতিগতভাবে চেষ্টা করুন। প্রতিটি দৃশ্যকল্প চালান এবং ফলাফল রেকর্ড.
4. অনুসন্ধানগুলিকে অগ্রাধিকার দিন। প্রভাব × সম্ভাব্যতা অনুসারে সাজান।
5. এটি ঠিক করুন এবং আবার পরীক্ষা করুন। প্যাচের পরে, একই সেট (রিগ্রেশন) দিয়ে আবার চেষ্টা করুন।

মডেল কার্ড এবং গ্রহণযোগ্যতার মানদণ্ড

একটি মডেল কার্ড হল একটি নথি যা একটি মডেল কীসের জন্য উপযুক্ত, তার সীমাবদ্ধতা, পরিচিত ঝুঁকি এবং কর্মক্ষমতার সংক্ষিপ্ত বিবরণ দেয়। আপনি এটিকে উৎপাদনে রাখার আগে, আপনার গ্রহণযোগ্যতার সিদ্ধান্তের জন্য মানদণ্ড থাকা উচিত: নির্ভুলতা থ্রেশহোল্ড, রেড টিম পাস রেট, লেটেন্সি, খরচ এবং পক্ষপাতি পরীক্ষা।

চারটি অনুলিপিযোগ্য টেমপ্লেট

ঝুঁকি শ্রেণীবিভাগ প্রম্পট:

নিম্নলিখিত ব্যবহারের ক্ষেত্রে বিবেচনা করুন: {{ দৃশ্যকল্প }}প্রশ্ন:- কে/কী বাগ প্রভাবিত করে? (ব্যক্তি, অর্থ, খ্যাতি, সম্প্রীতি)- এটা কি বিপরীত? (হ্যাঁ/না) - মানুষ কি হস্তক্ষেপ করতে পারে? ফলাফল: "নিম্ন / মাঝারি / উচ্চ ঝুঁকি" + বাধ্যতামূলক চেকের তালিকা।

রেড টিম অ্যাটাক সেট জেনারেটর:

আপনি একজন লাল দলের বিশেষজ্ঞ। নিম্নলিখিত সহকারীর জন্য 15টি আক্রমণের পরিস্থিতি তৈরি করুন: 5টি জেলব্রেক, 5টি প্রম্পট ইনজেকশন (যার মধ্যে 3টি পরোক্ষ), 5টি ডেটা অপসারণের প্রচেষ্টা৷ প্রতিটি দৃশ্যের জন্য: উদ্দেশ্য, সম্পূর্ণ ভূমিকা পাঠ্য এবং "সফলতার মাপকাঠি" লিখুন (আমি যাই দেখি আক্রমণটিকে সফল হিসাবে গণ্য করে)।

মডেল বোর্ড কঙ্কাল:

মডেল কার্ড:- উদ্দেশ্যপ্রণোদিত ব্যবহার/অপ্রত্যাশিত ব্যবহার- প্রশিক্ষণ/ডেটা সীমা এবং পরিচিত দুর্বলতা- কর্মক্ষমতা: নির্ভুলতা, বিলম্ব, খরচ (পরীক্ষা সেটে)- নিরাপত্তা: রেড টিম পাস রেট, পরিচিত জেলব্রেক- পক্ষপাতিত্ব পরীক্ষার ফলাফল- গ্রহণযোগ্যতার সিদ্ধান্ত: অনুমোদন / শর্তাধীন / প্রত্যাখ্যান + ন্যায্যতা

ভর্তির গেট নিয়ন্ত্রণের নিয়ম:

উত্পাদনে যাওয়ার জন্য সমস্ত শর্ত পূরণ করতে হবে:- >= নির্ভুলতা পরীক্ষা সেটে লক্ষ্য থ্রেশহোল্ড- লাল দলের সমালোচনামূলক ফলাফলের সংখ্যা = 0- যদি উচ্চ ঝুঁকি থাকে: মানব পরিদর্শন এবং পর্যবেক্ষণ বোর্ড যদি কোনোটি পূরণ না হয়: "NO-GO" + অনুপস্থিত আইটেম।

দুর্বল প্রম্পট / শক্তিশালী প্রম্পট

দরিদ্র পদ্ধতি

শক্তিশালী পন্থা

একই নিয়ন্ত্রণের সাথে প্রতিটি ব্যবহার প্রক্রিয়াকরণ

ঝুঁকি এবং স্কেল নিয়ন্ত্রণ দ্বারা শ্রেণীবদ্ধ করুন

"আমরা এটি পরীক্ষা করেছি, এটি কাজ করে" (সুখী উপায়)

লাল দলের সাথে ইচ্ছাকৃতভাবে ভাঙার চেষ্টা

ন্যায্যতা ছাড়াই মডেলটিকে উৎপাদনে রাখা

মডেল কার্ড + গ্রহণযোগ্যতা গেট (go/no-go)

প্যাচিং পরে পুনরায় পরীক্ষা না

সংশোধনের পর রিগ্রেশন পরীক্ষা

তিনটি মিনি কেস

কেস 1 - ভুল শ্রেণিবিন্যাস ব্যয়বহুল ছিল। একটি কোম্পানি নিয়োগের প্রিস্ক্রিনিংকে "শুধু একটি সহায়ক" বলে মনে করেছে এবং এটিকে কম ঝুঁকি বলে মনে করেছে। মডেলটি পদ্ধতিগতভাবে নির্দিষ্ট স্কুল থেকে স্নাতকদের বাদ দিয়েছে; এটি একটি বৈষম্যের অভিযোগে পরিণত হয়েছে। ব্যবহারকে "উচ্চ ঝুঁকি" হিসাবে পুনরায় শ্রেণীবদ্ধ করা হয়েছিল এবং পক্ষপাত পরীক্ষা এবং মানব পর্যবেক্ষণ যুক্ত করা হয়েছিল।

কেস 2 — লাল দল 3টি গুরুতর দুর্বলতা খুঁজে পেয়েছে। উত্পাদনে যাওয়ার আগে একজন গ্রাহক সহকারীকে রেড টিমে নিয়োগ দেওয়া হয়েছিল। 15টি পরিস্থিতির মধ্যে 3টি সফল হয়েছে: অন্য গ্রাহকের অর্ডার তথ্য একটি পরোক্ষ ইনজেকশনের মাধ্যমে ফাঁস হতে পারে। ফাঁক বন্ধ করা হয়েছে এবং একই সেট দিয়ে পুনরায় পরীক্ষা করা হয়েছে; ক্রিটিক্যাল ফাইন্ডিং রিসেট করা হলেই উৎপাদন পুনরায় শুরু করা হয়।

কেস 3 — মডেল কার্ড গ্রহণ করার সিদ্ধান্ত স্পষ্ট করেছে৷ দুটি মডেলের মধ্যে নির্বাচন করে, একটি দল মডেল কার্ডগুলি পাশাপাশি রেখেছিল৷ সস্তা মডেলটি নির্ভুলতার সাথে চিহ্নটিকে আঘাত করেছিল, কিন্তু লাল দলে 2টি গুরুতর জেলব্রেকের জন্য ঝুঁকিপূর্ণ ছিল। দলটি গ্রহণযোগ্যতা গেট "ক্রিটিকাল ফাইন্ডিং = 0" নিয়মের কারণে ব্যয়বহুল কিন্তু নিরাপদ মডেলটি বেছে নিয়েছে এবং সিদ্ধান্তটি নথিভুক্ত করেছে।

টিপ: লাল দল একটি এককালীন ইভেন্ট নয়। যখনই মডেল, প্রম্পট বা টুল পরিবর্তন হয় আক্রমণ সেটটি পুনরায় চালান; নিরাপত্তা রাষ্ট্র নয়, একটি চলমান অনুশীলন।

সাধারণ ভুল

• নাম অনুসারে ব্যবহারকে শ্রেণীবদ্ধ করুন (প্রভাবের পরিবর্তে); কম জন্য উচ্চ ঝুঁকি ভুল.
• শুধু "সুখী পথ" পরীক্ষা করা এবং অপব্যবহারের চেষ্টা না করা।
• লাল দলটি একবার করা এবং পরিবর্তনের পরে এটি পুনরাবৃত্তি না করা।
• মডেল কার্ড এবং গ্রহণযোগ্যতার মানদণ্ড ছাড়াই মডেলটিকে উৎপাদনে রাখা।
• পক্ষপাত/বৈষম্য পরীক্ষাকে বাইপাস করা (বিশেষ করে উচ্চ-স্তরের মানুষের সিদ্ধান্তে)।
• এর অর্থ পোস্ট-কারেকশন রিগ্রেশন টেস্টিং না করেই "বন্ধ"।

সংক্ষেপে

• প্রথম ধাপ হল প্রভাব অনুযায়ী ব্যবহারকে নিম্ন/মাঝারি/উচ্চ ঝুঁকি হিসেবে শ্রেণীবদ্ধ করা; নিয়ন্ত্রণের তীব্রতা ঝুঁকির সাথে বৃদ্ধি পায়।
• রেড টিমিং ইচ্ছাকৃতভাবে আক্রমণকারীর মতো সিস্টেমটি ভাঙার চেষ্টা করছে; প্রকৃত আক্রমণকারীর সামনে দুর্বলতা খুঁজে পায়।
• মডেল কার্ড নথিপত্র মডেলের উদ্দেশ্য, সীমাবদ্ধতা, এবং ঝুঁকি; ভর্তির সিদ্ধান্তের ভিত্তি।
• উৎপাদনে রূপান্তর অবশ্যই একটি গো/নো-গোর সাথে আবদ্ধ হতে হবে: নির্ভুলতা, সমালোচনামূলক অনুসন্ধান শূন্য, প্রয়োজনীয় পর্যবেক্ষণ।
• নিরাপত্তা ক্রমাগত: রেড টিমিং এবং রিগ্রেশন টেস্টিং প্রতিটি পরিবর্তনের সাথে পুনরাবৃত্তি হয়।

আবেদন টাস্ক

আপনার একটি AI ব্যবহার চয়ন করুন, প্রভাবের উপর ভিত্তি করে ঝুঁকির স্তর নির্ধারণ করুন এবং ন্যায্যতা লিখুন। তারপরে সেই ব্যবহারের জন্য কমপক্ষে 10টি আক্রমণের পরিস্থিতি তৈরি করুন (জেলব্রেক, ইনজেকশন, ডেটা এক্সফিল্ট্রেশন) এবং সেগুলি ম্যানুয়ালি চেষ্টা করুন। প্রতিটি সফল আক্রমণের জন্য, একটি সমাধান প্রস্তাব করুন। অবশেষে, একটি মডেল কার্ড কঙ্কাল পূরণ করুন এবং কারণ সহ একটি "GO/NO-GO" সিদ্ধান্ত নিন।

চেকলিস্ট

• [ ] আমি প্রভাব অনুযায়ী ঝুঁকি মাত্রা অনুযায়ী ব্যবহার শ্রেণীবদ্ধ করেছি।
• আমি ঝুঁকির মাত্রার সাথে নিয়ন্ত্রণের তীব্রতা মিলেছি।
• [ ] আমি একটি রেড টিম অ্যাটাক সেট প্রস্তুত করেছিলাম এবং এটি পদ্ধতিগতভাবে চেষ্টা করেছিলাম।
• [ ] আমি সমালোচনামূলক ফলাফলগুলি ঠিক করেছি এবং রিগ্রেশন পরীক্ষার মাধ্যমে সেগুলি যাচাই করেছি৷
• আমি একটি মডেল কার্ড প্রস্তুত করেছি (উদ্দেশ্য, সীমা, কর্মক্ষমতা, নিরাপত্তা)।
• [ ] আমি প্রযোজনার সিদ্ধান্তকে গো/নো-গোর সাথে বেঁধেছি।