লাভ:
- কৃত্রিম বুদ্ধিমত্তার মডেলগুলিতে কীভাবে পক্ষপাতিত্ব ডেটা এবং ডিজাইন থেকে উদ্ভূত হয় এবং কেন এটি ব্যাংকিংয়ে আইনি এবং নৈতিক ঝুঁকি তৈরি করে তা বোঝা
- ন্যায্যতার পরিপ্রেক্ষিতে সুরক্ষিত বৈশিষ্ট্য, প্রক্সি ভেরিয়েবল এবং পরোক্ষ বৈষম্য এবং প্রশ্ন মডেল সিদ্ধান্তগুলি সনাক্ত করার ক্ষমতা
- বিচারের পরিমাপ, বহিষ্কৃত গোষ্ঠী এবং আপত্তির অধিকার কীভাবে মডেল গভর্নেন্সে বোনা হয় এবং বৈষম্য লাল রেখা বজায় রাখে তা বোঝার ক্ষমতা
একটি এআই মডেল নিরপেক্ষ নয়; এটি শেখা তথ্যের একটি আয়না। যদি ডেটা অতীতের অসমতা বহন করে, মডেলটি সেগুলি শিখে এবং ভবিষ্যতে নিয়ে যায়। ব্যাঙ্কিং-এ, এটি একটি বিমূর্ত নৈতিক বিতর্ক নয়: যদি একটি ক্রেডিট মডেল পদ্ধতিগতভাবে একটি নির্দিষ্ট গোষ্ঠীর ক্ষতি করে, এটি উভয়ই বেআইনি (বৈষম্যের নিষেধাজ্ঞা) এবং একটি নৈতিক লঙ্ঘন, যা ব্যাঙ্কের জন্য সুনাম এবং নিষেধাজ্ঞার ঝুঁকি নিয়ে আসে। এই ইউনিটের উদ্দেশ্য হল মডেলটি কীভাবে পক্ষপাতদুষ্ট হয়ে ওঠে, বৈষম্যের প্রত্যক্ষ ও পরোক্ষ রূপ, প্রক্সি পরিবর্তনশীল ফাঁদ এবং মডেল গভর্নেন্সে ন্যায্যতা বুননের উপায়গুলি দেখানো। একটি লাল লাইন শুরু থেকেই বলতে হবে: বৈষম্য, তা যতই "পরিসংখ্যানগত" মনে হোক না কেন, অগ্রহণযোগ্য।
কুসংস্কার কোথা থেকে আসে?
- ডেটা পক্ষপাত: যদি অতীতের সিদ্ধান্তগুলি অন্যায় ছিল (যেমন একটি নির্দিষ্ট গোষ্ঠীকে অতীতে কম ক্রেডিট দেওয়া হয়েছিল), মডেলটি ধরে নেয় এটি "স্বাভাবিক" এবং চলতে থাকে। একে ঐতিহাসিক পক্ষপাত বলে।
- স্যাম্পলিং বায়াস: যদি কিছু গোষ্ঠী ডেটাতে উপস্থাপিত হয়, মডেলটি তাদের সম্পর্কে খারাপ এবং ভুলভাবে শিখে।
- লেবেল পক্ষপাত: যদি "ভাল গ্রাহক" এর সংজ্ঞা নিজেই পক্ষপাতমূলক হয়, তাহলে মডেলটি পক্ষপাতের জন্য অপ্টিমাইজ করে।
- ডিজাইনের পক্ষপাত: কোন ভেরিয়েবল ব্যবহার করতে হবে সে সম্পর্কে মানুষের পছন্দও পক্ষপাত বহন করতে পারে।
টিপ: "মডেলটি ডেটার উপর ভিত্তি করে, তাই এটি উদ্দেশ্যমূলক" একটি ভুল ধারণা। ডেটা অতীতের একটি স্ন্যাপশট; অতীত যদি অন্যায় ছিল, তাহলে "উদ্দেশ্য" মডেল গণিতের সাথে অন্যায়কে ন্যায়সঙ্গত করে। বস্তুনিষ্ঠতা নিরপেক্ষতার গ্যারান্টি নয়।
প্রত্যক্ষ ও পরোক্ষ বৈষম্য
- প্রত্যক্ষ বৈষম্য: মডেলের একটি সুরক্ষিত বৈশিষ্ট্যের সরাসরি ব্যবহার (লিঙ্গ, জাতি, ধর্ম, বয়স)। এটি স্পষ্টভাবে নিষিদ্ধ।
- পরোক্ষ বৈষম্য (সারোগেট ভেরিয়েবল/প্রক্সি): এমনকি যদি মডেলটি সুরক্ষিত বৈশিষ্ট্যটি সরাসরি ব্যবহার না করে, তবে এটি অন্য একটি ভেরিয়েবল ব্যবহার করে একই ফলাফল তৈরি করে যা এর সাথে দৃঢ়ভাবে সম্পর্কিত (জিপ কোড, নাম, শপিং বিভাগ, কর্মরত জেলা)। জিপ কোড প্রায়ই জাতিগত বা আয় স্তরের জন্য একটি প্রক্সি। মডেলটি "প্রতিবেশী" বলেছে কিন্তু ফলাফল "উৎপত্তি" বৈষম্য।
পরিবর্তনশীল
দৃশ্যত
একটি প্রক্সি হতে পারে
পোস্টকোড/জেলা
ভূগোল
জাতিসত্তা, আয়ের স্তর
নাম
আইডি
উৎপত্তি, লিঙ্গ
কেনাকাটা বিভাগ
আচরণ
জীবনধারা, বিশ্বাস
স্নাতক স্কুল
শিক্ষা
আর্থ-সামাজিক উত্স
এই কারণেই যখন আপনি একটি ন্যায্যতায় "প্রতিবেশী ঝুঁকিপূর্ণ" এর মতো একটি বিবৃতি দেখেন তখন অ্যালার্ম বাজানো উচিত: এটি একটি বৈধ মানদণ্ড বলে মনে হতে পারে কিন্তু পরোক্ষ বৈষম্য বহন করে।
সতর্কতা: ডেটা থেকে সুরক্ষিত বৈশিষ্ট্যটি সরিয়ে দিলে বৈষম্য শেষ হয় না। সারোগেট ভেরিয়েবল এটি ফেরত দিতে পারে। "আমি সংবেদনশীল কলাম মুছে ফেলেছি" দ্বারা ন্যায়বিচার অর্জিত হয় না; গ্রুপের মধ্যে মডেল সিদ্ধান্তের ফলাফল পরীক্ষা করে এটি অর্জন করা হয়।
শাসনের মধ্যে ন্যায়বিচারের বুনন
- ন্যায্যতা মেট্রিক্স। মডেলের অনুমোদন/প্রত্যাখ্যান হার এবং গ্রুপগুলির মধ্যে ত্রুটির হার তুলনা করুন। একটি গোষ্ঠী কি পদ্ধতিগতভাবে উচ্চতর প্রত্যাখ্যান অনুভব করে?
- প্রক্সি নিয়ন্ত্রণ। সুরক্ষিত বৈশিষ্ট্যের সাথে ব্যবহৃত ভেরিয়েবলের সম্পর্ক পরীক্ষা করুন।
- ব্যাখ্যাযোগ্যতা। প্রতিটি সিদ্ধান্তের জন্য ন্যায্যতা উত্পাদিত করা আবশ্যক; একটি "ব্ল্যাক বক্স" অস্বীকার অযোগ্য।
- আপত্তি করার অধিকার। গ্রাহককে সিদ্ধান্তের যৌক্তিকতা শেখার এবং একটি মানবিক পর্যালোচনার অনুরোধ করার অধিকার দেওয়া উচিত।
- বর্জিত গোষ্ঠী। এটিও পরীক্ষা করা উচিত যে ডেটাতে উপস্থাপিত গোষ্ঠীগুলির সাথে খারাপ আচরণ করা হয় না।
চারটি অনুলিপিযোগ্য টেমপ্লেট
1) ন্যায্যতা বৈষম্য জন্য স্ক্রীনিং:
নিম্নলিখিত ক্রেডিট সিদ্ধান্তের যৌক্তিকতা পরীক্ষা করুন: একটি সুরক্ষিত বৈশিষ্ট্য (বয়স, লিঙ্গ, উত্স, ধর্ম) বা একটি প্রক্সি ভেরিয়েবল (পোস্টকোড, প্রতিবেশী, নাম, কেনাকাটার প্রকার) প্রত্যক্ষ/পরোক্ষ উল্লেখ আছে? ঝুঁকিপূর্ণ বিবৃতি ফ্ল্যাগ করুন এবং ব্যাখ্যা করুন কেন তারা বৈষম্যের ঝুঁকি তৈরি করে। কারণ: [পাঠ্য]
2) পরিবর্তনশীল তালিকা প্রক্সি নিয়ন্ত্রণ:
ক্রেডিট মডেলে ব্যবহৃত ভেরিয়েবলের এই তালিকাটি পরীক্ষা করুন। কোনটি একটি সুরক্ষিত বৈশিষ্ট্যের জন্য প্রক্সি হতে পারে এবং পরোক্ষ বৈষম্যের ঝুঁকি তৈরি করতে পারে? প্রতিটি ঝুঁকিপূর্ণ বৈকল্পিক জন্য আপনার ন্যায্যতা লিখুন. তালিকা: [ভেরিয়েবল]
3) ন্যায্যতার পরিপ্রেক্ষিতে সিদ্ধান্তের সারাংশ (নিরপেক্ষ, ব্যাখ্যাযোগ্য):
আপনার ভূমিকা: সহকারী যিনি একটি ব্যাখ্যাযোগ্য সিদ্ধান্তের যৌক্তিক খসড়া তৈরি করেন। শুধুমাত্র বৈধ, অ-বৈষম্যমূলক মানদণ্ডের উপর নির্ভর করুন (ঋণ-থেকে-আয় অনুপাত, অর্থপ্রদানের ইতিহাস, সমান্তরাল)। সুরক্ষিত সম্পত্তি এবং সারোগেট পরিবর্তনশীল উল্লেখ করবেন না। গ্রাহক বুঝতে পারবে এমন সহজ ভাষায় যুক্তিটি লিখুন। আমি অনুমোদন দেব।
4) আপত্তি প্রতিক্রিয়া খসড়া:
একজন গ্রাহক ক্রেডিট অস্বীকৃতির আবেদন করেছেন এবং ন্যায্যতা চান। বৈধ মানদণ্ডের উপর ভিত্তি করে একটি সম্মানজনক এবং বর্ণনামূলক প্রতিক্রিয়া খসড়া তৈরি করুন; গ্রাহককে তার মানবিক পর্যালোচনা এবং সংশোধনের অধিকারের কথা মনে করিয়ে দিন। কোনো বৈষম্যমূলক প্রভাব ব্যবহার করবেন না। যাচাই প্রত্যাখ্যানের কারণ: [কারণ]
দুর্বল প্রম্পট / শক্তিশালী প্রম্পট
দুর্বল প্রম্পট:
এই অঞ্চলের অ্যাপ্লিকেশনগুলি খুব ঝুঁকিপূর্ণ, আসুন মডেলটিতে জেলার তথ্যগুলিকে আরও বেশি ব্যবহার করি যাতে নির্ভুলতা বাড়ানো যায়।
এই পদ্ধতিটি জেলার উপর ভিত্তি করে পরোক্ষ বৈষম্যকে শক্তিশালী করে; এটি "হিট" এর নামে একটি বেআইনি ফলাফলকে বৈধ করে।
শক্তিশালী প্রম্পট:
আপনার ভূমিকা: বিচার নিরীক্ষা সহকারী। ব্যবহৃত ভেরিয়েবলগুলিকে ফ্ল্যাগ করুন যা সারোগেট ভেরিয়েবলের ঝুঁকি তৈরি করে। অনুমোদন/প্রত্যাখ্যানের হারের পরিপ্রেক্ষিতে গোষ্ঠীর মধ্যে সিদ্ধান্তের তুলনা করতে আমার কোন মেট্রিক্স অনুসরণ করা উচিত তা পরামর্শ দিন। কখনও একটি বৈষম্যমূলক মানদণ্ডকে শক্তিশালী করবেন না; বৈধ এবং ব্যাখ্যাযোগ্য মানদণ্ডে পুনঃনির্দেশিত করুন।
স্ট্রং উইল প্রক্সি রিস্ক খোঁজে, ন্যায্যতার মেট্রিক্স প্রবর্তন করে এবং বৈষম্য প্রত্যাখ্যান করে।
তিনটি মিনি কেস
কেস 1 - ঐতিহাসিক পক্ষপাত। একটি মডেল একটি নির্দিষ্ট পেশাগত গোষ্ঠীকে পদ্ধতিগতভাবে কম স্কোর দেয় কারণ এটি অতীতে কম ক্রেডিট দেওয়া হয়েছে। একটি ন্যায্যতা নিরীক্ষা দেখায় যে এই গোষ্ঠীর জন্য প্রত্যাখ্যানের হার অনুরূপ আয় স্তরে অন্যদের তুলনায় 30% বেশি। মডেলটি বৈধ আয় এবং অর্থপ্রদানের মানদণ্ডের সাথে ভারসাম্যপূর্ণ।
কেস 2 - সারোগেট পরিবর্তনশীল। জিপ কোড একটি মডেলের একটি শক্তিশালী পরিবর্তনশীল। অডিট দেখায় যে জিপ কোড নির্দিষ্ট জাতিগতভাবে কেন্দ্রীভূত পাড়ার সাথে ওভারল্যাপ করে, পরোক্ষ উত্স বৈষম্য তৈরি করে। পরিবর্তনশীলটি সরানো হয়েছে এবং বৈধ আর্থিক বেঞ্চমার্ক দ্বারা প্রতিস্থাপিত হয়েছে; কর্মক্ষমতা একটি গ্রহণযোগ্য স্তরে থাকে, বৈষম্য দূর হয়।
কেস 3 - আপত্তি করার অধিকার। একটি প্রত্যাখ্যাত ক্লায়েন্ট ন্যায্যতা জন্য জিজ্ঞাসা. ব্যাঙ্ক ব্যাখ্যাযোগ্য ন্যায্যতা (উচ্চ ঋণ-থেকে-আয় অনুপাত) প্রদান করে এবং মানুষের পর্যালোচনার অনুরোধ গ্রহণ করে। পর্যালোচনা একটি নথি একটি ভুল পড়া প্রকাশ; সিদ্ধান্ত সংশোধন করা হয়. ব্যাখ্যাযোগ্যতা এবং আপত্তি করার অধিকার ন্যায়বিচারের সাথে ভুলের জন্য ক্ষতিপূরণ দেয়।
ন্যায্যতা মেট্রিক্স: আমরা কি এবং কিভাবে পরিমাপ করি
"মডেল কি ন্যায্য?" প্রশ্নের কোন একক উত্তর নেই; ন্যায়বিচারের একাধিক সংজ্ঞা রয়েছে এবং সেগুলি কখনও কখনও একে অপরের সাথে দ্বন্দ্ব করে। এখানে কয়েকটি পন্থা রয়েছে যা ব্যাঙ্কিংয়ে কার্যত অনুসরণ করা হয়:
- অনুমোদন/প্রত্যাখ্যান হারের তুলনা: অনুরূপ আর্থিক প্রোফাইলের (যেমন লিঙ্গ গোষ্ঠী) সহ বিভিন্ন গোষ্ঠীর মধ্যে অনুমোদনের হার কি পদ্ধতিগতভাবে আলাদা? একটি বড় এবং ব্যাখ্যাতীত পার্থক্য পক্ষপাতের একটি চিহ্ন।
- ত্রুটি হার সমতা: মডেলের মিথ্যা প্রত্যাখ্যান (একটি বৈধ আবেদন প্রত্যাখ্যান) হার কি গ্রুপ জুড়ে ভারসাম্যপূর্ণ? যদি একটি গোষ্ঠী অন্যের চেয়ে বেশিবার অন্যায়ভাবে প্রত্যাখ্যান করা হয় তবে একটি সমস্যা আছে।
- ক্রমাঙ্কন: যে গ্রাহকরা মডেলটিকে "উচ্চ ঝুঁকি" বলে ডাকে তারা কি প্রতিটি গ্রুপে একই হারে সত্যই ডিফল্ট? স্কোরের অর্থ গ্রুপ থেকে গ্রুপে পরিবর্তন করা উচিত নয়।
এই মেট্রিক্স কখনও কখনও একই সময়ে প্রদান করা যাবে না; বিচারের কোন সংজ্ঞাকে প্রাধান্য দিতে হবে তা প্রযুক্তিগত নয় বরং একটি নৈতিক ও আইনগত সিদ্ধান্ত এবং এর জন্য মানব শাসনের প্রয়োজন।
পরামর্শ: নিয়মিত বিরতিতে ন্যায্যতা মেট্রিক পরিমাপ করুন, শুধুমাত্র যখন আপনি মডেল তৈরি করবেন তখন নয়। ডেটা ড্রিফ্টের কারণে একটি মডেল মোটামুটিভাবে লাইভ হতে পারে এবং সময়ের সাথে পক্ষপাতদুষ্ট হয়ে যেতে পারে। ন্যায়বিচার ‘প্রতিষ্ঠার’ বিষয় নয়, ‘মনিটরিং’ এর বিষয়।
সাধারণ ভুল
- "উদ্দেশ্য তথ্য" ভুল। ধরি মডেলটি নিরপেক্ষ; ডেটা ঐতিহাসিক পক্ষপাত বহন করে।
- শুধু সংবেদনশীল কলাম মুছে দিন। সুরক্ষিত সম্পত্তি অপসারণ এবং প্রক্সি ভেরিয়েবল উপেক্ষা করা।
- ন্যায্যতা মেট্রিক্স ট্র্যাকিং না. গোষ্ঠীর মধ্যে প্রত্যাখ্যান/ত্রুটির হার মোটেও তুলনা না করা।
- ব্ল্যাক বক্সের সিদ্ধান্তের পক্ষে। এমন একটি সিদ্ধান্ত বিবেচনা করা যা বৈধ হিসাবে সমর্থন করা যায় না।
- আপত্তি করার অধিকার অপসারণ। মানুষের পর্যালোচনা অক্ষম করা হচ্ছে কারণ "এটি প্রক্রিয়াটিকে ধীর করে দেয়।"
মনোযোগ: বৈষম্য প্রায়শই বিদ্বেষ থেকে নয় বরং অসাবধানতা থেকে উদ্ভূত হয়। একটি পরিবর্তনশীল যোগ করা হয়েছে কারণ এটি "নির্ভুলতা বাড়ায়" অজান্তে একটি গ্রুপকে বাদ দিতে পারে। তাই ন্যায়বিচার বিশ্বাসের উপর ভিত্তি করে নয় বরং নিয়মিত পরীক্ষার উপর ভিত্তি করে।
সংক্ষেপে
এআই মডেলগুলি তারা যে ডেটা থেকে শেখে তার পক্ষপাত বহন করে এবং ব্যাঙ্কিংয়ে বৈষম্য একটি আইনি, নৈতিক এবং সুনামগত ঝুঁকি। প্রত্যক্ষ বৈষম্য একটি সুরক্ষিত বৈশিষ্ট্য ব্যবহার করছে; অপরদিকে, পরোক্ষ বৈষম্য প্রক্সি ভেরিয়েবলের (জিপ কোড, নাম) সাথে একই ফলাফল তৈরি করছে। ন্যায়বিচার সংবেদনশীল কলাম মুছে ফেলা সম্পর্কে নয়; ন্যায্যতা মেট্রিক্স, প্রক্সি নিয়ন্ত্রণ, ব্যাখ্যাযোগ্যতা এবং অবজেক্ট করার অধিকার দ্বারা নিশ্চিত করা হয়েছে। এক বাক্যে: প্যাটার্ন অতীতের পুনরাবৃত্তি করে; ন্যায়বিচার বজায় রাখা এবং বৈষম্য প্রত্যাখ্যান করা মানুষের দায়িত্ব।
আবেদন টাস্ক
একটি ক্রেডিট মডেলের জন্য 8-10টি ভেরিয়েবলের একটি তালিকা লিখুন (কিছু ইচ্ছাকৃত প্রক্সি ঝুঁকি সহ: জিপ কোড, নাম, শপিং বিভাগ)। 2. টেমপ্লেটের সাথে একটি প্রক্সি চেক করুন এবং ঝুঁকিপূর্ণগুলিকে তাদের কারণগুলির সাথে চিহ্নিত করুন৷ তারপরে একটি বৈষম্যমূলক ন্যায্যতা পাঠ্য লিখুন এবং টেমপ্লেট 1 দিয়ে এটি স্ক্যান করুন। অবশেষে, একটি অনুচ্ছেদে পরিকল্পনা করুন যে আপনি গোষ্ঠীর মধ্যে মডেলের প্রত্যাখ্যান হারের তুলনা করতে কোন ন্যায্যতা মেট্রিকগুলি ট্র্যাক করবেন।
চেকলিস্ট
- [] আমি পরীক্ষা করেছি যে মডেল/যুক্তি সুরক্ষিত বৈশিষ্ট্য ব্যবহার করে না।
- [ ] আমি প্রক্সি ভেরিয়েবলের ঝুঁকিও স্ক্রীন করেছি।
- [ ] আমি গ্রুপের মধ্যে অনুমোদন/প্রত্যাখ্যান এবং ত্রুটির হার তুলনা করার পরিকল্পনা করেছি।
- [ ] আমি নিশ্চিত করেছি যে প্রতিটি সিদ্ধান্তের একটি ব্যাখ্যাযোগ্য যৌক্তিকতা রয়েছে।
- [ ] আমি গ্রাহককে আপত্তি ও মানবিক পর্যালোচনা করার অধিকার দিয়েছি।
- আমি "হিট" এর ভিত্তিতে বৈষম্যের লাল রেখাও অতিক্রম করিনি।