लाभ:
- यह एल्गोरिथम पूर्वाग्रह के डेटा, डिज़ाइन और उपयोग स्रोतों को पहचानता है और समूह के आधार पर आउटपुट का परीक्षण करता है।
- बताते हैं कि कैसे फीडबैक लूप और प्रतिनिधित्व त्रुटि असमानता को बढ़ाती है और प्रभाव नियंत्रण स्थापित करती है।
- यह प्रत्येक स्वचालित निर्णय में व्याख्या और अपील सुनिश्चित करके जवाबदेही सुनिश्चित करता है।
जनता को अपनी शक्ति सभी पर समान रूप से लागू करनी चाहिए: समान परिस्थितियों में दो नागरिकों के साथ समान व्यवहार, विभिन्न स्थितियों में आनुपातिक अंतर। समानता का यह सिद्धांत एक संवैधानिक दायित्व है। कृत्रिम बुद्धिमत्ता इस क्षेत्र में सुधार भी कर सकती है और चुपचाप बाधित भी कर सकती है। इसमें सुधार हो सकता है क्योंकि लगातार लागू नियम मनमानी और मानवीय पूर्वाग्रह को कम कर सकता है। यह भ्रष्ट हो सकता है क्योंकि एआई मॉडल पिछले डेटा से सीखते हैं, और पिछला डेटा अतीत के भेदभाव को वहन करता है। यदि किसी सिस्टम को उस डेटा पर प्रशिक्षित किया जाता है जिसने ऐतिहासिक रूप से किसी विशेष समूह को नुकसान पहुंचाया है, तो यह "उद्देश्य एल्गोरिदम" की आड़ में उस नुकसान को भविष्य में ले जाता है - और ऐसे रूप में जिसका पता लगाना और भी मुश्किल है। इस इकाई में, आप सीखेंगे कि सार्वजनिक क्षेत्र में एआई का उपयोग करते समय एल्गोरिथम पूर्वाग्रह (कुछ समूहों के खिलाफ मॉडल आउटपुट का व्यवस्थित पूर्वाग्रह) को कैसे पहचाना जाए, इसे कैसे कम किया जाए और, सबसे महत्वपूर्ण बात यह है कि एल्गोरिथम जवाबदेही कैसे सुनिश्चित की जाए (एक स्वचालित निर्णय के लिए तर्क समझाने योग्य, श्रवण योग्य और विवादास्पद हो)।
पक्षपात कहाँ से आता है?
एल्गोरिथम पूर्वाग्रह के कई स्रोत हैं, और वे सभी सार्वजनिक रूप से जोखिम भरे हैं:
- ऐतिहासिक पूर्वाग्रह: प्रशिक्षण डेटा में पिछली असमानता शामिल है। उदाहरण के लिए, यदि किसी क्षेत्र में अतीत में कम सेवा रही है, तो "मांग डेटा" उस क्षेत्र को कम जरूरतों वाले के रूप में दिखा सकता है - जबकि वास्तव में मांग कम थी क्योंकि वहां कोई सेवा नहीं थी।
- प्रतिनिधित्व पूर्वाग्रह: कुछ समूहों को डेटा में कम प्रतिनिधित्व दिया गया है (बिना डिजिटल पहुंच वाले, अल्पसंख्यक भाषा समूह) और मॉडल उनके लिए खराब काम करता है।
- प्रॉक्सी पूर्वाग्रह: भले ही मॉडल सीधे तौर पर किसी निषिद्ध मानदंड (जातीयता, धर्म) को नहीं देखता है, फिर भी यह उससे जुड़े प्रॉक्सी (पड़ोस, नाम, ज़िप कोड) को देखकर समान भेदभाव उत्पन्न कर सकता है।
- मापन पूर्वाग्रह: हम जो मापते हैं वह वह नहीं है जो हम वास्तव में मापना चाहते हैं। "शिकायतों की संख्या" आवश्यकता के बजाय शिकायत करने की क्षमता को मापती है।
सावधानी: यह कहना भ्रामक है कि "मैंने मॉडल से संवेदनशील डेटा (लिंग, जातीयता) हटा दिया है, अब यह उचित है"। प्रॉक्सी चर के माध्यम से भेदभाव जारी रह सकता है। निष्पक्षता इनपुट को हटाकर नहीं, बल्कि समूहों के बीच आउटपुट का परीक्षण करके हासिल की जाती है।
निष्पक्षता का परीक्षण: आउटपुट देखें
कोई व्यवस्था निष्पक्ष है या नहीं यह उसके इरादों को नहीं बल्कि उसके नतीजों को देखकर समझा जा सकता है। मूल विधि: निर्णय को समूहों में विभाजित करें और तुलना करें। क्या स्वीकृति/अस्वीकृति दर, त्रुटि दर, प्रतीक्षा समय जैसे आउटपुट विभिन्न समूहों (लिंग, आयु, क्षेत्र, आय) के बीच काफी भिन्न होते हैं? यदि कोई अंतर है, तो क्या यह अंतर किसी वैध कारण पर आधारित है या यह भेदभाव है? चूँकि इस विश्लेषण के लिए व्यक्तिगत डेटा की आवश्यकता हो सकती है, इसे KVKK के अनुसार एकत्र और किया जाना चाहिए।
युक्ति: एक नई एआई-संचालित निर्णय प्रणाली शुरू करने से पहले, जनसांख्यिकीय समूहों के आधार पर इसके निर्णयों को विभाजित करें और एक "निष्पक्षता रिपोर्ट" तैयार करें। यदि आपको कोई अंतर मिलता है, तो "क्या इस अंतर को समझाया जा सकता है?" प्रश्न को लोगों की एक समिति के पास ले जाएं।
स्पष्टीकरण और अपील: जवाबदेही का दिल
सार्वजनिक क्षेत्र में, किसी भी नागरिक को "सिस्टम ने ऐसा निर्णय लिया" उत्तर के साथ उसके अधिकारों से वंचित नहीं किया जा सकता है। प्रत्येक स्वचालित या एआई-सहायता प्राप्त निर्णय के लिए, तीन चीजें सुनिश्चित की जानी चाहिए:
- व्याख्यात्मकता: निर्णय किस पर आधारित था, कौन से कारक प्रभावी थे, इसकी स्पष्ट भाषा में व्याख्या की जानी चाहिए।
- अपील करने का तरीका: नागरिकों को निर्णय पर आपत्ति करने और किसी इंसान से इसकी समीक्षा करने के लिए कहने में सक्षम होना चाहिए।
- ऑडिट ट्रेल: यह दर्ज किया जाना चाहिए कि कौन सा डेटा, कौन सा मॉडल/संस्करण और किस जिम्मेदार व्यक्ति के साथ निर्णय लिया गया था।
तीन मिनी मामले
केस 1 - सरोगेट संस्करण पर कब्जा कर लिया गया। एक सहायता प्राथमिकता मॉडल ने संवेदनशील डेटा का उपयोग नहीं किया बल्कि "ज़िप कोड" को देखा। निष्पक्षता परीक्षण में, कुछ पड़ोस को व्यवस्थित रूप से कम प्राथमिकता प्राप्त होती पाई गई - जो ज़िप कोड, आय और जातीय घनत्व से संबंधित थी। चर को हटा दिया गया और प्राथमिकता को सीधे आवश्यकता संकेतकों से जोड़ दिया गया।
केस 2 - प्रतिनिधित्व अंतराल। एक चैटबॉट में गैर-तुर्की मूल भाषा वाले नागरिकों के प्रश्नों को गुमराह करने की संभावना 41% अधिक थी; प्रशिक्षण डेटा में इस समूह का बहुत कम हिस्सा था। जब बहुभाषी समर्थन और मानव हैंडओवर सीमा को जोड़ा गया, तो अंतर समाप्त हो गया।
केस 3 - अस्पष्टीकृत अस्वीकृति। एक संस्था ने स्वचालित रूप से एक आवेदन अस्वीकार कर दिया; नागरिक "क्यों?" पूछने पर अधिकारी नहीं बता सके क्योंकि मॉडल का कारण समझ में नहीं आ रहा था। इस घटना से पता चला कि खराब व्याख्या वाले मॉडल का उपयोग अधिकार-संबंधी निर्णय लेने के लिए नहीं किया जा सकता है; प्रणाली को एक ऐसे मॉडल में बदल दिया गया है जो औचित्य उत्पन्न करता है और इसके लिए मानवीय अनुमोदन की आवश्यकता होती है।
चार प्रतिलिपि योग्य टेम्पलेट
1) पूर्वाग्रह स्कैनिंग का स्रोत:
आपकी भूमिका: एल्गोरिथम निष्पक्षता विशेषज्ञ। नीचे AI-संचालित निर्णय प्रक्रिया देखें। पूर्वाग्रह के संभावित स्रोतों की सूची बनाएं: (1) ऐतिहासिक पूर्वाग्रह, (2) प्रतिनिधित्व पूर्वाग्रह (कम प्रतिनिधित्व वाला समूह), (3) प्रॉक्सी चर (निषिद्ध मानदंड से जुड़ा कॉलम), (4) माप पूर्वाग्रह। प्रत्येक के लिए एक ठोस उदाहरण दें और मुझे बताएं कि इसका परीक्षण कैसे किया जाए। प्रक्रिया: [निर्णय प्रक्रिया और प्रयुक्त डेटा]
2) निष्पक्षता परीक्षण योजना:
निम्नलिखित निर्णय आउटपुट के लिए एक निष्पक्षता परीक्षण योजना तैयार करें: मुझे किन समूहों (आयु, लिंग, क्षेत्र, आय) को विभाजित करना चाहिए, मुझे किस मेट्रिक्स (स्वीकृति दर, त्रुटि दर, प्रतीक्षा समय) की तुलना करनी चाहिए, मैं कैसे तय करूं कि अंतर वैध है या भेदभावपूर्ण है? KVKK चेतावनी जोड़ें. निर्णय: [कौन सा निर्णय]
3) निर्णय कथन (नागरिक के लिए):
निम्नलिखित निर्णय के लिए एक नागरिक-समझने योग्य मसौदा स्पष्टीकरण लिखें: कौन से कारक प्रभावशाली थे, स्पष्ट भाषा में। अंत में अपील करने का अधिकार और मानवीय समीक्षा की संभावना जोड़ें [समय के साथ पुष्टि की जाएगी]। अस्पष्ट अभिव्यक्तियों का उपयोग करना जैसे "सिस्टम ने ऐसा निर्णय लिया।" निर्णय: [सारांश और प्रभावशाली कारक]
4) प्रसार से पहले जवाबदेही की जांच:
एआई-संचालित निर्णय प्रणाली शुरू करने से पहले एक जवाबदेही जांच सूची तैयार करें: क्या यह समझाने योग्य है, क्या अपील करने का कोई तरीका है, क्या ऑडिट ट्रेल (डेटा/मॉडल संस्करण/जवाबदेह) बनाए रखा गया है, क्या निष्पक्षता परीक्षण किया गया है, मानव अनुमोदन बिंदु कहां है। गुम वस्तुओं को लाल झंडे के रूप में चिह्नित करें। प्रणाली: [नुस्खा]
कमजोर संकेत/मजबूत संकेत
कमज़ोर: "क्या यह निर्णय मॉडल उचित है?"
मजबूत: "आपकी भूमिका एल्गोरिथम निष्पक्षता विशेषज्ञ की है। इस सहायता प्राथमिकता मॉडल के लिए, पहले पूर्वाग्रह के स्रोतों (ऐतिहासिक, प्रतिनिधित्व, सरोगेट चर, माप) के लिए स्कैन करें और प्रत्येक के लिए ठोस उदाहरण दें। फिर निष्पक्षता परीक्षण योजना के साथ आएं: कौन से समूह, कौन से मेट्रिक्स, अंतर की वैधता कैसे तय करें; केवीकेके चेतावनी जोड़ें। अंत में, सिस्टम को शुरू करने से पहले, स्पष्टीकरण, अपील पथ और ऑडिट ट्रेल के लिए एक चेकलिस्ट दें, और कमियों को लाल झंडी दिखाएं। "
अंतर: एक मजबूत संकेत अपने स्रोत पर पूर्वाग्रह की तलाश करता है, समूहों द्वारा आउटपुट का परीक्षण किया जाता है, और जवाबदेही को व्यापक बनाता है।
न्याय आयाम और नियंत्रण
आकार
जोखिम
नियंत्रण
ऐतिहासिक डेटा
अतीत असमानता लेकर आता है
समूहों द्वारा परीक्षण आउटपुट
प्रतिनिधित्व
कुछ समूह के लिए ख़राब काम करता है
समूह आधारित त्रुटि दर
सरोगेट चर
गुप्त भेदभाव
परिवर्तनीय-संवेदनशील मानदंड संबंध
व्याख्यात्मकता
अनुचित निर्णय
सरल स्पष्टीकरण उत्पन्न करें
आपत्ति
ज़ब्ती
मानव समीक्षा पथ
फीडबैक लूप और प्रतिनिधित्व त्रुटि
एल्गोरिथम भेदभाव का सबसे घातक रूप किसी एक गलत निर्णय में नहीं बल्कि एक फीडबैक लूप में होता है जो समय के साथ खुद को मजबूत करता है (एक मॉडल का आउटपुट बाद के प्रशिक्षण डेटा को प्रभावित करता है, मौजूदा पूर्वाग्रह को मजबूत करता है)। उदाहरण के लिए, यदि कोई निरीक्षण मॉडल किसी विशेष पड़ोस को "जोखिम भरा" के रूप में चिह्नित करता है, तो जितने अधिक निरीक्षण वहां जाते हैं, उतने अधिक रिकॉर्ड बनाए जाते हैं, मॉडल उस पड़ोस को जोखिमपूर्ण के रूप में देखता है - भले ही देखे गए स्थान में अंतर बढ़ गया हो, वास्तविक जोखिम में नहीं। जो इसके लिए मार्ग प्रशस्त करता है वह अक्सर एक प्रतिनिधित्व त्रुटि होती है (प्रशिक्षण डेटा कुछ समूहों को अपूर्ण या विकृत रूप से दर्शाता है)। सार्वजनिक क्षेत्र में, ये चक्र वंचित समूहों को तेजी से गंभीर निगरानी और प्रतिबंधों के तहत डाल सकते हैं। खुद को सुरक्षित रखने का तरीका मॉडल के प्रभाव की निगरानी करना है, न कि केवल उसके आउटपुट की: निर्णयों के समूह-आधारित वितरण की नियमित रूप से निगरानी करना और मॉडल की सिफारिशों को आँख बंद करके लागू नहीं करना।
मिनी केस - आत्मप्रशंसा करने वाला संदेह। एक कल्याणकारी धोखाधड़ी का पता लगाने वाले मॉडल ने उस क्षेत्र को उच्च जोखिम के रूप में चिह्नित किया, जिसका अतीत में अधिक गहन निरीक्षण किया गया था। जब टीम ने डेटा से प्रवर्तन तीव्रता निकाली और "जनसंख्या के सापेक्ष सही पहचान दर" को मापा, तो उन्होंने पाया कि क्षेत्रों के बीच अंतर काफी हद तक गायब हो गए; मॉडल ने असमानता को वास्तविक जोखिम समझ लिया।
समूह आधारित प्रभाव नियंत्रण टेम्पलेट:
कार्य: समूहों द्वारा निम्नलिखित निर्णय डेटा की जांच करें (कोई व्यक्तिगत डेटा नहीं, श्रेणीबद्ध सारांश)। डेटा: [समूह | संपूर्ण निर्णय | नकारात्मक निर्णय दर | निरीक्षण तीव्रता]आउटपुट: 1) क्या नकारात्मक निर्णय दर समूहों के बीच महत्वपूर्ण अंतर दिखाती है? 2) क्या अंतर वास्तविक जोखिम या नियंत्रण/प्रतिनिधित्व तीव्रता के कारण हो सकता है? 3) क्या फीडबैक लूप का कोई संकेत है? 4) मानव नियंत्रण के लिए सिफ़ारिशें। नियम: कार्य-कारण का दावा स्थापित करना; संभावित स्पष्टीकरणों और परीक्षण के तरीकों की सूची बनाएं।
सावधानी: यह तर्क कि "मॉडल तटस्थ है क्योंकि यह सभी पर समान नियम लागू करता है" भ्रामक है। वही नियम, जब विषम डेटा पर लागू होता है, असमानता को संरक्षित और बढ़ाता है। न्याय को परिणाम की समानता से मापा जाता है, नियम से नहीं।
सामान्य गलतियां
- संवेदनशील डेटा को हटाना और सोचना "यह उचित है"। सरोगेट चर भेदभाव को कायम रखते हैं; आउटपुट का परीक्षण करें.
- न्याय को इरादे से मापना. अंत में न्याय प्रकट होता है; निर्णयों को समूहों में क्रमबद्ध करें और तुलना करें।
- कम प्रतिनिधित्व वाले समूह को भूल जाना। यह मॉडल अल्पसंख्यक समूह के लिए चुपचाप खराब तरीके से काम कर सकता है; समूह आधारित त्रुटि देखें.
- अधिकार देने वाले निर्णयों में अस्पष्टीकृत मॉडल का उपयोग करना। जो प्रणाली औचित्य उत्पन्न नहीं कर सकती, वह सार्वजनिक निर्णय नहीं ले सकती।
- आपत्ति का कोई साधन उपलब्ध नहीं करा रहा है। प्रत्येक स्वचालित निर्णय मानवीय समीक्षा के अधीन होना चाहिए।
- ऑडिट ट्रेल नहीं रखना. यह दर्ज किया जाना चाहिए कि निर्णय किस डेटा/मॉडल/जिम्मेदार व्यक्ति के साथ किया गया था।
संक्षेप में
सार्वजनिक क्षेत्र में, एआई स्थिरता बढ़ा सकता है लेकिन चुपचाप अतीत के भेदभाव को भी दूर कर सकता है। पूर्वाग्रह ऐतिहासिक डेटा, प्रतिनिधित्व अंतर, प्रॉक्सी चर और गलत माप से आता है; संवेदनशील डेटा हटाने से इसका समाधान नहीं होगा. समूहों के बीच परिणामों का परीक्षण करके निष्पक्षता हासिल की जाती है। और किसी भी नागरिक को "सिस्टम ने ऐसा कहा" से वंचित नहीं किया जा सकता है: प्रत्येक निर्णय समझाने योग्य, विवादास्पद और श्रवण योग्य होना चाहिए। यह संस्था है जिसे जवाबदेह ठहराया जाता है, एल्गोरिदम नहीं।
आवेदन कार्य
अपनी इकाई में AI-संचालित या स्वचालित निर्णय प्रक्रिया चुनें। संभावित पूर्वाग्रहों की सूची बनाएं और "पूर्वाग्रह स्कैन का स्रोत" टेम्पलेट के साथ कम से कम एक सरोगेट परिवर्तनीय जोखिम ढूंढें। निर्धारित करें कि "निष्पक्षता परीक्षण योजना" के साथ किस समूह के विश्लेषण को देखना है। एक नमूना निर्णय के लिए, "निर्णय स्पष्टीकरण" टेम्पलेट के साथ एक नागरिक-सामना करने वाला स्पष्टीकरण तैयार करें।
चेकलिस्ट
- [ ] मैंने पूर्वाग्रह के स्रोतों (ऐतिहासिक, प्रतिनिधित्व, प्रॉक्सी, माप) के लिए स्कैन किया।
- [ ] मैंने सिर्फ संवेदनशील डेटा ही नहीं हटाया; मैंने समूहों द्वारा आउटपुट का परीक्षण किया।
- [ ] मैंने कम प्रतिनिधित्व वाले समूहों के लिए त्रुटि दर को नियंत्रित किया।
- [ ] मैंने प्रत्येक निर्णय के लिए सरल, समझाने योग्य औचित्य प्रदान किया है।
- [ ] मैंने आपत्ति और मानव समीक्षा पथ को परिभाषित किया है।
- [ ] ऑडिट ट्रेल (डेटा/मॉडल संस्करण/जिम्मेदार) बनाए रखा जाता है।