लाभ:
- समझता है कि डेटा एआई पूर्वाग्रह का प्राथमिक स्रोत है
- उन जोखिमों को पहचानता है जो पूर्वाग्रह कार्यस्थल में पैदा कर सकते हैं
- पूर्वाग्रह को कम करने के लिए जो उपाय किए जा सकते हैं उन्हें लागू करता है
एआई एक तटस्थ, वस्तुनिष्ठ मशीन के रूप में प्रकट होता है; लेकिन सच्चाई कहीं अधिक जटिल है. एआई सिस्टम उन डेटा में मानवीय पूर्वाग्रहों को सीखते हैं जिन पर उन्हें प्रशिक्षित किया जाता है और कभी-कभी उन्हें बड़ा करके पुन: पेश किया जाता है। पूर्वाग्रह एक प्रणाली की कुछ लोगों या समूहों को व्यवस्थित रूप से समर्थन देने या बाहर करने की प्रवृत्ति है। इस इकाई में, हम इस बात पर विचार करेंगे कि पूर्वाग्रह कहां से आता है, यह कार्यस्थल में क्या ठोस जोखिम पैदा करता है और इसके खिलाफ क्या किया जा सकता है। यह केवल "नैतिकता" का मामला नहीं है; यह एक व्यावहारिक व्यावसायिक मामला है जिसमें कुप्रबंधन होने पर कानूनी, वाणिज्यिक और प्रतिष्ठा संबंधी जोखिम होता है।
पूर्वाग्रह कहाँ से आता है?
किसी भाषा मॉडल की जानकारी मनुष्यों द्वारा निर्मित विशाल ग्रंथों से आती है। इन ग्रंथों में मानव समाज का सारा ज्ञान, साथ ही उसकी सभी रूढ़ियाँ, असंतुलन और ऐतिहासिक असमानताएँ शामिल हैं। मॉडल "अच्छे" और "बुरे" पैटर्न के बीच अंतर नहीं करता है; यह डेटा में जो कुछ भी है उसे सीख लेता है।
उदाहरण: यदि पिछले पाठों में कुछ पेशे मुख्य रूप से एक लिंग से जुड़े थे (उदाहरण के लिए महिला के साथ "नर्स", पुरुष के साथ "इंजीनियर"), तो मॉडल इस जुड़ाव को सीखता है। वह वाक्य पूरा करते समय पुरुष सर्वनाम का चयन कर सकती है, "एक इंजीनियर कार्यालय में आया, वह..." मॉडल दुर्भावनापूर्ण नहीं है; यह केवल डेटा में असंतुलन को दर्शाता है।
इसलिए पूर्वाग्रह अधिकतर डेटा का दर्पण होने के कारण होता है, सचेत प्रोग्रामिंग त्रुटि के कारण नहीं। समस्या को "किसी ने ख़राब कोड लिखा" के रूप में समझाना भ्रामक है; समस्या यह है कि दुनिया में असंतुलन डेटा में और वहां से मॉडल में ले जाया जाता है।
कार्यस्थल में ठोस जोखिम
क्षेत्र
पक्षपात का खतरा
संभावित नुकसान
भर्ती
ऐतिहासिक डेटा में रुझान जानें और कुछ समूहों को हटा दें
कानूनी मामला, योग्यता की हानि
ग्राहक संचार
रूढ़िवादी या बहिष्करणवादी भाषा
प्रतिष्ठा की हानि, ग्राहक पलायन
क्रेडिट/जोखिम
अतीत की असमानताओं को कायम रखना
भेदभाव, प्रतिबंध
प्रदर्शन मूल्यांकन
निर्णय में डेटा में पूर्वाग्रह लाना
अनुचित पदोन्नति/बोनस
सामग्री/विपणन
विशिष्ट समूह को अदृश्य बनाएं
ब्रांड को नुकसान
तीन मिनी मामले
केस 1 - विज्ञापन भाषा को संकुचित कर रहा था। एक कंपनी ने AI के साथ जॉब पोस्टिंग छापना शुरू किया। कुछ समय बाद, यह देखा गया कि विज्ञापनों में "युवा और गतिशील", "आक्रामक लक्ष्य" जैसी अभिव्यक्तियों के साथ एक निश्चित प्रोफ़ाइल की अपील की गई और इस प्रकार अनुप्रयोगों की विविधता कम हो गई। टीम ने एक कदम जोड़ा जो प्रत्येक पोस्टिंग को "समावेशी भाषा" के लिए जाँचता है; कुछ महीनों के भीतर आवेदकों की विविधता में काफी वृद्धि हुई है।
केस 2 - सारांश में छिपा हुआ पूर्वाग्रह। एक प्रबंधक के पास एआई से 30 कर्मचारियों की प्रतिक्रिया का सारांश था। ऐसा प्रतीत होता है कि पुनर्कथन नकारात्मक टिप्पणियों को एक विशेष टीम पर केंद्रित करता है; जबकि कच्चे डेटा में स्थिति संतुलित थी। मॉडल ने कई कड़े बयानों को बढ़ा-चढ़ाकर पेश किया। जब प्रबंधक ने वापस जाकर कच्चे डेटा की जाँच की, तो वह ग़लतफ़हमी पैदा करने से बच गया।
केस 3 - समावेशिता जनादेश ने काम किया। एक मार्केटिंग टीम ने अभियान प्रति में निर्देश को "समावेशी, गैर-विशिष्ट लिंग/आयु/समूह भाषा का उपयोग करने और अंत में अपनी धारणाओं को सूचीबद्ध करने" के लिए मानकीकृत किया। निर्मित ग्रंथों में सूत्रबद्ध अभिव्यक्तियाँ उल्लेखनीय रूप से कम हो गई हैं; टीम को प्रत्येक आउटपुट को बार-बार मैन्युअल रूप से सही करने की आवश्यकता नहीं थी।
पूर्वाग्रह को पहचानना कठिन क्यों है?
पूर्वाग्रह के बारे में सबसे घातक बात यह है कि यह अक्सर अदृश्य होता है। आउटपुट सहज, पेशेवर और उचित दिखता है; इसके भीतर की प्रवृत्ति तभी स्पष्ट होती है जब कोई ध्यान से देखता है या विभिन्न समूहों पर इसके प्रभाव को मापता है। किसी एक उदाहरण को देखकर यह कहना कि "यहाँ कोई पूर्वाग्रह नहीं है" भ्रामक है; पूर्वाग्रह अक्सर व्यक्तिगत उदाहरणों में नहीं बल्कि व्यवस्था की सामान्य प्रवृत्ति में प्रकट होता है।
सावधानी: यह धारणा कि "मैं तटस्थ हूं, इसलिए मैं जिस उपकरण का उपयोग करता हूं वह भी तटस्थ है" खतरनाक है। उपकरण की तटस्थता प्रशिक्षण डेटा पर निर्भर करती है और इसका निरीक्षण कैसे किया जाता है, न कि आपके इरादे पर।
कमजोर संकेत/मजबूत संकेत
कमजोर संकेत: इस पद के लिए आदर्श उम्मीदवार का वर्णन करें।
परिणाम: मॉडल रूढ़िवादिता पर भरोसा कर सकता है और एक विशेष प्रोफ़ाइल को "आदर्श" के रूप में प्रस्तुत कर सकता है।
सशक्त संकेत: इस पद के लिए केवल मापने योग्य दक्षताओं को सूचीबद्ध करें जो वास्तव में नौकरी के लिए प्रासंगिक हैं। ऐसी किसी भी विशेषता का उपयोग न करें जो नौकरी से संबंधित न हो, जैसे लिंग, आयु, वैवाहिक स्थिति, गृहनगर। अंत में, जो कुछ आपने छोड़ दिया है उसे "उन धारणाओं से जिनसे मैं बचता हूँ" शीर्षक के अंतर्गत लिखें।
परिणाम: मूल्यांकन नौकरी-संबंधी मानदंडों तक सीमित है, अप्रासंगिक विशेषताओं को बाहर रखा गया है।
पूर्वाग्रह को कम करने के लिए टेम्पलेट
समावेशी भाषा के लिए नीचे दिए गए पाठ की जाँच करें। ऐसे कथनों को फ़्लैग करें जो लिंग, आयु, जातीयता, विकलांगता या किसी विशिष्ट समूह का संकेत देते हैं और प्रत्येक के लिए एक तटस्थ विकल्प सुझाते हैं। पाठ: [यहाँ चिपकाएँ]
यह मूल्यांकन केवल इन वस्तुनिष्ठ मानदंडों के आधार पर करें: [मानदंड]। इन मानदंडों (नाम, लिंग, उम्र) के अलावा किसी भी जानकारी को ध्यान में न रखें।
अंत में एक अलग शीर्षक के अंतर्गत सूचीबद्ध करें कि आपने अपने द्वारा तैयार किए गए पाठ में क्या धारणाएँ बनाई हैं। इसलिए मैं छुपे हुए पूर्वाग्रह देख सकता हूँ।
पाठकों के तीन अलग-अलग समूहों की नजर से इस सामग्री का मूल्यांकन करें और ऐसे किसी भी कथन को चिह्नित करें जो उनमें से किसी को ठेस पहुंचा सकता हो। सामग्री: [यहां चिपकाएं]
सामान्य गलतियाँ
सामान्य गलतियाँ
- "तटस्थ" एआई आउटपुट मानते हुए। भले ही आउटपुट तटस्थ दिखाई देता है, लेकिन इसमें डेटा में पूर्वाग्रह हो सकता है; सक्रिय पर्यवेक्षण की आवश्यकता है.
- एक उदाहरण देखें और कहें "कोई पूर्वाग्रह नहीं है"। व्यवस्था की सामान्य प्रवृत्ति में पूर्वाग्रह छिपा हुआ है।
- उच्च प्रभाव वाले निर्णय लेने को अप्राप्य एआई पर छोड़ देना। भर्ती, पदोन्नति और क्रेडिट जैसे निर्णयों में मानव अधिकार आवश्यक है।
- समावेशिता की मांग करना भूल जाना। यदि आप प्रॉम्प्ट में स्पष्ट रूप से इसका अनुरोध नहीं करते हैं, तो मॉडल डिफ़ॉल्ट पैटर्न पर वापस आ जाता है।
- इसका मतलब है "मशीन ने यह कहा।" जो व्यक्ति निर्णय का उपयोग करता है वह परिणामों के लिए भी जिम्मेदार होता है।
न्याय हर किसी की जिम्मेदारी है
पूर्वाग्रह से लड़ना सिर्फ तकनीकी टीम का काम नहीं है। एआई आउटपुट का उपयोग करने वाले प्रत्येक कर्मचारी की यह जिम्मेदारी है कि वह सवाल उठाए कि क्या वह आउटपुट उचित है। "मशीन ने मुझे बताया" कोई बहाना नहीं है; निर्णय लेने वाला व्यक्ति परिणामों के लिए भी जिम्मेदार है।
संक्षेप में
- एआई पूर्वाग्रह का प्राथमिक स्रोत द्वेष नहीं है, बल्कि प्रशिक्षण डेटा में मौजूदा असंतुलन और रूढ़िवादिता है।
- पूर्वाग्रह; यह भर्ती, ग्राहक संचार, वित्त और मूल्यांकन जैसे क्षेत्रों में वास्तविक कानूनी और प्रतिष्ठित जोखिम पैदा करता है।
- पूर्वाग्रह अक्सर अदृश्य होता है और सिस्टम के समग्र स्वभाव में अंतर्निहित होता है; किसी एक उदाहरण को देखना भ्रामक है।
- कम करने के लिए: जागरूक रहें, निर्णय को नौकरी से संबंधित मानदंडों तक सीमित रखें, स्पष्ट रूप से समावेशिता के लिए पूछें, उच्च प्रभाव वाले निर्णयों पर मानवीय नियंत्रण रखें।
- "मशीन ने मुझे बताया" कोई बहाना नहीं है; निष्पक्षता आउटपुट का उपयोग करने वाले प्रत्येक व्यक्ति की जिम्मेदारी है।
अनुप्रयोग कार्य
एआई को बताएं "एक आदर्श [किसी भी व्यवसाय] कार्यकर्ता का वर्णन करें" और चिह्नित करें कि आउटपुट में क्या (शायद अनावश्यक) धारणाएं बनाई गई थीं। फिर ऊपर दिए गए "नौकरी से संबंधित मानदंड" टेम्पलेट के साथ दोहराएं और निष्पक्षता के लिए दो आउटपुट की तुलना करें।
चेकलिस्ट
- [ ] मैं समझता हूं कि पूर्वाग्रह का प्राथमिक स्रोत प्रशिक्षण डेटा है।
- [ ] मैं उन ठोस जोखिमों के नाम बता सकता हूं जो कार्यस्थल में पूर्वाग्रह उत्पन्न कर सकते हैं।
- [ ] मैं जानता हूं कि पूर्वाग्रह अक्सर अदृश्य होता है और किसी एक उदाहरण को देखना भ्रामक है।
- [ ] मैं प्रॉम्प्ट में स्पष्ट रूप से समावेशिता और नौकरी से संबंधित मानदंडों के बारे में पूछ सकता हूं।
- [ ] मुझे उच्च प्रभाव वाले निर्णयों की मानवीय निगरानी की आवश्यकता है।