નફો:
- સમજવું કે આર્ટિફિશિયલ ઇન્ટેલિજન્સ મોડલ્સમાં કેવી રીતે પૂર્વગ્રહ ડેટા અને ડિઝાઇનમાંથી ઉદ્ભવે છે અને તે શા માટે બેંકિંગમાં કાનૂની અને નૈતિક જોખમો બનાવે છે
- સંરક્ષિત સુવિધાઓ, પ્રોક્સી વેરિયેબલ્સ અને પરોક્ષ ભેદભાવ અને વાજબીતાના સંદર્ભમાં પ્રશ્ન મોડલ નિર્ણયોને ઓળખવાની ક્ષમતા
- મોડેલ ગવર્નન્સમાં ન્યાય મેટ્રિક્સ, બાકાત જૂથો અને ઑબ્જેક્ટનો અધિકાર કેવી રીતે વણાયેલા છે તે સમજવાની ક્ષમતા અને ભેદભાવની લાલ રેખા જાળવવી
AI મોડેલ તટસ્થ નથી; તે શીખેલા ડેટાનો અરીસો છે. જો ડેટા ભૂતકાળની અસમાનતાઓ ધરાવે છે, તો મોડેલ તેમને શીખે છે અને ભવિષ્યમાં લઈ જાય છે. બેંકિંગમાં, આ એક અમૂર્ત નૈતિક ચર્ચા નથી: જો ક્રેડિટ મોડલ વ્યવસ્થિત રીતે કોઈ ચોક્કસ જૂથને નુકસાન પહોંચાડે છે, તો આ ગેરકાનૂની (ભેદભાવનો પ્રતિબંધ) અને નૈતિક ભંગ બંને છે, જે બેંક માટે પ્રતિષ્ઠા અને પ્રતિબંધોના જોખમો લાવે છે. આ એકમનો હેતુ એ બતાવવાનો છે કે મોડેલ કેવી રીતે પક્ષપાતી બને છે, ભેદભાવના પ્રત્યક્ષ અને પરોક્ષ સ્વરૂપો, પ્રોક્સી વેરિયેબલ ટ્રેપ, અને મોડેલ ગવર્નન્સમાં ઔચિત્યની વણાટ કરવાની રીતો. એક લાલ લીટી શરૂઆતથી જ કહેવું જોઈએ: ભેદભાવ, ભલે તે ગમે તેટલું "આંકડાકીય" લાગે, અસ્વીકાર્ય છે.
પૂર્વગ્રહ ક્યાંથી આવે છે?
- ડેટા પૂર્વગ્રહ: જો ભૂતકાળના નિર્ણયો અયોગ્ય હતા (દા.ત. કોઈ ચોક્કસ જૂથને ભૂતકાળમાં ઓછી ક્રેડિટ આપવામાં આવી હતી), તો મોડેલ ધારે છે કે આ "સામાન્ય" છે અને ચાલુ રહે છે. આને ઐતિહાસિક પૂર્વગ્રહ કહેવામાં આવે છે.
- સેમ્પલિંગ પૂર્વગ્રહ: જો કેટલાક જૂથો ડેટામાં ઓછા દર્શાવવામાં આવ્યા હોય, તો મોડેલ તેમના વિશે ખરાબ અને અચોક્કસ રીતે શીખે છે.
- લેબલ પૂર્વગ્રહ: જો "સારા ગ્રાહક" ની વ્યાખ્યા પોતે જ પક્ષપાતી હોય, તો મોડેલ પૂર્વગ્રહ માટે શ્રેષ્ઠ બનાવે છે.
- ડિઝાઇન પૂર્વગ્રહ: કયા ચલોનો ઉપયોગ કરવો તે વિશે માનવ પસંદગીઓ પણ પૂર્વગ્રહ ધરાવી શકે છે.
ટીપ: "મોડલ ડેટા પર આધારિત છે, તેથી તે ઉદ્દેશ્ય છે" એ ખોટી માન્યતા છે. ડેટા એ ભૂતકાળનો સ્નેપશોટ છે; જો ભૂતકાળ અન્યાયી હતો, તો "ઉદ્દેશ" મોડેલ ગણિત સાથેના અન્યાયને યોગ્ય ઠેરવે છે. ઉદ્દેશ્ય એ નિષ્પક્ષતાની ગેરંટી નથી.
પ્રત્યક્ષ અને પરોક્ષ ભેદભાવ
- સીધો ભેદભાવ: સંરક્ષિત લાક્ષણિકતા (લિંગ, વંશીયતા, ધર્મ, ઉંમર) નો મોડેલનો સીધો ઉપયોગ. આ સ્પષ્ટપણે પ્રતિબંધિત છે.
- પરોક્ષ ભેદભાવ (સરોગેટ વેરીએબલ/પ્રોક્સી): જો મોડલ સુરક્ષિત સુવિધાનો સીધો ઉપયોગ કરતું નથી, તો પણ તે અન્ય ચલનો ઉપયોગ કરીને સમાન પરિણામ આપે છે જે તેની સાથે મજબૂત રીતે સંબંધિત છે (ઝિપ કોડ, નામ, શોપિંગ કેટેગરી, વર્કિંગ ડિસ્ટ્રિક્ટ). પિન કોડ ઘણીવાર વંશીયતા અથવા આવક સ્તર માટે પ્રોક્સી છે. મોડેલ કહે છે "પડોશી" પરંતુ પરિણામ "મૂળ" ભેદભાવ છે.
ચલ
દેખીતી રીતે
પ્રોક્સી હોઈ શકે છે
પોસ્ટકોડ/જિલ્લો
ભૂગોળ
વંશીયતા, આવક સ્તર
નામ
ID
મૂળ, લિંગ
શોપિંગ શ્રેણી
વર્તન
જીવનશૈલી, માન્યતા
સ્નાતક શાળા
શિક્ષણ
સામાજિક આર્થિક મૂળ
તેથી જ જ્યારે તમે વાજબીતામાં "પડોશ જોખમી છે" જેવું નિવેદન જોશો ત્યારે એલાર્મ વાગવું જોઈએ: તે એક કાયદેસર માપદંડ હોઈ શકે છે પરંતુ પરોક્ષ ભેદભાવ ધરાવે છે.
સાવધાન: ડેટામાંથી સુરક્ષિત સુવિધાને દૂર કરવાથી ભેદભાવ સમાપ્ત થતો નથી. સરોગેટ ચલો તેને પરત કરી શકે છે. "મેં સંવેદનશીલ કૉલમ કાઢી નાખી" દ્વારા ન્યાય પ્રાપ્ત થતો નથી; જૂથો વચ્ચેના મોડેલ નિર્ણયોના પરિણામોનું પરીક્ષણ કરીને આ પ્રાપ્ત થાય છે.
શાસનમાં ન્યાય વણાટ
- નિષ્પક્ષતા મેટ્રિક્સ. જૂથો વચ્ચે મોડેલના મંજૂરી/અસ્વીકાર દર અને ભૂલ દરની તુલના કરો. શું એક જૂથ વ્યવસ્થિત રીતે ઉચ્ચ અસ્વીકારનો અનુભવ કરે છે?
- પ્રોક્સી નિયંત્રણ. સંરક્ષિત ગુણધર્મો સાથે ઉપયોગમાં લેવાતા ચલોના સંબંધની તપાસ કરો.
- સ્પષ્ટતા. દરેક નિર્ણય માટે સમર્થન હોવું જોઈએ; "બ્લેક બોક્સ" નામંજૂર અસમર્થ છે.
- વાંધો ઉઠાવવાનો અધિકાર. ગ્રાહકને નિર્ણય માટેનું તર્ક જાણવા અને માનવીય સમીક્ષાની વિનંતી કરવાનો અધિકાર આપવો જોઈએ.
- બાકાત જૂથો. તે પણ ચકાસવું જોઈએ કે જે જૂથો ડેટામાં ઓછા દર્શાવવામાં આવ્યા છે તેમની સાથે ગેરવર્તણૂક કરવામાં આવી નથી.
ચાર નકલ કરી શકાય તેવા નમૂનાઓ
1) વાજબીતામાં ભેદભાવ માટે સ્ક્રીનીંગ:
નીચે આપેલા ધિરાણ નિર્ણયના તર્કને તપાસો: શું સુરક્ષિત લાક્ષણિકતા (ઉંમર, લિંગ, મૂળ, ધર્મ) અથવા પ્રોક્સી વેરીએબલ (પોસ્ટકોડ, પડોશી, નામ, શોપિંગ પ્રકાર) માટે કોઈ પ્રત્યક્ષ/પરોક્ષ સંદર્ભ છે? જોખમી નિવેદનોને ફ્લેગ કરો અને શા માટે તેઓ ભેદભાવનું જોખમ ઊભું કરે છે તે સમજાવો. કારણ: [ટેક્સ્ટ]
2) ચલ સૂચિ પ્રોક્સી નિયંત્રણ:
ક્રેડિટ મોડેલમાં ઉપયોગમાં લેવાતા ચલોની આ સૂચિનું પરીક્ષણ કરો. કયો એક સંરક્ષિત લાક્ષણિકતા માટે પ્રોક્સી હોઈ શકે છે અને પરોક્ષ ભેદભાવનું જોખમ ઊભું કરી શકે છે? દરેક જોખમી વેરિઅન્ટ માટે તમારું સમર્થન લખો. સૂચિ: [ચલો]
3) નિષ્પક્ષતાના સંદર્ભમાં નિર્ણયનો સારાંશ (તટસ્થ, સમજાવી શકાય તેવું):
તમારી ભૂમિકા: સહાયક જે સમજાવી શકાય તેવા નિર્ણયનો તર્ક તૈયાર કરે છે. માત્ર કાયદેસર, બિન-ભેદભાવપૂર્ણ માપદંડો (દેવું-થી-આવક ગુણોત્તર, ચુકવણી ઇતિહાસ, કોલેટરલ) પર આધાર રાખો. સંરક્ષિત મિલકત અને સરોગેટ વેરીએબલનો સંદર્ભ આપશો નહીં. ગ્રાહક સમજી શકે તેવી સાદી ભાષામાં તર્ક લખો. હું મંજૂરી આપીશ.
4) વાંધા પ્રતિભાવ ડ્રાફ્ટ:
એક ગ્રાહકે ક્રેડિટ નામંજૂર કરવા માટે અપીલ કરી અને તેને સમર્થન જોઈએ છે. કાયદેસર માપદંડોના આધારે આદરણીય અને વર્ણનાત્મક પ્રતિભાવનો મુસદ્દો તૈયાર કરો; ગ્રાહકને તેના માનવીય સમીક્ષા અને સુધારણાના અધિકારની યાદ અપાવો. કોઈપણ ભેદભાવપૂર્ણ સૂચિતાર્થોનો ઉપયોગ કરશો નહીં. ચકાસાયેલ અસ્વીકારનું કારણ: [કારણ]
નબળા પ્રોમ્પ્ટ / મજબૂત પ્રોમ્પ્ટ
નબળા પ્રોમ્પ્ટ:
આ પ્રદેશમાં એપ્લિકેશન ખૂબ જોખમી છે, ચાલો મોડેલમાં જિલ્લાની માહિતીનો વધુ ઉપયોગ કરીએ જેથી ચોકસાઈ વધારી શકાય.
આ અભિગમ જિલ્લા આધારિત પરોક્ષ ભેદભાવને મજબૂત બનાવે છે; તે "હિટ" ના નામે ગેરકાનૂની પરિણામને કાયદેસર બનાવે છે.
શક્તિશાળી પ્રોમ્પ્ટ:
તમારી ભૂમિકા: ન્યાય ઓડિટ સહાયક. ઉપયોગમાં લેવાતા ચલોને ફ્લેગ કરો જે સરોગેટ ચલોનું જોખમ ઊભું કરે છે. જૂથો વચ્ચેના નિર્ણયોની મંજૂરી/અસ્વીકાર દરના સંદર્ભમાં સરખામણી કરવા માટે મારે કયા મેટ્રિક્સનું પાલન કરવું જોઈએ તે સૂચવો. ભેદભાવપૂર્ણ માપદંડને ક્યારેય મજબૂત કરશો નહીં; કાયદેસર અને સમજાવી શકાય તેવા માપદંડો પર રીડાયરેક્ટ કરો.
સ્ટ્રોંગ વિલ પ્રોક્સી જોખમ માટે જુએ છે, વાજબીતા મેટ્રિક્સ રજૂ કરે છે અને ભેદભાવને નકારે છે.
ત્રણ નાના કેસો
કેસ 1 - ઐતિહાસિક પૂર્વગ્રહ. એક મોડેલ ચોક્કસ વ્યવસાયિક જૂથને વ્યવસ્થિત રીતે ઓછો સ્કોર આપે છે કારણ કે તેને ભૂતકાળમાં ઓછી ક્રેડિટ આપવામાં આવી છે. નિષ્પક્ષતા ઓડિટ દર્શાવે છે કે આ જૂથ માટે અસ્વીકાર દર સમાન આવક સ્તરો પર અન્ય કરતા 30% વધારે છે. મોડલ કાયદેસર આવક અને ચુકવણી માપદંડ સાથે પુનઃસંતુલિત છે.
કેસ 2 - સરોગેટ ચલ. ઝિપ કોડ મોડેલમાં એક શક્તિશાળી ચલ છે. ઓડિટ દર્શાવે છે કે પિન કોડ ચોક્કસ વંશીય રીતે કેન્દ્રિત પડોશીઓ સાથે ઓવરલેપ થાય છે, જે પરોક્ષ મૂળ ભેદભાવ ઉત્પન્ન કરે છે. ચલ દૂર કરવામાં આવે છે અને કાયદેસર નાણાકીય બેન્ચમાર્ક દ્વારા બદલવામાં આવે છે; પ્રદર્શન સ્વીકાર્ય સ્તરે રહે છે, ભેદભાવ દૂર થાય છે.
કેસ 3 - વાંધો ઉઠાવવાનો અધિકાર. અસ્વીકાર કરેલ ક્લાયંટ વાજબીતા માટે પૂછે છે. બેંક સમજાવી શકાય તેવું વાજબીપણું (ઉચ્ચ દેવું-થી-આવક ગુણોત્તર) પ્રદાન કરે છે અને માનવ સમીક્ષા માટેની વિનંતી સ્વીકારે છે. સમીક્ષા દસ્તાવેજનું ખોટું વાંચન દર્શાવે છે; નિર્ણય યોગ્ય છે. સમજૂતી અને વાંધો ઉઠાવવાનો અધિકાર ન્યાય સાથે ભૂલની ભરપાઈ કરે છે.
ફેરનેસ મેટ્રિક્સ: આપણે શું અને કેવી રીતે માપીએ છીએ
"શું મોડેલ વાજબી છે?" પ્રશ્નનો કોઈ એક જ જવાબ નથી; ન્યાયની બહુવિધ વ્યાખ્યાઓ છે, અને તેઓ ક્યારેક એકબીજા સાથે સંઘર્ષ કરે છે. અહીં કેટલાક અભિગમો છે જે વ્યવહારીક રીતે બેંકિંગમાં અનુસરવામાં આવે છે:
- મંજૂરી/અસ્વીકાર દરની સરખામણી: શું સમાન નાણાકીય પ્રોફાઇલ્સ (દા.ત. લિંગ જૂથો) ધરાવતા વિવિધ જૂથો વચ્ચે મંજૂરીનો દર વ્યવસ્થિત રીતે અલગ છે? મોટો અને ન સમજાય એવો તફાવત એ પૂર્વગ્રહની નિશાની છે.
- ભૂલ દર સમાનતા: શું મોડેલનો ખોટો અસ્વીકાર (કાયદેસર અરજી નકારવા) દર જૂથોમાં સંતુલિત છે? જો એક જૂથ અન્ય કરતા વધુ વખત અયોગ્ય રીતે નકારવામાં આવે છે, તો ત્યાં એક સમસ્યા છે.
- માપાંકન: શું ગ્રાહકોને મોડેલ "ઉચ્ચ જોખમ" કહે છે તે દરેક જૂથમાં સમાન દરે ખરેખર ડિફોલ્ટ છે? સ્કોરનો અર્થ જૂથથી જૂથમાં બદલવો જોઈએ નહીં.
આ મેટ્રિક્સ કેટલીકવાર એક જ સમયે પ્રદાન કરી શકાતા નથી; ન્યાયની કઈ વ્યાખ્યાને પ્રાધાન્ય આપવું તે તકનીકી નથી પરંતુ નૈતિક અને કાનૂની નિર્ણય છે અને તે માનવ શાસનની જરૂર છે.
ટીપ: નિયમિત અંતરાલો પર ઔચિત્ય મેટ્રિકને માપો, માત્ર જ્યારે તમે મોડેલ બનાવો ત્યારે નહીં. ડેટા ડ્રિફ્ટને કારણે મોડલ એકદમ લાઇવ થઈ શકે છે અને સમય જતાં પક્ષપાતી બની શકે છે. ન્યાય એ ‘એસ્ટાબ્લિશમેન્ટ’નો વિષય નથી પણ ‘મોનિટરિંગ’નો વિષય છે.
સામાન્ય ભૂલો
- "ઓબ્જેક્ટિવ ડેટા" ભ્રમણા. ધારી રહ્યા છીએ કે મોડેલ તટસ્થ છે; ડેટા ઐતિહાસિક પૂર્વગ્રહ ધરાવે છે.
- ફક્ત સંવેદનશીલ કૉલમ કાઢી નાખો. સંરક્ષિત મિલકતને દૂર કરવી અને પ્રોક્સી ચલોને નજરઅંદાજ કરવું.
- ફેરનેસ મેટ્રિક્સને ટ્રૅક કરતા નથી. જૂથો વચ્ચે અસ્વીકાર/ભૂલ દરની તુલના બિલકુલ ન કરવી.
- બ્લેક બોક્સના નિર્ણયનો બચાવ. એવા નિર્ણયને ધ્યાનમાં લેવું કે જેને કાયદેસર તરીકે ન્યાયી ઠેરવી ન શકાય.
- વાંધો ઉઠાવવાનો અધિકાર દૂર કરવો. માનવ સમીક્ષાને અક્ષમ કરી રહ્યું છે કારણ કે "તે પ્રક્રિયાને ધીમું કરે છે."
ધ્યાન આપો: ભેદભાવ ઘણીવાર દ્વેષથી નહીં પણ બેદરકારીથી ઉદ્ભવે છે. ચલ ઉમેરવામાં આવે છે કારણ કે તે "ચોક્કસતા વધારે છે" અજાણતા જૂથને બાકાત કરી શકે છે. તેથી ન્યાય સદ્ભાવના પર નહીં પરંતુ નિયમિત પરીક્ષણ પર આધારિત છે.
સારાંશમાં
AI મોડલ્સ તેઓ જે ડેટામાંથી શીખે છે તેના પૂર્વગ્રહો ધરાવે છે અને બેંકિંગમાં ભેદભાવ એ કાનૂની, નૈતિક અને પ્રતિષ્ઠાનું જોખમ છે. સીધો ભેદભાવ સુરક્ષિત સુવિધાનો ઉપયોગ કરી રહ્યો છે; બીજી તરફ, પરોક્ષ ભેદભાવ પ્રોક્સી વેરિયેબલ્સ (ઝિપ કોડ, નામ) સાથે સમાન પરિણામ ઉત્પન્ન કરે છે. ન્યાય એ સંવેદનશીલ કોલમને ભૂંસી નાખવાનો નથી; નિષ્પક્ષતા મેટ્રિક્સ, પ્રોક્સી કંટ્રોલ, સમજાવવાની ક્ષમતા અને ઑબ્જેક્ટ કરવાનો અધિકાર દ્વારા સુનિશ્ચિત. એક વાક્યમાં: પેટર્ન ભૂતકાળનું પુનરાવર્તન કરે છે; ન્યાયને જાળવી રાખવા અને ભેદભાવને નકારવાની જવાબદારી માણસની છે.
એપ્લિકેશન કાર્ય
ક્રેડિટ મોડલ માટે 8-10 ચલોની સૂચિ લખો (કેટલાક ઇરાદાપૂર્વક પ્રોક્સી જોખમ સાથે: પિન કોડ, નામ, શોપિંગ શ્રેણી). 2. નમૂના સાથે પ્રોક્સી તપાસ કરો અને જોખમી લોકોને તેમના કારણો સાથે ચિહ્નિત કરો. પછી એક ભેદભાવયુક્ત વાજબીપણું લખાણ લખો અને તેને નમૂના 1 સાથે સ્કેન કરો. અંતે, જૂથો વચ્ચે મોડેલના અસ્વીકાર દરની તુલના કરવા માટે તમે કયા વાજબીતા મેટ્રિક્સને ટ્રૅક કરશો તે ફકરામાં યોજના બનાવો.
ચેકલિસ્ટ
- [ ] મેં તપાસ કરી છે કે મોડેલ/તર્ક સંરક્ષિત ગુણધર્મોનો ઉપયોગ કરતું નથી.
- [ ] મેં પ્રોક્સી ચલોના જોખમની પણ તપાસ કરી છે.
- [ ] મેં જૂથો વચ્ચે મંજૂરી/અસ્વીકાર અને ભૂલ દરની તુલના કરવાનું આયોજન કર્યું છે.
- [ ] મેં ખાતરી કરી કે દરેક નિર્ણયમાં સમજાવી શકાય તેવું તર્ક છે.
- [ ] મેં ગ્રાહકને વાંધો ઉઠાવવાનો અને માનવીય સમીક્ષા કરવાનો અધિકાર આપ્યો છે.
- [ ] મેં "હિટ" ના આધારે ભેદભાવની લાલ રેખા પણ પાર કરી નથી.