નફો:
- તે અલ્ગોરિધમિક પૂર્વગ્રહના ડેટા, ડિઝાઇન અને વપરાશ સ્ત્રોતોને ઓળખે છે અને જૂથના આધારે આઉટપુટનું પરીક્ષણ કરે છે.
- પ્રતિસાદ લૂપ અને રજૂઆતની ભૂલ કેવી રીતે અસમાનતાને વધારે છે અને અસર નિયંત્રણ સ્થાપિત કરે છે તે સમજાવે છે.
- તે દરેક સ્વચાલિત નિર્ણયમાં સ્પષ્ટતા અને અપીલની ખાતરી કરીને જવાબદારી સુનિશ્ચિત કરે છે.
જનતાએ તેની શક્તિને સમાનરૂપે બધા પર લાગુ કરવી જોઈએ: સમાન પરિસ્થિતિઓમાં બે નાગરિકો સાથે સમાન વર્તન, વિવિધ પરિસ્થિતિઓમાં પ્રમાણસર તફાવત. સમાનતાનો આ સિદ્ધાંત બંધારણીય જવાબદારી છે. આર્ટિફિશિયલ ઇન્ટેલિજન્સ આ ક્ષેત્રને સુધારી શકે છે અને શાંતિથી વિક્ષેપિત કરી શકે છે. તે સુધારી શકે છે કારણ કે સતત લાગુ કરાયેલ નિયમ મનસ્વીતા અને માનવ પૂર્વગ્રહને ઘટાડી શકે છે. તે ભ્રષ્ટ થઈ શકે છે કારણ કે AI મોડલ ભૂતકાળના ડેટામાંથી શીખે છે અને ભૂતકાળનો ડેટા ભૂતકાળના ભેદભાવને વહન કરે છે. જો કોઈ સિસ્ટમને એવા ડેટા પર પ્રશિક્ષિત કરવામાં આવે છે જેણે ચોક્કસ જૂથને ઐતિહાસિક રીતે ગેરલાભ ઉઠાવ્યો હોય, તો તે તે ગેરલાભને ભવિષ્યમાં વહન કરે છે - અને એવા સ્વરૂપમાં કે જે શોધવાનું વધુ મુશ્કેલ છે, "ઉદ્દેશ અલ્ગોરિધમ" ની આડમાં. આ એકમમાં, તમે જાહેર ક્ષેત્રમાં AI નો ઉપયોગ કરતી વખતે અલ્ગોરિધમિક પૂર્વગ્રહ (ચોક્કસ જૂથો સામે મોડલ આઉટપુટનો પદ્ધતિસરનો પૂર્વગ્રહ) કેવી રીતે ઓળખવો, તેને કેવી રીતે ઘટાડવો અને સૌથી અગત્યનું, અલ્ગોરિધમિક જવાબદારી કેવી રીતે સુનિશ્ચિત કરવી તે શીખીશું (સ્વચાલિત નિર્ણય માટેનો તર્ક સમજાવી શકાય તેવું, ઓડિટેબલ અને હરીફાઈ કરી શકાય તેવું છે).
પક્ષપાત ક્યાંથી આવે છે?
અલ્ગોરિધમિક પૂર્વગ્રહના ઘણા સ્ત્રોતો છે, અને તે બધા જાહેરમાં જોખમી છે:
- ઐતિહાસિક પૂર્વગ્રહ: તાલીમ ડેટા ભૂતકાળની અસમાનતા ધરાવે છે. ઉદાહરણ તરીકે, જો કોઈ વિસ્તારમાં ભૂતકાળમાં ઓછી સેવા હોય, તો "માગ ડેટા" તે વિસ્તારને ઓછી જરૂરિયાતો ધરાવતો બતાવી શકે છે — જ્યારે હકીકતમાં માંગ ઓછી હતી કારણ કે ત્યાં કોઈ સેવા ન હતી.
- પ્રતિનિધિત્વ પૂર્વગ્રહ: કેટલાક જૂથોને ડેટામાં ઓછા રજૂ કરવામાં આવ્યા છે (ડિજિટલ ઍક્સેસ વિનાના, લઘુમતી ભાષા જૂથો) અને મોડેલ તેમના માટે ખરાબ રીતે કામ કરે છે.
- પ્રોક્સી પૂર્વગ્રહ: જો મોડલ પ્રતિબંધિત માપદંડ (વંશીયતા, ધર્મ) ને સીધું જોતું ન હોય તો પણ, તે તેની સાથે સંકળાયેલ પ્રોક્સીને (પડોશ, નામ, પિન કોડ) જોઈને સમાન ભેદભાવ પેદા કરી શકે છે.
- માપન પૂર્વગ્રહ: આપણે જે માપીએ છીએ તે આપણે ખરેખર માપવા માંગીએ છીએ તે નથી. "ફરિયાદોની સંખ્યા" જરૂરિયાતને બદલે ફરિયાદ કરવાની ક્ષમતાને માપે છે.
સાવધાન: "મેં મોડેલમાંથી સંવેદનશીલ ડેટા (લિંગ, વંશીયતા) દૂર કર્યો છે, હવે તે વાજબી છે" એમ કહેવું ભ્રામક છે. પ્રોક્સી વેરિયેબલ્સ દ્વારા ભેદભાવ ચાલુ રહી શકે છે. નિષ્પક્ષતા ઇનપુટ કાઢી નાખવાથી નહીં, પરંતુ જૂથો વચ્ચેના આઉટપુટનું પરીક્ષણ કરીને પ્રાપ્ત થાય છે.
ઔચિત્યની ચકાસણી: આઉટપુટ જુઓ
સિસ્ટમ વાજબી છે કે નહીં તે તેના પરિણામો જોઈને સમજી શકાય છે, તેના ઈરાદાને નહીં. મૂળભૂત પદ્ધતિ: નિર્ણયને જૂથોમાં વહેંચો અને સરખામણી કરો. શું આઉટપુટ જેમ કે સ્વીકૃતિ/અસ્વીકાર દર, ભૂલ દર, રાહ જોવાનો સમય વિવિધ જૂથો (લિંગ, ઉંમર, પ્રદેશ, આવક) વચ્ચે નોંધપાત્ર રીતે અલગ પડે છે? જો કોઈ તફાવત છે, તો શું આ તફાવત કાયદેસરના કારણ પર આધારિત છે અથવા તે ભેદભાવ છે? આ પૃથ્થકરણ માટે વ્યક્તિગત ડેટાની જરૂર પડી શકે છે, તેથી તે KVKK અનુસાર એકીકૃત અને હાથ ધરવામાં આવવું જોઈએ.
ટિપ: નવી AI-સંચાલિત નિર્ણય પ્રણાલીને રોલ આઉટ કરતા પહેલા, વસ્તી વિષયક જૂથો દ્વારા તેના નિર્ણયોને તોડી નાખો અને "નિષ્પક્ષતા અહેવાલ" બનાવો. જો તમને કોઈ તફાવત મળે, તો "શું આ તફાવત સમજાવી શકાય?" પ્રશ્નને લોકોની સમિતિ પાસે લઈ જાઓ.
સમજૂતી અને અપીલ: જવાબદારીનું હૃદય
સાર્વજનિક ક્ષેત્રમાં, "પ્રણાલીએ આવું નક્કી કર્યું છે" એવા જવાબ સાથે કોઈપણ નાગરિકને તેના અધિકારોથી વંચિત કરી શકાશે નહીં. દરેક સ્વચાલિત અથવા AI-આસિસ્ટેડ નિર્ણય માટે, ત્રણ બાબતોની ખાતરી કરવી આવશ્યક છે:
- સ્પષ્ટતા: નિર્ણય શેના પર આધારિત હતો, કયા પરિબળો અસરકારક હતા, તે સાદી ભાષામાં સમજાવવું જોઈએ.
- અપીલ કરવાની રીત: નાગરિકોએ નિર્ણય સામે વાંધો ઉઠાવવો જોઈએ અને માણસને તેની સમીક્ષા કરવાનું કહેવું જોઈએ.
- ઓડિટ ટ્રેલ: તે રેકોર્ડ થવો જોઈએ કે કયા ડેટા, કયા મોડેલ/સંસ્કરણ અને કયા જવાબદાર વ્યક્તિ સાથે નિર્ણય લેવામાં આવ્યો હતો.
ત્રણ નાના કેસો
કેસ 1 - સરોગેટ વેરિઅન્ટ કેપ્ચર. એક સહાય પ્રાથમિકતા મોડેલ સંવેદનશીલ ડેટાનો ઉપયોગ કરતું નથી પરંતુ "ઝિપ કોડ" તરફ જોયું. ઔચિત્યની કસોટીમાં, અમુક પડોશીઓને વ્યવસ્થિત રીતે ઓછી અગ્રતા પ્રાપ્ત થતી જોવા મળી હતી - જે પિન કોડ, આવક અને વંશીય ઘનતા સાથે સંકળાયેલ છે. ચલ દૂર કરવામાં આવ્યું હતું અને અગ્રતા સીધી જરૂરિયાત સૂચકાંકો સાથે જોડાયેલી હતી.
કેસ 2 - પ્રતિનિધિત્વ તફાવત. ચેટબોટ બિન-તુર્કી મૂળ ભાષા ધરાવતા નાગરિકોના પ્રશ્નોને ગેરમાર્ગે દોરવાની શક્યતા 41% વધુ હતી; તાલીમ ડેટામાં આ જૂથનો થોડો સમાવેશ થાય છે. જ્યારે બહુભાષી સપોર્ટ અને માનવ હેન્ડઓવર થ્રેશોલ્ડ ઉમેરવામાં આવ્યા, ત્યારે ગેપ બંધ થયો.
કેસ 3 - અસ્પષ્ટ અસ્વીકાર. સંસ્થાએ આપમેળે અરજી નકારી કાઢી; નાગરિક "શા માટે?" જ્યારે તેમને પૂછવામાં આવ્યું તો મોડલનું કારણ સમજી શકાય તેવું ન હોવાથી અધિકારી સમજાવી શક્યા નહીં. આ ઘટનાએ દર્શાવ્યું હતું કે નબળી સમજૂતી સાથેના મોડલનો ઉપયોગ અધિકારો ધરાવતા નિર્ણયો લેવા માટે કરી શકાતો નથી; સિસ્ટમને એક મોડેલમાં રૂપાંતરિત કરવામાં આવી છે જે વાજબીતા પેદા કરે છે અને માનવ મંજૂરીની જરૂર છે.
ચાર નકલ કરી શકાય તેવા નમૂનાઓ
1) પૂર્વગ્રહ સ્કેનિંગનો સ્ત્રોત:
તમારી ભૂમિકા: અલ્ગોરિધમિક ફેરનેસ નિષ્ણાત. નીચે AI-સંચાલિત નિર્ણય પ્રક્રિયા તપાસો. પૂર્વગ્રહના સંભવિત સ્ત્રોતોની સૂચિ બનાવો: (1) ઐતિહાસિક પૂર્વગ્રહ, (2) પ્રતિનિધિત્વ પૂર્વગ્રહ (અન્ડરપ્રેઝેન્ટેડ જૂથ), (3) પ્રોક્સી ચલો (પ્રતિબંધિત માપદંડ સાથે સંકળાયેલ કૉલમ), (4) માપનો પૂર્વગ્રહ. દરેક માટે એક નક્કર ઉદાહરણ આપો અને મને કહો કે તેનું પરીક્ષણ કેવી રીતે કરવું. પ્રક્રિયા: [નિર્ણય પ્રક્રિયા અને વપરાયેલ ડેટા]
2) નિષ્પક્ષતા પરીક્ષણ યોજના:
નીચેના નિર્ણય આઉટપુટ માટે ઔચિત્ય પરીક્ષણ યોજના બનાવો: મારે કયા જૂથો (ઉંમર, લિંગ, પ્રદેશ, આવક)ને તોડવું જોઈએ, મારે કયા મેટ્રિક્સ (સ્વીકૃતિ દર, ભૂલ દર, રાહ જોવાનો સમય) તુલના કરવી જોઈએ, હું કેવી રીતે નક્કી કરી શકું કે તફાવત કાયદેસર છે કે ભેદભાવપૂર્ણ છે? KVKK ચેતવણી ઉમેરો. નિર્ણય: [શું નિર્ણય]
3) નિર્ણય નિવેદન (નાગરિક માટે):
નીચેના નિર્ણય માટે નાગરિક-સમજી શકાય એવો ડ્રાફ્ટ સમજૂતી લખો: સાદી ભાષામાં કયા પરિબળો પ્રભાવશાળી હતા. અંતે અપીલ કરવાનો અધિકાર અને માનવીય સમીક્ષાની શક્યતા ઉમેરો [પુષ્ટિ થવાના સમય સાથે]. અસ્પષ્ટ અભિવ્યક્તિઓનો ઉપયોગ કરવો જેમ કે "સિસ્ટમએ આવું નક્કી કર્યું." નિર્ણય: [સારાંશ અને પ્રભાવિત પરિબળો]
4) પ્રસાર કરતા પહેલા જવાબદારી તપાસો:
AI-સંચાલિત નિર્ણય પ્રણાલીને રોલ આઉટ કરતા પહેલા એક જવાબદારી ચેકલિસ્ટ તૈયાર કરો: શું તે સમજાવી શકાય તેવું છે, અપીલ કરવાની કોઈ રીત છે, શું ઑડિટ ટ્રેઇલ (ડેટા/મૉડલ વર્ઝન/એકાઉન્ટેબલ) જાળવવામાં આવી છે, ઔચિત્યનું પરીક્ષણ કરવામાં આવ્યું છે, માનવ મંજૂરી બિંદુ ક્યાં છે. ખૂટતી વસ્તુઓને લાલ ફ્લેગ તરીકે ફ્લેગ કરો. સિસ્ટમ: [રેસીપી]
નબળા પ્રોમ્પ્ટ / મજબૂત પ્રોમ્પ્ટ
નબળા: "શું આ નિર્ણય મોડેલ વાજબી છે?"
મજબૂત: "તમારી ભૂમિકા એલ્ગોરિધમિક ઔચિત્યની નિષ્ણાત છે. આ સહાય પ્રાથમિકતા મોડેલ માટે, પ્રથમ પૂર્વગ્રહના સ્ત્રોતો (ઐતિહાસિક, પ્રતિનિધિત્વ, સરોગેટ વેરીએબલ, માપ) માટે સ્કેન કરો અને દરેક માટે નક્કર ઉદાહરણો આપો. પછી ઔચિત્ય પરીક્ષણ યોજના સાથે આવો: વિભાજન કયા જૂથો દ્વારા, કયા મેટ્રિક્સ, કેવી રીતે નક્કી કરવું, KV ની કાયદેસરતા નક્કી કરવી, KV ની કાયદેસરતા નક્કી કરવી. સિસ્ટમ, સ્પષ્ટતા, અપીલ પાથ અને ઓડિટ ટ્રેઇલ માટે એક ચેકલિસ્ટ આપો અને ખામીઓને લાલ ધ્વજ આપો."
તફાવત: એક મજબૂત પ્રોમ્પ્ટ તેના સ્ત્રોત પર પૂર્વગ્રહ શોધે છે, જૂથો દ્વારા આઉટપુટનું પરીક્ષણ કરે છે અને જવાબદારીને વ્યાપક બનાવે છે.
ન્યાયના પરિમાણો અને નિયંત્રણો
કદ
જોખમ
નિયંત્રણ
ઐતિહાસિક માહિતી
ભૂતકાળ અસમાનતા વહન કરે છે
જૂથો દ્વારા પરીક્ષણ આઉટપુટ
પ્રતિનિધિત્વ
કેટલાક જૂથ માટે ખરાબ રીતે કામ કરે છે
જૂથ આધારિત ભૂલ દર
સરોગેટ ચલ
અપ્રગટ ભેદભાવ
ચલ-સંવેદનશીલ માપદંડ સંબંધ
સ્પષ્ટતા
ગેરવાજબી નિર્ણય
સરળ સમજૂતી બનાવો
વાંધો
જપ્તી
માનવ સમીક્ષા પાથ
પ્રતિસાદ લૂપ અને પ્રતિનિધિત્વ ભૂલ
અલ્ગોરિધમિક ભેદભાવનું સૌથી કપટી સ્વરૂપ એક ખોટા નિર્ણયમાં નહીં પરંતુ પ્રતિસાદ લૂપમાં થાય છે જે સમય જતાં પોતાને મજબૂત બનાવે છે (મોડેલનું આઉટપુટ અનુગામી તાલીમ ડેટાને અસર કરે છે, હાલના પૂર્વગ્રહને મજબૂત બનાવે છે). ઉદાહરણ તરીકે, જો કોઈ નિરીક્ષણ મોડેલ કોઈ ચોક્કસ પડોશને "જોખમી" તરીકે ફ્લેગ કરે છે, તો વધુ નિરીક્ષણો ત્યાં જાય છે, વધુ રેકોર્ડ્સ બનાવવામાં આવે છે, મોડેલ તે પડોશને જોખમી તરીકે જુએ છે — જો કે તફાવત જોવામાં આવેલ સ્થાનમાં વધ્યો છે, વાસ્તવિક જોખમમાં નહીં. આ માટે જે માર્ગ મોકળો કરે છે તે ઘણીવાર પ્રતિનિધિત્વની ભૂલ છે (કેટલાક જૂથોને અપૂર્ણ અથવા વિકૃત રીતે પ્રતિબિંબિત કરતી તાલીમ ડેટા). જાહેર ક્ષેત્રમાં, આ ચક્રો વંચિત જૂથોને વધુને વધુ ગંભીર દેખરેખ અને પ્રતિબંધો હેઠળ મૂકી શકે છે. તમારી જાતને બચાવવાની રીત એ છે કે મોડેલની અસરનું નિરીક્ષણ કરવું, માત્ર તેના આઉટપુટ પર જ નહીં: નિર્ણયોના જૂથ-આધારિત વિતરણ પર નિયમિતપણે દેખરેખ રાખવી અને મોડેલની ભલામણોને આંખ આડા કાન ન કરવા.
મીની કેસ - સ્વ-વૃદ્ધિ શંકા. કલ્યાણ છેતરપિંડી શોધ મોડેલે એવા પ્રદેશને ધ્વજાંકિત કર્યો કે જેનું ભૂતકાળમાં વધુ ભારે જોખમ તરીકે તપાસ કરવામાં આવી હતી. જ્યારે ટીમે ડેટામાંથી અમલીકરણની તીવ્રતા કાઢી અને "વસ્તી સંબંધિત સાચા શોધ દર" માપ્યા, ત્યારે તેઓએ જોયું કે પ્રદેશો વચ્ચેના તફાવતો મોટાભાગે અદૃશ્ય થઈ ગયા છે; મોડલ અસમાનતાને વાસ્તવિક જોખમ માટે સમજે છે.
જૂથ આધારિત અસર નિયંત્રણ નમૂનો:
કાર્ય: જૂથો દ્વારા નીચેના નિર્ણય ડેટાની તપાસ કરો (કોઈ વ્યક્તિગત ડેટા, સ્પષ્ટ સારાંશ નથી). ડેટા: [જૂથ | સંપૂર્ણ નિર્ણય | નકારાત્મક નિર્ણય દર | નિરીક્ષણની તીવ્રતા]આઉટપુટ: 1) શું નકારાત્મક નિર્ણય દર જૂથો વચ્ચે નોંધપાત્ર તફાવત દર્શાવે છે? 2) શું તફાવત વાસ્તવિક જોખમ અથવા નિયંત્રણ/પ્રતિનિધિત્વની તીવ્રતાને કારણે હોઈ શકે છે? 3) શું પ્રતિસાદ લૂપની કોઈ નિશાની છે? 4) માનવ નિયંત્રણ માટેની ભલામણો. નિયમ: કાર્યકારણનો દાવો સ્થાપિત કરવો; સંભવિત સમજૂતીઓ અને પરીક્ષણ કરવાની રીતોની સૂચિ બનાવો.
સાવધાન: "મૉડલ તટસ્થ છે કારણ કે તે દરેકને સમાન નિયમ લાગુ કરે છે" તેવી દલીલ ભ્રામક છે. સમાન નિયમ, જ્યારે ત્રાંસી ડેટા પર લાગુ કરવામાં આવે છે, ત્યારે અસમાનતાને સાચવે છે અને વિસ્તૃત કરે છે. ન્યાય પરિણામની સમાનતા દ્વારા માપવામાં આવે છે, નિયમથી નહીં.
સામાન્ય ભૂલો
- સંવેદનશીલ ડેટા કાઢી નાખવું અને "તે વાજબી છે" એવું વિચારવું. સરોગેટ ચલો ભેદભાવને કાયમી બનાવે છે; આઉટપુટનું પરીક્ષણ કરો.
- ઇરાદા દ્વારા ન્યાયનું માપન. અંતે ન્યાય દેખાય છે; નિર્ણયોને જૂથોમાં સૉર્ટ કરો અને સરખામણી કરો.
- અન્ડરપ્રેઝેન્ટેડ જૂથને ભૂલી જવું. લઘુમતી જૂથ માટે મોડલ શાંતિથી ખરાબ રીતે કામ કરી શકે છે; જૂથ આધારિત ભૂલ જુઓ.
- અધિકારો આપતા નિર્ણયોમાં ન સમજાય તેવા મોડેલનો ઉપયોગ કરવો. જે સિસ્ટમ વાજબીતા પેદા કરી શકતી નથી તે જાહેર નિર્ણયો લઈ શકતી નથી.
- વાંધાઓનું કોઈ માધ્યમ પ્રદાન કરતું નથી. દરેક સ્વચાલિત નિર્ણય માનવ સમીક્ષાને આધીન હોવો જોઈએ.
- ઓડિટ ટ્રેઇલ રાખતા નથી. નિર્ણય કયા ડેટા/મૉડલ/જવાબદાર વ્યક્તિ સાથે લેવામાં આવ્યો હતો તે નોંધવું જોઈએ.
સારાંશમાં
સાર્વજનિક ક્ષેત્રમાં, AI સુસંગતતા વધારી શકે છે પણ ભૂતકાળના ભેદભાવને શાંતિપૂર્વક વહન કરી શકે છે. પૂર્વગ્રહ ઐતિહાસિક ડેટા, પ્રતિનિધિત્વ ગેપ, પ્રોક્સી ચલો અને અચોક્કસ માપનમાંથી આવે છે; સંવેદનશીલ ડેટા ડિલીટ કરવાથી તેનો ઉકેલ નહીં આવે. જૂથોમાં પરિણામનું પરીક્ષણ કરીને નિષ્પક્ષતા પ્રાપ્ત થાય છે. અને "સિસ્ટમએ આમ કહ્યું" દ્વારા કોઈપણ નાગરિકને મતાધિકારથી વંચિત કરી શકાતો નથી: દરેક નિર્ણય સમજાવી શકાય તેવું, હરીફાઈ કરી શકાય તેવું અને ઑડિટેબલ હોવું જોઈએ. તે સંસ્થા છે જે જવાબદાર છે, અલ્ગોરિધમ નહીં.
એપ્લિકેશન કાર્ય
તમારા યુનિટમાં AI-સંચાલિત અથવા સ્વચાલિત નિર્ણય પ્રક્રિયા પસંદ કરો. સંભવિત પૂર્વગ્રહોની સૂચિ બનાવો અને ઓછામાં ઓછા એક સરોગેટ વેરિયેબલ જોખમને "બાયસ સ્કેનનો સ્ત્રોત" ટેમ્પલેટ સાથે શોધો. "ફેરનેસ ટેસ્ટ પ્લાન" સાથે કયા જૂથ બ્રેકડાઉનને જોવું તે નક્કી કરો. નમૂનાના નિર્ણય માટે, "નિર્ણયની સ્પષ્ટતા" નમૂના સાથે નાગરિક-સામનો સમજૂતી બનાવો.
ચેકલિસ્ટ
- [ ] મેં પૂર્વગ્રહના સ્ત્રોતો (ઐતિહાસિક, પ્રતિનિધિત્વ, પ્રોક્સી, માપન) માટે સ્કેન કર્યું.
- [ ] મેં માત્ર સંવેદનશીલ ડેટા જ ડિલીટ કર્યો નથી; મેં જૂથો દ્વારા આઉટપુટનું પરીક્ષણ કર્યું.
- [ ] મેં અન્ડરપ્રેઝેન્ટેડ જૂથો માટે ભૂલ દરને નિયંત્રિત કર્યો.
- [ ] મેં દરેક નિર્ણય માટે સરળ, સમજાવી શકાય તેવું સમર્થન આપ્યું છે.
- [ ] મેં વાંધો અને માનવ સમીક્ષા પાથ વ્યાખ્યાયિત કર્યો છે.
- [ ] ઓડિટ ટ્રેલ (ડેટા/મોડેલ સંસ્કરણ/જવાબદાર) જાળવવામાં આવે છે.