Qazanclar:
- Süni intellekt modellərində qərəzliyin məlumat və dizayndan necə yarandığını və bunun bank işində niyə hüquqi və etik risklər yaratdığını anlamaq
- Qorunan xüsusiyyətləri, proxy dəyişənləri və dolayı ayrı-seçkiliyi tanımaq və ədalətlilik baxımından model qərarlarını sorğulamaq bacarığı
- Ədalət ölçülərinin, xaric edilmiş qrupların və etiraz etmək hüququnun model idarəetməyə necə toxunduğunu anlamaq və ayrı-seçkiliyin qırmızı xəttini qorumaq bacarığı
AI modeli neytral deyil; O, öyrənilən məlumatların güzgüsüdür. Əgər verilənlər keçmiş bərabərsizlikləri daşıyırsa, model onları öyrənir və gələcəyə daşıyır. Bank işində bu mücərrəd etik mübahisə deyil: əgər kredit modeli sistematik olaraq müəyyən bir qrupa mənfi təsir göstərirsə, bu, həm qeyri-qanunidir (ayrı-seçkiliyin qadağan edilməsi), həm də banka reputasiya və sanksiya riskləri gətirən etik pozuntudur. Bu bölmənin məqsədi modelin necə qərəzli, birbaşa və dolayı ayrı-seçkilik formalarına çevrildiyini, dəyişənlərin tələsini və model idarəçiliyində ədalətin necə toxunacağını göstərməkdir. Bir qırmızı xətti əvvəldən demək lazımdır: ayrı-seçkilik nə qədər “statistik” görünsə də, qəbuledilməzdir.
Qərəz haradan gəlir?
- Məlumatın qərəzliliyi: Əgər keçmiş qərarlar ədalətsiz idisə (məsələn, müəyyən qrupa keçmişdə daha az kredit verilmişdir), model bunun “normal” olduğunu düşünür və davam edir. Buna tarixi qərəzlik deyilir.
- Seçmə qərəzliliyi: Bəzi qruplar məlumatda az təmsil olunursa, model onlar haqqında zəif və qeyri-dəqiq öyrənir.
- Etiket qərəzi: Əgər “yaxşı müştəri” tərifinin özü qərəzlidirsə, model qərəz üçün optimallaşdırır.
- Dizayn qərəzi: Hansı dəyişənlərin istifadə ediləcəyi ilə bağlı insan seçimləri də qərəzli ola bilər.
İpucu: “Model məlumatlara əsaslanır, ona görə də obyektivdir” yanlış təsəvvürdür. Məlumat keçmişin anlıq görüntüsüdür; Əgər keçmiş ədalətsiz idisə, “obyektiv” model ədalətsizliyə riyaziyyatla haqq qazandırır. Obyektivlik qərəzsizliyin təminatı deyil.
Birbaşa və dolayı ayrı-seçkilik
- Birbaşa ayrı-seçkilik: Modelin qorunan xüsusiyyətdən (cins, etnik mənsubiyyət, din, yaş) birbaşa istifadəsi. Bu açıq şəkildə qadağandır.
- Dolayı ayrı-seçkilik (surroqat dəyişən / proxy): Model qorunan xüsusiyyətdən birbaşa istifadə etməsə belə, onunla güclü əlaqəli olan başqa dəyişəndən (poçt kodu, ad, alış-veriş kateqoriyası, iş bölgəsi) istifadə edərək eyni nəticəni verir. Poçt kodu tez-tez etnik mənsubiyyət və ya gəlir səviyyəsi üçün proksidir. Model "qonşuluq" deyir, amma nəticə "mənşə" ayrı-seçkiliyidir.
Dəyişən
görünür
proxy ola bilər
Poçt kodu / rayon
coğrafiya
Etnik mənsubiyyət, gəlir səviyyəsi
ad
ID
mənşəyi, cinsi
Alış-veriş kateqoriyası
davranış
həyat tərzi, inanc
məktəbi bitirmişdir
Təhsil
Sosial-iqtisadi mənşəyi
Buna görə də əsaslandırmada “qonşuluq risklidir” kimi ifadəni görəndə həyəcan təbili çalmalıdır: bu, qanuni meyar kimi görünə bilər, lakin dolayı ayrı-seçkilik daşıyır.
Diqqət: Məlumatdan qorunan xüsusiyyətin silinməsi ayrıseçkiliyə son qoymur. Surroqat dəyişənlər onu qaytara bilər. “Həssas sütunu sildim” ilə ədalət əldə olunmur; Bu, qruplar arasında model qərarların nəticələrini sınaqdan keçirməklə əldə edilir.
İdarəetmədə ədalətin toxunması
- Ədalətlilik ölçüləri. Modelin təsdiq/rədd nisbətlərini və qruplar arasında səhv nisbətlərini müqayisə edin. Bir qrup sistematik olaraq daha yüksək imtinalarla qarşılaşırmı?
- Proksi nəzarəti. İstifadə olunan dəyişənlərin qorunan xassələrlə əlaqəsini yoxlayın.
- İzahlılıq. Hər bir qərar üçün əsaslandırma hazırlanmalıdır; “Qara qutu”nun inkarı qeyri-mümkündür.
- Etiraz etmək hüququ. Müştəriyə qərarın əsaslandırılmasını öyrənmək və insan baxışını tələb etmək hüququ verilməlidir.
- İstisna edilən qruplar. Məlumatlarda az təmsil olunan qrupların pis rəftar edilməməsi də yoxlanılmalıdır.
Dörd kopyalana bilən şablon
1) Əsaslandırmada ayrı-seçkiliyin yoxlanılması:
Aşağıdakı kredit qərarının əsaslandırılmasını yoxlayın: qorunan xüsusiyyətə (yaş, cins, mənşə, din) və ya proxy dəyişənə (poçt kodu, qonşuluq, ad, alış-veriş növü) birbaşa/dolayı istinad varmı? Riskli bəyanatları qeyd edin və onların niyə ayrı-seçkilik riski yaratdığını izah edin. Səbəb: [mətn]
2) Dəyişən siyahısı proxy nəzarəti:
Kredit modelində istifadə olunan dəyişənlərin bu siyahısını nəzərdən keçirin. Hansılar qorunan xüsusiyyətin nümayəndəsi ola bilər və dolayı ayrı-seçkilik riski yarada bilər? Hər bir riskli variant üçün əsaslandırmanızı yazın. Siyahı: [dəyişənlər]
3) Qərarın ədalətlilik baxımından xülasəsi (neytral, izah edilə bilən):
Rolunuz: izah edilə bilən qərarın əsaslandırılmasını hazırlayan köməkçi. Yalnız qanuni, ayrı-seçkiliyə yol verməyən meyarlara (borc-gəlir nisbəti, ödəniş tarixi, girov) etibar edin. Qorunan əmlaka və surroqat dəyişənə istinad ETMƏYİN. Məntiqi müştərinin başa düşəcəyi sadə dildə yazın. təsdiqini verəcəm.
4) Etiraz cavabının layihəsi:
Müştəri kreditin rədd edilməsinə etiraz etdi və əsaslandırma tələb etdi. Qanuni meyarlara əsaslanan hörmətli və təsviri cavabın hazırlanması; Müştəriyə insan baxışı və düzəliş hüququnu xatırladın. Heç bir ayrı-seçkilikdən istifadə etməyin. Təsdiqlənmiş imtina səbəbi: [səbəb]
Zəif məlumat / Güclü göstəriş
Zəif çağırış:
Bu bölgədəki tətbiqlər çox risklidir, modeldə rayon məlumatlarından daha çox istifadə edək ki, dəqiqlik artırıla bilsin.
Bu yanaşma rayon əsasında dolayı ayrı-seçkiliyi gücləndirir; “Vurmaq” adı altında qanunsuz nəticəni qanuniləşdirir.
Güclü göstəriş:
Sizin rolunuz: ədalət mühakiməsinin köməkçisi. Surroqat dəyişənlər riski yaradan istifadə olunan dəyişənləri qeyd edin. Təsdiq/rədd nisbəti baxımından qruplar arasında qərarları müqayisə etmək üçün hansı ölçülərə əməl etməli olduğumu təklif edin. Heç vaxt ayrıseçkilik meyarını gücləndirməyin; qanuni və izah edilə bilən meyarlara yönləndirmə.
Güclü iradə proxy riskini axtarır, ədalətlilik ölçülərini təqdim edir və ayrı-seçkiliyi rədd edir.
üç mini qutu
Məsələn 1 – Tarixi qərəzlilik. Bir model müəyyən bir peşə qrupuna sistematik olaraq aşağı bal verir, çünki keçmişdə ona daha az kredit verilmişdir. Ədalətlilik auditi göstərir ki, bu qrup üçün imtina nisbəti oxşar gəlir səviyyələrində olan digərləri ilə müqayisədə 30% yüksəkdir. Model qanuni gəlir və ödəniş meyarları ilə balanslaşdırılmışdır.
Case 2 – Surroqat dəyişən. Poçt kodu bir modeldə güclü dəyişəndir. Audit göstərir ki, poçt indeksi müəyyən etnik cəhətdən cəmləşmiş məhəllələrlə üst-üstə düşür və dolayı mənşəli ayrı-seçkiliyə səbəb olur. Dəyişən çıxarılır və qanuni maliyyə göstəriciləri ilə əvəz olunur; performans məqbul səviyyədə qalır, ayrı-seçkilik aradan qaldırılır.
3-cü hal – etiraz etmək hüququ. Rədd edilmiş müştəri əsaslandırma tələb edir. Bank izah edilə bilən əsaslandırma təqdim edir (yüksək borc-gəlir nisbəti) və insan tərəfindən yoxlanılması sorğusunu qəbul edir. Baxış sənədin səhv oxunduğunu aşkar edir; Qərar düzəldilir. İzahlılıq və etiraz etmək hüququ ədalətlə səhvi kompensasiya edir.
Ədalətlilik ölçüləri: nəyi və necə ölçürük
"Model ədalətlidirmi?" Sualın vahid cavabı yoxdur; Ədalətin bir çox tərifləri var və onlar bəzən bir-biri ilə ziddiyyət təşkil edir. Bank işində praktiki olaraq tətbiq olunan bir neçə yanaşma var:
- Təsdiq/rədd nisbətinin müqayisəsi: Bənzər maliyyə profillərinə malik müxtəlif qruplar (məsələn, gender qrupları) arasında təsdiq dərəcəsi sistematik olaraq fərqlidirmi? Böyük və izah olunmayan fərq qərəzliliyin əlamətidir.
- Səhv nisbətinin bərabərliyi: Modelin yalançı rəddi (qanuni tətbiqdən imtina) dərəcəsi qruplar arasında balanslaşdırılmışdırmı? Bir qrup digərinə nisbətən daha tez-tez haqsız olaraq rədd edilirsə, problem var.
- Kalibrləmə: Modelin “yüksək risk” adlandırdığı müştərilər hər qrupda oxşar dərəcələrlə həqiqətən defoltdurmu? Hesabın mənası qrupdan qrupa keçməməlidir.
Bu göstəricilər bəzən eyni zamanda təqdim edilə bilməz; Ədalətin hansı tərifinin prioritetləşdirilməsi texniki deyil, etik və hüquqi qərardır və insan idarəçiliyini tələb edir.
İpucu: Ədalətlilik ölçüsünü yalnız modeli hazırladığınız zaman deyil, müntəzəm olaraq ölçün. Bir model ədalətli şəkildə canlı ola bilər və məlumatların sürüşməsi səbəbindən zamanla qərəzli ola bilər. Ədalət “qurulmaq” məsələsi deyil, “nəzarət” məsələsidir.
Ümumi səhvlər
- "Obyektiv məlumat" səhvi. Modelin neytral olduğunu fərz etsək; məlumatlar tarixi qərəz daşıyır.
- Sadəcə həssas sütunu silin. Qorunan əmlakın silinməsi və proksi dəyişənlərinin nəzərdən keçirilməsi.
- Ədalətlilik ölçülərini izləməmək. Qruplar arasında rədd/səhv nisbətinin ümumiyyətlə müqayisə edilməməsi.
- Qara qutu qərarını müdafiə etmək. Əsaslandırıla bilməyən qərarı qanuni hesab etmək.
- Etiraz etmək hüququnun aradan qaldırılması. İnsan baxışını deaktiv edir, çünki "bu, prosesi ləngidir".
Diqqət: Ayrı-seçkilik çox vaxt pis niyyətdən deyil, diqqətsizlikdən yaranır. "Dəqiqliyi artırdığı" üçün əlavə edilən dəyişən, bilmədən qrupu istisna edə bilər. Buna görə də ədalət yaxşı niyyətə deyil, müntəzəm sınaqlara əsaslanır.
Xülasə
Süni intellekt modelləri öyrəndikləri məlumatların qərəzli tərəflərini daşıyır və bank işində ayrı-seçkilik hüquqi, etik və reputasiya riskidir. Birbaşa ayrı-seçkilik qorunan xüsusiyyətdən istifadə edir; Dolayı ayrı-seçkilik, əksinə, proxy dəyişənləri (poçt kodu, ad) ilə eyni nəticəni verir. Ədalət həssas sütunu silmək deyil; Ədalətlilik ölçüləri, etibarnamə nəzarəti, izahlılıq və etiraz etmək hüququ ilə təmin edilir. Bir cümlə ilə: Nümunə keçmişi təkrar edir; Ədaləti qorumaq və ayrı-seçkiliyi rədd etmək insanın borcudur.
Tətbiq tapşırığı
Kredit modeli üçün 8-10 dəyişənlərin siyahısını yazın (bəziləri qəsdən proxy riski ilə: poçt kodu, ad, alış-veriş kateqoriyası). 2. Şablonla proksi yoxlama aparın və riskli olanları səbəbləri ilə qeyd edin. Sonra ayrı-seçkilik əsaslandırma mətni yazın və onu şablon 1 ilə skan edin. Nəhayət, qruplar arasında modelin rədd edilmə nisbətini müqayisə etmək üçün hansı ədalətlilik ölçülərini izləyəcəyinizi bir paraqrafda planlaşdırın.
yoxlama siyahısı
- [ ] Mən modelin/məntiqin qorunan xassələrdən istifadə etmədiyini yoxladım.
- [ ] Mən həmçinin proxy dəyişənlərin riskini yoxladım.
- [ ] Mən qruplar arasında təsdiq/rədd və səhv nisbətini müqayisə etməyi planlaşdırdım.
- [ ] Mən hər bir qərarın izah edilə bilən əsaslandırılmasını təmin etdim.
- [ ] Mən müştəriyə etiraz etmək və insan baxışı hüququ verdim.
- [ ] “Vurma” səbəbiylə ayrı-seçkiliyin qırmızı xəttini belə keçmədim.