Qazanclar:
- O, alqoritmik meylin verilənlərini, dizaynını və istifadə mənbələrini tanıyır və nəticəni qrup əsasında sınaqdan keçirir.
- Geribildirim döngəsi və təmsil xətasının bərabərsizliyi necə böyütdüyünü və təsirə nəzarəti necə qurduğunu izah edir.
- O, hər bir avtomatlaşdırılmış qərarda izahlılığı və müraciəti təmin etməklə hesabatlılığı təmin edir.
İctimaiyyət öz gücünü hamıya bərabər tətbiq etməlidir: oxşar vəziyyətdə olan iki vətəndaşa oxşar rəftar, müxtəlif vəziyyətlərə mütənasib fərq. Bu bərabərlik prinsipi konstitusiya öhdəliyidir. Süni intellekt bu sahəni həm təkmilləşdirə, həm də sakitcə poza bilər. Bu, təkmilləşə bilər, çünki ardıcıl tətbiq olunan qayda özbaşınalığı və insan qərəzliyini azalda bilər. Bu, pozucu ola bilər, çünki AI modelləri keçmiş məlumatlardan öyrənirlər və keçmiş məlumatlar keçmişin ayrı-seçkiliyini daşıyır. Əgər sistem müəyyən bir qrupa tarixən mənfi təsir göstərən məlumatlar üzərində öyrədilibsə, o, bu mənfi cəhəti gələcəyə daşıyacaq və “obyektiv alqoritm” adı altında aşkarlanması daha çətin olan formada. Bu bölmədə siz dövlət sektorunda süni intellektdən istifadə edərkən alqoritmik qərəzliyi (müəyyən qruplara qarşı model çıxışının sistematik qərəzliyi) tanımağı, onu necə azaltmağı və ən əsası alqoritmik hesabatlılığı necə təmin etməyi öyrənəcəksiniz (avtomatlaşdırılmış qərarın izah edilə bilən, yoxlanıla bilən və mübahisəli olması üçün əsaslar).
Qərəz haradan gəlir?
Alqoritmik qərəzliliyin bir neçə mənbəyi var və onların hamısı ictimaiyyətdə risklidir:
- Tarixi qərəz: Təlim məlumatları keçmiş bərabərsizliyi ehtiva edir. Məsələn, əgər ərazi keçmişdə daha az xidmət göstəribsə, “tələb məlumatları” həmin ərazinin aşağı ehtiyaclara malik olduğunu göstərə bilər – halbuki əslində heç bir xidmət olmadığı üçün tələb aşağı idi.
- Nümayəndəliyin qərəzliliyi: Bəzi qruplar verilənlərdə az təmsil olunur (rəqəmsal çıxışı olmayanlar, azlıqların dil qrupları) və model onlar üçün zəif işləyir.
- Proksi qərəzliliyi: Model qadağan olunmuş meyara (etnik mənsubiyyət, din) birbaşa baxmasa belə, onunla əlaqəli proksiyə (qonşuluq, ad, poçt kodu) baxaraq eyni ayrı-seçkiliyi yarada bilər.
- Ölçmə qərəzi: Ölçdüklərimiz əslində ölçmək istədiyimiz şey deyil. “Şikayətlərin sayı” ehtiyacdan çox şikayət etmək qabiliyyətini ölçür.
Diqqət: "Həssas məlumatları (cins, etnik mənsubiyyət) modeldən sildim, indi ədalətlidir" demək yanlışdır. Proksi dəyişənlər vasitəsilə ayrı-seçkilik davam edə bilər. Ədalətliliyə girişi silməklə deyil, çıxışı qruplar arasında sınaqdan keçirməklə əldə edilir.
Ədalətliliyin yoxlanılması: nəticəyə baxın
Bir sistemin ədalətli olub-olmadığını onun niyyətlərinə deyil, nəticələrinə baxmaqla başa düşmək olar. Əsas metod: qərarı qruplara bölün və müqayisə edin. Qəbul/rədd nisbəti, səhv nisbəti, gözləmə müddəti kimi nəticələr müxtəlif qruplar (cins, yaş, bölgə, gəlir) arasında əhəmiyyətli dərəcədə fərqlənirmi? Əgər fərq varsa, bu fərq qanuni səbəbə əsaslanır, yoxsa ayrı-seçkilikdir? Bu təhlil şəxsi məlumat tələb edə bildiyi üçün onlar KVKK-ya uyğun olaraq birləşdirilməli və aparılmalıdır.
İpucu: Süni intellektə əsaslanan yeni qərar sistemini təqdim etməzdən əvvəl onun qərarlarını demoqrafik qruplar üzrə bölün və “ədalətlilik hesabatı” hazırlayın. Əgər fərq tapsanız, "bu fərqi izah etmək olarmı?" Sualı xalq komitəsinə verin.
İzahlılıq və müraciət: cavabdehliyin ürəyi
Dövlət sektorunda heç bir vətəndaş “sistem belə qərar verdi” cavabı ilə hüquqlarından məhrum edilə bilməz. Hər bir avtomatlaşdırılmış və ya süni intellektlə dəstəklənən qərar üçün üç şey təmin edilməlidir:
- İzahlılıq: Qərarın nəyə əsaslandığı, hansı amillərin təsirli olduğu, sadə dillə izah edilməlidir.
- Müraciət etmə üsulu: Vətəndaşlar qərara etiraz edə və insandan qərara baxılmasını tələb edə bilməlidirlər.
- Audit izi: Qərarın hansı məlumat, hansı model/versiya və hansı məsul şəxslə qəbul edildiyi qeyd edilməlidir.
üç mini qutu
1-ci hal – Surroqat variant tutuldu. Bir yardım prioritetləşdirmə modeli həssas məlumatlardan istifadə etmədi, lakin "poçt koduna" baxdı. Ədalətlilik testində müəyyən məhəllələrin sistematik olaraq aşağı prioritet aldığı aşkar edildi - poçt indeksi, gəlir və etnik sıxlıq ilə əlaqəli. Dəyişən çıxarıldı və prioritet birbaşa ehtiyac göstəricilərinə bağlandı.
2-ci hal – Nümayəndəlik boşluğu. Bir chatbotun ana dili türk olmayan vətəndaşları çaşdırmaq ehtimalı 41% daha çox idi; Təlim məlumatlarında bu qrup haqqında çox az şey var. Çoxdilli dəstək və insan təhvil həddi əlavə edildikdə, boşluq bağlandı.
3-cü hal - Səbəbsiz rədd. Təşkilat avtomatik olaraq ərizəni rədd etdi; vətəndaş "niyə?" Soruşanda, modelin səbəbi anlaşılan olmadığı üçün məmur izah edə bilməyib. Hadisə göstərdi ki, izahat qabiliyyəti zəif olan modellər hüquq müdafiə edən qərarlar qəbul etmək üçün istifadə edilə bilməz; Sistem əsaslandırma yaradan və insanların təsdiqini tələb edən bir modelə çevrildi.
Dörd kopyalana bilən şablon
1) Qərəz skanının mənbəyi:
Sizin rolunuz: alqoritmik ədalət eksperti. Aşağıdakı süni intellektlə işləyən qərar prosesinə baxın. Mümkün qərəzlilik mənbələrini sadalayın: (1) tarixi qərəz, (2) təmsil tərəfi (az təmsil olunan qrup), (3) proxy dəyişənlər (qadağan edilmiş meyarla əlaqəli sütun), (4) ölçmə qərəzi. Hər biri üçün konkret bir nümunə verin və onu necə sınayacağımı söyləyin. PROSES: [qərar vermə prosesi və istifadə olunan məlumatlar]
2) Ədalət testi planı:
Aşağıdakı qərar nəticəsi üçün ədalətlilik testi planı yaradın: hansı qrupları (yaş, cins, bölgə, gəlir) bölməliyəm, hansı ölçüləri (qəbul nisbəti, səhv nisbəti, gözləmə müddəti) müqayisə etməliyəm, fərqin qanuni və ya ayrı-seçkilik olduğuna necə qərar verə bilərəm? KVKK xəbərdarlığı əlavə edin. QƏRAR: [hansı qərar]
3) Qərarın bəyanatı (vətəndaşa):
Aşağıdakı qərar üçün vətəndaş üçün başa düşülən izahat layihəsi yazın: hansı amillərin təsir göstərdiyi, sadə dillə. Sonda apellyasiya hüququnu və insan baxışına sahib olmaq imkanını [təsdiqlənmə vaxtı ilə] əlavə edin. “Sistem belə qərar verdi” kimi qeyri-müəyyən ifadələrdən istifadə etməklə. QƏRAR: [xülasə və təsir edən amillər]
4) Yayılmadan əvvəl hesabatlılığın yoxlanılması:
Süni intellektlə işləyən qərar sistemini tətbiq etməzdən əvvəl hesabatlılığa nəzarət siyahısı hazırlayın: bu izah edilə bilərmi, müraciət etmək üçün bir yol varmı, audit izi (məlumat/model versiyası/məsuliyyətli) saxlanılıbmı, ədalətlilik testi aparılıbmı, insan təsdiq nöqtəsi haradadır. Çatışmayan elementləri qırmızı bayraq kimi qeyd edin. SİSTEM: [resept]
Zəif məlumat / Güclü göstəriş
Zəif: "Bu qərar modeli ədalətlidirmi?"
Güclü: "Sizin rolunuz alqoritmik ədalət ekspertidir. Bu yardım prioritetləşdirmə modeli üçün əvvəlcə qərəzlilik mənbələrini (tarixi, təmsil, surroqat dəyişən, ölçmə) skan edin və hər biri üçün konkret nümunələr verin. Sonra ədalət testi planı hazırlayın: hansı qruplar, hansı ölçülər, fərqin legitimliyinə necə qərar verilməli; müharibə başlamazdan əvvəl KVK sistemini yoxlayın, siyahı əlavə edin. izahat, müraciət yolu və audit izi və çatışmazlıqları qırmızı bayraqla qeyd edin."
Fərq: güclü təklif öz mənbəyində qərəz axtarır, nəticə qruplar tərəfindən sınaqdan keçirilir və hesabatlılığı geniş vüsət alır.
Ədalət ölçüləri və nəzarətləri
Ölçü
Risk
nəzarət
tarixi məlumatlar
Keçmiş bərabərsizlik daşıyır
Qruplar üzrə test nəticələri
təmsil
Bəzi qruplar üçün pis işləyir
Qrup əsaslı səhv dərəcəsi
surroqat dəyişən
gizli ayrı-seçkilik
Dəyişən-həssas kriteriya əlaqəsi
İzahlılıq
əsassız qərar
Sadə izahat yaradın
etiraz
müsadirə
İnsan baxışı yolu
Geribildirim döngəsi və təmsil xətası
Alqoritmik ayrı-seçkiliyin ən məkrli forması tək bir səhv qərarda deyil, zamanla özünü gücləndirən əks əlaqə dövrəsində baş verir (modelin çıxışı sonrakı təlim məlumatlarına təsir edir, mövcud qərəzi gücləndirir). Məsələn, yoxlama modeli müəyyən bir məhəlləni “riskli” olaraq qeyd edirsə, ora nə qədər çox yoxlama gedirsə, bir o qədər çox qeyd yaradılır, model həmin məhəlləni daha riskli görür – baxmayaraq ki, fərq faktiki riskdə deyil, baxılan yerdə artmışdır. Bunun yolunu açan isə çox vaxt təmsil xətasıdır (bəzi qrupları natamam və ya təhrif olunmuş şəkildə əks etdirən təlim məlumatları). Dövlət sektorunda bu dövrələr əlverişsiz qrupları getdikcə daha ciddi nəzarət və sanksiyalar altına sala bilər. Özünüzü qorumağın yolu modelin nəinki onun nəticələrini deyil, həm də təsirini izləməkdir: qərarların qrup əsasında paylanmasına mütəmadi olaraq nəzarət etmək və modelin tövsiyələrini kor-koranə yerinə yetirməmək.
Mini kassa - özünü böyüdən şübhə. Rifah fırıldaqlarının aşkarlanması modeli keçmişdə daha çox yoxlanılan bölgəni yüksək risk olaraq qeyd etdi. Komanda məlumatlardan icra intensivliyini çıxaran və “əhali ilə bağlı həqiqi aşkarlama nisbətini” ölçəndə, bölgələr arasındakı fərqlərin böyük ölçüdə yox olduğunu aşkar etdilər; Model bərabərsizliyi real risk kimi qəbul etdi.
Qrup əsaslı təsirə nəzarət şablonu:
Tapşırıq: Aşağıdakı qərar məlumatlarını qruplar üzrə yoxlayın (şəxsi məlumat yoxdur, kateqoriyalı xülasə). Məlumat: [qrup | ümumi qərar | mənfi qərar dərəcəsi | yoxlama intensivliyi]Çıxış: 1) Mənfi qərar dərəcəsi qruplar arasında əhəmiyyətli fərq göstərirmi? 2) Fərq faktiki risk və ya nəzarət/təmsiletmə intensivliyi ilə bağlı ola bilərmi? 3) Geribildirim döngəsinin hər hansı bir əlaməti varmı? 4) İnsan nəzarəti üçün tövsiyələr. Qayda: Səbəb əlaqəsinin müəyyən edilməsi; Mümkün izahatları və test üsullarını sadalayın.
Diqqət: “Model neytraldır, çünki o, hamıya eyni qayda tətbiq edir” arqumenti yanlışdır. Eyni qayda, əyri məlumatlara tətbiq edildikdə, bərabərsizliyi qoruyur və artırır. Ədalət qayda ilə deyil, nəticənin bərabərliyi ilə ölçülür.
Ümumi səhvlər
- Həssas məlumatları silmək və "ədalətli" düşünmək. Surroqat dəyişənlər ayrı-seçkiliyi davam etdirir; çıxışı sınayın.
- Ədalətin niyyətlə ölçülməsi. Ədalət sonda görünür; Qərarları qruplara ayırın və müqayisə edin.
- Yetərincə təmsil olunmayan qrupu unutmaq. Model azlıq qrupu üçün səssizcə zəif işləyə bilər; Qrup əsaslı xətaya baxın.
- Hüquqların verilməsi ilə bağlı qərarlarda izah olunmayan modeldən istifadə. Bəraət qazana bilməyən sistem ictimai qərarlar verə bilməz.
- Heç bir etiraz vasitəsi təqdim etməmək. Hər bir avtomatlaşdırılmış qərar insan tərəfindən nəzərdən keçirilməlidir.
- Audit izi saxlamamaq. Qərarın hansı məlumat/model/məsul şəxslə qəbul edildiyi qeyd edilməlidir.
Xülasə
Dövlət sektorunda süni intellekt ardıcıllığı artıra bilər, həm də keçmişin ayrı-seçkiliyini sakitcə daşıya bilər. Qərəz tarixi məlumatlardan, təqdimat boşluğundan, proxy dəyişənlərdən və qeyri-dəqiq ölçmədən irəli gəlir; Həssas məlumatların silinməsi problemi həll etməyəcək. Ədalətlilik nəticəni qruplar arasında sınaqdan keçirməklə əldə edilir. Və heç bir vətəndaşı “sistem belə dedi” ilə seçki hüququndan məhrum edə bilməz: hər bir qərar izah edilə bilən, mübahisəli və yoxlanıla bilən olmalıdır. Məsuliyyət alqoritm deyil, qurumdur.
Tətbiq tapşırığı
Vahidinizdə süni intellektlə işləyən və ya avtomatlaşdırılmış qərar prosesi seçin. Mümkün qərəzləri sadalayın və “Qərəzli tarama mənbəyi” şablonu ilə ən azı bir surroqat dəyişən riski tapın. "Ədalətlilik testi planı" ilə hansı qrup bölgüsünə baxmaq lazım olduğunu müəyyənləşdirin. Nümunə qərar üçün "Qərarın izahı" şablonu ilə vətəndaşla bağlı izahat hazırlayın.
yoxlama siyahısı
- [ ] Mən qərəz mənbələri (tarixi, təmsil, proxy, ölçmə) üçün skan etdim.
- [ ] Mən yalnız həssas məlumatları silməmişəm; Mən çıxışı qruplar üzrə sınaqdan keçirdim.
- [ ] Mən az təmsil olunan qruplar üçün səhv nisbətinə nəzarət edirdim.
- [ ] Mən hər bir qərar üçün sadə, izah edilə bilən əsaslandırma təqdim etmişəm.
- [ ] Mən etiraz və insan baxış yolunu müəyyən etmişəm.
- [ ] Audit izi (məlumat/model versiyası/məsul) saxlanılır.