Daromadlar:
- U algoritmik tarafkashlikning ma'lumotlar, dizayn va foydalanish manbalarini taniydi va natijani guruh asosida sinab ko'radi.
- Qayta aloqa davri va vakillik xatosi tengsizlikni qanday oshirishini tushuntiradi va ta'sir nazoratini o'rnatadi.
- Bu har bir avtomatlashtirilgan qarorda tushuntirish va shikoyat qilishni ta'minlash orqali javobgarlikni ta'minlaydi.
Jamoat o'z kuchini hammaga birdek qo'llashi kerak: o'xshash vaziyatdagi ikki fuqaroga o'xshash munosabat, turli vaziyatlarga mutanosib farq. Bu tenglik prinsipi konstitutsiyaviy majburiyatdir. Sun'iy intellekt bu sohani ham yaxshilashi, ham jimgina buzishi mumkin. Bu yaxshilanishi mumkin, chunki izchil qo'llaniladigan qoida o'zboshimchalik va insoniy munosabatni kamaytirishi mumkin. Bu buzuq bo'lishi mumkin, chunki AI modellari o'tmishdagi ma'lumotlardan o'rganadi va o'tmishdagi ma'lumotlar o'tmishni kamsitadi. Agar tizim tarixan ma'lum bir guruhni noqulay ahvolga solgan ma'lumotlarga o'qitilgan bo'lsa, u bu kamchilikni kelajakka olib keladi - va "ob'ektiv algoritm" niqobi ostida aniqlash qiyinroq bo'lgan shaklda. Ushbu bo'limda siz davlat sektorida sun'iy intellektdan foydalanganda algoritmik noto'g'rilikni (ma'lum guruhlarga nisbatan model chiqishining tizimli tomoni) qanday tanib olishni, uni qanday kamaytirishni va eng muhimi, algoritmik javobgarlikni qanday ta'minlashni o'rganasiz (avtomatlashtirilgan qarorning mantiqiyligi tushuntirilishi mumkin, tekshirilishi mumkin va bahsli).
Tartibsizlik qayerdan keladi?
Algoritmlarning bir nechta manbalari mavjud va ularning barchasi omma oldida xavflidir:
- Tarixiy tarafkashlik: Trening ma'lumotlari o'tmishdagi tengsizlikni o'z ichiga oladi. Misol uchun, agar hududda o'tmishda kamroq xizmat ko'rsatilgan bo'lsa, "talab ma'lumotlari" bu hududning kam ehtiyojga ega ekanligini ko'rsatishi mumkin - aslida xizmat yo'qligi sababli talab past edi.
- Vakillik tarafdori: Ba'zi guruhlar ma'lumotlarda kam ifodalangan (raqamli kirish imkoniyati bo'lmaganlar, ozchiliklar tillari guruhlari) va model ular uchun yomon ishlaydi.
- Proksi tarafkashligi: Model taqiqlangan mezonga (millat, din) to'g'ridan-to'g'ri qaramasa ham, u bilan bog'liq proksi-serverga (mahalla, ism, pochta indeksi) qarab bir xil kamsitishni keltirib chiqarishi mumkin.
- O'lchov tarafdori: Biz o'lchagan narsa biz o'lchamoqchi bo'lgan narsa emas. "Shikoyatlar soni" ehtiyojni emas, balki shikoyat qilish qobiliyatini o'lchaydi.
Diqqat: "Men nozik ma'lumotlarni (jins, etnik kelib chiqishi) modeldan olib tashladim, endi bu adolatli" deyish noto'g'ri. Proksi o'zgaruvchilar orqali diskriminatsiya davom etishi mumkin. Adolatga kirishni o'chirish orqali emas, balki guruhlar o'rtasida chiqishni sinab ko'rish orqali erishiladi.
Adolatni tekshirish: natijaga qarang
Tizim adolatli yoki adolatsizligini uning niyatlariga emas, natijalariga qarab tushunish mumkin. Asosiy usul: qarorni guruhlarga bo'lish va solishtirish. Qabul qilish/rad etish darajasi, xato darajasi, kutish vaqti kabi natijalar turli guruhlar (jins, yosh, mintaqa, daromad) o'rtasida sezilarli darajada farq qiladimi? Agar farq bo'lsa, bu farq qonuniy sababga asoslanganmi yoki bu kamsitishmi? Ushbu tahlil shaxsiy ma'lumotlarni talab qilishi mumkinligi sababli, ular KVKKga muvofiq yig'ilishi va amalga oshirilishi kerak.
Maslahat: Yangi sun'iy intellektga asoslangan qarorlar tizimini ishlab chiqarishdan oldin, uning qarorlarini demografik guruhlar bo'yicha taqsimlang va "adolatlilik hisobotini" tayyorlang. Agar siz farqni topsangiz, "bu farqni tushuntirish mumkinmi?" Savolni odamlar qo'mitasiga bering.
Tushuntirish va murojaat qilish: javobgarlikning yuragi
Davlat sektorida “tizim shunday qaror qildi” degan javob bilan hech bir fuqaroni huquqlaridan mahrum qilib bo‘lmaydi. Har bir avtomatlashtirilgan yoki AI yordamidagi qaror uchun uchta narsa ta'minlanishi kerak:
- Tushuntirish mumkinligi: qaror nimaga asoslangan, qanday omillar samarali bo'lganligi, oddiy tilda tushuntirilishi kerak.
- Shikoyat qilish usuli: Fuqarolar qarorga e'tiroz bildirishi va uni ko'rib chiqishni insondan so'rashi kerak.
- Audit izi: Qaysi ma'lumotlar, qaysi model/versiya va qaysi mas'ul shaxs bilan qaror qabul qilinganligi qayd etilishi kerak.
uchta mini holat
1-holat - Surrogat varianti qo'lga olindi. Bir yordam ustuvorligi modeli nozik ma'lumotlardan foydalanmadi, lekin "pochta indeksiga" qaradi. Adolat sinovida ayrim mahallalar pochta indeksi, daromad va etnik zichlik bilan bog'liq holda tizimli ravishda past ustuvorlikka ega ekanligi aniqlandi. O'zgaruvchi olib tashlandi va ustuvorlik to'g'ridan-to'g'ri ehtiyoj ko'rsatkichlari bilan bog'landi.
2-holat - vakillik bo'shlig'i. Chatbot 41% ko'proq turkiy bo'lmagan ona tiliga ega bo'lgan fuqarolarning savollarini chalg'itdi; Trening ma'lumotlari ushbu guruhning ozgina qismini o'z ichiga oladi. Ko'p tilli qo'llab-quvvatlash va odamni topshirish chegarasi qo'shilgach, bo'shliq yopildi.
3-holat - izohsiz rad etish. Muassasa arizani avtomatik ravishda rad etdi; fuqaro "nima uchun?" So'ralganda, ofitser tushuntira olmadi, chunki modelning sababi tushunarsiz edi. Voqea shuni ko'rsatdiki, tushunarliligi past bo'lgan modellardan huquqqa oid qarorlar qabul qilishda foydalanish mumkin emas; Tizim asoslovchi va inson roziligini talab qiladigan modelga aylantirildi.
To'rt nusxa ko'chirish shablonlari
1) noto'g'ri skanerlash manbai:
Sizning rolingiz: algoritmik adolat bo'yicha mutaxassis. Quyida sunʼiy intellekt asosidagi qaror qabul qilish jarayonini koʻrib chiqing. Mumkin bo'lgan noto'g'ri manbalarni sanab o'ting: (1) tarixiy noto'g'ri, (2) vakillik nuqtai nazari (kam ko'rsatilgan guruh), (3) proksi o'zgaruvchilar (taqiqlangan mezon bilan bog'liq ustun), (4) o'lchov tarafkashligi. Har biriga aniq misol keltiring va uni qanday tekshirishni ayting. JARAYON: [qaror qabul qilish jarayoni va foydalanilgan ma'lumotlar]
2) Adolat sinovi rejasi:
Quyidagi qaror natijalari uchun adolatni tekshirish rejasini tuzing: qaysi guruhlarni (yosh, jins, mintaqa, daromad) ajratishim kerak, qaysi ko'rsatkichlarni (qabul qilish darajasi, xato darajasi, kutish vaqti) solishtirishim kerak, farq qonuniy yoki kamsituvchi ekanligini qanday hal qilishim mumkin? KVKK ogohlantirishini qo'shing. QAROR: [qanday qaror]
3) Qaror bayonnomasi (fuqaroga):
Fuqarolar uchun tushunarli bo'lgan quyidagi qaror uchun tushuntirish loyihasini yozing: qanday omillar ta'sir qilgan, sodda tilda. Oxirida shikoyat qilish huquqini va inson tomonidan ko'rib chiqish imkoniyatini [tasdiqlash vaqti bilan] qo'shing. "Tizim shunday qaror qildi" kabi noaniq iboralarni ishlatish. QAROR: [xulosa va ta'sir etuvchi omillar]
4) Tarqatishdan oldin javobgarlikni tekshirish:
Sun'iy intellektga asoslangan qarorlar tizimini joriy etishdan oldin hisobdorlik bo'yicha nazorat ro'yxatini tuzing: buni tushuntirish mumkinmi, shikoyat qilishning yo'li bormi, audit tekshiruvi (ma'lumotlar/model versiyasi/hisobga olinadi) saqlanganmi, adolat sinovi o'tkazilganmi, insonning tasdiqlash nuqtasi qayerda. Yo'qolgan narsalarni qizil bayroqlar sifatida belgilang. SYSTEM: [retsept]
Zaif taklif / Kuchli taklif
Zaif: "Bu qaror modeli adolatlimi?"
Kuchli: "Sizning rolingiz algoritmik adolat bo'yicha mutaxassisdir. Ushbu yordam ustuvorligi modeli uchun birinchi navbatda qarama-qarshilik manbalarini (tarixiy, vakillik, surrogat o'zgaruvchi, o'lchov) skanerlang va har biri uchun aniq misollar keltiring. Keyin adolatni tekshirish rejasini tuzing: qaysi guruhlar, qaysi ko'rsatkichlar, farqning qonuniyligini qanday hal qilish kerak; urushdan oldin KVK ro'yxatini qo'shing, yakuniy tekshirish tizimini bering. tushuntirish mumkinligi, murojaat yo'li va audit izi va kamchiliklarni qizil bayroq bilan belgilang."
Farqi: kuchli taklif o'z manbasida tarafkashlikni qidiradi, natijalar guruhlar tomonidan sinovdan o'tkaziladi va javobgarlikni keng miqyosda qiladi.
Adolat o'lchovlari va nazorati
Hajmi
Xavf
nazorat qilish
tarixiy ma'lumotlar
O'tmish tengsizlikni olib keladi
Guruhlar bo'yicha test natijalari
vakillik
Ba'zi guruhlar uchun yomon ishlaydi
Guruhga asoslangan xato darajasi
surrogat o'zgaruvchi
yashirin diskriminatsiya
O'zgaruvchan sezgir mezon munosabatlari
Tushuntirish qobiliyati
asossiz qaror
Oddiy tushuntirish yarating
e'tiroz
musodara qilish
Inson ko'rib chiqish yo'li
Teskari aloqa davri va vakillik xatosi
Algoritmik diskriminatsiyaning eng hiyla shakli bitta noto'g'ri qarorda emas, balki vaqt o'tishi bilan o'zini mustahkamlaydigan teskari aloqa zanjirida (modelning chiqishi keyingi o'quv ma'lumotlariga ta'sir qiladi va mavjud noto'g'rilikni kuchaytiradi) sodir bo'ladi. Misol uchun, agar inspeksiya modeli ma'lum bir mahallani "xavfli" deb belgilasa, u yerga qanchalik ko'p tekshiruvlar o'tkazilsa, shuncha ko'p yozuvlar yaratiladi, model ushbu mahallani xavfliroq deb biladi - garchi farq haqiqiy xavfda emas, balki ko'rib chiqilgan joyda oshgan bo'lsa ham. Bunga yo'l ochadigan narsa ko'pincha vakillik xatosidir (ba'zi guruhlarni to'liq yoki buzib ko'rsatadigan o'quv ma'lumotlari). Davlat sektorida bu davrlar noqulay guruhlarni tobora qattiq nazorat va sanktsiyalar ostida qoldirishi mumkin. O'zingizni himoya qilish usuli - bu modelning nafaqat chiqishini, balki uning ta'sirini kuzatish: qarorlarning guruhlarga asoslangan taqsimlanishini muntazam ravishda kuzatib borish va model tavsiyalarini ko'r-ko'rona amalga oshirmaslik.
Mini ish - o'z-o'zidan shubhalanish. Farovonlikdagi firibgarlikni aniqlash modeli o‘tmishda qattiqroq tekshirilgan hududni yuqori xavf deb belgiladi. Jamoa ma'lumotlardan majburlash intensivligini chiqarib, "aholi soniga nisbatan haqiqiy aniqlash tezligini" o'lchaganida, ular mintaqalar o'rtasidagi farqlar asosan yo'qolganini aniqladilar; Model tengsizlikni haqiqiy xavf deb adashgan.
Guruhga asoslangan ta'sirni boshqarish shabloni:
Vazifa: Guruhlar bo'yicha quyidagi qaror ma'lumotlarini ko'rib chiqing (shaxsiy ma'lumotlar yo'q, toifali xulosa). Ma'lumotlar: [guruh | umumiy qaror | salbiy qaror darajasi | Tekshiruv intensivligi] Natija: 1) Salbiy qaror darajasi guruhlar o'rtasida sezilarli farqni ko'rsatadimi? 2) Farq haqiqiy xavf yoki nazorat/vakillik intensivligi bilan bog'liq bo'lishi mumkinmi? 3) Qayta aloqa davrining biron bir belgisi bormi? 4) Inson nazorati bo'yicha tavsiyalar. Qoida: sababiy bog'liqlik da'vosini o'rnatish; Mumkin bo'lgan tushuntirishlar va tekshirish usullarini sanab o'ting.
Diqqat: "Model neytral, chunki u hamma uchun bir xil qoidani qo'llaydi" degan argument noto'g'ri. Xuddi shu qoida, egri ma'lumotlarga nisbatan qo'llanilganda, tengsizlikni saqlaydi va oshiradi. Adolat qoida bilan emas, balki natijaning tengligi bilan o‘lchanadi.
Umumiy xatolar
- Nozik ma'lumotlarni o'chirish va "bu adolatli" deb o'ylash. Surrogat o'zgaruvchilar diskriminatsiyani davom ettiradi; chiqishni sinab ko'ring.
- Adolatni niyat bilan o'lchash. Adolat oxir-oqibat paydo bo'ladi; Qarorlarni guruhlarga ajrating va solishtiring.
- Kam ifodalangan guruhni unutish. Model ozchilik guruhi uchun jimgina yomon ishlashi mumkin; Guruhga asoslangan xatoga qarang.
- Huquqlarni berish to'g'risidagi qarorlarda tushunarsiz modeldan foydalanish. O'zini oqlay olmaydigan tizim davlat qarorlarini qabul qila olmaydi.
- E'tiroz bildirish vositalarini taqdim etmaslik. Har bir avtomatlashtirilgan qaror inson tomonidan tekshirilishi kerak.
- Audit izini saqlamaslik. Qaysi ma'lumotlar/model/mas'ul shaxs bilan qaror qabul qilinganligi qayd etilishi kerak.
Xulosa
Davlat sektorida AI izchillikni oshirishi mumkin, lekin o'tmishdagi kamsitishlarni jimgina olib borishi mumkin. Tarafsizlik tarixiy ma'lumotlardan, vakillik bo'shlig'idan, proksi o'zgaruvchilardan va noto'g'ri o'lchovlardan kelib chiqadi; Maxfiy ma'lumotlarni o'chirish muammoni hal qilmaydi. Adolatga natijalarni guruhlarda sinab ko'rish orqali erishiladi. Hech bir fuqaroni "tizim shunday dedi" deb saylov huquqidan mahrum qilib bo'lmaydi: har bir qaror tushunarli, bahsli va tekshirilishi mumkin bo'lishi kerak. Algoritm emas, balki tashkilot javobgarlikka tortiladi.
Ilova vazifasi
Qurilmangizda sun'iy intellektga asoslangan yoki avtomatlashtirilgan qaror qabul qilish jarayonini tanlang. Mumkin bo'lgan noto'g'ri fikrlarni sanab o'ting va "Xarshiliklarni skanerlash manbasi" shabloni yordamida kamida bitta o'zgaruvchan xavfni toping. "Adolat sinovi rejasi" bilan qaysi guruh bo'linishlarini ko'rib chiqishni aniqlang. Qaror namunasi uchun “Qaror tushuntirishi” shabloniga ega boʻlgan fuqaroga tegishli tushuntirish taqdim eting.
nazorat ro'yxati
- [ ] Men tarafkashlik manbalarini skanerladim (tarixiy, vakillik, proksi, oʻlchov).
- [ ] Men shunchaki maxfiy maʼlumotlarni oʻchirib tashlaganim yoʻq; Men natijalarni guruhlar bo'yicha sinab ko'rdim.
- [ ] Men kam ifodalangan guruhlar uchun xatolik darajasini nazorat qildim.
- [ ] Men har bir qaror uchun oddiy, tushunarli asoslar keltirdim.
- [ ] Men e'tiroz va inson ko'rib chiqish yo'lini belgilab qo'ydim.
- [ ] Audit izi (ma'lumotlar/model versiyasi/mas'ul) saqlanadi.