Табыстар:
- Ол алгоритмдік ауытқу деректерін, дизайнды және пайдалану көздерін таниды және топтық негізде нәтижені тексереді.
- Кері байланыс циклі мен көрсету қатесі теңсіздікті қалай үлкейтетінін түсіндіреді және әсерді бақылауды орнатады.
- Ол әрбір автоматтандырылған шешімде түсінікті және шағымдануды қамтамасыз ету арқылы жауапкершілікті қамтамасыз етеді.
Қоғам өз билігін барлығына бірдей қолдануы керек: ұқсас жағдайдағы екі азаматқа ұқсас қатынас, әртүрлі жағдайларға пропорционалды айырмашылық. Бұл теңдік принципі конституциялық міндет болып табылады. Жасанды интеллект бұл саланы жақсарта алады және тыныш бұзады. Ол жақсаруы мүмкін, себебі дәйекті түрде қолданылатын ереже озбырлықты және адамның бейімділігін азайтады. Бұл бүлінуі мүмкін, өйткені AI үлгілері өткен деректерден сабақ алады, ал өткен деректер өткенді кемсітуді білдіреді. Егер жүйе белгілі бір топты тарихи тұрғыдан қолайсыз жағдайға әкелген деректер бойынша оқытылатын болса, ол бұл кемшілікті болашаққа апарады — «объективті алгоритм» деген желеумен анықтау одан да қиын формада. Бұл бөлімде сіз мемлекеттік секторда AI пайдаланған кезде алгоритмдік ауытқуды (белгілі бір топтарға қатысты үлгі шығысының жүйелік бейімділігін) қалай тануға болатынын, оны қалай азайтуға болатынын және ең бастысы, алгоритмдік есептілікті қалай қамтамасыз ету керектігін (автоматтандырылған шешімнің түсіндірмелі, тексерілетін және даулы болуының негіздемесі) үйренесіз.
Бейтараптық қайдан пайда болады?
Алгоритмдік ауытқудың бірнеше көздері бар және олардың барлығы көпшілік алдында қауіпті:
- Тарихи ауытқу: Жаттығу деректері өткен теңсіздікті қамтиды. Мысалы, егер аймақта бұрын қызмет аз болса, «сұраныс деректері» бұл аймақтың қажеттіліктері төмен екенін көрсетуі мүмкін - бұл жағдайда қызмет болмағандықтан сұраныс төмен болды.
- Өкілдіктің ауытқуы: Кейбір топтар деректерде аз көрсетілді (сандық қолжетімділігі жоқтар, азшылық тіл топтары) және үлгі олар үшін нашар жұмыс істейді.
- Проксиге бейімділік: Модель тыйым салынған критерийге (ұлт, дін) тікелей қарамаса да, онымен байланысты проксиге (көрші жер, аты, пошталық индекс) қарау арқылы бірдей кемсітушілік жасай алады.
- Өлшеу бұрмалануы: біз өлшейтін нәрсе біз өлшегіміз келетін нәрсе емес. «Шағымдар саны» қажеттілік емес, шағымдану мүмкіндігін өлшейді.
Абайлаңыз: "Мен үлгіден құпия деректерді (жынысы, ұлты) алып тастадым, енді бұл әділетті" деу жаңылыс. Прокси айнымалылар арқылы кемсіту жалғасуы мүмкін. Әділдікке кірісті жою арқылы емес, топтардың арасындағы нәтижені тексеру арқылы қол жеткізіледі.
Әділдік сынағы: нәтижені қараңыз
Жүйенің әділетті немесе әділ еместігін оның ниетіне емес, нәтижелеріне қарап түсінуге болады. Негізгі әдіс: шешімді топтарға бөліп, салыстыру. Қабылдау/қабылдамау деңгейі, қателер деңгейі, күту уақыты сияқты нәтижелер әртүрлі топтар (жынысы, жасы, аймағы, кірісі) арасында айтарлықтай ерекшеленеді ме? Егер айырмашылық болса, бұл айырмашылық заңды себепке негізделген бе, әлде кемсітушілік пе? Бұл талдау жеке деректерді қажет етуі мүмкін болғандықтан, олар біріктіріліп, КВКК сәйкес жүргізілуі керек.
Кеңес: Жасанды интеллектпен жұмыс істейтін жаңа шешімдер жүйесін шығарар алдында оның шешімдерін демографиялық топтарға бөліп, «әділдік туралы есеп» жасаңыз. Егер сіз айырмашылықты тапсаңыз, "бұл айырмашылықты түсіндіруге бола ма?" Сұрақты адамдар комиссиясына беріңіз.
Түсіндіру және тартымдылық: жауапкершіліктің жүрегі
Мемлекеттік секторда «жүйе солай шешті» деген жауаппен ешбір азаматты құқығынан айыруға болмайды. Әрбір автоматтандырылған немесе AI көмегімен шешім қабылдау үшін үш нәрсе қамтамасыз етілуі керек:
- Түсіндіру: Шешім неге негізделген, қандай факторлар тиімді болды, түсінікті тілмен түсіндіру керек.
- Шағым беру тәсілі: Азаматтар шешімге қарсылық білдіріп, адамнан оны қайта қарауды сұрауы керек.
- Аудит ізі: Қандай деректер, қандай модель/нұсқа және қандай жауапты тұлғамен шешім қабылданғаны жазылуы керек.
үш шағын іс
1-жағдай — суррогат нұсқасы түсірілді. Көмекке басымдық берудің бір үлгісі құпия деректерді пайдаланбайды, бірақ «почта индексіне» қарады. Әділдік сынағы кезінде белгілі бір аудандар жүйелі түрде төмен басымдыққа ие болды - пошта индексімен, табыспен және этникалық тығыздықпен байланысты. Айнымалы жойылып, басымдық тікелей қажеттілік көрсеткіштеріне байланысты болды.
2-жағдай — Өкілдік алшақтық. Чат-бот түрік емес ана тілі бар азаматтардың сұрақтарын жаңылыстыратын 41%-ға көбірек болды; Жаттығу деректерінде осы топ туралы аз болды. Көптілді қолдау мен адам тапсыру шегін қосқанда, олқылық жабылды.
3-жағдай – Түсініксіз бас тарту. Мекеме автоматты түрде өтінішті қабылдамады; азамат "неге?" Сұраған кезде офицер түсіндіре алмады, себебі модельдің себебі түсініксіз. Оқиға түсіндірмелілігі нашар үлгілерді құқыққа қатысты шешімдер қабылдау үшін пайдалануға болмайтынын көрсетті; Жүйе негіздеме жасайтын және адамның мақұлдауын талап ететін үлгіге айналдырылды.
Көшірілетін төрт үлгі
1) Бағалауды сканерлеу көзі:
Сіздің рөліңіз: алгоритмдік әділдік сарапшысы. Төменде AI-мен жұмыс істейтін шешім қабылдау процесін тексеріңіз. Ықтимал бұрмалану көздерін тізімдеңіз: (1) тарихи ауытқу, (2) ұсынуға бейімділік (төмен ұсынылған топ), (3) прокси айнымалылар (тыйым салынған критериймен байланысты баған), (4) өлшем ауытқуы. Әрқайсысына нақты мысал келтіріңіз және оны қалай тексеруге болатынын айтыңыз. ПРОЦЕСС: [шешім қабылдау процесі және пайдаланылған деректер]
2) Әділдік тестінің жоспары:
Келесі шешімнің нәтижесі үшін әділеттілікті тексеру жоспарын жасаңыз: қандай топтарға (жас, жыныс, аймақ, табыс) бөлу керек, қандай көрсеткіштерді (қабылдау деңгейі, қателер деңгейі, күту уақыты) салыстыру керек, айырмашылық заңды немесе кемсітушілік екенін қалай шешуге болады? KVKK ескертуін қосыңыз. ШЕШІМ: [қандай шешім]
3) шешім қабылдау (азаматқа):
Төмендегі шешім бойынша азаматқа түсінікті түсініктеме жобасын жазыңыз: қандай факторлар әсер етті, түсінікті тілмен. Соңында апелляциялық құқықты және адамдық тексеруден өту мүмкіндігін қосыңыз [уақыты расталады]. «Жүйе солай шешті» сияқты анық емес өрнектерді қолдану. ШЕШІМ: [жиынтық және әсер етуші факторлар]
4) таратқанға дейін жауапкершілікті тексеру:
AI-ге негізделген шешімдер жүйесін шығарар алдында есеп беруді тексеру парағын жасаңыз: бұл түсінікті ме, шағымданудың жолы бар ма, аудит ізі (деректер/үлгі нұсқасы/жауапты) жүргізілді ме, әділдік сынағы жасалды ма, адамның мақұлдау нүктесі қайда. Жетіспейтін элементтерді қызыл жалаулар ретінде белгілеңіз. ЖҮЙЕ: [рецепт]
Әлсіз шақыру / Күшті шақыру
Әлсіз: «Бұл шешім үлгісі әділетті ме?»
Күшті: "Сіздің рөліңіз - алгоритмдік әділеттілік сарапшысы. Бұл көмекке басымдық беру үлгісі үшін алдымен қиғаштық көздерін (тарихи, өкілдік, суррогат айнымалы, өлшем) іздеңіз және әрқайсысына нақты мысалдар келтіріңіз. Содан кейін әділеттілікті тексеру жоспарын жасаңыз: қай топтарға, қандай көрсеткіштерге, айырмашылықтың заңдылығын қалай шешуге болатынына бөліңіз; соғыс алдында КВК тізімін қосыңыз, соңғы тексеру жүйесін беріңіз. түсіндірмелілік, апелляциялық жол және аудит ізі және кемшіліктерді қызыл жалау.
Айырмашылық: күшті шақыру оның қайнар көзін іздейді, нәтижені топтар тексереді және жауапкершілікті кеңінен таратады.
Әділдік өлшемдері мен бақылаулары
Өлшем
Тәуекел
бақылау
тарихи деректер
Өткен теңсіздікті алып жүреді
Топтар бойынша тест нәтижесі
өкілдігі
Кейбір топтар үшін нашар жұмыс істейді
Топқа негізделген қате деңгейі
суррогат айнымалы
жасырын кемсітушілік
Айнымалы-сезімтал критерий қатынасы
Түсіндіру
негізсіз шешім
Қарапайым түсініктеме жасаңыз
қарсылық
тәркілеу
Адамды тексеру жолы
Кері байланыс циклі және ұсыну қатесі
Алгоритмдік дискриминацияның ең жасырын түрі бір ғана қате шешімде емес, уақыт өте келе өзін нығайта түсетін кері байланыс циклінде болады (модельдің нәтижесі кейінгі оқу деректеріне әсер етіп, бар бұрмалануды күшейтеді). Мысалы, егер тексеру үлгісі белгілі бір ауданды «тәуекел» деп белгілесе, тексерулер соғұрлым көп болса, соғұрлым көп жазбалар жасалады, модель бұл аймақты қауіптірек деп санайды — айырмашылық нақты тәуекелде емес, қаралған жерде өсті. Бұған жол ашатын нәрсе – көбінесе көрсету қатесі (кейбір топтарды толық емес немесе бұрмаланған түрде көрсететін жаттығу деректері). Мемлекеттік секторда бұл циклдар қолайсыз топтарды барған сайын қатал қадағалау мен санкцияларға түсіруі мүмкін. Өзіңізді қорғаудың жолы - үлгінің нәтижесін ғана емес, оның әсерін бақылау: шешімдерді топтық негізде бөлуді жүйелі түрде бақылау және модель ұсыныстарын соқыр орындамау.
Шағын іс — өзін-өзі жоғарылататын күмән. Әл-ауқаттың алаяқтығын анықтау моделі бұрынырақ тексерілген аймақты тәуекелі жоғары деп белгіледі. Команда деректерден мәжбүрлеу қарқындылығын шығарып, «халыққа қатысты нақты анықтау жылдамдығын» өлшегенде, олар аймақтар арасындағы айырмашылықтардың айтарлықтай жойылғанын анықтады; Модель теңсіздікті нақты тәуекел деп түсінді.
Топқа негізделген әсерді басқару үлгісі:
Тапсырма: Топтар бойынша келесі шешім деректерін зерттеңіз (жеке деректер жоқ, категориялық қорытынды). Деректер: [топ | жалпы шешім | теріс шешім деңгейі | тексеру қарқындылығы]Нәтиже: 1) Теріс шешім қабылдау деңгейі топтар арасында айтарлықтай айырмашылықты көрсете ме? 2) Айырмашылық нақты тәуекелге немесе бақылау/өкілдік қарқындылығына байланысты болуы мүмкін бе? 3) Кері байланыс циклінің белгісі бар ма? 4) Адамның бақылауы бойынша ұсынымдар. Ереже: Себеп-салдарлық шағымды анықтау; Ықтимал түсініктемелерді және тестілеу жолдарын көрсетіңіз.
Абайлаңыз: «Үлгі бейтарап, себебі ол бәріне бірдей ережені қолданады» деген аргумент жаңылыстыру болып табылады. Дәл сол ереже бұрмаланған деректерге қолданылғанда теңсіздікті сақтайды және ұлғайтады. Әділеттілік ережемен емес, нәтиженің теңдігімен өлшенеді.
Жалпы қателер
- Құпия деректерді жою және «бұл әділ» деп ойлау. Суррогат айнымалылар дискриминацияны жалғастырады; шығуды сынау.
- Әділдік ниетпен өлшеу. Әділдік соңында пайда болады; Шешімдерді топтарға бөліп, салыстыру.
- Аз ұсынылған топты ұмыту. Модель азшылық тобы үшін тыныш жұмыс істеуі мүмкін; Топқа негізделген қатені қараңыз.
- Құқық беретін шешімдерде түсіндірілмеген модельді қолдану. Негіздеме бере алмайтын жүйе қоғамдық шешім қабылдай алмайды.
- Ешқандай қарсылық білдірмеу. Әрбір автоматтандырылған шешім адам тексеруіне жатады.
- Аудит ізін сақтамау. Шешім қандай деректермен/үлгімен/жауапты тұлғамен қабылданғаны жазылуы керек.
Қысқаша айтқанда
Мемлекеттік секторда AI жүйелілікті арттыра алады, сонымен қатар өткеннің кемсітуін тыныш жүргізе алады. Бағалау тарихи деректерден, өкілдік алшақтықтан, прокси айнымалылардан және дәл емес өлшемнен туындайды; Құпия деректерді жою оны шешпейді. Әділдікке нәтижені топтар бойынша тексеру арқылы қол жеткізіледі. Ал «жүйе осылай айтты» деп ешбір азаматты сайлау құқығынан айыруға болмайды: әрбір шешім түсіндірілетін, дауланатын және тексерілетін болуы керек. Алгоритм емес, мекеме жауап береді.
Қолданбалы тапсырма
Құрылғыңызда AI-мен жұмыс істейтін немесе автоматтандырылған шешім қабылдау процесін таңдаңыз. Ықтимал бұрмалануларды тізіп, «Қарау көзі» үлгісімен кем дегенде бір суррогат айнымалы тәуекелді табыңыз. «Әділдік сынағы жоспары» арқылы қай топтың бөлінуін қарастыру керектігін анықтаңыз. Шешім үлгісі үшін "Шешімге түсініктеме" үлгісімен азаматқа қатысты түсініктеме беріңіз.
бақылау парағы
- [ ] Мен бұрмалау көздерін (тарихи, өкілдік, прокси, өлшем) іздедім.
- [ ] Мен құпия деректерді жай ғана жойған жоқпын; Шығармаларды топтар бойынша тексердім.
- [ ] Мен аз ұсынылған топтар үшін қателік деңгейін бақылап отырдым.
- [ ] Мен әрбір шешім үшін қарапайым, түсінікті негіздеме бердім.
- [ ] Мен қарсылық пен адамның қарау жолын анықтадым.
- [ ] Аудит жолы (деректер/үлгі нұсқасы/жауапты) сақталады.