Добици:
- Он препознаје податке, дизајн и изворе коришћења алгоритамских пристрасности и тестира резултате на групној основи.
- Објашњава како повратна спрега и грешка у представљању увећавају неједнакост и успостављају контролу утицаја.
- Осигурава одговорност обезбеђујући објашњивост и жалбу у свакој аутоматизованој одлуци.
Јавност мора да примењује своју моћ подједнако на све: сличан третман према двојици грађана у сличним ситуацијама, сразмерну разлику у различитим ситуацијама. Ово начело једнакости је уставна обавеза. Вештачка интелигенција може и да побољша и тихо поремети ово поље. Може се побољшати јер доследно примењено правило може смањити произвољност и људску пристрасност. То може бити штетно јер модели вештачке интелигенције уче из прошлих података, а подаци из прошлости носе дискриминацију прошлости. Ако је систем обучен на подацима који су историјски стављали одређену групу у неповољнији положај, он носи тај недостатак у будућност — и то у облику који је још теже открити, под маском „објективног алгоритма“. У овој јединици ћете научити како да препознате алгоритамску пристрасност (систематску пристрасност резултата модела према одређеним групама) када користите АИ у јавном сектору, како да је смањите и, што је најважније, како да обезбедите алгоритамску одговорност (образложење за аутоматизовану одлуку је објашњиво, подложно ревизији и оспоравање).
Одакле долази пристрасност?
Постоји неколико извора алгоритамске пристрасности и сви су ризични у јавности:
- Историјска пристрасност: Подаци о обуци садрже неједнакост из прошлости. На пример, ако је неко подручје у прошлости имало мање услуга, „подаци о потражњи“ могу показати да то подручје има мале потребе – када је у ствари потражња била мала јер није било услуге.
- Пристрасност заступљености: Неке групе су недовољно заступљене у подацима (оне без дигиталног приступа, групе на мањинским језицима) и модел за њих лоше функционише.
- Пристрасност проксија: Чак и ако модел директно не гледа на забрањени критеријум (етничка припадност, вероисповест), може произвести исту дискриминацију посматрањем проксија који је са њим повезан (суседство, име, поштански број).
- Пристрасност мерења: Оно што меримо није оно што заправо желимо да меримо. „Број притужби“ мери способност да се жали пре него потребу.
Опрез: Погрешно је рећи „Уклонио сам осетљиве податке (пол, етничка припадност) из модела, сада је поштено“. Дискриминација преко прокси варијабли може се наставити. Праведност се не постиже брисањем улаза, већ тестирањем излаза између група.
Тестирање праведности: погледајте резултат
Да ли је систем праведан или не може се разумети гледајући његове резултате, а не његове намере. Основни метод: поделити одлуку у групе и упоредити. Да ли се резултати као што су стопа прихватања/одбијања, стопа грешке, време чекања значајно разликују између различитих група (пол, старост, регион, приход)? Ако постоји разлика, да ли је та разлика заснована на легитимном разлогу или је у питању дискриминација? Пошто ова анализа може захтевати личне податке, она мора бити агрегирана и спроведена у складу са КВКК.
Савет: Пре него што уведете нови систем одлучивања који покреће вештачка интелигенција, поделите његове одлуке по демографским групама и направите „извештај о правичности“. Ако нађете разлику, "да ли се ова разлика може објаснити?" Однесите питање одбору људи.
Објашњивост и привлачност: срце одговорности
У јавном сектору ниједан грађанин не може бити лишен својих права уз одговор „тако је одлучио систем“. За сваку аутоматизовану одлуку или одлуку уз помоћ вештачке интелигенције, три ствари морају бити обезбеђене:
- Објашњивост: На чему је одлука заснована, који фактори су били ефикасни, треба објаснити једноставним језиком.
- Начин жалбе: Грађани би требало да имају могућност да приговоре на одлуку и затраже од човека да је преиспита.
- Ревизорски траг: Треба евидентирати који подаци, који модел/верзија и код којег одговорног лица је одлука донета.
три мини кофера
Случај 1 — Ухваћена сурогат варијанта. Један модел одређивања приоритета помоћи није користио осетљиве податке, већ је гледао „поштански број“. У тесту правичности, утврђено је да одређена насеља добијају систематски низак приоритет — у корелацији са поштанским бројем, приходом и етничком густином. Варијабла је уклоњена и приоритет је директно везан за индикаторе потреба.
Случај 2 — Јаз у заступљености. Цхат-бот је имао 41% већу вјероватноћу да ће довести у заблуду питања грађана којима матерњи језик није турски; Подаци о обуци садржали су мало ове групе. Када су додата вишејезична подршка и праг примопредаје, јаз се затворио.
Случај 3 — Необјашњиво одбијање. Институција је аутоматски одбила пријаву; грађанин "зашто?" На питање, полицајац није могао да објасни јер разлог за модел није био разумљив. Инцидент је показао да се модели са лошом објашњивом не могу користити за доношење одлука које носе права; Систем је претворен у модел који генерише оправдање и захтева људско одобрење.
Четири шаблона за копирање
1) Извор скенирања пристрасности:
Ваша улога: стручњак за алгоритамску праведност. У наставку погледајте процес одлучивања који покреће АИ. Наведите могуће изворе пристрасности: (1) историјска пристрасност, (2) пристрасност репрезентације (подзаступљена група), (3) прокси варијабле (колона повезана са забрањеним критеријумом), (4) пристрасност мерења. Дајте конкретан пример за сваки и реците ми како да га тестирам. ПРОЦЕС: [процес одлучивања и коришћени подаци]
2) План тестирања поштења:
Генеришите план тестирања праведности за следеће резултате одлуке: које групе (старост, пол, регион, приход) треба да поделим, које метрике (стопа прихватања, стопа грешке, време чекања) да упоредим, како да одлучим да ли је разлика легитимна или дискриминаторна? Додајте КВКК упозорење. ОДЛУКА: [која одлука]
3) Изјава о решењу (грађанину):
Напишите грађанима разумљив нацрт образложења за следећу одлуку: који фактори су били утицајни, једноставним језиком. Додајте право на жалбу на крају и могућност да се изврши људски преглед [са временом које ће бити потврђено]. Користећи нејасне изразе попут „Систем је тако одлучио“. ОДЛУКА: [сажетак и фактори утицаја]
4) Провера одговорности пре дистрибуције:
Направите контролну листу одговорности пре него што уведете систем одлучивања заснован на вештачкој интелигенцији: да ли је то објашњиво, да ли постоји начин за жалбу, да ли се одржава ревизијски траг (верзија података/модела/одговорност), да ли је урађено тестирање праведности, где је људска тачка одобравања. Означите ставке које недостају као црвене заставице.СИСТЕМ: [рецепт]
Слаби промпт / Јаки промпт
Слаб: „Да ли је овај модел одлуке праведан?“
Снажан: „Ваша улога је стручњак за алгоритамску праведност. За овај модел одређивања приоритета помоћи, прво скенирајте изворе пристрасности (историјски, репрезентативни, сурогат варијабла, мерење) и дајте конкретне примере за сваки. Затим осмислите план тестирања праведности: рашчламбу по којим групама, које метрике, како одлучити о легитимности разлике; објаснити легитимност разлике, објаснити провјеру КВКК система за коначан рат, објаснити КВКК рат. жалбени пут и ревизијски траг, и црвеном заставицом означите недостатке."
Разлика: снажна промпт тражи пристрасност у свом извору, резултате тестирају групе и чини одговорност широко распрострањеном.
Димензије и контроле правде
Величина
Ризик
контролу
историјских података
Прошлост носи неједнакост
Тестирајте излаз по групама
репрезентација
Лоше делује за неку групу
Стопа грешака заснована на групи
сурогат променљива
прикривена дискриминација
Критеријумски однос променљиво-осетљив
Објашњивост
неоправдану одлуку
Генеришите једноставно објашњење
приговор
одузимање
Пут људске ревизије
Петља повратне информације и грешка у представљању
Најподмуклији облик алгоритамске дискриминације се не дешава у једној погрешној одлуци, већ у повратној спрези која се временом појачава (излаз модела утиче на накнадне податке о обуци, појачавајући постојећу пристрасност). На пример, ако инспекцијски модел означи одређено насеље као „ризично“, што више инспекција иде тамо, креира се више записа, модел види то насеље као ризичније — иако се разлика повећала у посматраној локацији, а не у стварном ризику. Оно што отвара пут овоме је често грешка у представљању (подаци обуке који одражавају неке групе непотпуно или искривљено). У јавном сектору, ови циклуси могу ставити групе у неповољнији положај под све оштрији надзор и санкције. Начин да се заштитите јесте да пратите утицај модела, а не само његов резултат: да редовно пратите групну дистрибуцију одлука и да не спроводите слепо препоруке модела.
Мини футрола — самоувеличавајућа сумња. Модел откривања преваре у области социјалне заштите означио је регион који је у прошлости био више инспекцијски као високо ризичан. Када је тим издвојио интензитет спровођења из података и измерио „праву стопу откривања у односу на популацију“, открили су да су разлике између региона углавном нестале; Модел је погрешно схватио неједнакост за стварни ризик.
Групни шаблон контроле утицаја:
Задатак: Испитати следеће податке о одлуци по групама (без личних података, категорички сажетак). Подаци: [група | укупна одлука | негативна стопа одлучивања | интензитет инспекције] Резултат: 1) Да ли негативна стопа одлучивања показује значајну разлику између група? 2) Да ли разлика може бити последица стварног ризика или интензитета контроле/заступања? 3) Има ли знакова повратне спреге? 4) Препоруке за контролу људи. Правило: Утврђивање узрочности; Наведите могућа објашњења и начине тестирања.
Опрез: Аргумент да је „модел неутралан јер примењује исто правило на све“ је погрешан. Исто правило, када се примени на искривљене податке, чува и увећава неједнакост. Правда се мери једнакошћу исхода, а не правилом.
Уобичајене грешке
- Брисање осетљивих података и размишљање „праведно је“. Сурогатне варијабле одржавају дискриминацију; тестирати излаз.
- Мерење правде намером. Правда се појављује на крају; Разврстајте одлуке у групе и упоредите.
- Заборављајући недовољно заступљену групу. Модел може тихо функционисати лоше за мањинску групу; Погледајте грешку засновану на групи.
- Коришћење необјашњивог модела у одлукама о давању права. Систем који не може да произведе оправдање не може доносити јавне одлуке.
- Не пружајући никаква средства за приговор. Свака аутоматизована одлука треба да буде предмет људске ревизије.
- Не вођење ревизорског трага. Треба забележити са којим подацима/моделом/одговорном особом је одлука донета.
Укратко
У јавном сектору, АИ може повећати доследност, али и тихо пренети дискриминацију из прошлости. Пристрасност долази од историјских података, јаза у представљању, проки варијабли и нетачног мерења; Брисање осетљивих података то неће решити. Праведност се постиже тестирањем исхода по групама. И ниједан грађанин не може бити обесправљен "тако је рекао систем": свака одлука мора бити објашњива, оспорива и ревидирана. Одговорна је институција, а не алгоритам.
Задатак апликације
Изаберите АИ-покренут или аутоматизован процес одлучивања у својој јединици. Наведите могуће пристрасности и пронађите најмање једну замјенску променљиву ризик са шаблоном „Извор скенирања пристрасности“. Одредите које групне рашчлањености треба да погледате са „планом теста праведности“. За узорак одлуке припремите образложење окренуто грађанима са шаблоном „Образложење одлуке“.
контролна листа
- [ ] Скенирао сам изворе пристрасности (историјски, репрезентација, проки, мерење).
- [ ] Нисам само избрисао осетљиве податке; Тестирао сам излаз по групама.
- [ ] Контролисао сам стопу грешака за недовољно заступљене групе.
- [ ] Дао сам једноставно, објашњиво оправдање за сваку одлуку.
- [ ] Дефинисао сам приговор и путању људског прегледа.
- [ ] Контролни траг (подаци/верзија модела/одговорни) се одржава.