Добивки:
- Ги препознава податоците, дизајнот и изворите на користење на алгоритамска пристрасност и го тестира излезот на групна основа.
- Објаснува како јамката за повратни информации и грешката во претставувањето ја зголемуваат нееднаквоста и воспоставуваат контрола на влијанието.
- Обезбедува одговорност преку обезбедување на објаснување и жалба во секоја автоматизирана одлука.
Јавноста мора да ја применува својата моќ подеднакво за сите: сличен третман кон двајца граѓани во слични ситуации, пропорционална разлика на различни ситуации. Овој принцип на еднаквост е уставна обврска. Вештачката интелигенција може и да го подобри и тивко да го наруши ова поле. Може да се подобри бидејќи доследно применуваното правило може да ги намали самоволието и човечката пристрасност. Тоа може да биде корумпирано бидејќи моделите со вештачка интелигенција учат од минатите податоци, а минатите податоци носат дискриминација од минатото. Ако системот е обучен за податоци кои историски ја загрозиле одредена група, тој ја носи таа неповолност во иднина - и во форма што е уште потешко да се открие, под маската на „објективен алгоритам“. Во оваа единица, ќе научите како да препознаете алгоритамска пристрасност (систематска пристрасност на излезот од моделот во однос на одредени групи) при користење на вештачка интелигенција во јавниот сектор, како да ја намалите и, што е најважно, како да обезбедите алгоритамска отчетност (образложението за автоматизирана одлука да може да се објасни, да се ревидира и да се оспорува).
Од каде доаѓа пристрасноста?
Постојат неколку извори на алгоритамска пристрасност, и сите од нив се ризични во јавноста:
- Историска пристрасност: Податоците за обуката содржат нееднаквост од минатото. На пример, ако некоја област имала помалку услуги во минатото, „податоците за побарувачката“ може да покажат дека таа област има ниски потреби - кога всушност побарувачката била мала затоа што немало услуга.
- Пристрасност на застапеноста: Некои групи се недоволно застапени во податоците (оние без дигитален пристап, групи на малцински јазици) и моделот работи лошо за нив.
- Пристрасност на прокси: Дури и ако моделот директно не гледа на забранет критериум (етничка припадност, религија), може да ја произведе истата дискриминација со гледање на прокси поврзан со него (соседство, име, поштенски број).
- Пристрасност при мерење: Она што го мериме не е она што всушност сакаме да го измериме. „Бројот на поплаки“ ја мери способноста за жалење наместо потребата.
Внимание: Заблуда е да се каже „ги отстранив чувствителните податоци (пол, етничка припадност) од моделот, сега е фер“. Дискриминацијата преку прокси променливи може да продолжи. Праведноста се постигнува не со бришење на влезот, туку со тестирање на излезот помеѓу групите.
Правичност на тестирање: видете го резултатот
Дали системот е фер или не, може да се разбере со гледање на неговите резултати, а не на неговите намери. Основен метод: поделете ја одлуката во групи и споредете. Дали резултатите како што се стапката на прифаќање/отфрлање, стапката на грешка, времето на чекање значително се разликуваат помеѓу различни групи (пол, возраст, регион, приход)? Ако има разлика, дали оваа разлика се заснова на легитимна причина или е дискриминација? Бидејќи оваа анализа може да бара лични податоци, таа мора да се собере и спроведе во согласност со KVKK.
Совет: пред да започнете нов систем за одлуки напојуван со вештачка интелигенција, разделете ги неговите одлуки по демографски групи и изгответе „извештај за правичност“. Ако најдете разлика, "дали може да се објасни оваа разлика?" Однесете го прашањето до комисија од луѓе.
Објаснување и привлечност: срцето на одговорноста
Во јавниот сектор на ниту еден граѓанин не може да му се одземат правата со одговорот „системот така одлучил“. За секоја автоматизирана одлука или одлука со помош на вештачка интелигенција, мора да се обезбедат три работи:
- Објаснување: На што се засноваше одлуката, кои фактори беа ефективни, треба да се објасни на јасен јазик.
- Начин на жалба: Граѓаните треба да можат да се спротивстават на одлуката и да побараат од човек да ја разгледа.
- Ревизорска трага: Треба да се евидентира кои податоци, кој модел/верзија и со кое одговорно лице е донесена одлуката.
три мини футроли
Случај 1 - фатена сурогат варијанта. Еден модел за приоритизација на помошта не користеше чувствителни податоци, туку гледаше во „поштенски код“. Во тестот за правичност, беше откриено дека одредени населби добиваат систематски низок приоритет - во корелација со поштенски број, приход и етничка густина. Променливата беше отстранета и приоритетот беше директно поврзан со индикаторите за потреба.
Случај 2 - Јаз во претставувањето. Чет-бот имаше 41% поголема веројатност да ги доведе во заблуда прашања од граѓаните со нетурски мајчин јазик; Податоците за обуката содржеа малку од оваа група. Кога беа додадени повеќејазичната поддршка и прагот на човечко предавање, јазот се затвори.
Случај 3 - Необјаснето отфрлање. Институцијата автоматски одбила барање; граѓанин „зошто? На прашањето, полицаецот не можел да објасни бидејќи причината за моделот не била разбирлива. Инцидентот покажа дека моделите со слаба објаснување не можат да се користат за донесување одлуки кои носат права; Системот е трансформиран во модел кој генерира оправдување и бара човечко одобрување.
Четири шаблони за копирање
1) Извор на скенирање на пристрасност:
Вашата улога: експерт за алгоритамска правичност. Проверете го процесот на одлучување со вештачка интелигенција подолу. Наведете ги можните извори на пристрасност: (1) историска пристрасност, (2) пристрасност на претставување (незастапена група), (3) прокси променливи (колона поврзана со забранет критериум), (4) пристрасност во мерењето. Наведи конкретен пример за секој и кажи ми како да го тестирам. ПРОЦЕС: [процес на одлучување и користени податоци]
2) План за тестирање на правичност:
Создадете план за тестирање на правичност за следниот излез на одлука: кои групи (возраст, пол, регион, приход) треба да ги разделам, кои метрики (стапка на прифаќање, стапка на грешки, време на чекање) треба да споредам, како да одлучам дали разликата е легитимна или дискриминаторска? Додадете предупредување за KVKK. ОДЛУКА: [каква одлука]
3) Изјава за решение (на граѓанинот):
Напишете граѓански разбирлив нацрт образложение за следната одлука: кои фактори биле влијателни, на едноставен јазик. Додајте го правото на жалба на крајот и можноста за човечки преглед [со време да се потврди]. Користење на нејасни изрази како „Системот така одлучи“. ОДЛУКА: [резиме и фактори кои влијаат]
4) Проверка на одговорност пред дисеминација:
Направете листа за проверка на одговорност пред да го воведете системот за одлуки напојуван со вештачка интелигенција: дали може да се објасни, дали постои начин за жалба, дали се одржува ревизорска трага (податоци/модел верзија/одговорна), дали е направено тестирање за правичност, каде е точката за одобрување од страна на луѓето. Означете ги ставките што недостасуваат како црвени знамиња. СИСТЕМ: [рецепт]
Слаб промпт / Силен промпт
Слаб: „Дали овој модел на одлука е праведен?
Силен: „Вашата улога е експерт за алгоритамска правичност. За овој модел на приоритизација на помошта, прво скенирајте извори на пристрасност (историска, репрезентативна, сурогатна променлива, мерење) и наведете конкретни примери за секој од нив. Потоа смислете план за тестирање на правичност: расчленување според кои групи, кои метрики, како да се одлучи за легитимноста на системот пред KV, KV; листа за проверка за објаснување, патека за жалби и ревизорска патека и црвено означете ги недостатоците“.
Разликата: силната порака бара пристрасност на својот извор, го тестира резултатот од групите и ја прави одговорноста широко распространета.
Димензии и контроли на правдата
Големина
Ризик
контрола
историски податоци
Минатото носи нееднаквост
Тест излез по групи
застапеност
Работи лошо за некоја група
Стапка на грешка базирана на група
сурогат променлива
прикриена дискриминација
Врска на критериум чувствителна променлива
Објаснување
неоправдана одлука
Создадете едноставно објаснување
приговор
одземање
Патека за човечка преглед
Повратна врска и грешка во претставувањето
Најподмолната форма на алгоритамска дискриминација не се јавува во една погрешна одлука, туку во циклус на повратни информации што се зајакнува со текот на времето (излезот на моделот влијае на последователните податоци за обука, засилувајќи ја постојната пристрасност). На пример, ако инспекцискиот модел означува одредена населба како „ризична“, колку повеќе инспекции одат таму, толку повеќе записи се создаваат, моделот го гледа тоа соседство како поризично - иако разликата е зголемена во локацијата на која се гледа, а не во реалниот ризик. Она што го отвора патот за ова е често грешка во претставувањето (податоците за обука кои рефлектираат некои групи нецелосно или искривено). Во јавниот сектор, овие циклуси можат да ги стават обесправените групи под сè построг надзор и санкции. Начинот да се заштитите е да го следите влијанието на моделот, а не само неговиот резултат: редовно да ја следите групната дистрибуција на одлуките и да не слепо ги спроведувате препораките на моделот.
Мини случај — сомнеж за самопофалба. Моделот за откривање измами од социјална помош го означи како висок ризик регион кој во минатото бил пожестоко проверуван. Кога тимот го извлекол интензитетот на спроведувањето од податоците и ја измерил „вистинската стапка на откривање во однос на населението“, откриле дека разликите меѓу регионите во голема мера исчезнале; Моделот ја помеша нееднаквоста со реален ризик.
Шаблон за контрола на влијание врз основа на група:
Задача: Испитајте ги следните податоци за одлуката по групи (без лични податоци, категорично резиме). Податоци: [група | вкупна одлука | стапка на негативна одлука | интензитет на инспекција]Излез: 1) Дали стапката на негативна одлука покажува значајна разлика помеѓу групите? 2) Дали разликата може да се должи на реалниот ризик или на интензитетот на контрола/претставување? 3) Дали има некој знак за јамка за повратни информации? 4) Препораки за човечка контрола.Правило: Воспоставување каузално барање; Наведете можни објаснувања и начини за тестирање.
Внимание: Аргументот дека „моделот е неутрален затоа што го применува истото правило за сите“ е погрешен. Истото правило, кога се применува на искривени податоци, ја зачувува и зголемува нееднаквоста. Правдата се мери според еднаквоста на исходот, а не според правилото.
Вообичаени грешки
- Бришење чувствителни податоци и размислување „тоа е фер“. Сурогатните варијабли ја овековечуваат дискриминацијата; тестирајте го излезот.
- Мерење на правдата со намера. Правдата се појавува на крајот; Подредете ги одлуките во групи и споредете.
- Заборавајќи ја недоволно застапената група. Моделот може да работи тивко лошо за малцинска група; Видете грешка базирана на група.
- Користење на необјаснетиот модел во одлуките за давање права. Систем кој не може да произведе оправдување не може да носи јавни одлуки.
- Не обезбедувајќи никакви средства за приговор. Секоја автоматизирана одлука треба да биде предмет на човечки преглед.
- Не водење ревизорска трага. Треба да се евидентира со кој податок/модел/одговорно лице е донесена одлуката.
Сумирано
Во јавниот сектор, вештачката интелигенција може да ја зголеми конзистентноста, но и тивко да ја пренесе дискриминацијата од минатото. Пристрасноста доаѓа од историски податоци, јаз на претставување, прокси променливи и неточни мерења; Бришењето чувствителни податоци нема да го реши тоа. Праведноста се постигнува со тестирање на исходот меѓу групите. И ниту еден граѓанин не може да биде обесправен со „системот така рече“: секоја одлука мора да биде објаснета, оспорлива и подложна на ревизија. Одговорна е институцијата, а не алгоритмот.
Задача за апликација
Изберете процес на одлучување напојуван со вештачка интелигенција или автоматизиран процес во вашата единица. Наведете ги можните предрасуди и пронајдете барем еден сурогат променлив ризик со шаблонот „Извор на скенирање пристрасност“. Определете кои дефекти на групата да ги погледнете со „планот за тестирање на правичност“. За примерок на одлука, изгответе објаснување за граѓаните со шаблонот „Објаснување на одлуката“.
листа за проверка
- [ ] Скенирав извори на пристрасност (историски, репрезентативни, прокси, мерење).
- [ ] Не избришав само чувствителни податоци; Го тестирав излезот по групи.
- [ ] Ја контролирав стапката на грешки за недоволно застапените групи.
- [ ] Дадов едноставно, објаснето оправдување за секоја одлука.
- [ ] Имам дефинирано приговор и пат на човечки преглед.
- [ ] Ревизорската патека (податоци/модел верзија/одговорна) се одржува.