Прибуток:
- Він розпізнає джерела даних, дизайну та використання алгоритмів і перевіряє результати на груповій основі.
- Пояснює, як цикл зворотного зв’язку та помилка представлення посилюють нерівність і встановлюють контроль впливу.
- Він забезпечує підзвітність, забезпечуючи можливість пояснення та оскарження кожного автоматизованого рішення.
Громадськість повинна застосовувати свою владу однаково до всіх: однакове ставлення до двох громадян у подібних ситуаціях, пропорційна різниця до різних ситуацій. Цей принцип рівності є конституційним обов'язком. Штучний інтелект може як покращити, так і тихо порушити цю сферу. Його можна покращити, тому що правило, що застосовується послідовно, може зменшити свавілля та людську упередженість. Це може бути руйнівним, оскільки моделі штучного інтелекту вчаться на минулих даних, а минулі дані несуть у собі дискримінацію минулого. Якщо система навчена на даних, які історично ставили певну групу в невигідне становище, вона переносить цей недолік у майбутнє — і в формі, яку ще важче виявити, під виглядом «об’єктивного алгоритму». У цьому розділі ви дізнаєтеся, як розпізнати алгоритмічне зміщення (систематичне зміщення виходу моделі щодо певних груп) під час використання ШІ в державному секторі, як зменшити його та, що найважливіше, як забезпечити підзвітність алгоритму (обґрунтування автоматизованого рішення, яке можна пояснити, перевірити та оскаржити).
Звідки упередженість?
Є кілька джерел алгоритмічної упередженості, і всі вони є ризикованими на публіці:
- Історичне упередження: дані навчання містять минулу нерівність. Наприклад, якщо в минулому в регіоні було менше послуг, «дані про попит» можуть показувати, що потреби в цьому районі низькі, хоча насправді попит був низьким через відсутність послуг.
- Упередженість представлення: деякі групи недостатньо представлені в даних (ті, що не мають цифрового доступу, групи мов меншин), і модель для них погано працює.
- Проксі-упередження: навіть якщо модель безпосередньо не дивиться на заборонений критерій (етнічна приналежність, релігія), вона може спричинити таку саму дискримінацію, дивлячись на проксі, пов’язаний з ним (район, ім’я, поштовий індекс).
- Похибка вимірювання: Те, що ми вимірюємо, не є тим, що ми насправді хочемо виміряти. «Кількість скарг» вимірює здатність скаржитися, а не потребу.
Застереження: сказати: «Я видалив конфіденційні дані (стать, етнічну приналежність) з моделі» — це оманливо, тепер це справедливо». Дискримінація через проксі-змінні може тривати. Справедливість досягається не видаленням вхідних даних, а тестуванням вихідних даних між групами.
Перевірка справедливості: дивіться результат
Чи є система справедливою чи ні, можна зрозуміти, дивлячись на її результати, а не на її наміри. Основний метод: розділіть рішення на групи та порівняйте. Чи суттєво відрізняються такі результати, як рівень прийняття/відмови, рівень помилок, час очікування між різними групами (стать, вік, регіон, дохід)? Якщо є різниця, чи є ця різниця законною причиною чи це дискримінація? Оскільки для цього аналізу можуть знадобитися персональні дані, він повинен бути агрегований і проведений відповідно до КВКК.
Порада: перш ніж запускати нову систему прийняття рішень на основі ШІ, розбийте її рішення за демографічними групами та складіть «звіт про справедливість». Якщо ви виявите різницю, "чи можна пояснити цю різницю?" Передайте питання до комітету людей.
Зрозумілість і привабливість: суть підзвітності
У державному секторі жоден громадянин не може бути позбавлений прав із відповіддю «так вирішила система». Для кожного автоматизованого рішення або рішення за допомогою штучного інтелекту необхідно забезпечити три речі:
- Зрозумілість: на чому ґрунтувалося рішення, які фактори були ефективними, слід пояснити простою мовою.
- Спосіб оскарження: громадяни повинні мати можливість заперечити проти рішення та попросити людину переглянути його.
- Аудиторський слід: має бути записано, які дані, яка модель/версія та з якою відповідальною особою було прийнято рішення.
три міні-чохла
Випадок 1 — Зафіксовано сурогатний варіант. Одна модель визначення пріоритетів допомоги не використовувала конфіденційні дані, а враховувала «поштовий індекс». Під час тесту на справедливість було виявлено, що певні райони систематично отримують низький пріоритет — залежно від поштового індексу, доходу та етнічної щільності. Змінну було видалено, а пріоритет прив’язано безпосередньо до показників потреби.
Випадок 2 — розрив у представленні. Чат-бот мав на 41% більше шансів ввести в оману запитання від громадян, рідна мова яких не турецька; Навчальні дані містили мало цієї групи. Коли було додано багатомовну підтримку та поріг передачі людиною, прогалина була усунена.
Випадок 3 — Відмова без пояснення. Установа автоматично відхилила заявку; громадянин "чому?" Коли його запитали, офіцер не зміг пояснити, оскільки причина моделі була незрозумілою. Інцидент показав, що моделі з поганою пояснюваністю не можуть бути використані для прийняття правових рішень; Система була перетворена на модель, яка генерує обґрунтування та потребує схвалення людини.
Чотири шаблони, які можна копіювати
1) Сканування джерела зміщення:
Ваша роль: експерт із алгоритмічної справедливості. Ознайомтеся з процесом прийняття рішень на основі ШІ нижче. Перелічіть можливі джерела зміщення: (1) історичне зміщення, (2) зміщення репрезентації (недопредставлена група), (3) проксі-змінні (стовпець, пов’язаний із забороненим критерієм), (4) зміщення вимірювання. Наведіть конкретний приклад для кожного та скажіть, як це перевірити. ПРОЦЕС: [процес прийняття рішення та використані дані]
2) План перевірки справедливості:
Створіть план перевірки справедливості для наступних результатів рішення: на які групи (вік, стать, регіон, дохід) мені слід розділити, які показники (рівень прийняття, рівень помилок, час очікування) слід порівняти, як визначити, чи є різниця законною чи дискримінаційною? Додати попередження КВКК. РІШЕННЯ: [яке рішення]
3) Заява про рішення (громадянину):
Напишіть зрозумілим для громадян проект пояснення наступного рішення: які фактори вплинули, доступною мовою. Додайте право на оскарження в кінці та можливість перевірки вручну [час буде підтверджено]. Використання розпливчастих виразів на зразок «Система так вирішила». РІШЕННЯ: [резюме та фактори впливу]
4) Перевірка підзвітності перед розповсюдженням:
Створіть контрольний список підзвітності перед розгортанням системи прийняття рішень на базі штучного інтелекту: чи можна це пояснити, чи є спосіб оскаржити, чи зберігається аудиторський слід (версія даних/модель/підзвітна), чи було проведено перевірку справедливості, де знаходиться точка схвалення людини. Позначити відсутні елементи червоними прапорцями. СИСТЕМА: [рецепт]
Слабка підказка / Сильна підказка
Слабкий: «Чи справедлива ця модель рішення?»
Сильно: «Ваша роль — експерт із алгоритмічної справедливості. Для цієї моделі пріоритезації допомоги спочатку проскануйте джерела упередженості (історичні, репрезентативні, сурогатна змінна, вимірювання) і наведіть конкретні приклади для кожного. Потім придумайте план перевірки справедливості: розподіл за групами, які показники, як визначити легітимність різниці; додайте попередження KVKK. Нарешті, перед розгортанням системи, надайте контрольний список для пояснюваність, шлях оскарження та аудит, а також червоний прапорець недоліків».
Різниця: сильна підказка шукає упередженість у її джерелі, результат перевіряється групами та робить підзвітність широко поширеною.
Виміри справедливості та засоби контролю
Розмір
Ризик
контроль
історичні дані
Минуле несе нерівність
Тестовий вихід за групами
представництво
Погано працює для певної групи
Рівень помилок на основі групи
сурогатна змінна
прихована дискримінація
Змінно-чутливий критеріальний зв'язок
Пояснюваність
необґрунтоване рішення
Створіть просте пояснення
заперечення
конфіскація
Шлях перевірки людиною
Цикл зворотного зв'язку та помилка представлення
Найпідступніша форма алгоритмічної дискримінації виникає не в одному неправильному рішенні, а в циклі зворотного зв’язку, який посилюється з часом (результати моделі впливають на подальші навчальні дані, підсилюючи існуюче упередження). Наприклад, якщо модель інспекції позначає певний район як «ризиковий», чим більше там перевіряється, тим більше записів створюється, модель вважає цей район більш ризикованим — навіть незважаючи на те, що різниця збільшилася в досліджуваному місці, а не в фактичному ризику. Шлях до цього прокладає часто помилка представлення (навчальні дані відображають деякі групи неповно або спотворено). У державному секторі ці цикли можуть поставити незахищені групи під дедалі суворіший нагляд і санкції. Спосіб захистити себе — відстежувати вплив моделі, а не лише її результати: регулярно відстежувати груповий розподіл рішень і не виконувати сліпо рекомендації моделі.
Міні-випадок — сумнів у самозвеличенні. Модель виявлення шахрайства з соціальною допомогою позначила регіон, який у минулому піддавався ретельній перевірці, як регіон із високим ризиком. Коли команда витягла з даних інтенсивність правозастосування та виміряла «справжній рівень виявлення щодо населення», вони виявили, що відмінності між регіонами в основному зникли; Модель помилково прийняла нерівність за реальний ризик.
Груповий шаблон контролю впливу:
Завдання: Вивчіть наведені нижче дані про рішення по групах (без персональних даних, категоричне резюме). Дані: [група | загального рішення | ставка негативного рішення | Inspection intensity]Результат: 1) Чи показник негативних рішень показує значну різницю між групами? 2) Чи може різниця бути пов’язана з реальним ризиком або інтенсивністю контролю/представництва? 3) Чи є ознаки петлі зворотного зв’язку? 4) Рекомендації щодо людського контролю. Правило: Встановлення твердження про причинність; Перелічіть можливі пояснення та способи перевірки.
Застереження: Аргумент про те, що «модель є нейтральною, оскільки вона застосовує те саме правило до всіх», вводить в оману. Це ж правило, коли застосовується до спотворених даних, зберігає та збільшує нерівність. Справедливість вимірюється рівністю результату, а не правилом.
Поширені помилки
- Видалення конфіденційних даних і думка «це справедливо». Сурогатні змінні увічнюють дискримінацію; перевірити вихід.
- Вимірювання справедливості умислом. Справедливість з'являється в кінці; Сортуйте рішення по групах і порівняйте.
- Забуваючи про недостатньо представлену групу. Модель може погано працювати для групи меншини; Перегляньте групову помилку.
- Використання непоясненої моделі в рішеннях, що надають права. Система, яка не може виправдати, не може приймати публічні рішення.
- Не надаючи жодних засобів заперечення. Кожне автоматизоване рішення повинно перевірятися людиною.
- Не ведення аудиторського сліду. Слід записати, з якими даними/моделью/відповідальною особою прийнято рішення.
Підсумовуючи
У державному секторі штучний інтелект може підвищити узгодженість, але також непомітно перенести дискримінацію минулого. Зміщення походить від історичних даних, розриву представлення, проксі-змінних і неточного вимірювання; Видалення конфіденційних даних не вирішить проблему. Справедливість досягається шляхом перевірки результатів між групами. І жоден громадянин не може бути позбавлений прав через «так сказала система»: кожне рішення має бути пояснюваним, оскаржуваним і підлягає перевірці. Відповідальність несе інституція, а не алгоритм.
Аплікаційне завдання
Виберіть у своєму підрозділі процес прийняття рішень на основі штучного інтелекту або автоматизований процес. Перелічіть можливі упередження та знайдіть принаймні одну сурогатну змінну ризику за допомогою шаблону «Сканування джерела упереджень». Визначте, на які розподіли груп слід звернути увагу, за допомогою «плану перевірки справедливості». Для зразка рішення підготуйте роз’яснення для громадян за допомогою шаблону «Пояснення до рішення».
контрольний список
- [ ] Я перевірив джерела упередженості (історичні, репрезентативні, проксі, вимірювання).
- [ ] Я не просто видалив конфіденційні дані; Я тестував вихід по групах.
- [ ] Я контролював рівень помилок для недостатньо представлених груп.
- [ ] Я надав просте, зрозуміле обґрунтування для кожного рішення.
- [ ] Я визначив заперечення та шлях перевірки людиною.
- [ ] Журнал аудиту (дані/версія моделі/відповідальний) підтримується.