Прибуток:
- Здатність виявляти приховану дискримінацію шляхом розуміння того, що упередження походить від даних (історичних, репрезентативних, вимірювань, агрегування) та оцінки моделі на основі підгруп
- Здатність забезпечити пояснюваність, людський нагляд і підзвітність у вагомих рішеннях і прозорість документів за допомогою модельної картки
- Можливість управляти фінансовими та екологічними витратами без шкоди для якості за допомогою найменшої адекватної моделі, оперативного скорочення, кешу та партії
Технічно модель може працювати бездоганно, але все одно бути неправильною — якщо вона несправедлива для деяких людей, незрозуміла або спричиняє непідйомні витрати. У цьому розділі ми розглядаємо три «невидимі», але вирішальні аспекти розробки машинного навчання: упередженість і справедливість, етика і прозорість, вартість і стійкість. Це не прикраси, додані пізніше, а невід’ємні частини інженерної якості.
Звідки береться упередження?
Упередженість моделі (систематичне ставлення моделі до певних груп по-різному/несправедливо) зазвичай походить від даних, а не від моделі. Джерела:
- Історична упередженість: дані відображають минулу несправедливість. Якщо конкретній групі в минулому приписували менше, модель, навчена на цих даних, засвоїть і увічнить цю дискримінацію.
- Упередженість репрезентації: деякі групи недостатньо представлені в даних; модель працює погано для них (наприклад, низька точність у невеликій демографічній вибірці).
- Упередженість вимірювання: самі етикетки є упередженими (наприклад, якщо визначення «хорошого працівника» ґрунтується на минулих рішеннях про підвищення).
- Зміщення агрегації: оскільки дані надходять із певного каналу, вони не є репрезентативними для всесвіту.
Модель не просто вивчає ці упередження; масштабується шляхом автоматизації. Упереджене рішення однієї людини впливає на іншу людину; Вердикт упередженої моделі – мільйони.
Застереження: не впадайте в помилку, кажучи, що «модель нейтральна, тому що це просто математика». Модель вивчає та автоматизує людські упередження в даних. Нейтралітет – це не стандарт, а результат, який необхідно виміряти та забезпечити.
вимірювання справедливості
Щоб управляти справедливістю, її необхідно спочатку виміряти. Для цього оцініть модель на основі підгрупи: чи однакові такі показники, як точність, запам’ятовування, хибнопозитивний рівень для різних демографічних груп? Кілька концепцій справедливості:
- Групова справедливість: чи модель правильно/неправильно обробляє різні групи з однаковими показниками?
- Рівність можливостей: чи охоплює модель справді позитивні однаково в усіх групах (рівне запам’ятовування)?
Важливий факт: різні визначення справедливості не можуть бути задоволені одночасно (це математичний наслідок). Яке визначення справедливості є пріоритетним у цьому контексті, це етичне та ділове рішення, а не технічне, яке приймається разом із зацікавленими сторонами.
Слабкий підхід / Сильний підхід
Погано: «Загальна точність моделі становить 88%, що справедливо».
Гючлю: «Загальна точність становила 88%, але коли ми розділили це на підгрупи, відкликання становило 91% в одній групі та 67% в іншій групі — модель систематично пропускала цю групу. Ми задокументували причину (відсутність репрезентації), зібрали дані для цієї групи та переоцінили їх з метою рівного запам’ятовування. Ми вирішили разом із зацікавленими сторонами, якому визначенню чесності ми віддамо пріоритет».
Відмінність: сильний підхід не ховається за загальною метрикою, він розділяє підгрупи та розглядає справедливість як відкрите рішення.
Етичність і прозорість
Основними принципами відповідального ШІ є:
- Зрозумілість: чи можна пояснити, чому модель прийняла таке рішення? При прийнятті серйозних рішень (кредит, найм, охорона здоров’я) людина має право на пояснення. Непояснена модель не повинна використовуватися в цих областях або повинна підтримуватися зрозумілим методом.
- Людський нагляд: важливі рішення не повинні прийматися автоматично; Модель пропонує, людина підтверджує.
- Підзвітність: має бути чітко визначено, хто несе відповідальність, коли модель робить помилку. «Модель вирішила» - не виправдання.
- Прозорість: користувач повинен знати, що він взаємодіє зі штучним інтелектом і як використовуються його дані.
У багатьох країнах і секторах ці принципи також включені в законодавство (прозорість, аудит і зобов’язання щодо людського нагляду для систем ШІ з високим рівнем ризику). Інженер несе відповідальність за знання правил своєї справи.
Порада: зберігайте «картку моделі» для кожної високовпливової моделі: що робить модель, на яких даних її навчали, наскільки добре/погано вона працює в яких групах, які її відомі обмеження. Цей документ одночасно є інструментом прозорості та підзвітності.
Вартість і стійкість
ШІ коштує недешево. Вартістю керують у двох вимірах:
Фінансові витрати:
- Вартість маркерів (LLM): кожен запит і відповідь коштують жетонів; Зі збільшенням обсягу зростає і рахунок. Невиправдано довгі підказки, надмірно великий вибір моделей і неконтрольовані агентські цикли (блок 5) збільшують вартість.
- Навчання та хостинг: точне налаштування та представлення моделі потребують витрат на обладнання.
- Оптимізація: не використовуйте велику модель, якщо достатньо маленької моделі; кешувати запитання, що часто задаються; скоротити підказку; Пакетуйте те, що можна обробити.
Витрати на навколишнє середовище: навчання великої моделі та висновки споживають значну кількість енергії. Екологічність робить уникнення непотрібних обчислень (модель правильного розміру, ефективна архітектура) професійною відповідальністю.
Порада: перше правило оптимізації витрат: «Яка найменша адекватна модель для цієї роботи?» Розміщувати всюди найпотужнішу модель — все одно, що забивати цвях кувалдою — дорого й непотрібно.
три міні-чохла
Випадок 1 - Прихована дискримінація. Модель скринінгу найму в цілому виглядала добре. Аналіз підгрупи виявив, що модель систематично підкреслювала кандидатів-жінок, оскільки в історичних даних переважали чоловіки — вона вивчила історичну упередженість. Модель зупинено, дані збалансовано та відстежено показники справедливості. Загальна справедливість прикривала приховану дискримінацію.
Випадок 2 - Відмова без пояснення. Кредитна модель відхиляла заявки, але ніхто не міг пояснити чому. Коли клієнт звернувся за юридичними роз’ясненнями, команда не змогла відповісти. Модель було вилучено з використання для прийняття рішень із високим ступенем впливу, доки не було додано зрозумілий метод і не було створено обґрунтування для кожної відмови. Урок: можливість пояснення має важливе значення для прийняття рішень, які мають значний вплив.
Випадок 3 - Білл шок. Одна команда використовувала найбільший LLM і дуже довгі підказки для кожного запиту. Місячний рахунок несподівано зріс. Пост-аналіз: більшість запитів можна було вирішити за допомогою невеликої моделі, половина підказок була зайвою, а часті запитання можна було кешувати. Ці три оптимізації значно знизили вартість без шкоди для якості. Урок: не скрізь потрібна найпотужніша модель.
Шаблони, які можна копіювати
Допоможіть мені оцінити цю модель на упередженість/справедливість. На які підгрупи (демографічні/сегменти) мені слід розділити та виміряти? Які показники (точність, запам’ятовування, частота помилкових позитивних результатів за групою) мені слід порівнювати? Чи можуть різні визначення справедливості суперечити, чому я маю віддати перевагу в цьому контексті та чому? Контекст моделі/рішення: [пояснення]
Створіть чорнову картку моделі для цієї вражаючої моделі. Має включати: мету, дані та дату навчання, ефективність у підгрупах, відомі обмеження, належне/неналежне використання, статус пояснюваності, пункт людського контролю. Модель: [опис]
Допоможіть мені зменшити вартість реалізації цього LLM без шкоди для якості. Доступно: розмір моделі, середня довжина підказки, обсяг запиту, чи є кеш? Оцініть: 1) Чи достатньо меншої моделі (для яких завдань)? 2) Чи можна скоротити підказку? 3) Чи можна кешувати часті запити? 4) Чи доступна робота для пакету? Запишіть приблизний вплив кожної пропозиції.
Створіть контрольний перелік етики/відповідальності для цієї високоефективної системи прийняття рішень.– Пояснюваність: чи можна надати обґрунтування рішення?– Людський нагляд: чи підлягає схваленню важливе рішення?– Підзвітність: хто несе відповідальність у разі помилки?– Прозорість: чи знає користувач, що використовується ШІ?– Регулювання: які пов’язані з цим юридичні зобов’язання? Система: [опис]
Таблиця джерел зміщення
Джерело
симптом
запобіжний захід
історична упередженість
Дискримінація в минулому триває
Аудит даних + показник справедливості
упередженість представництва
Низька точність у невеликій групі вибірки
Розбір підгруп + балансування
зсув вимірювання
упереджені ярлики
Огляд процесу етикетки
Зміщення агрегації
Всесвіт не представлений
Диверсифікація ресурсів
Поширені помилки
- Покладаючись на загальний показник. Приховану дискримінацію неможливо побачити без підгрупового аналізу.
- Припускаючи «нейтральну модель». Модель вивчає та посилює зміщення в даних.
- Залишення вагомого рішення моделі без пояснень. Юридичний та етичний ризик.
- В обхід людського нагляду. «Модель вирішила» — не виправдання.
- Розмістіть всюди найбільшу модель. Непотрібні витрати та енергія.
- Вартість не відстежується. Купюра мовчки надувається.
Підсумовуючи
Технічно правильна модель все одно є невдалою, якщо вона не є справедливою, зрозумілою та стійкою. Зміщення здебільшого походить від даних, і модель збільшує його в масштабі; Виміряйте справедливість за підгрупами та погодьте із зацікавленими сторонами, якому визначенню справедливості віддати пріоритет. Зрозумілість, людський нагляд і підзвітність є важливими для рішень, які мають значний вплив; Прозорість документа за допомогою картки моделі. Керуйте витратами та енергією: виберіть найменшу адекватну модель, скоротіть запит, використовуйте кеш і пакет. Ці розміри є невід’ємною частиною інженерної якості, а не надмірностей, доданих пізніше.
Аплікаційне завдання
Розділіть модель принаймні на дві підгрупи та порівняйте відкликання та частоту хибнопозитивних результатів на груповій основі; Якщо є значна різниця, напишіть причину та застереження. Створіть коротку картку моделі для високоефективної моделі (мета, дані, продуктивність підгрупи, межі, можливість пояснення). Визначте принаймні дві конкретні оптимізації (мінімум/миттєве скорочення/кеш/пакет), щоб зменшити витрати на впровадження LLM, і запишіть їх очікуваний вплив.
контрольний список
- [ ] Я оцінив модель на основі підгруп, я не покладався на загальну метрику.
- [ ] Разом із зацікавленими сторонами я вирішив, якому визначенню справедливості я віддам пріоритет.
- [ ] Рішення із сильним впливом можна пояснити та підлягає схваленню з боку людини.
- [ ] Я задокументував прозорість і межі за допомогою картки шаблону.
- [ ] Я вибрав найменшу адекватну модель; Я оптимізував запит/кеш/пакет.
- [ ] Я відстежую вартість і вплив енергії.