Прибуток:
- Розуміє, що дані є основним джерелом упередженості ШІ
- Визнає ризики, які може створити упередженість на робочому місці
- Впроваджує заходи, які можна вжити для зменшення упередженого ставлення
ШІ виглядає як нейтральна, об’єктивна машина; але правда набагато складніша. Системи ШІ вивчають людські упередження в даних, на яких вони навчаються, а іноді збільшують і відтворюють їх. Упередження — це тенденція системи систематично віддавати перевагу або виключати певних людей чи групи. У цьому розділі ми розглянемо, звідки походять упередження, які конкретні ризики вони становлять на робочому місці та що можна проти них зробити. Це не лише питання «етики»; Це практична справа бізнесу, яка несе юридичний, комерційний і репутаційний ризик, якщо нею керувати неправильно.
Звідки береться упередження?
Інформація мовної моделі надходить із величезних текстів, створених людьми. Ці тексти містять усі знання про людське суспільство, а також усі його стереотипи, дисбаланс та історичну нерівність. Модель не розрізняє «хороші» і «погані» шаблони; Він вивчає все, що є в даних.
Приклад: якщо певні професії переважно асоціювалися зі статтю в минулих текстах (наприклад, «медсестра» з жінкою, «інженер» з чоловіком), модель вивчає цю асоціацію. Вона може мати тенденцію вибирати чоловічий займенник, коли завершує речення: «Інженер зайшов до офісу, він...» Модель не злісна; це просто відображає дисбаланс у даних.
Таким чином, упередженість здебільшого пов’язана з тим, що це дзеркало даних, а не свідома помилка програмування. Пояснення проблеми як «хтось написав поганий код» вводить в оману; Проблема полягає в тому, що дисбаланс у світі переноситься в дані, а звідти в модель.
Відчутні ризики на робочому місці
область
Ризик упередженості
можливої шкоди
вербування
Вивчіть тенденцію в історичних даних і видаліть певні групи
Судова справа, втрата дієздатності
Спілкування з клієнтами
Стереотипна або виключаюча мова
Втрата репутації, втеча клієнтів
кредит/ризик
Увічнення минулих нерівностей
Дискримінація, санкції
Оцінка ефективності
Перенесення упередженості даних у рішення
Нечесна акція/бонус
Контент/маркетинг
Зробити певну групу невидимою
Пошкодження марки
Три міні-чохли
Випадок 1 — Оголошення звужувало мову. Компанія почала друкувати оголошення про роботу за допомогою ШІ. Через деякий час було помічено, що реклама зверталася до певного профілю з такими виразами, як «молодий і динамічний», «агресивна ціль», і таким чином зменшила різноманітність додатків. Команда додала крок, який перевіряє кожну публікацію на «інклюзивну мову»; Різноманітність претендентів значно зросла за кілька місяців.
Випадок 2 — Прихована упередженість у резюме. Один менеджер змусив ШІ узагальнити відгуки 30 співробітників. Резюме, здавалося, зосередило негативні коментарі на одній конкретній команді; тоді як у вихідних даних ситуація була збалансованою. Модель перебільшила кілька сильних заяв. Коли менеджер повернувся і перевірив необроблені дані, він уникнув неправильного уявлення.
Випадок 3. Мандат інклюзивності спрацював. Одна команда маркетингу стандартизувала інструкцію в тексті кампанії, щоб «використовувати інклюзивну, неспецифічну гендерну/вікову/групову мову та перелічувати свої припущення в кінці». Помітно поменшало формульності у створених текстах; команді не потрібно було вручну виправляти кожен результат знову і знову.
Чому упередження важко розпізнати?
Найпідступніше в упередженнях те, що вони часто непомітні. Результат виглядає плавним, професійним і розумним; Тенденція всередині нього стає очевидною лише тоді, коли уважно придивитися чи виміряти його вплив на різні групи. Оманливо говорити, що «тут немає упередженості», дивлячись на один приклад; Упередженість часто проявляється не в окремих прикладах, а в загальній тенденції системи.
Застереження: припущення, що «я нейтральний, тому інструмент, який я використовую, також нейтральний» є небезпечним. Нейтральність інструменту залежить від навчальних даних і способу їх перевірки, а не від ваших намірів.
Слабка підказка / Сильна підказка
Слабка підказка: опишіть ідеального кандидата на цю посаду.
Результат: модель може спиратися на стереотипи та представляти певний профіль як «ідеальний».
Наполеглива підказка: перерахуйте лише вимірні компетенції для цієї посади, які справді мають відношення до роботи. Не використовуйте жодних характеристик, які не стосуються роботи, таких як стать, вік, сімейний стан, рідне місто. Нарешті, напишіть те, що ви пропустили під заголовком «припущення, яких я уникаю».
Результат: Оцінювання обмежується критеріями, пов’язаними з роботою, нерелевантні функції виключаються.
Шаблони для зменшення упередженості
Ознайомтеся з текстом нижче, щоб знайти інклюзивну мову. Позначте твердження, які мають на увазі стать, вік, етнічну приналежність, інвалідність або конкретну групу, і запропонуйте нейтральну альтернативу для кожного. Текст: [вставте сюди]
Зробіть цю оцінку лише на основі цих об’єктивних критеріїв: [критерії]. Не враховуйте іншу інформацію, крім цих критеріїв (ім’я, стать, вік).
Перелічіть під окремим заголовком у кінці, які припущення ви зробили в створеному тексті. Тому я бачу приховані упередження.
Оцініть цей вміст очима трьох різних груп читачів і відзначте твердження, які можуть образити/скривдити будь-кого з них. Вміст: [вставити сюди]
Поширені помилки
Поширені помилки
- Припускаючи «нейтральний» вихід ШІ. Навіть якщо результат здається нейтральним, він може мати зміщення в даних; Потрібен активний нагляд.
- Дивлячись на один приклад і кажучи «немає упередженості». Упередженість прихована в загальній тенденції системи.
- Залишаючи прийняття рішень, які мають високу ефективність, ШІ без нагляду. Авторитет людини має важливе значення для прийняття таких рішень, як працевлаштування, просування по службі та кредитування.
- Забувши вимагати інклюзивності. Якщо ви явно не вкажете це в підказці, модель повернеться до шаблонів за замовчуванням.
- Це означає «Машина сказала це». Відповідальність за наслідки несе також особа, яка використовує рішення.
Справедливість – це відповідальність кожного
Боротьба з упередженнями — це не лише робота технічної команди. Кожен співробітник, який використовує результати штучного інтелекту, несе відповідальність за питання, чи є цей результат справедливим. «Машина сказала мені» — не виправдання; Особа, яка приймає рішення, також несе відповідальність за наслідки.
Підсумовуючи
- Основним джерелом упередженості штучного інтелекту є не зловмисність, а наявний дисбаланс і стереотипи в навчальних даних.
- упередження; Це створює реальний юридичний і репутаційний ризик у таких сферах, як підбір персоналу, спілкування з клієнтами, фінанси та оцінка.
- Упередженість часто непомітна і вбудована в загальну структуру системи; Дивитися на один приклад вводить в оману.
- Щоб зменшити: будьте уважні, обмежте рішення критеріями, пов’язаними з роботою, чітко вимагайте інклюзивності, покладіть людський контроль на важливі рішення.
- «Машина сказала мені» — не виправдання; Справедливість є відповідальністю кожного, хто використовує результат.
Аплікаційне завдання
Скажіть штучному інтелекту «описати ідеального працівника [будь-якої професії]» та позначте, які (можливо, непотрібні) припущення були зроблені у вихідних даних. Потім повторіть із наведеним вище шаблоном «критерії, пов’язані з роботою» та порівняйте два результати на предмет справедливості.
Контрольний список
- [ ] Я розумію, що основним джерелом упередженості є навчальні дані.
- [ ] Я можу назвати конкретні ризики, які може становити упередженість на робочому місці.
- [ ] Я знаю, що упередженість часто непомітна, і розгляд одного прикладу вводить в оману.
- [ ] Я можу чітко вимагати інклюзивності та критеріїв, пов’язаних із роботою, у підказці.
- [ ] Мені потрібен людський нагляд за прийняттям вагомих рішень.