Упередженість, репрезентація та культурна чутливість

Прибуток:

• Визнайте на прикладах, як культурні, гендерні та діагностичні упередження в моделях штучного інтелекту завдають шкоди в контексті психології
• Можливість реалізувати перевірку упередженості, яка перевіряє результати для різних груп, мов і культур
• Здатність розвивати методи підказки та перевірки, які виправляють західноцентричну норму та стигматизуючу мову

Штучний інтелект (ШІ) не є нейтральним. Модель штучного інтелекту вчиться на величезній купі тексту в Інтернеті, і «бачення світу» моделі спотворено залежно від того, чий голос містить більше, а чий — менше. Це спотворення називається зміщенням. Упередженість у психології — це не звичайний технічний недолік; Це може безпосередньо впливати на оцінку, діагностику та лікування людини. Симптом може розглядатися як «нормальний» в одній культурі та «патологічний» в іншій; поведінка може бути сформульована як «самовпевненість» в одній статі та «агресія» в іншій. ШІ може вивчати та відтворювати ці історичні упередження. У цьому розділі ви навчитеся розпізнавати упередження в ШІ в контексті психології та перевірятимете результати для різних груп, мов і культур.

Звідки береться упередження і чим воно шкодить?

Існує три основні джерела упередженості ШІ:

1. Дисбаланс тренувальних даних. Моделі навчаються переважно на текстах певної мови, культури та періоду. Основна частина літератури з психології походить із західних, освічених, індустріалізованих суспільств; отже, припущення ШІ про «нормальну людину» відображає цю вузьку вибірку.
2. Включення історичної упередженості. Тексти, які патологізували та стигматизували певні групи в минулому, також включені до даних; модель вивчає ці моделі.
3. Відсутність представництва. Модель містить або недостатню, або стереотипну інформацію про недостатньо представлені групи (інша етнічна приналежність, мова, сексуальна орієнтація, інвалідність).

Шкода відчутна: штучний інтелект може оцінити симптом як більш серйозний в одній групі та менший, ніж в іншій; може помилково розглядати культурне вираження (траурний ритуал, релігійний досвід) як симптом; Це може призвести до стигматизації, кліше.

Застереження: навіть якщо результат штучного інтелекту здається «об’єктивною наукою», він може містити упередження, які він дізнався. Зокрема, коли йдеться про різні культури, стать, сексуальну орієнтацію та соціально-економічні групи, ми розглядаємо кожен результат як «це справедливо для всіх груп?» Фільтр із запитанням.

Специфічні для психології типи упереджень

Тип упередження

Погляд в психології

ризик

культурна упередженість

Вважаючи західні норми універсальними

Не плутайте культурне самовираження з патологією

гендерні упередження

Інтерпретація однієї і тієї ж поведінки по-різному залежно від статі

діагностична диспропорція

діагностичне упередження

Зображення певних груп як «схильних» до певних діагнозів

Над/недодіагноз

мовна упередженість

Більш «вправний» у домінуючій мові, поверхневий у іншій

Нерівна оцінка

Штампування

Мова, яка ідентифікує людину з її діагнозом

принизливе обрамлення

Крок за кроком: контроль упередженості

1. Ви можете змінити висновок на "для кого це було написано?" запитання. Хто суб'єкт за замовчуванням? Він взагалі освічений, західний, «середній» хлопець.
2. Тест з різними групами. Повторіть ту саму підказку в різних культурних, гендерних і вікових контекстах; Чи змінюються коментарі?
3. Відскануйте стигматичний язик. Правильне формулювання, яке ідентифікує людину з її діагнозом («людина, яка страждає на шизофренію» замість «шизофренія»).
4. Додайте культурний контекст. Повідомте ШІ культурний/мовний контекст клієнта та «не вважайте вирази, які можуть бути нормальними в цьому контексті, як патологію».
5. Очі експертів і громадськості. Якщо ви не впевнені щодо культурного питання, проконсультуйтеся з колегою, який знає цю культуру.
6. Нехай люди вирішують. Навіть перевірка упередженості не покладена на AI; Остаточний вирок справедливості належить вам.

Порада. Практичний спосіб перевірити, чи є результат упередженим: змініть один атрибут (стать, культуру, вік) у підказці та знову поставте те саме запитання. Якщо тлумачення змінюється «несправедливо» разом із цією зміною, має місце упередженість.

три міні-чохла

Випадок 1 — Патологізація культурного самовираження. Професіонал повідомляє ШІ, що клієнт з іншої культури «розмовляє з померлим» під час процесу горя. ШІ пояснює це як «може бути психотичним симптомом». Однак це звичайний і нормальний вияв горя в культурі клієнта. Експерт відхиляє результати ШІ, оскільки знає культурний контекст. Той, хто не знав контексту, міг зробити серйозну помилку.

Випадок 2 — Тестування гендерних упереджень. Слідчий двічі дає штучному інтелекту те саме резюме справи; це просто змінює стать людини. У «жіночому» варіанті ШІ підкреслює «емоційну нестабільність», тоді як у «чоловічому» він обрамляє ту саму поведінку як «реакція на стрес». Це чітко демонструє гендерну упередженість моделі. Дослідник документує цю різницю та використовує результати з цим усвідомленням.

Випадок 3 — Виправлення стигматизаційної мови. Штучний інтелект є «хворою межею», йдеться в одному з проектів звіту. Спеціаліст розглядає це як мову стигматизації, яка ототожнює людину з її діагнозом, і перекладає її на мову, яка зосереджується на людині, наприклад, «особа з визначеною прикордонною моделлю особистості». Невелика зміна мови має велике значення для захисту гідності клієнта.

Копіювані підказки та шаблони

Перевірте наступний текст на наявність упередженості: твердження прапорців, які вказують на культурну, гендерну, сексуальну орієнтацію, вік або соціально-економічну упередженість. Також покажіть припущення, які вважають західні норми універсальними. Запропонуйте справедливішу альтернативу для кожного. Текст: [текст]

Допоможіть мені оцінити наступну ситуацію, але культурний контекст клієнта — це [культура/мова]. У цьому контексті представлення виразів, які можуть бути НОРМАЛЬНИМИ як патології; Якщо ви не впевнені щодо культурного аспекту, скажіть «це може відрізнятися від культурних особливостей, зверніться до експерта». Статус: [анонімний статус]

Перекладіть стигматизуючі вирази в цьому тексті, які ототожнюють людину з її діагнозом (наприклад, «шизофренія», «прикордонний») мовою, яка концентрує особу та зберігає її гідність. Не змінюйте змісту, просто олюдніть мову. Текст: [текст]

Я оціню наступний виклад справи двічі: один раз суб’єкт [ознака A], інший [особливість B]. Чи існує несправедлива різниця між цими двома оцінками, і якщо так, то чи є вона упередженістю? Compare.Abstract: [анонімна анотація]

Слабка підказка / Сильна підказка

Слабка підказка: «Поведінка цього клієнта нормальна чи ненормальна?»

Це підказка не запитує, для кого «нормальний»; ШІ передбачає західноцентричну, некультурну «нормальність» і може патологізувати культурне самовираження.

Сильне підказування: «Цей клієнт знаходиться в [культурному/мовному контексті]. Поясніть, чи може ця поведінка бути нормальним проявом у цьому культурному контексті чи ознакою, яка потребує уваги, обговорюючи обидва окремо. Не робіть остаточного висновку; нагадайте мені проконсультуватися з експертом, який знає культурний контекст».

Ця підказка ставить контекст у центр, запобігає культурному неправильному читанню та залишає рішення експерту.

Поширені помилки

• Помилково сприйнявши результат ШІ за «об’єктивний». Забуваючи, що модель несе упередженість, і приймаючи результат як науковий факт.
• Вважаючи західну норму універсальною. Визначення «нормального» відповідно до однієї культури та патологізація різних виражень.
• Не помічаючи стигматизаційної мови. Помилково приймаючи мову, яка ідентифікує людину з її діагнозом, як «технічну мову».
• Без перевірки на упередженість. Не спробувати те саме підказку з різними групами та перевірити послідовність.
• Приймати рішення самостійно в культурі, яку ви не знаєте. Винесення судження без консультації з колегою, який знає цю культуру.

Підсумовуючи

ШІ є упередженим, оскільки він навчається на текстах упередженого світу; У психології це упередження перетворюється на відчутну шкоду у формі культурної, гендерної, діагностичної, мовної та стигми. Порівняйте кожен результат із запитанням «чи справедливо це для всіх груп?» процідіть; перевірте ту саму підказку з різними групами; додати культурний контекст до підказки; змінити мову стигматизації на мову, орієнтовану на особистість; Зверніть увагу експерта/спільноти на культуру, з якою ви не знайомі. Судження про справедливість, включаючи контроль над упередженістю, походять від людини.

Аплікаційне завдання

Підготуйте резюме справи (анонімно). Дайте це ШІ двічі; змінити лише одну характеристику (стать, культуру чи вік). Розмістіть два роздруківки поруч і перевірте, чи немає несправедливих відмінностей. Також попросіть штучний інтелект перекласти стигматизаційні фрази в абзаці звіту на особистісно орієнтовану мову та звернути увагу на різницю.

контрольний список

• [ ] Змінити результат на "чи це справедливо для всіх груп?" Я поставив запитання.
• [ ] Я перевірив ту саму підказку з різними групами/культурами.
• [ ] Я додав культурний контекст до підказки; Я не патологізував культурне самовираження.
• [ ] Я змінив мову стигматизації на мову, орієнтовану на людину.
• [ ] Я звернувся за порадою до експерта/колеги щодо питання культури, яке мені було незнайоме.
• [ ] Я залишив остаточне рішення щодо справедливості на свій власний суд, а не на ШІ.