Печалби:
- Разбира, че данните са основният източник на пристрастия на AI
- Признава рисковете, които пристрастията могат да създадат на работното място
- Прилага мерки, които могат да бъдат предприети за намаляване на предразсъдъците
AI изглежда като неутрална, обективна машина; но истината е много по-сложна. AI системите научават човешките пристрастия в данните, върху които се обучават, и понякога ги увеличават и възпроизвеждат. Предразсъдъците са склонността на една система систематично да облагодетелства или изключва определени хора или групи. В тази част ще разгледаме откъде идват предразсъдъците, какви конкретни рискове крият на работното място и какво може да се направи срещу тях. Това не е само въпрос на "етика"; Това е практически бизнес въпрос, който носи правен, търговски и репутационен риск, когато се управлява неправилно.
Откъде идват предразсъдъците?
Информацията за езиковия модел идва от огромните текстове, които хората произвеждат. Тези текстове съдържат цялото знание за човешкото общество, както и всичките му стереотипи, дисбаланси и исторически неравенства. Моделът не прави разлика между "добри" и "лоши" модели; Той научава каквото има в данните.
Пример: Ако определени професии са предимно свързани с пол в минали текстове (напр. „медицинска сестра“ с жена, „инженер“ с мъж), моделът научава тази асоциация. Тя може да е склонна да избере мъжко местоимение, когато завършва изречението „Един инженер влезе в офиса, той...“ Моделът не е злонамерен; то просто отразява дисбаланса в данните.
Така че отклонението се дължи най-вече на това, че е огледало на данните, а не на съзнателна програмна грешка. Обясняването на проблема като „някой е написал лош код“ е подвеждащо; Проблемът е, че дисбалансът в света се пренася в данните и оттам в модела.
Осезаеми рискове на работното място
площ
Риск от пристрастия
възможна вреда
набиране на персонал
Научете тенденцията в историческите данни и елиминирайте определени групи
Съдебно дело, загуба на дееспособност
Комуникация с клиенти
Стереотипен или изключващ език
Загуба на репутация, бягство на клиента
кредит/риск
Увековечаване на минали неравенства
Дискриминация, санкции
Оценка на изпълнението
Пренасяне на пристрастия в данните в решението
Нечестна промоция/бонус
Съдържание/маркетинг
Направете конкретна група невидима
Повреда на марката
Три мини калъфа
Случай 1 — Рекламата стеснява езика. Компания започна да печата обяви за работа с AI. След известно време се забелязва, че рекламите се обръщат към определен профил с изрази като „млад и динамичен“, „агресивна цел“ и по този начин намаляват разнообразието от приложения. Екипът добави стъпка, която проверява всяка публикация за „включващ език“; Разнообразието от кандидати се увеличи значително в рамките на няколко месеца.
Случай 2 — Скрити пристрастия в резюмето. Един мениджър накара AI да обобщи отзивите на 30 служители. Резюмето изглежда концентрира негативните коментари върху един конкретен отбор; докато в необработените данни ситуацията беше балансирана. Моделът преувеличи няколко силни изявления. Когато мениджърът се върна и провери необработените данни, той избегна погрешно схващане.
Случай 3 — Мандатът за приобщаване проработи. Един маркетингов екип стандартизира инструкцията в текста на кампанията, за да „използва всеобхватен, неспецифичен език за пол/възраст/група и изброява вашите предположения в края“. Значително са намалели формуличните изрази в произведените текстове; екипът не трябваше да коригира ръчно всеки резултат отново и отново.
Защо е трудно да се разпознае пристрастието?
Най-коварното в предразсъдъците е, че често са невидими. Резултатът изглежда гладък, професионален и разумен; Тенденцията в него става очевидна само когато се вгледа внимателно или измери въздействието му върху различни групи. Подвеждащо е да се каже, че „тук няма пристрастия“, като се разгледа един единствен пример; Пристрастието често се проявява не в отделни примери, а в общата тенденция на системата.
Внимание: Предположението, че „аз съм неутрален, следователно инструментът, който използвам, също е неутрален“ е опасно. Неутралността на инструмента зависи от данните за обучението и начина, по който се проверяват, а не от вашето намерение.
Слаба подкана / Силна подкана
Слаба подкана: Опишете идеалния кандидат за тази позиция.
Резултат: Моделът може да разчита на стереотипи и да представи определен профил като „идеален“.
Силна подкана: Избройте само измерими компетенции за тази позиция, които са наистина подходящи за работата. Не използвайте характеристики, които не са свързани с работата, като пол, възраст, семейно положение, роден град. Накрая напишете какво сте пропуснали под заглавието „предположения, които избягвам“.
Резултат: Оценяването е ограничено до критерии, свързани с работата, неподходящите характеристики са изключени.
Шаблони за намаляване на пристрастията
Вижте текста по-долу за включващ език. Маркирайте изявления, които предполагат пол, възраст, етническа принадлежност, увреждане или конкретна група и предлагат неутрална алтернатива за всяко. Текст: [поставете тук]
Направете тази оценка само въз основа на тези обективни критерии: [критерии]. Не вземайте под внимание друга информация освен тези критерии (име, пол, възраст).
Избройте под отделно заглавие в края кои предположения сте направили в текста, който сте създали. Така че мога да видя скрити пристрастия.
Оценете това съдържание през очите на три различни групи читатели и маркирайте всички твърдения, които могат да обидят/обиждат някоя от тях. Съдържание: [поставете тук]
Често срещани грешки
Често срещани грешки
- Приемайки "неутрален" AI изход. Въпреки че резултатът изглежда неутрален, той може да носи отклонение в данните; Необходим е активен надзор.
- Погледнете един пример и кажете „няма пристрастия“. Предразсъдъците са скрити в общата тенденция на системата.
- Оставяне на вземането на решения с голямо въздействие на неконтролиран AI. Човешкият авторитет е от съществено значение при решения като набиране на персонал, повишение и кредитиране.
- Забравяйки да изискват приобщаване. Ако не го поискате изрично в подканата, моделът се връща към шаблоните по подразбиране.
- Означава "Машината го каза." Лицето, което използва решението, носи отговорност и за последствията.
Справедливостта е отговорност на всеки
Борбата с предразсъдъците не е само работа на техническия екип. Всеки служител, който използва AI резултат, носи отговорността да постави под въпрос дали този резултат е справедлив. „Машината ми каза“ не е извинение; Човекът, който взема решението, носи отговорност и за последствията.
В обобщение
- Основният източник на отклонение от ИИ не е злонамереност, а съществуващи дисбаланси и стереотипи в данните за обучението.
- предразсъдъци; Това създава реален правен риск и риск за репутацията в области като набиране на персонал, комуникация с клиенти, финанси и оценка.
- Пристрастията често са невидими и са вградени в цялостното разположение на системата; Разглеждането на единичен пример е подвеждащо.
- За намаляване: бъдете наясно, ограничете решенията до критерии, свързани с работата, изрично поискайте приобщаване, поставете човешки контрол върху решенията с голямо въздействие.
- „Машината ми каза“ не е извинение; Справедливостта е отговорност на всеки, който използва изхода.
Задача за приложение
Кажете на AI „опишете идеален [всяка професия] работник“ и отбележете какви (може би ненужни) предположения са направени в резултата. След това повторете с шаблона „свързани с работата критерии“ по-горе и сравнете двата резултата за справедливост.
Контролен списък
- [ ] Разбирам, че основният източник на пристрастност са данните за обучението.
- [ ] Мога да назова конкретните рискове, които пристрастията на работното място могат да породят.
- [ ] Знам, че пристрастията често са невидими и че разглеждането на единичен пример е подвеждащо.
- [ ] Мога ясно да поискам приобщаване и критерии, свързани с работата, в подканата.
- [ ] Изисквам човешки контрол върху решенията със силно въздействие.