Печалби:
- Разграничаване на три модела на човешки контрол (в цикъла, в цикъла, по команда)
- Разпознаване и смекчаване на рисковете от пристрастия и дискриминация в резултатите от ИИ
- Превеждане на принципите на прозрачност и обяснимост в конкретни приложения
Една AI система може технически да работи перфектно, но все пак да е грешна: тя може систематично да елиминира група, да не успее да обясни причината за решението си или да накара хората да го приемат, без да задават въпроси. В този раздел ние превеждаме „меката“, но най-решаваща страна на управлението – човешки контрол, управление на пристрастия, прозрачност и етика – в конкретни практики. Целта не са неясни лозунги като „не се доверявайте на AI“; Те са работещи механизми, които показват как да се одитира резултат, да се намалят пристрастията и да се установи прозрачност.
Три модела на човешки контрол
Човешкият надзор означава, че човекът запазва контрола върху решенията, взети от ИИ. Има три основни модела и е необходимо да изберете правилния модел според риска.
модел
Значение
Където пасва
Човек в цикъла
Човек одобрява всяко решение
Високорискови, въздействащи решения
Човек на линия
AI работи, хората наблюдават и се намесват, ако е необходимо
Среден риск, голям обем транзакции
Командващ човек
Човекът проектира системата, поставя нейните граници, може да я затвори
Общо ниво на управление
За решения, които значително засягат лицето (работа, кредит, здравеопазване), предпочитан е моделът на човек в цикъла: AI дава съвети, но компетентен човек взема окончателното решение. „AI каза така“ никога не е извинение; Отговорността винаги е на човека.
Внимание: Не е достатъчно човешкият контрол да е „на хартия“. Ако човекът автоматично одобри предложението на AI (гумено щамповане), няма истински контрол. За да има смисъл одитът, човек трябва да може да види обосновката, да я постави под въпрос и наистина да каже „не“.
Риск от предразсъдъци и дискриминация
Пристрастие е, когато AI систематично поставя в неравностойно положение или дава предимство на определени групи. Неговият източник често са данни за обучение: ако има дискриминация в исторически данни, AI ги научава и ги поддържа — дори ги мащабира.
Практически стъпки за намаляване на пристрастията:
- Преглед на чувствителни променливи: Проверете влиянието на полета като пол, възраст, етническа принадлежност върху решението.
- Резултати от тестове по групи: Системата произвежда ли различни нива на отхвърляне/приемане в различните групи?
- Пазете се от прокси променливи: Полета като „квартал“ или „училище“ може имплицитно да предадат етническа/класова разлика.
- Установете редовно наблюдение: отклонението се тества непрекъснато, а не само веднъж; Може да се върне, когато данните се променят.
три мини калъфа
Случай 1 — Гумен печат. В една банка кредитните служители одобряват оценката на AI, без да я преглеждат; Казват, че "системата вече го е изчислила". Одитът показва, че в 498 от 500 подавания, човекът е взел точно същото решение като AI - така че няма реален преглед. Решение: изисквайте от хората да видят мотивите, да преценят решението до известна степен и изискват бележка „защо съм съгласен/несъгласен“.
Случай 2 — имплицитно пристрастие. AI за набиране оценява кандидатите жени по-ниско, въпреки че изобщо не използва пола. откъде? Тъй като миналите данни включват предимно мъже на дадена позиция, моделът научи непряка дискриминация чрез прокси променливи като „непрекъсната кариера“. Груповото тестване разкрива това; Екипът извлича сурогатни променливи и следи резултата.
Случай 3 — Доверие с прозрачност. В своята оценка на щетите, базирана на AI, застрахователна компания информира всеки клиент, че „решението е базирано на AI, те могат да обжалват и да поискат преглед от човек“. Процентът на възражения е по-нисък от очаквания, защото клиентите разбират и се доверяват на процеса. Прозрачността увеличава доверието, като същевременно намалява риска.
Прозрачност и обяснимост
Прозрачността означава да се изясни на съответните хора, че ИИ е в действие и как работи. Обяснимостта означава да можете да обясните причината за дадено решение по разбираем начин. Конкретни приложения:
- Известие „Вие говорите с AI“ при взаимодействие на AI с човека.
- „Това решение се основава на следните фактори“ обяснение в автоматичните решения.
- Ясно представете пътя за обжалване и заявка за преглед от човек.
- За вътрешни екипи: документация и запис на това, което моделът прави.
Подсказка: Попитайте решението на AI „кои са основните три фактора, повлияли на това решение?“ Тествайте го с въпроса. Ако системата не може да направи това разбираемо и решението засяга значително човека, тази система все още не е готова за отговорна употреба.
Пристрастие към автоматизацията: собствен капан
Дори ако прозрачността и човешкият надзор са установени, съществува коварен риск от човешка страна: пристрастие към автоматизацията. Това е тенденцията хората да се доверяват повече на продукцията на машината, отколкото на собствената си преценка. Тъй като предложението за изкуствен интелект на екрана изглежда „обективно и изчислено“, човек се изкушава да го приеме без съмнение – това е психологическият произход на гуменото клеймо.
Има конкретни начини това да се намали. Първо насърчете противоположното мнение: попитайте човека, който одобрява решението „Защо може да не съм съгласен с AI?“ Помолете го да помисли върху въпроса. След това покажете резултата за увереност: посочете колко уверен е AI; Маркирайте резултатите с ниска степен на достоверност отделно. След това настройте предупреждение за конфликт: Ако препоръката на AI нарушава правилото на институцията или данните, достъпни за човека, системата ще подчертае това. И накрая, приложете двата човешки принципа към критични решения; Един одобряващ е по-податлив на пристрастия към автоматизацията.
Внимание: Да кажете „има човешко одобрение“ не означава да сте свободни от пристрастия към автоматизацията. Човекът трябва да има както властта, така и времето и точната информация, за да постави под съмнение ИИ. Система, която принуждава одобряващия да вземе 200 решения за 3 секунди, всъщност не предлага истински човешки контрол.
Копируеми шаблони
ШАБЛОН 1 — Избор на модел за човешки контрол: „Кой модел за човешки контрол е подходящ за следната употреба на AI [опишете употребата]: в цикъла, в цикъла или в командата? Препоръчайте с обосновка, като вземете предвид риска и въздействието върху индивида. Посочете какъв контрол трябва да добавя, за да избегна риска от гумен печат.“
ШАБЛОН 2 — План за тестване на пристрастия: „Направете [опишете употребата] план за тестване на пристрастия за следния AI за подпомагане на вземането на решения: кои групи трябва да сравня, какъв показател да измеря (процент на отхвърляне/приемане и т.н.), какви заместващи променливи да търся, колко често да повтарям теста? Напишете го стъпка по стъпка.“
ШАБЛОН 3 — Текст за описание на решението: „Напишете прост описателен текст за персонализирано автоматизирано решение: дали решението е задвижвано от AI, ключови фактори, влияещи върху решението, начин за обжалване и искане на преглед от човек. Необвинителен, уважителен тон, 120 думи или по-малко.“
ШАБЛОН 4 — Контролен списък за етичен преглед: „Подгответе контролен списък за етичен преглед, преди да публикувате използване на ИИ: справедливост/дискриминация, прозрачност, човешки контрол, поверителност, сигурност, отчетност. Включете 1-2 ясни въпроса, на които да отговорите под всяко заглавие.“
Слаба подкана / Силна подкана
СЛАБ: „Честно ли е това набиране на AI?“-> Моделът дава общ отговор като „трябва да е честно“; не предоставя тестван метод и измерване на отклонение. СИЛНО: „Настройте план за тестване на пристрастия за този ИИ за поддръжка на набиране на персонал: метод за сравняване на нивата на приемане между пол и възрастови групи, заместващи променливи, които да се вземат предвид, приемлив праг на разлика и честота на наблюдение. Също така добавете контрол, за да сте сигурни, че човекът взема крайното решение.“ -> Моделът създава измерим, повторим механизъм за справедливост.
Често срещани грешки
- Оставяне на човешкия контрол „на хартия“ и автоматично одобряване на препоръката на AI (гумен печат).
- Оставяне на решения, които значително засягат лицето, без надзор, вместо в цикъла.
- Като се има предвид, че отклонението е разрешено само защото „изтрих чувствителната променлива“; пропускане на прокси променливи.
- Тестване на отклонението веднъж, а не постоянно наблюдение.
- Пропускане на прозрачност, защото „това е технически детайл, потребителят няма да разбере“.
- Използване на система, която не може да обясни причината за решението при критични решения.
- Оставяйки етичната оценка за след публикуването, казвайки „ще видим по-късно“.
В обобщение
- Човешкото управление е реализирано в три модела; При решенията, засягащи хората, хората са предпочитани в цикъла.
- Контролът трябва да има смисъл; Гуменият печат (автоматично одобрение) не е действителният одит.
- Пристрастията често идват от данните за обучението; Чувствителните и сурогатните променливи трябва да бъдат тествани и постоянно наблюдавани.
- Прозрачността и обяснимостта изискват ясно представяне на потребителя, че AI е в действие и причината за решението.
- Етичният преглед се извършва преди публикуването; отговорността винаги е на човешкото същество, „AI каза така“ не е извинение.
Задача за приложение
Изберете процес на вземане на решения с изкуствен интелект, който засяга хората във вашата организация (например оценка на приложението). Определете подходящия модел за човешки контрол за този процес с обосновка и проектирайте конкретен контрол за предотвратяване на гумено щамповане (напр. изискване да видите обосновка, преглед на проба). След това напишете план за тестване на пристрастия: посочете кои групи ще сравнявате, с какъв показател, колко често и на кои прокси променливи ще обърнете внимание. Накрая съставете текст за обяснение на решението, който ще бъде показан на лицето по време на този процес и включва път за обжалване/човешки преглед.
контролен списък
- [ ] Избрах модела за човешки контрол, подходящ за процеса.
- [ ] Проектирах бетонен контрол, който ще предотврати гумения печат.
- [ ] Подготвих план за тестване на пристрастия (групи, показател, честота).
- [] Оцених риска от сурогатни променливи.
- [ ] Написах текст за обяснение на решението за лицето.
- [ ] Представих ясно пътя за обжалване и преглед от човек.
- [ ] Направих етичен преглед преди публикуване.