Добици:
- Разликовање три модела људске контроле (у петљи, на петљи, у команди)
- Препознавање и ублажавање ризика од пристрасности и дискриминације у излазу АИ
- Превођење принципа транспарентности и објашњивости у конкретне примене
Систем вештачке интелигенције може технички да функционише савршено, али је и даље погрешан: може систематски елиминисати групу, пропустити да објасни разлог своје одлуке или наведе људе да је прихвате без питања. У овој јединици ми преводимо „меку“, али најодлучнију страну управљања – људску контролу, управљање пристрасношћу, транспарентност и етику – у конкретне праксе. Циљ нису нејасни слогани попут „не веруј вештачкој интелигенцији“; Они су функционални механизми који показују како извршити ревизију резултата, смањити пристрасност и успоставити транспарентност.
Три модела људске контроле
Људски надзор значи да човек задржава контролу над одлукама које доноси АИ. Постоје три основна модела и потребно је изабрати прави модел према ризику.
модел
Значење
Где се уклапа
Човек у петљи
Човек одобрава сваку одлуку
Високоризичне одлуке које имају утицај
Човек на петљи
АИ ради, људи надгледају и интервенишу ако је потребно
Средњи ризик, велики обим трансакција
Човек који командује
Човек дизајнира систем, поставља његове границе, може га затворити
Општи ниво управљања
За одлуке које значајно утичу на особу (запошљавање, кредит, здравствена нега), преферира се модел човека у петљи: АИ даје савете, али компетентан човек доноси коначну одлуку. „АИ је тако рекао“ никада није изговор; Одговорност увек лежи на особи.
Пажња: Није довољно да људска контрола буде „на папиру“. Ако човек аутоматски одобри сугестију вештачке интелигенције (штанцање гуме), нема праве контроле. Да би ревизија била смислена, неко мора бити у стању да види образложење, преиспита га и заиста каже „не“.
Ризик од предрасуда и дискриминације
Пристрасност је када АИ систематски ставља у недостатке или предности одређеним групама. Његов извор су често подаци о обуци: ако постоји дискриминација у историјским подацима, АИ их учи и одржава - чак их и скалира.
Практични кораци за смањење пристрасности:
- Прегледајте осетљиве варијабле: Проверите утицај поља као што су пол, старост, етничка припадност на одлуку.
- Резултати испитивања по групама: Да ли систем производи различите стопе одбијања/прихватања у различитим групама?
- Чувајте се проки варијабли: Поља као што су „суседство“ или „школа“ могу имплицитно да пренесу етничку/класну разлику.
- Успоставити редовно праћење: Пристрасност се тестира континуирано, а не само једном; Може се вратити како се подаци мењају.
три мини кофера
Случај 1 — Печат. У једној банци, кредитни службеници одобравају АИ резултат без прегледа; Кажу „систем је то већ израчунао“. Ревизија показује да је у 498 од 500 поднесака, човек донео потпуно исту одлуку као АИ — тако да нема праве ревизије. Решење: захтевајте од људи да виде образложење, преиспитајте одлуку до одређене мере и захтевајте напомену „зашто се слажем/не слажем“.
Случај 2 — Имплицитна пристрасност. АИ који регрутује даје кандидаткиње ниже резултате, иако уопште не користи пол. Одакле? Пошто су прошли подаци укључивали углавном мушкарце на датој позицији, модел је научио индиректну дискриминацију преко проки варијабли као што је „непрекидна каријера“. Групно тестирање открива ово; Тим издваја сурогат варијабле и прати резултат.
Случај 3 — Поверење са транспарентношћу. У својој процени штете коју покреће вештачка интелигенција, осигуравајућа компанија обавештава сваког клијента да је „одлука заснована на вештачкој интелигенцији, могу да се жале и захтевају људски преглед“. Стопа приговора је нижа од очекиване јер клијенти разумеју процес и верују му. Транспарентност повећава поверење уз истовремено смањење ризика.
Транспарентност и објашњивост
Транспарентност значи да се релевантним људима јасно стави до знања да је АИ у акцији и како функционише. Објашњивост значи бити у стању да објасните разлог одлуке на разумљив начин. Бетонске апликације:
- „Разговарате са АИ“ обавештењем о АИ интеракцији са особом.
- "Ова одлука је заснована на следећим факторима" објашњење у аутоматским одлукама.
- Јасно представите пут за жалбу и захтев за људски преглед.
- За интерне тимове: документација и снимање онога што модел ради.
Савет: Питајте одлуку вештачке интелигенције „која су прва три фактора која су утицала на ову одлуку?“ Тестирајте то питањем. Ако систем то не може учинити разумљивим и одлука значајно утиче на особу, тај систем још није спреман за одговорну употребу.
Пристрасност аутоматизације: сопствена замка
Чак и ако се успоставе транспарентност и људски надзор, постоји подмукао ризик на људској страни: пристрасност аутоматизације. Ово је тенденција да људи верују више у излаз машине него свом сопственом суду. Пошто предлог вештачке интелигенције на екрану изгледа „објективан и прорачунат“, неко је у искушењу да га прихвати без питања – ово је психолошко порекло печата.
Постоје конкретни начини да се ово смањи. Прво подстакните супротно мишљење: питајте особу која одобрава одлуку „Зашто се не бих сложио са АИ?“ Замолите га да размисли о питању. Затим покажите резултат самопоуздања: наведите колико је АИ самоуверен; Одвојено означите излазе ниске поузданости. Затим подесите упозорење о конфликту: Ако препорука АИ крши правило институције или податке који су доступни човеку, систем ће то нагласити. Коначно, примените два људска принципа на критичне одлуке; Један одобравалац је подложнији пристрасности аутоматизације.
Опрез: Рећи „постоји људско одобрење“ не значи да сте ослобођени пристрасности аутоматизације. Човек мора имати и ауторитет, време и праве информације да доведе у питање АИ. Систем који приморава одобраваоца да донесе 200 одлука за 3 секунде заправо не нуди праву људску контролу.
Шаблони који се могу копирати
ШАБЛОНА 1 — Избор модела људске контроле: „Који је модел људске контроле прикладан за следећу употребу АИ [опишите употребу]: у петљи, у петљи или у команди? Препоручите са оправдањем, узимајући у обзир ризик и утицај на појединца. Наведите коју контролу треба да додам да бих избегао ризик од печата.“
ШАБЛОНА 2 — План тестирања пристрасности: „Направите [опишите употребу] план тестирања пристрасности за следећу АИ за подршку одлучивању: које групе треба да упоредим, коју метрику да мерим (стопа одбијања/прихватања, итд.), које заменске варијабле треба да тражим, колико често треба да понављам тест? Напишите га корак по корак.“
ШАБЛОНА 3 — Текст описа одлуке: „Напишите једноставан текст описа за персонализовану аутоматизовану одлуку: да ли је одлука заснована на вештачкој интелигенцији, кључни фактори који утичу на одлуку, начин жалбе и захтев за преиспитивање од стране људи. Неоптужујући, тон пун поштовања, 120 речи или мање.“
ШАБЛОН 4 — Контролна листа за етичку проверу: „Припремите контролну листу за етичку проверу пре објављивања употребе вештачке интелигенције: правичност/дискриминација, транспарентност, људска контрола, приватност, безбедност, одговорност. Укључите 1-2 јасна питања на која треба одговорити под сваким насловом.“
Слаби промпт / Јаки промпт
СЛАБО: „Да ли је ово регрутовање АИ фер?“-> Модел даје општи одговор попут „требало би да буде фер“; не пружа метод за тестирање и мерење пристрасности. СНАЖНО: „Поставите план тестирања пристрасности за ову АИ подршку за регрутовање: метод за упоређивање стопа прихватања међу полним и старосним групама, прокси варијабле које треба узети у обзир, прихватљиви праг разлике и учесталост праћења. Такође додајте контролу како бисте осигурали да човек донесе коначну одлуку.“ -> Модел производи мерљив, поновљив механизам праведности.
Уобичајене грешке
- Остављајући људску контролу „на папиру“ и аутоматски одобравајући препоруку АИ (жиг).
- Остављање одлука које значајно утичу на особу без надзора уместо у петљи.
- С обзиром да је пристрасност решена само зато што сам „избрисао осетљиву променљиву“; прескакање прокси променљивих.
- Тестирање пристрасности једном, а не стално праћење.
- Прескакање транспарентности јер "то је технички детаљ, корисник неће разумети".
- Коришћење система који не може да објасни разлог одлуке у критичним одлукама.
- Остављамо етичку евалуацију до објављивања, говорећи „видећемо касније“.
Укратко
- Људска контрола је имплементирана у три модела; У одлукама које утичу на људе, људима се даје предност у циклусу.
- Контрола мора бити смислена; Печат (аутоматско одобрење) није стварна ревизија.
- Пристрасност често долази из података о обуци; Осетљиве и сурогат варијабле треба тестирати и стално пратити.
- Транспарентност и објашњивост захтевају јасно представљање кориснику да је АИ у игри и разлог за одлуку.
- Етички преглед се врши пре објављивања; одговорност увек лежи на људском бићу, "АИ је тако рекао" није изговор.
Задатак апликације
Одаберите процес доношења одлука АИ који утиче на људе у вашој организацији (на пример, евалуација апликације). Одредите одговарајући модел људске контроле за овај процес са оправдањем и дизајнирајте конкретну контролу како бисте спречили штанцање гуме (нпр. захтев да се види оправдање, преглед узорка). Затим напишите план тестирања пристрасности: одредите које групе ћете упоређивати, са којом метриком, колико често и на које прокси варијабле ћете обратити пажњу. На крају, израдите текст објашњења одлуке који ће бити приказан особи током овог процеса и укључити пут за жалбу/људску ревизију.
контролна листа
- [ ] Изабрао сам модел људске контроле који одговара процесу.
- [ ] Дизајнирао сам конкретну контролу која ће спречити печат.
- [ ] Припремио сам план тестирања пристрасности (групе, метрика, учесталост).
- [ ] Процењивао сам ризик од сурогат варијабли.
- [ ] Написао сам текст објашњења одлуке за особу.
- [ ] Јасно сам представио пут до жалбе и људске ревизије.
- [ ] Провео сам етичку рецензију пре објављивања.