Добици:
- Способност да се открије скривена дискриминација разумевањем да пристрасност долази из података (историјски, репрезентативни, мерење, агрегација) и проценом модела на основу подгрупа
- Способност да се обезбеди објашњивост, људски надзор и одговорност у одлукама са великим утицајем и транспарентност докумената са моделом картице
- Способност управљања финансијским и еколошким трошковима без угрожавања квалитета са најмањим адекватним моделом, брзим скраћивањем, кеширањем и серијом
Модел може технички да функционише савршено, али је и даље погрешан - ако је неправедан према неким људима, необјашњив или производи неодрживе трошкове. У овој јединици покривамо три „невидљиве“ али одлучујуће димензије МЛ инжењеринга: пристрасност и правичност, етичност и транспарентност, трошак и одрживост. То нису накнадно додани украси, већ саставни делови инжењерског квалитета.
Одакле долазе предрасуде?
Пристрасност модела (различито/неправедно систематски третман одређених група модела) обично долази из података, а не из модела. Извори:
- Историјска пристрасност: Подаци одражавају неправду из прошлости. Ако је некој одређеној групи у прошлости дато мање заслуга, модел обучен на тим подацима ће научити и наставити ову дискриминацију.
- Пристрасност заступљености: Неке групе су недовољно заступљене у подацима; модел ради лоше за њих (нпр. ниска прецизност у малом узорку демографске популације).
- Пристрасност мерења: Саме ознаке су пристрасне (нпр. ако је дефиниција „доброг запосленог“ заснована на прошлим одлукама о унапређењу).
- Пристрасност агрегације: Пошто подаци долазе из одређеног канала, они нису репрезентативни за универзум.
Модел не учи само ове предрасуде; повећава тако што га аутоматизује. Пристрасна одлука једне особе утиче на другу особу; Пресуда пристрасног модела је милионска.
Опрез: Немојте упасти у грешку када кажете „модел је неутралан јер је то само математика“. Модел учи и аутоматизује људску пристрасност у подацима. Неутралност није подразумевана, већ исход који се мора мерити и обезбедити.
мерење правде
Да бисте управљали правдом, потребно је прво да је измерите. Да бисте то урадили, процените модел на основу подгрупе: да ли су метрике као што су тачност, присећање, стопа лажних позитивних резултата једнаке у различитим демографским групама? Неколико појмова правде:
- Групна правичност: Да ли модел третира различите групе исправно/нетачно по сличним стопама?
- Једнакост могућности: Да ли модел обухвата истински позитивне подједнако у свим групама (једнако сећање)?
Важна чињеница: различите дефиниције правде можда неће бити задовољене у исто време (ово је математичка последица). Која дефиниција правде има приоритет у овом контексту је етичка и пословна одлука, а не техничка, и доноси се заједно са заинтересованим странама.
Слаб приступ / Снажан приступ
Лоше: "Укупна тачност модела је 88%, што је поштено."
Гуцлу: „Укупна тачност је била 88%, али када смо је поделили у подгрупе, опозив је био 91% у једној групи и 67% у другој групи — моделу је систематски недостајала та група. Документовали смо разлог (недостатак заступљености), прикупили податке за ту групу и поново их проценили са једнакошћу-присећања на фер циљ смо одлучили.“
Разлика: снажан приступ се не крије иза опште метрике, он раздваја подгрупе и третира праведност као отворену одлуку.
Етика и транспарентност
Основни принципи одговорне вештачке интелигенције су:
- Објашњивост: Може ли се објаснити зашто је модел донео ову одлуку? У одлукама са великим утицајем (кредит, запошљавање, здравствена заштита) неко има право на објашњење. Необјашњиви модел не би требало да се користи у овим областима или треба да буде подржан објашњеним методом.
- Људски надзор: Одлуке са великим утицајем не би требало да се доносе аутоматски; Модел сугерише, човек потврђује.
- Одговорност: Требало би да буде јасно ко је одговоран када модел направи грешку. „Манекенка је одлучила“ није изговор.
- Транспарентност: Корисник треба да зна да је у интеракцији са АИ и како се његови подаци користе.
У многим земљама и секторима, ови принципи су такође уграђени у законодавство (транспарентност, ревизија и обавезе људског надзора за високоризичне системе вештачке интелигенције). Инжењер је одговоран за познавање прописа своје области.
Савет: Сачувајте „картицу модела“ за сваки модел са високим утицајем: шта модел ради, на којим подацима је обучен, колико добро/лоше функционише у којим групама, која су му позната ограничења. Овај документ је истовремено средство за транспарентност и одговорност.
Трошкови и одрживост
АИ није јефтин. Трошкови се управљају у две димензије:
Финансијски трошкови:
- Цена токена (ЛЛМ): Сваки захтев и одговор коштају токене; Како обим расте, рачун расте. Непотребно дуга упутства, превелик избор модела и неконтролисане петље агената (јединица 5) повећавају цену.
- Обука и хостинг: Фино подешавање и презентација модела подразумевају трошкове хардвера.
- Оптимизација: Немојте користити велики модел ако је довољан мали модел; кеширајте често постављана питања; скратити промпт; Батцх оно што се може обрадити.
Еколошки трошкови: Обука и закључивање великог модела троше значајну енергију. Одрживост чини избегавање непотребних прорачуна (тачан модел величине, ефикасна архитектура) професионалном одговорношћу.
Савет: Прво правило оптимизације трошкова: "Који је најмањи адекватан модел за овај посао?" Стављање најмоћнијег модела свуда је као забијање ексера чекићем - скупо и непотребно.
три мини кофера
Случај 1 - Скривена дискриминација. Модел скрининга регрутовања генерално је изгледао добро. Анализа подгрупа открила је да је модел систематски наглашавао кандидаткиње јер су историјски подаци били доминантни мушкарци – научио је историјску пристрасност. Модел је заустављен, подаци избалансирани, а метрика праведности праћена. Општа праведност је прикрила скривену дискриминацију.
Случај 2 - Необјашњиво одбијање. Кредитни модел је одбијао апликације, али нико није могао да објасни зашто. Када је клијент затражио правно појашњење, тим није могао да одговори. Модел је повучен из употребе у одлукама са великим утицајем све док није додат објашњив метод и није направљено оправдање за свако одбијање. Поука: објашњивост је неопходна у доношењу одлука са великим утицајем.
Случај 3 - Билл шок. Један тим је користио највећи ЛЛМ и веома дугачке упите за сваки захтев. Месечни рачун је неочекивано порастао. Пост анализа: већина захтева се могла решити малим моделом, половина упита је била сувишна, а честа питања су се могла кеширати. Ове три оптимизације су значајно смањиле трошкове, без угрожавања квалитета. Поука: најмоћнији модел није свуда неопходан.
Шаблони који се могу копирати
Помозите ми да проценим овај модел за пристрасност/правичност. Које подгрупе (демографске/сегментне) треба да поделим и мерим? Које метрике (тачност, памћење, стопа лажних позитивних резултата по групи) треба да упоредим? Могу ли различите дефиниције правичности да се сукобљавају, чему треба да дам приоритет у овом контексту и зашто? Контекст модела/одлуке: [објашњење]
Направите нацрт картице модела за овај модел високог утицаја. Треба да садржи: сврху, податке о обуци и датум, учинак у подгрупама, позната ограничења, одговарајућу/неприкладну употребу, статус објашњивости, тачку људског надзора. Модел: [опис]
Помозите ми да смањим трошкове ове имплементације ЛЛМ, без угрожавања квалитета. Доступно: величина модела, просечна дужина упита, обим захтева, да ли постоји кеш? Процените: 1) Да ли је мањи модел довољан (за које задатке)? 2) Може ли се упит скратити? 3) Могу ли се сваки чести захтеви кеширати? 4) Да ли постоји рад који је доступан за процену утицаја на серију?
Направите контролну листу етике/одговорности за овај систем одлучивања са великим утицајем.- Објашњивост: може ли се дати образложење одлуке?- Људски надзор: да ли одлука са великим утицајем подлеже одобрењу?- Одговорност: ко је одговоран у случају грешке?- Транспарентност: да ли корисник зна да се АИ користи?- Регулатива: [де?Систем законске обавезе]
Табела извора пристрасности
Извор
симптом
предострожности
историјска пристрасност
Прошла дискриминација се наставља
Ревизија података + метрика праведности
пристрасност репрезентације
Ниска прецизност у малој групи узорака
Анализа подгрупа + балансирање
пристрасност мерења
пристрасне етикете
Преглед процеса етикетирања
Пристрасност агрегације
Универзум није представљен
Диверзификација ресурса
Уобичајене грешке
- Ослањајући се на укупну метрику. Скривена дискриминација се не може видети без анализе подгрупа.
- Под претпоставком „неутралног модела“. Модел учи и појачава пристрасност у подацима.
- Остављајући одлуку са великим утицајем необјашњивом моделу. Правни и етички ризик.
- Заобилазећи људски надзор. „Манекенка је одлучила“ није изговор.
- Постављање највећег модела свуда. Непотребан трошак и енергија.
- Не прати трошкове. Рачун се тихо надима.
Укратко
Технички исправан модел је и даље неуспех ако није фер, објашњив и одржив. Пристрасност углавном долази од података и модел их увећава на нивоу; Измерите правичност по подгрупама и договорите се са заинтересованим странама којој дефиницији правичности треба дати приоритет. Објашњивост, људски надзор и одговорност су од суштинског значаја за одлуке са великим утицајем; Транспарентност документа са моделом картице. Управљајте трошковима и енергијом: изаберите најмањи адекватан модел, скратите промпт, користите кеш и батцх. Ове димензије су саставни делови квалитета инжењеринга, а не накнадно додани украси.
Задатак апликације
Подијелите модел у најмање двије подгрупе и упоредите стопу опозива и лажно позитивних на групној основи; Ако постоји значајна разлика, напишите разлог и меру предострожности. Направите кратку картицу модела за модел са великим утицајем (сврха, подаци, перформансе подгрупе, границе, објашњивост). Идентификујте најмање две конкретне оптимизације (минимум / брзо скраћење / кеш / серија) да бисте смањили трошкове имплементације ЛЛМ и запишите њихов процењени утицај.
контролна листа
- [ ] Модел сам проценио на основу подгрупа, нисам се ослањао на општу метрику.
- [ ] Са заинтересованим странама сам одлучио којој ћу дефиницији правде дати приоритет.
- [ ] Одлука високог утицаја је објашњива и подложна је људском одобрењу.
- [ ] Документовао сам транспарентност и границе помоћу картице шаблона.
- [ ] Изабрао сам најмањи адекватан модел; Оптимизовао сам промпт/цацхе/батцх.
- [ ] Пратим трошак и утицај енергије.