Печалби:
- Способност за откриване на скрита дискриминация чрез разбиране, че отклонението идва от данни (исторически, представителни, измерване, агрегиране) и оценяване на модела въз основа на подгрупи
- Възможност за осигуряване на обяснимост, човешки надзор и отчетност при решения с голямо въздействие и прозрачност на документи с моделна карта
- Възможност за управление на финансови и екологични разходи без компромис с качеството с най-малкия подходящ модел, бързо съкращаване, кеш и партида
Един модел може технически да работи перфектно, но все пак да е грешен - ако е несправедлив към някои хора, необясним или създава неустойчиви разходи. В този раздел ние покриваме три „невидими“, но решаващи измерения на инженерството на машинното обучение: пристрастност и справедливост, етика и прозрачност, цена и устойчивост. Това не са орнаменти, добавени по-късно, а неразделна част от инженерното качество.
Откъде идват предразсъдъците?
Пристрастията на модела (систематичното третиране на определени групи от модела по различен начин/несправедливо) обикновено идва от данните, а не от модела. източници:
- Исторически пристрастия: Данните отразяват минала несправедливост. Ако на определена група е било дадено по-малко кредит в миналото, моделът, обучен върху тези данни, ще научи и ще увековечи тази дискриминация.
- Пристрастност на представителството: Някои групи са недостатъчно представени в данните; моделът се представя лошо за тях (напр. ниска точност в малка демографска извадка).
- Пристрастност на измерването: Самите етикети са пристрастни (напр., ако определението за „добър служител“ се основава на минали решения за повишение).
- Пристрастие на агрегацията: Тъй като данните идват от конкретен канал, те не са представителни за вселената.
Моделът не просто научава тези пристрастия; се мащабира, като го автоматизира. Предубеденото решение на един човек засяга друго лице; Присъдата на един пристрастен модел е милиони.
Внимание: Не допускайте грешката да кажете, че „моделът е неутрален, защото е просто математика“. Моделът научава и автоматизира човешките пристрастия в данните. Неутралността не е по подразбиране, а резултат, който трябва да бъде измерен и гарантиран.
измерване на справедливостта
За да управлявате справедливостта, е необходимо първо да я измерите. За да направите това, оценете модела на базата на подгрупа: равни ли са показатели като точност, припомняне, фалшиво положителен процент в различните демографски групи? Няколко концепции за справедливост:
- Групова справедливост: Моделът третира ли различни групи правилно/неправилно при сходни проценти?
- Равенство на възможностите: Моделът обхваща ли наистина положителните хора еднакво във всички групи (еднакво припомняне)?
Важен факт: различни дефиниции на справедливостта може да не бъдат изпълнени едновременно (това е математическо следствие). Кое определение за справедливост има приоритет в този контекст е етично и бизнес решение, а не техническо и се взема съвместно със заинтересованите страни.
Слаб подход / Силен подход
Лошо: „Общата точност на модела е 88%, което е справедливо.“
Гючлю: „Общата точност беше 88%, но когато го разделихме на подгрупи, припомнянето беше 91% в една група и 67% в друга група — моделът систематично пропускаше тази група. Документирахме причината (липса на представяне), събрахме данни за тази група и ги преоценихме с целта за равно припомняне. Решихме със заинтересованите страни кое определение за справедливост ще дадем приоритет.“
Разликата: силният подход не се крие зад общата метрика, той разделя подгрупите и третира справедливостта като открито решение.
Етика и прозрачност
Основните принципи на отговорния ИИ са:
- Обяснимост: Може ли да се обясни защо моделът е взел това решение? При решения със силно въздействие (кредит, наемане, здравеопазване) човек има право на обяснение. Необясненият модел не трябва да се използва в тези области или трябва да се поддържа от обясним метод.
- Човешки надзор: Решенията със силно въздействие не трябва да се вземат автоматично; Моделът предполага, човекът потвърждава.
- Отговорност: Трябва да е ясно кой е отговорен, когато моделът направи грешка. „Моделът реши“ не е оправдание.
- Прозрачност: Потребителят трябва да знае, че взаимодейства с AI и как се използват техните данни.
В много държави и сектори тези принципи са залегнали и в законодателството (задължения за прозрачност, одит и човешки надзор за системи с изкуствен интелект с висок риск). Инженерът е отговорен за познаването на разпоредбите в своята област.
Съвет: Съхранявайте „карта на модела“ за всеки модел с голямо въздействие: какво прави моделът, върху какви данни е бил обучен, колко добре/зле работи в кои групи, какви са известните му ограничения. Този документ е едновременно инструмент за прозрачност и отчетност.
Цена и устойчивост
AI не е евтин. Разходите се управляват в две измерения:
Финансови разходи:
- Цената на токена (LLM): Всяка заявка и отговор струва токени; С нарастването на обема и сметката расте. Ненужно дългите подкани, прекалено големият избор на модели и неконтролираните агентски цикли (единица 5) увеличават разходите.
- Обучение и хостинг: Фината настройка и представянето на модела водят до разходи за хардуер.
- Оптимизация: Не използвайте голям модел, ако малък модел е достатъчен; кеш често задавани въпроси; съкратете подканата; Партида какво може да се обработва.
Екологични разходи: Обучението на големия модел и изводите консумират значителна енергия. Устойчивостта прави избягването на ненужни изчисления (модел с правилен размер, ефективна архитектура) професионална отговорност.
Съвет: Първото правило за оптимизиране на разходите: "Кой е най-малкият подходящ модел за тази работа?" Да поставиш най-мощния модел навсякъде е като да забиеш пирон с чук – скъпо и ненужно.
три мини калъфа
Случай 1 – Скрита дискриминация. Като цяло моделът за проверка на набирането на персонал изглеждаше добре. Анализът на подгрупите установи, че моделът систематично подчертава жените кандидати, тъй като историческите данни са доминирани от мъже - той е научил исторически пристрастия. Моделът беше спрян, данните бяха балансирани и показателите за справедливост бяха наблюдавани. Общата праведност прикриваше скритата дискриминация.
Случай 2 - Необяснимо отхвърляне. Кредитен модел отхвърляше заявления, но никой не можеше да обясни защо. Когато клиент поиска правно разяснение, екипът не можа да отговори. Моделът беше изтеглен от употреба при решения с голямо въздействие, докато не беше добавен обясним метод и не беше представена обосновка за всяко отхвърляне. Урок: обяснимостта е от съществено значение при вземането на решения с голямо въздействие.
Случай 3 – Бил шок. Един екип използваше най-големия LLM и много дълги подкани за всяка заявка. Месечната сметка е нараснала неочаквано. Пост-анализ: повечето заявки можеха да бъдат решени с малък модел, половината от подканите бяха излишни и честите въпроси можеха да бъдат кеширани. Тези три оптимизации намалиха значително разходите, без да правят компромис с качеството. Поука: най-мощният модел не е необходим навсякъде.
Копируеми шаблони
Помогнете ми да оценя този модел за пристрастност/честност. Кои подгрупи (демографски/сегмент) трябва да разделя и измеря? Какви показатели (точност, припомняне, честота на фалшиви положителни резултати по група) трябва да сравня? Могат ли различните дефиниции за справедливост да си противоречат, на кое трябва да дам приоритет в този контекст и защо? Контекст на модел/решение: [обяснение]
Изгответе карта с проект на модел за този модел с голямо въздействие. Трябва да включва: цел, данни и дата за обучение, представяне в подгрупи, известни граници, подходяща/неподходяща употреба, състояние на обяснимост, точка на човешки надзор. Модел: [описание]
Помогнете ми да намаля цената на това внедряване на LLM, без да се компрометира качеството. Налични: размер на модела, средна дължина на подкана, обем на заявката, има ли кеш? Оценете: 1) Достатъчен ли е по-малкият модел (за кои задачи)? 2) Може ли подканата да бъде съкратена? 3) Могат ли честите заявки да бъдат кеширани? 4) Има ли налична работа за пакет? Запишете очакваното въздействие на всяко предложение.
Създайте контролен списък за етика/отговорност за тази система за вземане на решения с голямо въздействие.- Обяснимост: може ли да бъде представена обосновка на решението?- Човешки надзор: подлежи ли на одобрение решението със силно въздействие?- Отчетност: кой е отговорен в случай на грешка?- Прозрачност: потребителят знае ли, че се използва AI?- Регламент: какви са включените правни задължения? Система: [описание]
Таблица на източника на отклонение
Източник
симптом
предпазна мярка
исторически пристрастия
Дискриминацията от миналото продължава
Одит на данни + показател за справедливост
пристрастност на представителството
Ниска точност в малка група от проби
Подгрупов анализ + балансиране
отклонение при измерване
пристрастни етикети
Преглед на процеса на етикетиране
Пристрастност на агрегацията
Вселената не е представена
Диверсификация на ресурсите
Често срещани грешки
- Разчитайки на общия показател. Скритата дискриминация не може да се види без подгрупов анализ.
- Приемайки „неутрален модел“. Моделът научава и усилва отклоненията в данните.
- Оставяйки силно въздействащото решение на необяснения модел. Правен и етичен риск.
- Заобикаляйки човешкия надзор. „Моделката реши“ не е оправдание.
- Поставяне на най-големия модел навсякъде. Ненужни разходи и енергия.
- Разходите не се проследяват. Сметката набъбва безшумно.
В обобщение
Един технически правилен модел все още е провал, ако не е справедлив, обясним и устойчив. Отклонението идва най-вече от данните и моделът ги увеличава в мащаб; Измерете справедливостта по подгрупи и съгласувайте със заинтересованите страни коя дефиниция за справедливост да даде приоритет. Обяснимостта, човешкият надзор и отчетността са от съществено значение при решенията с голямо въздействие; Прозрачност на документа с моделна карта. Управлявайте разходите и енергията: изберете най-малкия подходящ модел, съкратете подканата, използвайте кеш и партида. Тези размери са неразделна част от инженерното качество, а не излишни украшения, добавени по-късно.
Задача за приложение
Разделете модела на поне две подгрупи и сравнете честотата на запомняне и фалшиви положителни резултати на базата на групата; Ако има значителна разлика, напишете причината и предпазна мярка. Изгответе кратка карта на модела за модел с голямо въздействие (цел, данни, представяне на подгрупа, граници, обяснимост). Идентифицирайте поне две конкретни оптимизации (минимум / незабавно съкращаване / кеш / партида), за да намалите разходите за внедряване на LLM и запишете очакваното им въздействие.
контролен списък
- [ ] Оцених модела въз основа на подгрупи, не разчитах на общия показател.
- [ ] Реших със заинтересованите страни на коя дефиниция за справедливост ще дам приоритет.
- [ ] Решението със силно въздействие е обяснимо и подлежи на одобрение от хора.
- [ ] Документирах прозрачност и граници с картата с шаблон.
- [ ] Избрах най-малкия адекватен модел; Оптимизирах подкана/кеш/пакет.
- [ ] Наблюдавам въздействието върху разходите и енергията.