zisky:
- Schopnosť odhaliť skrytú diskrimináciu pochopením, že skreslenie pochádza z údajov (historických, reprezentatívnych, meraní, agregácií) a vyhodnotením modelu na základe podskupín
- Schopnosť poskytnúť vysvetliteľnosť, ľudský dohľad a zodpovednosť pri rozhodnutiach s vysokým dopadom a transparentnosť dokumentov pomocou vzorovej karty
- Schopnosť riadiť finančné a environmentálne náklady bez ohrozenia kvality s najmenším adekvátnym modelom, rýchlym skrátením, vyrovnávacou pamäťou a dávkou
Model môže technicky fungovať dokonale, ale stále môže byť nesprávny – ak je pre niektorých ľudí nespravodlivý, nevysvetliteľný alebo vytvára neudržateľné náklady. V tejto časti pokrývame tri „neviditeľné“, ale rozhodujúce dimenzie inžinierstva ML: zaujatosť a spravodlivosť, etiku a transparentnosť, náklady a udržateľnosť. Nie sú to ozdoby pridané neskôr, ale neoddeliteľné súčasti inžinierskej kvality.
Odkiaľ pochádzajú predsudky?
Zaujatosť modelu (systematické zaobchádzanie modelu s určitými skupinami odlišne/nespravodlivo) zvyčajne vychádza z údajov, nie z modelu. Zdroje:
- Historická zaujatosť: Údaje odrážajú minulú nespravodlivosť. Ak sa konkrétnej skupine v minulosti pripisoval menší kredit, model vyškolený na týchto údajoch sa naučí túto diskrimináciu a bude ju udržiavať.
- Skreslenie zastúpenia: Niektoré skupiny sú v údajoch nedostatočne zastúpené; model pre nich funguje zle (napr. nízka presnosť v malej vzorke demografických údajov).
- Skreslenie merania: Samotné označenia sú neobjektívne (napr. ak je definícia „dobrého zamestnanca“ založená na minulých rozhodnutiach o povýšení).
- Skreslenie agregácie: Keďže údaje pochádzajú z konkrétneho kanála, nie sú reprezentatívne pre vesmír.
Modelka sa týmto predsudkom nielen naučí; zväčšuje automatizáciou. Zaujaté rozhodnutie jednej osoby ovplyvňuje druhú osobu; Verdikt neobjektívnej modelky je miliónový.
Pozor: Nenechajte sa mýliť, keď poviete „model je neutrálny, pretože je to len matematika“. Model sa učí a automatizuje ľudskú zaujatosť v údajoch. Neutralita nie je štandard, ale výsledok, ktorý treba merať a zabezpečiť.
meranie spravodlivosti
Na riadenie spravodlivosti je potrebné ju najskôr zmerať. Ak to chcete urobiť, vyhodnoťte model na základe podskupín: sú metriky ako presnosť, zapamätanie, miera falošných pozitívnych výsledkov rovnaké v rôznych demografických skupinách? Niekoľko konceptov spravodlivosti:
- Skupinová spravodlivosť: Zaobchádza model s rôznymi skupinami správne/nesprávne pri podobných sadzbách?
- Rovnosť príležitostí: Zachytáva model tie skutočne pozitívne rovnako vo všetkých skupinách (rovnaké zapamätanie)?
Dôležitý fakt: rôzne definície spravodlivosti nemusia byť splnené súčasne (ide o matematický dôsledok). Ktorá definícia spravodlivosti má v tomto kontexte prioritu, je etické a obchodné rozhodnutie, nie technické, a robí sa spolu so zainteresovanými stranami.
Slabý prístup / Silný prístup
Slabé: "Celková presnosť modelu je 88%, čo je spravodlivé."
Güçlü: "Celková presnosť bola 88%, ale keď sme to rozdelili do podskupín, stiahnutie bolo 91% v jednej skupine a 67% v inej skupine — v modeli táto skupina systematicky chýbala. Zdokumentovali sme dôvod (nedostatok zastúpenia), zhromaždili údaje pre túto skupinu a prehodnotili sme to s cieľom rovnakého stiahnutia. So zainteresovanými stranami sme sa rozhodli, akú definíciu spravodlivosti určíme."
Rozdiel: silný prístup sa neskrýva za všeobecnú metriku, oddeľuje podskupiny a férovosť považuje za otvorené rozhodnutie.
Etika a transparentnosť
Základné princípy zodpovednej AI sú:
- Vysvetliteľnosť: Dá sa vysvetliť, prečo sa modelka rozhodla? Pri rozhodnutiach s veľkým dosahom (úver, prijímanie do zamestnania, zdravotná starostlivosť) má človek právo na vysvetlenie. Nevysvetlený model by sa v týchto oblastiach nemal používať alebo by mal byť podporený vysvetliteľnou metódou.
- Ľudský dohľad: Rozhodnutia s vysokým dopadom by sa nemali robiť automaticky; Model naznačuje, človek potvrdzuje.
- Zodpovednosť: Malo by byť jasné, kto je zodpovedný, keď model urobí chybu. „Model sa rozhodol“ nie je ospravedlnením.
- Transparentnosť: Používateľ by mal vedieť, že interaguje s AI a ako sa používajú jeho údaje.
V mnohých krajinách a odvetviach sú tieto zásady zakotvené aj v legislatíve (povinnosti týkajúce sa transparentnosti, auditu a ľudského dohľadu nad vysokorizikovými systémami AI). Inžinier je zodpovedný za poznanie predpisov vo svojom odbore.
Tip: Uschovajte si „kartu modelu“ pre každý model s vysokým dopadom: čo model robí, na akých údajoch bol trénovaný, ako dobre/zle funguje v ktorých skupinách, aké sú jeho známe limity. Tento dokument je nástrojom transparentnosti a zodpovednosti.
Náklady a udržateľnosť
AI nie je lacná. Náklady sa riadia v dvoch dimenziách:
Finančné náklady:
- Token cost (LLM): Každá požiadavka a odpoveď stojí tokeny; S rastúcim objemom rastie účet. Zbytočne dlhé výzvy, príliš veľký výber modelov a nekontrolované slučky agentov (jednotka 5) zvyšujú náklady.
- Školenie a hosting: Dolaďovanie a prezentácia modelu spôsobujú náklady na hardvér.
- Optimalizácia: Nepoužívajte veľký model, ak stačí malý model; cache často kladené otázky; skrátiť výzvu; Dávka, čo sa dá spracovať.
Environmentálne náklady: Tréning a závery veľkých modelov spotrebúvajú značné množstvo energie. Udržateľnosť robí z vyhýbania sa zbytočným výpočtom (správny model veľkosti, efektívna architektúra) profesionálnu zodpovednosť.
Tip: Prvé pravidlo optimalizácie nákladov: "Aký je najmenší adekvátny model pre túto prácu?" Dať všade najvýkonnejší model je ako zatĺcť klinec kladivom – drahé a zbytočné.
tri mini prípady
Prípad 1 – Skrytá diskriminácia. Model náborového skríningu vyzeral celkovo dobre. Analýza podskupín zistila, že model systematicky podčiarkoval kandidátky, pretože v historických údajoch dominovali muži – naučil sa historické zaujatosti. Model bol zastavený, údaje boli vyvážené a monitorované metriky spravodlivosti. Všeobecná spravodlivosť zakrývala skrytú diskrimináciu.
Prípad 2 – Nevysvetliteľné odmietnutie. Kreditný model odmietal žiadosti, ale nikto nevedel vysvetliť prečo. Keď zákazník požiadal o právne objasnenie, tím nebol schopný odpovedať. Model bol stiahnutý z používania pri rozhodnutiach s vysokým dopadom, kým nebola pridaná vysvetliteľná metóda a nebolo predložené odôvodnenie pre každé zamietnutie. Poučenie: Vysvetliteľnosť je nevyhnutná pri rozhodovaní s vysokým dopadom.
Prípad 3 – Bill šok. Jeden tím používal najväčší LLM a veľmi dlhé výzvy pre každú požiadavku. Mesačný účet nečakane vzrástol. Po analýze: väčšinu požiadaviek bolo možné vyriešiť pomocou malého modelu, polovica výziev bola nadbytočná a časté otázky bolo možné uložiť do vyrovnávacej pamäte. Tieto tri optimalizácie výrazne znížili náklady bez zníženia kvality. Ponaučenie: nie všade je potrebný najvýkonnejší model.
Kopírovateľné šablóny
Pomôžte mi vyhodnotiť tento model z hľadiska zaujatosti/spravodlivosti. Ktoré podskupiny (demografické/segmentové) by som mal rozdeliť a merať? Aké metriky (presnosť, zapamätanie, počet falošne pozitívnych výsledkov podľa skupiny) by som mal porovnať? Môžu byť rôzne definície férovosti v rozpore, ktoré by som mal v tomto kontexte uprednostniť a prečo? Kontext modelu/rozhodnutia: [vysvetlenie]
Vytvorte návrh karty modelu pre tento pôsobivý model. Mali by zahŕňať: účel, údaje a dátum školenia, výkon v podskupinách, známe limity, vhodné/nevhodné použitie, stav vysvetliteľnosti, bod ľudského dohľadu. Model: [popis]
Pomôžte mi znížiť náklady na túto implementáciu LLM bez zníženia kvality.Dostupné: veľkosť modelu, priemerná dĺžka výzvy, objem požiadaviek, existuje vyrovnávacia pamäť?Vyhodnoťte:1) Stačí menší model (na aké úlohy)?2) Dá sa výzva skrátiť?3) Je možné uložiť časté požiadavky do vyrovnávacej pamäte?4) Je k dispozícii práca pre dávku?Zapíšte si odhadovaný vplyv každého návrhu.
Vytvorte kontrolný zoznam etiky/zodpovednosti pre tento rozhodovací systém s vysokým dosahom.- Vysvetliteľnosť: možno zdôvodniť rozhodnutie?- Ľudský dohľad: podlieha schváleniu rozhodnutia s veľkým vplyvom?- Zodpovednosť: kto je zodpovedný v prípade chyby?- Transparentnosť: vie používateľ, že sa používa umelá inteligencia?- Regulácia: aké sú súvisiace právne povinnosti?Systém: [popis]
Tabuľka zdrojov skreslenia
Zdroj
symptóm
preventívne opatrenie
historická zaujatosť
Diskriminácia v minulosti pokračuje
Audit údajov + metrika spravodlivosti
zaujatosť reprezentácie
Nízka presnosť v malej skupine vzoriek
Analýza podskupín + bilancovanie
skreslenie merania
neobjektívne označenia
Kontrola procesu označovania
Zaujatosť agregácie
Vesmír nie je zastúpený
Diverzifikácia zdrojov
Časté chyby
- Spoliehajúc sa na celkovú metriku. Skrytú diskrimináciu nemožno vidieť bez analýzy podskupín.
- Za predpokladu „neutrálneho modelu“. Model sa učí a zosilňuje skreslenie údajov.
- Rozhodnutie s veľkým dopadom ponechávame na nevysvetlený model. Právne a etické riziko.
- Obchádzanie ľudského dohľadu. "Modelka rozhodla" nie je ospravedlnenie.
- Všade dať najväčší model. Zbytočné náklady a energia.
- Nesleduje náklady. Účet sa ticho nafúkne.
V súhrne
Technicky správny model je stále zlyhaním, ak nie je spravodlivý, vysvetliteľný a udržateľný. Skreslenie väčšinou pochádza z údajov a model ich zväčšuje v mierke; Merajte spravodlivosť podľa podskupín a dohodnite sa so zainteresovanými stranami, ktorú definíciu spravodlivosti uprednostniť. Vysvetliteľnosť, ľudský dohľad a zodpovednosť sú nevyhnutné pri rozhodnutiach s vysokým dopadom; Priehľadnosť dokumentu s modelovou kartou. Spravujte náklady a energiu: vyberte najmenší adekvátny model, skráťte výzvu, použite vyrovnávaciu pamäť a dávku. Tieto rozmery sú neoddeliteľnou súčasťou inžinierskej kvality, nie ozdôbky pridané neskôr.
Aplikačná úloha
Rozdeľte model na aspoň dve podskupiny a porovnajte mieru opakovania a falošnej pozitivity na skupinovom základe; Ak existuje významný rozdiel, napíšte dôvod a preventívne opatrenie. Navrhnite stručnú modelovú kartu pre model s vysokým dopadom (účel, údaje, výkonnosť podskupiny, hranice, vysvetliteľnosť). Identifikujte aspoň dve konkrétne optimalizácie (minimálne / okamžité skrátenie / vyrovnávacia pamäť / dávka) na zníženie nákladov na implementáciu LLM a zapíšte si ich odhadovaný vplyv.
kontrolný zoznam
- [ ] Model som hodnotil na základe podskupín, nespoliehal som sa na všeobecnú metriku.
- [ ] Rozhodol som sa so zainteresovanými stranami, ktorú definíciu spravodlivosti uprednostním.
- [ ] Rozhodnutie s vysokým dopadom je vysvetliteľné a podlieha schváleniu ľuďmi.
- [ ] Priehľadnosť a hranice som zdokumentoval vzorovou kartou.
- [ ] Zvolil som najmenší adekvátny model; Optimalizoval som prompt/cache/batch.
- [ ] Sledujem vplyv nákladov a energie.