Dobici:
- Sposobnost otkrivanja skrivene diskriminacije razumijevanjem da pristranost dolazi iz podataka (povijesnih, reprezentativnih, mjerenja, agregacije) i evaluacijom modela na temelju podskupina
- Sposobnost pružanja objašnjivosti, ljudskog nadzora i odgovornosti u odlukama s velikim učinkom i transparentnosti dokumenata s modelom kartice
- Sposobnost upravljanja financijskim i ekološkim troškovima bez ugrožavanja kvalitete uz najmanji odgovarajući model, brzo skraćivanje, predmemoriju i seriju
Model može tehnički funkcionirati savršeno, ali i dalje biti pogrešan - ako je nepravedan prema nekim ljudima, neobjašnjiv ili proizvodi neodržive troškove. U ovoj jedinici pokrivamo tri "nevidljive", ali odlučujuće dimenzije ML inženjerstva: pristranost i pravednost, etiku i transparentnost, trošak i održivost. To nisu naknadno dodani ukrasi, već sastavni dijelovi inženjerske kvalitete.
Odakle predrasude?
Pristranost modela (sustavno tretiranje određenih skupina od strane modela na različite/nepravedne načine) obično dolazi iz podataka, a ne iz modela. Izvori:
- Povijesna pristranost: podaci odražavaju nepravdu iz prošlosti. Ako je određena skupina u prošlosti dobila manje kredita, model obučen na tim podacima naučit će i nastaviti ovu diskriminaciju.
- Pristranost u zastupljenosti: Neke su skupine nedovoljno zastupljene u podacima; model za njih ima lošu izvedbu (npr. niska točnost u malom demografskom uzorku).
- Pristranost mjerenja: Same oznake su pristrane (npr. ako se definicija "dobrog zaposlenika" temelji na prošlim odlukama o napredovanju).
- Pristranost agregacije: Budući da podaci dolaze iz određenog kanala, oni nisu reprezentativni za svemir.
Model ne uči samo te predrasude; povećava se automatizacijom. Pristrana odluka jedne osobe utječe na drugu osobu; Presuda pristranog modela je milijune.
Oprez: nemojte upasti u pogrešku govoreći "model je neutralan jer je to samo matematika." Model uči i automatizira ljudsku pristranost u podacima. Neutralnost nije zadana vrijednost, već rezultat koji se mora mjeriti i osigurati.
mjerenje pravde
Da bi se upravljalo pravdom, potrebno ju je prvo izmjeriti. Da biste to učinili, procijenite model na temelju podskupina: jesu li metrike kao što su točnost, prisjećanje, lažno pozitivna stopa jednake za različite demografske skupine? Nekoliko koncepata pravde:
- Grupna pravednost: Tretira li model različite grupe ispravno/netočno po sličnim stopama?
- Jednakost mogućnosti: Hvata li model one istinski pozitivne jednako u svim skupinama (jednako sjećanje)?
Važna činjenica: različite definicije pravde možda neće biti zadovoljene u isto vrijeme (ovo je matematička posljedica). Koja definicija pravde ima prioritet u ovom kontekstu je etička i poslovna odluka, a ne tehnička, i donosi se zajedno sa dionicima.
Slab pristup / Jak pristup
Loše: "Ukupna točnost modela je 88%, što je pošteno."
Güçlü: "Ukupna točnost bila je 88%, ali kada smo to podijelili u podskupine, opoziv je bio 91% u jednoj grupi i 67% u drugoj skupini — modelu je sustavno nedostajala ta grupa. Dokumentirali smo razlog (nedostatak zastupljenosti), prikupili podatke za tu grupu i ponovno ih procijenili s ciljem jednakog prisjećanja. S dionicima smo odlučili kojoj ćemo definiciji poštenja dati prednost."
Razlika: snažan pristup ne skriva se iza opće metrike, on odvaja podskupine i pravednost tretira kao otvorenu odluku.
Etika i transparentnost
Temeljna načela odgovorne umjetne inteligencije su:
- Objašnjivost: Može li se objasniti zašto je model donio ovu odluku? Kod odluka s velikim utjecajem (kredit, zapošljavanje, zdravstvena skrb) netko ima pravo na objašnjenje. Neobjašnjeni model ne bi se trebao koristiti u ovim područjima ili bi trebao biti podržan metodom koja se može objasniti.
- Ljudski nadzor: Odluke s velikim utjecajem ne bi se trebale donositi automatski; Model sugerira, čovjek potvrđuje.
- Odgovornost: Treba biti jasno tko je odgovoran kada model pogriješi. “Manekenka je odlučila” nije izgovor.
- Transparentnost: korisnik bi trebao znati da je u interakciji s umjetnom inteligencijom i kako se njegovi podaci koriste.
U mnogim zemljama i sektorima ta su načela također ugrađena u zakonodavstvo (obveze transparentnosti, revizije i ljudskog nadzora za visokorizične sustave umjetne inteligencije). Inženjer je odgovoran za poznavanje propisa svog područja.
Savjet: Vodite "karticu modela" za svaki model visokog utjecaja: što model radi, na kojim je podacima treniran, koliko dobro/loše radi u kojim grupama, koja su njegova poznata ograničenja. Ovaj dokument je i alat za transparentnost i odgovornost.
Trošak i održivost
AI nije jeftin. Troškom se upravlja u dvije dimenzije:
Financijski trošak:
- Cijena tokena (LLM): Svaki zahtjev i odgovor koštaju tokene; Kako volumen raste, račun raste. Nepotrebno duge upute, pretjerano veliki izbor modela i nekontrolirane petlje agenata (jedinica 5) povećavaju troškove.
- Obuka i hosting: fino podešavanje i prezentacija modela uzrokuju troškove hardvera.
- Optimizacija: Nemojte koristiti veliki model ako je mali model dovoljan; spremiti često postavljana pitanja; skratiti upit; Skupite ono što se može obraditi.
Ekološki trošak: Obuka velikog modela i zaključivanje troše značajnu energiju. Održivost čini izbjegavanje nepotrebnih izračuna (model točne veličine, učinkovita arhitektura) profesionalnom odgovornošću.
Savjet: Prvo pravilo optimizacije troškova: "Koji je najmanji adekvatan model za ovaj posao?" Stavljanje najsnažnijeg modela posvuda je poput zabijanja čavala maljem — skupo i nepotrebno.
tri mini kućišta
Slučaj 1 - Skrivena diskriminacija. Model provjere zapošljavanja općenito je izgledao dobro. Analiza podskupina otkrila je da je model sustavno naglašavao kandidatkinje jer su u povijesnim podacima dominirali muškarci - imao je naučenu povijesnu pristranost. Model je zaustavljen, podaci su uravnoteženi, a metrika pravednosti praćena. Opća pravednost prikrivala je skrivenu diskriminaciju.
Slučaj 2 - Neobjašnjeno odbijanje. Kreditni model je odbijao zahtjeve, ali nitko nije znao objasniti zašto. Kad je kupac zatražio pravno pojašnjenje, tim nije mogao odgovoriti. Model je povučen iz upotrebe u odlukama s velikim utjecajem sve dok nije dodana objašnjiva metoda i obrazloženje za svako odbijanje. Lekcija: objašnjivost je ključna u donošenju odluka s velikim utjecajem.
Slučaj 3 - Bill šok. Jedan tim koristio je najveći LLM i vrlo duge upite za svaki zahtjev. Mjesečni račun je neočekivano porastao. Naknadna analiza: većina zahtjeva mogla se riješiti s malim modelom, polovica upita bila je suvišna, a česta pitanja mogla su se pohraniti u predmemoriju. Ove tri optimizacije značajno su smanjile trošak, bez ugrožavanja kvalitete. Pouka: najjači model nije potreban svugdje.
Predlošci koji se mogu kopirati
Pomozite mi da ocijenim ovaj model za pristranost/poštenost. Koje podskupine (demografske/segmente) trebam podijeliti i mjeriti? Koje metrike (točnost, opoziv, lažno pozitivna stopa po grupi) trebam usporediti? Mogu li se različite definicije pravednosti sukobiti, čemu bih trebao dati prednost u ovom kontekstu i zašto? Kontekst modela/odluke: [objašnjenje]
Napravite nacrt kartice modela za ovaj model velikog utjecaja. Treba uključiti: svrhu, podatke o obuci i datum, učinak u podskupinama, poznata ograničenja, prikladnu/neprikladnu upotrebu, status objašnjivosti, točku ljudskog nadzora. Model: [opis]
Pomozite mi da smanjim troškove ove implementacije LLM-a, bez ugrožavanja kvalitete. Dostupno: veličina modela, prosječna duljina odziva, volumen zahtjeva, postoji li predmemorija? Procijenite: 1) Je li manji model dovoljan (za koje zadatke)? 2) Može li se upit skratiti? 3) Mogu li se česti zahtjevi pohraniti u predmemoriju? 4) Postoji li posao dostupan za skupinu? Zapišite procijenjeni učinak svakog prijedloga.
Napravite popis za provjeru etike/odgovornosti za ovaj sustav odlučivanja s velikim utjecajem.- Objašnjivost: može li se proizvesti obrazloženje odluke?- Ljudski nadzor: podliježe li odluka s velikim utjecajem odobrenju?- Odgovornost: tko je odgovoran u slučaju pogreške?- Transparentnost: zna li korisnik da se koristi AI?- Regulativa: koje su zakonske obveze uključene? Sustav: [opis]
Tablica izvora pristranosti
Izvor
simptom
mjera opreza
povijesna pristranost
Diskriminacija iz prošlosti se nastavlja
Revizija podataka + metrika pravednosti
reprezentativna pristranost
Niska točnost u maloj grupi uzorka
Analiza podskupina + balansiranje
pristranost mjerenja
pristrane oznake
Pregled procesa označavanja
Pristranost agregacije
Svemir nije predstavljen
Diverzifikacija resursa
Uobičajene greške
- Oslanjajući se na ukupnu metriku. Skrivena diskriminacija ne može se vidjeti bez analize podskupina.
- Pod pretpostavkom da je "model neutralan". Model uči i pojačava pristranost u podacima.
- Prepuštanje odluke s velikim učinkom neobjašnjenom modelu. Pravni i etički rizik.
- Zaobilazeći ljudski nadzor. “Manekenka je odlučila” nije opravdanje.
- Stavljanje najvećeg modela posvuda. Nepotreban trošak i energija.
- Trošak se ne prati. Račun tiho nabuja.
Ukratko
Tehnički ispravan model i dalje je neuspjeh ako nije pravedan, objašnjiv i održiv. Pristranost uglavnom dolazi iz podataka, a model ih povećava u razmjeru; Izmjerite pravednost po podskupinama i dogovorite se s dionicima kojoj definiciji pravednosti dati prioritet. Objašnjivost, ljudski nadzor i odgovornost bitni su u odlukama s velikim učinkom; Transparentnost dokumenta s karticom modela. Upravljajte troškovima i energijom: odaberite najmanji odgovarajući model, skratite upit, koristite predmemoriju i seriju. Ove su dimenzije sastavni dijelovi tehničke kvalitete, a ne naknadno dodani ukrasi.
Zadatak aplikacije
Podijelite model u najmanje dvije podskupine i usporedite stopu prisjećanja i lažno pozitivnih rezultata na grupnoj osnovi; Ako postoji značajna razlika, napišite razlog i mjeru opreza. Napravite kratku karticu modela za model visokog utjecaja (svrha, podaci, izvedba podskupine, granice, objašnjivost). Odredite najmanje dvije konkretne optimizacije (minimalno/brzo skraćivanje/predmemorija/serija) kako biste smanjili troškove implementacije LLM-a i zapišite njihov procijenjeni učinak.
popis za provjeru
- [ ] Model sam procijenio na temelju podskupina, nisam se oslanjao na opću metriku.
- [ ] S dionicima sam odlučio kojoj ću definiciji pravde dati prednost.
- [ ] Odluka o visokom utjecaju objašnjiva je i podliježe ljudskom odobrenju.
- [ ] Dokumentirao sam transparentnost i granice s karticom uzorka.
- [ ] Izabrao sam najmanji adekvatan model; Optimizirao sam prompt/cache/batch.
- [ ] Pratim trošak i učinak energije.