Dobici:
- Sposobnost otkrivanja skrivene diskriminacije razumijevanjem da pristrasnost dolazi iz podataka (povijesnih, reprezentativnih, mjerenja, agregacije) i evaluacijom modela na osnovu podgrupa
- Sposobnost pružanja objašnjivosti, ljudskog nadzora i odgovornosti u odlukama s velikim utjecajem i transparentnosti dokumenata uz model kartice
- Sposobnost upravljanja finansijskim i ekološkim troškovima bez ugrožavanja kvaliteta sa najmanjim adekvatnim modelom, brzim skraćivanjem, keširanjem i batch
Model može tehnički savršeno funkcionirati, ali i dalje biti pogrešan - ako je nepravedan prema nekim ljudima, neobjašnjiv ili proizvodi neodržive troškove. U ovoj jedinici pokrivamo tri "nevidljive", ali odlučujuće dimenzije ML inženjeringa: pristrasnost i pravičnost, etičnost i transparentnost, trošak i održivost. To nisu naknadno dodani ukrasi, već sastavni dijelovi inženjerskog kvaliteta.
Odakle dolaze predrasude?
Pristrasnost modela (različito/nepravedno sistematski tretman određenih grupa modela) obično dolazi iz podataka, a ne iz modela. Izvori:
- Istorijska pristranost: Podaci odražavaju nepravdu iz prošlosti. Ako je određenoj grupi u prošlosti bilo pridato manje zasluga, model obučen na tim podacima će naučiti i nastaviti ovu diskriminaciju.
- Pristrasnost zastupljenosti: Neke grupe su nedovoljno zastupljene u podacima; model radi loše za njih (npr. niska preciznost u malom uzorku demografske populacije).
- Pristrasnost mjerenja: Oznake su same po sebi pristrasne (npr. ako je definicija “dobrog zaposlenika” zasnovana na prošlim odlukama o unapređenju).
- Pristrasnost agregacije: Budući da podaci dolaze iz određenog kanala, oni nisu reprezentativni za univerzum.
Model ne uči samo ove predrasude; povećava automatizacijom. Pristrasna odluka jedne osobe utiče na drugu osobu; Presuda pristrasnog modela je milionska.
Oprez: Nemojte upasti u grešku kada kažete "model je neutralan jer je to samo matematika." Model uči i automatizira ljudsku pristrasnost u podacima. Neutralnost nije zadana, već rezultat koji se mora mjeriti i osigurati.
merenje pravde
Da biste upravljali pravdom, potrebno ju je prvo izmjeriti. Da biste to učinili, procijenite model na osnovu podgrupe: da li su metrike kao što su tačnost, opoziv, stopa lažnih pozitivnih rezultata jednake u različitim demografskim grupama? Nekoliko pojmova pravde:
- Grupna pravičnost: Da li model tretira različite grupe ispravno/netačno po sličnim stopama?
- Jednakost mogućnosti: Da li model obuhvata one istinski pozitivne podjednako u svim grupama (jednako sjećanje)?
Važna činjenica: različite definicije pravde možda neće biti zadovoljene u isto vrijeme (ovo je matematička posljedica). Koja definicija pravde ima prioritet u ovom kontekstu je etička i poslovna odluka, a ne tehnička, i donosi se zajedno sa zainteresovanim stranama.
Slab pristup / Snažan pristup
Loše: "Ukupna tačnost modela je 88%, što je pošteno."
Güçlü: "Ukupna tačnost je bila 88%, ali kada smo je podijelili u podgrupe, opoziv je bio 91% u jednoj grupi i 67% u drugoj grupi — modelu je sistematski nedostajala ta grupa. Dokumentirali smo razlog (nedostatak zastupljenosti), prikupili podatke za tu grupu i ponovo ih procijenili sa jednakošću-prisjetimo se odlučili smo za fer cilj.
Razlika: snažan pristup se ne krije iza opšte metrike, odvaja podgrupe i tretira pravednost kao otvorenu odluku.
Etika i transparentnost
Osnovni principi odgovorne AI su:
- Objašnjivost: Može li se objasniti zašto je model donio ovu odluku? U odlukama sa velikim uticajem (kredit, zapošljavanje, zdravstvena zaštita) neko ima pravo na objašnjenje. Neobjašnjivi model se ne bi trebao koristiti u ovim oblastima ili bi trebao biti podržan objašnjivom metodom.
- Ljudski nadzor: Odluke sa velikim uticajem ne treba da se donose automatski; Model sugerira, čovjek potvrđuje.
- Odgovornost: Trebalo bi biti jasno ko je odgovoran kada model napravi grešku. “Manekenka je odlučila” nije izgovor.
- Transparentnost: Korisnik bi trebao znati da je u interakciji s AI-om i kako se njegovi podaci koriste.
U mnogim zemljama i sektorima, ovi principi su takođe ugrađeni u zakonodavstvo (transparentnost, revizija i obaveze ljudskog nadzora za visokorizične AI sisteme). Inženjer je odgovoran za poznavanje propisa svoje oblasti.
Savjet: Sačuvajte "karticu modela" za svaki model s velikim utjecajem: šta model radi, na kojim podacima je obučen, koliko dobro/loše radi u kojim grupama, koja su mu poznata ograničenja. Ovaj dokument je istovremeno alat za transparentnost i odgovornost.
Troškovi i održivost
AI nije jeftin. Troškovi se upravljaju u dvije dimenzije:
Finansijski trošak:
- Cijena tokena (LLM): Svaki zahtjev i odgovor koštaju tokene; Kako obim raste, raste i račun. Nepotrebno dugi upiti, prevelik izbor modela i nekontrolirane petlje agenta (jedinica 5) povećavaju cijenu.
- Obuka i hosting: Fino podešavanje i prezentacija modela podrazumevaju troškove hardvera.
- Optimizacija: Nemojte koristiti veliki model ako je dovoljan mali model; keširajte često postavljana pitanja; skratiti prompt; Batch ono što se može obraditi.
Ekološki troškovi: Obuka i zaključivanje velikog modela troše značajnu energiju. Održivost čini izbjegavanje nepotrebnih proračuna (ispravan model veličine, efikasna arhitektura) profesionalnom odgovornošću.
Savjet: Prvo pravilo optimizacije troškova: "Koji je najmanji adekvatan model za ovaj posao?" Stavljanje najmoćnijeg modela svuda je kao zabijanje eksera maljem - skupo i nepotrebno.
tri mini kofera
Slučaj 1 - Skrivena diskriminacija. Model skrininga za zapošljavanje je općenito izgledao dobro. Analiza podgrupa otkrila je da je model sistematski naglašavao kandidatkinje jer su historijskim podacima dominirali muškarci – naučio je historijsko pristrasnost. Model je zaustavljen, podaci izbalansirani, a metrika pravednosti praćena. Opća pravednost prikrivala je skrivenu diskriminaciju.
Slučaj 2 - Neobjašnjivo odbijanje. Kreditni model je odbijao zahtjeve, ali niko nije mogao objasniti zašto. Kada je kupac zatražio pravno pojašnjenje, tim nije mogao odgovoriti. Model je povučen iz upotrebe u odlukama sa velikim uticajem sve dok nije dodat objašnjiv metod i nije napravljeno opravdanje za svako odbijanje. Pouka: objašnjivost je neophodna u donošenju odluka sa velikim uticajem.
Slučaj 3 - Bill šok. Jedan tim je koristio najveći LLM i vrlo dugačke upite za svaki zahtjev. Mjesečni račun je neočekivano porastao. Post analiza: većina zahtjeva je mogla biti riješena malim modelom, polovina upita je bila suvišna, a česta pitanja su se mogla keširati. Ove tri optimizacije značajno su smanjile troškove, bez ugrožavanja kvaliteta. Pouka: najmoćniji model nije svugdje neophodan.
Predlošci koji se mogu kopirati
Pomozite mi da procijenim ovaj model za pristrasnost/fer. Koje podgrupe (demografske/segmentne) trebam podijeliti i mjeriti? Koje metrike (tačnost, pamćenje, stopa lažnih pozitivnih rezultata po grupi) treba da uporedim? Mogu li se različite definicije pravičnosti sukobljavati, čemu bih trebao dati prioritet u ovom kontekstu i zašto? Kontekst modela/odluke: [objašnjenje]
Izradite nacrt kartice modela za ovaj model visokog utjecaja. Treba da sadrži: svrhu, podatke i datum obuke, učinak u podgrupama, poznata ograničenja, odgovarajuću/neprikladnu upotrebu, status objašnjivosti, tačku ljudskog nadzora. Model: [opis]
Pomozite mi da smanjim trošak ove LLM implementacije, bez ugrožavanja kvaliteta. Dostupno: veličina modela, prosječna dužina upita, volumen zahtjeva, postoji li keš memorija? Procijenite: 1) Da li je manji model dovoljan (za koje zadatke)? 2) Može li se upit skratiti? 3) Mogu li se svaki česti zahtjevi keširati? 4) Da li postoji rad koji je dostupan za procjenu uticaja serije?
Napravite kontrolnu listu etike/odgovornosti za ovaj sistem odlučivanja sa velikim uticajem.- Objašnjivost: može li se proizvesti opravdanje odluke?- Ljudski nadzor: da li je odluka sa velikim uticajem podložna odobrenju?- Odgovornost: ko je odgovoran u slučaju greške?- Transparentnost: da li korisnik zna da se AI koristi?- Regulativa: koje su zakonske obaveze uključene?
Tabela izvora pristranosti
Izvor
simptom
mjera opreza
istorijska pristrasnost
Prošla diskriminacija se nastavlja
Revizija podataka + metrika pravednosti
pristrasnost reprezentacije
Niska preciznost u maloj grupi uzoraka
Analiza podgrupa + balansiranje
pristrasnost merenja
pristrasne etikete
Pregled procesa etiketiranja
Pristrasnost agregacije
Univerzum nije predstavljen
Diverzifikacija resursa
Uobičajene greške
- Oslanjajući se na ukupnu metriku. Skrivena diskriminacija se ne može vidjeti bez analize podgrupa.
- Uz pretpostavku "neutralnog modela". Model uči i pojačava pristrasnost u podacima.
- Ostavljanje odluke velikog uticaja na neobjašnjivi model. Pravni i etički rizik.
- Zaobilazeći ljudski nadzor. "Manekenka je odlučila" nije izgovor.
- Postavljanje najvećeg modela svuda. Nepotreban trošak i energija.
- Ne pratimo troškove. Račun se tiho nadima.
Ukratko
Tehnički ispravan model je i dalje neuspjeh ako nije pravedan, objašnjiv i održiv. Pristrasnost uglavnom dolazi od podataka i model ih uvećava na nivou; Mjerite pravičnost po podgrupama i dogovorite se sa zainteresovanim stranama kojoj definiciji pravičnosti dati prioritet. Objašnjivost, ljudski nadzor i odgovornost su od suštinskog značaja za odluke sa velikim uticajem; Transparentnost dokumenta sa modelom kartice. Upravljajte troškovima i energijom: odaberite najmanji adekvatan model, skratite prompt, koristite keš i batch. Ove dimenzije su sastavni dijelovi inženjerskog kvaliteta, a ne naknadno dodani ukrasi.
Zadatak aplikacije
Podijelite model u najmanje dvije podgrupe i uporedite stopu opoziva i lažno pozitivnih na grupnoj osnovi; Ako postoji značajna razlika, napišite razlog i mjeru opreza. Nacrtajte kratku karticu modela za model visokog uticaja (svrha, podaci, performanse podgrupe, granice, objašnjivost). Identifikujte najmanje dvije konkretne optimizacije (minimum / brzo skraćivanje / keš / serija) kako biste smanjili troškove implementacije LLM-a i zapišite njihov procijenjeni učinak.
kontrolna lista
- [ ] Model sam ocjenjivao na osnovu podgrupa, nisam se oslanjao na opću metriku.
- [ ] Sa zainteresovanim stranama sam odlučio kojoj ću definiciji pravde dati prioritet.
- [ ] Odluka visokog uticaja je objašnjiva i podložna je ljudskom odobrenju.
- [ ] Dokumentirao sam transparentnost i granice sa karticom uzorka.
- [ ] Izabrao sam najmanji adekvatan model; Optimizirao sam prompt/cache/batch.
- [ ] Pratim trošak i uticaj energije.