Gevinster:
- Evne til at opdage skjult diskrimination ved at forstå, at bias kommer fra data (historisk, repræsentation, måling, aggregering) og evaluere modellen på basis af undergrupper
- Evne til at give forklaring, menneskeligt tilsyn og ansvarlighed i beslutninger med stor indflydelse og dokumentere gennemsigtighed med et modelkort
- Evne til at styre økonomiske og miljømæssige omkostninger uden at gå på kompromis med kvaliteten med den mindste passende model, hurtig afkortning, cache og batch
En model kan teknisk set fungere perfekt, men stadig være forkert - hvis den er uretfærdig over for nogle mennesker, uforklarlig eller giver uholdbare omkostninger. I denne enhed dækker vi tre "usynlige", men afgørende dimensioner af ML-teknik: bias og retfærdighed, etik og gennemsigtighed, omkostninger og bæredygtighed. Disse er ikke ornamenter tilføjet senere, men integrerede dele af ingeniørkvalitet.
Hvor kommer fordommene fra?
Model bias (modellens systematiske behandling af bestemte grupper forskelligt/uretfærdigt) kommer normalt fra dataene, ikke modellen. Kilder:
- Historisk skævhed: Data afspejler tidligere uretfærdighed. Hvis en bestemt gruppe tidligere har fået mindre kredit, vil modellen, der trænes på disse data, lære og fastholde denne diskrimination.
- Repræsentationsbias: Nogle grupper er underrepræsenteret i dataene; modellen klarer sig dårligt for dem (f.eks. lav nøjagtighed i en lille demografisk prøve).
- Målingsbias: Etiketter i sig selv er partiske (f.eks. hvis definitionen af en "god medarbejder" er baseret på tidligere forfremmelsesbeslutninger).
- Aggregationsbias: Fordi data kommer fra en bestemt kanal, er de ikke repræsentative for universet.
Modellen lærer ikke kun disse skævheder; skalerer op ved at automatisere det. En persons partiske beslutning påvirker en anden person; Dommen af en forudindtaget model er millioner.
Forsigtig: Fald ikke i den fejl at sige "modellen er neutral, fordi den kun er matematik." Modellen lærer og automatiserer menneskelig bias i data. Neutralitet er ikke en standard, men et resultat, der skal måles og sikres.
måling af retfærdighed
For at forvalte retfærdigheden er det nødvendigt at måle den først. For at gøre dette skal du evaluere modellen på en undergruppebasis: er målinger som nøjagtighed, tilbagekaldelse, falsk positive rate ens på tværs af forskellige demografiske grupper? Et par retfærdighedsbegreber:
- Grupperetfærdighed: Behandler modellen forskellige grupper korrekt/forkert med ensartede satser?
- Lige muligheder: Fanger modellen de virkelig positive ligeligt i alle grupper (lige tilbagekaldelse)?
Vigtigt faktum: forskellige definitioner af retfærdighed er muligvis ikke opfyldt på samme tid (dette er en matematisk konsekvens). Hvilken definition af retfærdighed, der prioriteres i denne sammenhæng, er en etisk og forretningsmæssig beslutning, ikke en teknisk, og træffes sammen med interessenter.
Svag tilgang / Stærk tilgang
Dårlig: "Den overordnede nøjagtighed af modellen er 88%, hvilket er rimeligt."
Güçlü: "Den overordnede nøjagtighed var 88%, men da vi delte det op i undergrupper, var tilbagekaldelsen 91% i én gruppe og 67% i en anden gruppe - modellen manglede systematisk den gruppe. Vi dokumenterede årsagen (manglende repræsentation), indsamlede data for den gruppe og revurderede det med den ligeværdige definition af interessenten, vi ville afgøre, hvad vi ville prioritere med interessenten."
Forskellen: den stærke tilgang gemmer sig ikke bag den generelle metrik, den adskiller undergrupper og behandler retfærdighed som en åben beslutning.
Etik og gennemsigtighed
Kerneprincipperne for ansvarlig AI er:
- Forklarlighed: Kan det forklares, hvorfor modellen tog denne beslutning? I beslutninger med stor indflydelse (kredit, ansættelse, sundhedspleje) har man ret til en forklaring. Den uforklarede model bør ikke bruges på disse områder eller bør understøttes af en forklarlig metode.
- Menneskelig tilsyn: Beslutninger med stor indflydelse bør ikke træffes automatisk; Modellen antyder, bekræfter mennesket.
- Ansvarlighed: Det skal være klart, hvem der er ansvarlig, når modellen laver en fejl. "Modellen besluttede" er ikke en undskyldning.
- Gennemsigtighed: Brugeren skal vide, at de interagerer med en AI, og hvordan deres data bruges.
I mange lande og sektorer er disse principper også indlejret i lovgivningen (gennemsigtighed, revision og menneskelige tilsynsforpligtelser for højrisiko AI-systemer). Ingeniøren er ansvarlig for at kende reglerne for sit felt.
Tip: Opbevar et "modelkort" for hver effektfuld model: hvad modellen gør, hvilke data den er trænet på, hvor godt/dårligt den fungerer i hvilke grupper, hvad dens kendte grænser er. Dette dokument er både et værktøj til gennemsigtighed og ansvarlighed.
Omkostninger og bæredygtighed
AI er ikke billig. Omkostningerne styres i to dimensioner:
Finansielle omkostninger:
- Tokenomkostninger (LLM): Hver anmodning og svar koster tokens; I takt med at mængden vokser, vokser regningen. Unødvendigt lange prompter, alt for stort modeludvalg og ukontrollerede agentsløjfer (enhed 5) øger omkostningerne.
- Træning og hosting: Finjustering og modelpræsentation medfører hardwareomkostninger.
- Optimering: Brug ikke en stor model, hvis en lille model er tilstrækkelig; cache ofte stillede spørgsmål; forkort prompten; Batch, hvad der kan behandles.
Miljøomkostninger: Træning af store modeller og konklusioner bruger betydelig energi. Bæredygtighed gør at undgå unødvendige beregninger (korrekt størrelsesmodel, effektiv arkitektur) til et professionelt ansvar.
Tip: Den første regel for omkostningsoptimering: "Hvad er den mindste passende model til dette job?" At sætte den mest kraftfulde model overalt er som at slå et søm i med en forhammer - dyrt og unødvendigt.
tre minisager
Case 1 - Skjult diskrimination. En rekrutteringsscreeningsmodel så generelt godt ud. Undergruppeanalyse viste, at modellen systematisk understregede kvindelige kandidater, fordi de historiske data var mandsdominerede - den havde lært historisk skævhed. Modellen blev stoppet, data afbalanceret, og retfærdighedsmålinger blev overvåget. Generel retfærdighed dækkede over skjult diskrimination.
Case 2 - Uforklaret afvisning. En kreditmodel afviste ansøgninger, men ingen kunne forklare hvorfor. Da en kunde anmodede om juridisk afklaring, var teamet ikke i stand til at svare. Modellen blev trukket tilbage fra brug i beslutninger med stor effekt, indtil der blev tilføjet en forklarlig metode, og der blev udarbejdet begrundelse for hvert afslag. Lektion: Forklarlighed er afgørende for beslutningstagning med stor indflydelse.
Tilfælde 3 - Bill chok. Et team brugte den største LLM og meget lange prompter for hver anmodning. Den månedlige regning er vokset uventet. Efteranalyse: de fleste anmodninger kunne løses med en lille model, halvdelen af meddelelserne var overflødige, og hyppige spørgsmål kunne cachelagres. Disse tre optimeringer reducerede omkostningerne markant uden at gå på kompromis med kvaliteten. Lektion: Den mest kraftfulde model er ikke nødvendig overalt.
Kopierbare skabeloner
Hjælp mig med at vurdere denne model for bias/fairness. Hvilke undergrupper (demografisk/segment) skal jeg opdele og måle? Hvilke målinger (nøjagtighed, tilbagekaldelse, falsk positive rate efter gruppe) skal jeg sammenligne? Kan forskellige definitioner af retfærdighed være i konflikt, hvad skal jeg prioritere i denne sammenhæng og hvorfor? Model/beslutningskontekst: [forklaring]
Lav et udkast til et modelkort til denne effektfulde model. Bør omfatte: formål, træningsdata og dato, præstation i undergrupper, kendte grænser, passende/upassende brug, status for forklaring, punkt for menneskelig tilsyn. Model: [beskrivelse]
Hjælp mig med at reducere omkostningerne ved denne LLM-implementering, uden at gå på kompromis med kvaliteten.Tilgængelig: modelstørrelse, gennemsnitlig promptlængde, anmodningsvolumen, er der cache?Vurder:1) Er den mindre model nok (til hvilke opgaver)?2) Kan prompten forkortes?3) Kan hyppige forespørgsler cachelagres?4) Er der arbejde tilgængeligt for batch-estimeret effekt?Skriv ned den estimerede effekt.
Udarbejd en etik-/ansvarstjekliste for dette beslutningssystem med stor indvirkning.- Forklarlighed: kan beslutningsbegrundelsen produceres?- Menneskeligt tilsyn: er beslutningen med stor indvirkning underlagt godkendelse?- Ansvarlighed: hvem er ansvarlig i tilfælde af fejl?- Gennemsigtighed: ved brugeren, at AI bliver brugt?- Regulering: hvad er de juridiske forpligtelser involveret?]System: [beskrivelse
Bias source tabel
Kilde
symptom
forholdsregler
historisk skævhed
Tidligere diskrimination fortsætter
Datarevision + rimelighedsmetrik
repræsentationsbias
Lav nøjagtighed i lille prøvegruppe
Undergruppeanalyse + afbalancering
målebias
skæve etiketter
Etiketprocesgennemgang
Aggregationsbias
Universet er ikke repræsenteret
Ressourcediversificering
Almindelige fejl
- Stoler på den overordnede metrik. Skjult diskrimination kan ikke ses uden undergruppeanalyse.
- Forudsat "model neutral". Modellen lærer og forstærker bias i dataene.
- Overlader beslutningen med stor indflydelse til den uforklarlige model. Juridisk og etisk risiko.
- Omgå menneskelig overvågning. "Modellen besluttede" er ingen undskyldning.
- Sætter den største model overalt. Unødvendige omkostninger og energi.
- Ikke sporing af omkostninger. Regningen svulmer lydløst.
Sammenfattende
En teknisk korrekt model er stadig en fiasko, hvis den ikke er fair, forklarlig og holdbar. Bias kommer for det meste fra dataene, og modellen forstørrer dem i skala; Mål retfærdighed efter undergrupper og aftal med interessenter, hvilken definition af retfærdighed der skal prioriteres. Forklarlighed, menneskeligt tilsyn og ansvarlighed er afgørende i beslutninger med stor effekt; Dokumentgennemsigtighed med modelkort. Administrer omkostninger og energi: vælg den mindste passende model, forkort prompten, brug cache og batch. Disse dimensioner er integrerede dele af teknisk kvalitet, ikke dikkedarer tilføjet senere.
Ansøgningsopgave
Opdel en model i mindst to undergrupper og sammenlign tilbagekaldelsesraten og antallet af falske positive på gruppebasis; Hvis der er en væsentlig forskel, så skriv årsagen og en forholdsregel. Udarbejd et kort modelkort til en model med stor effekt (formål, data, undergruppeydelse, grænser, forklarlighed). Identificer mindst to konkrete optimeringer (minimum / prompt trunkering / cache / batch) for at reducere omkostningerne ved at implementere en LLM og nedskriv deres estimerede effekt.
tjekliste
- [ ] Jeg vurderede modellen baseret på undergrupper, jeg stolede ikke på den generelle metriske.
- [ ] Jeg besluttede sammen med interessenterne, hvilken definition af retfærdighed jeg ville prioritere.
- [ ] Beslutningen om høj effekt kan forklares og er underlagt menneskelig godkendelse.
- [ ] Jeg dokumenterede gennemsigtighed og grænser med mønsterkortet.
- [ ] Jeg valgte den mindste passende model; Jeg optimerede prompt/cache/batch.
- [ ] Jeg overvåger omkostningerne og energipåvirkningen.