Gevinster:
- Evne til å oppdage skjult diskriminering ved å forstå at skjevhet kommer fra data (historisk, representasjon, måling, aggregering) og evaluere modellen på grunnlag av undergrupper
- Evne til å gi forklaring, menneskelig tilsyn og ansvarlighet i beslutninger med stor effekt og dokumentgjennomsiktighet med et modellkort
- Evne til å håndtere økonomiske og miljømessige kostnader uten å gå på akkord med kvaliteten med den minste tilstrekkelige modellen, rask forkorting, cache og batch
En modell kan teknisk sett fungere perfekt, men likevel være feil - hvis den er urettferdig for noen mennesker, uforklarlig eller gir uholdbare kostnader. I denne enheten dekker vi tre «usynlige», men avgjørende dimensjoner ved ML-teknikk: skjevhet og rettferdighet, etikk og åpenhet, kostnad og bærekraft. Dette er ikke ornamenter lagt til senere, men integrerte deler av ingeniørkvalitet.
Hvor kommer fordommer fra?
Modellbias (modellens systematiske behandling av enkelte grupper forskjellig/urettferdig) kommer vanligvis fra dataene, ikke modellen. Kilder:
- Historisk skjevhet: Data gjenspeiler tidligere urettferdighet. Hvis en bestemt gruppe har blitt gitt mindre kreditt tidligere, vil modellen som er trent på disse dataene lære og opprettholde denne diskrimineringen.
- Representasjonsskjevhet: Noen grupper er underrepresentert i dataene; modellen gir dårlige resultater for dem (f.eks. lav nøyaktighet i et lite demografisk utvalg).
- Målingsskjevhet: Etikettene i seg selv er partiske (f.eks. hvis definisjonen av en "god ansatt" er basert på tidligere forfremmelsesbeslutninger).
- Aggregasjonsskjevhet: Fordi data kommer fra en bestemt kanal, er den ikke representativ for universet.
Modellen lærer ikke bare disse skjevhetene; skalerer opp ved å automatisere den. En persons partiske beslutning påvirker en annen person; Dommen til en partisk modell er millioner.
Forsiktig: Ikke fall inn i feilen å si "modellen er nøytral fordi den bare er matematikk." Modellen lærer og automatiserer menneskelig skjevhet i data. Nøytralitet er ikke en standard, men et utfall som må måles og sikres.
måle rettferdighet
For å forvalte rettferdighet er det nødvendig å måle den først. For å gjøre dette, evaluer modellen på en undergruppebasis: er beregninger som nøyaktighet, tilbakekalling, falsk positiv rate like på tvers av ulike demografiske grupper? Noen få rettferdighetsbegreper:
- Grupperettferdighet: Behandler modellen ulike grupper riktig/feil med like rater?
- Likestilling: Fanger modellen de virkelig positive likt i alle grupper (lik tilbakekalling)?
Viktig faktum: ulike definisjoner av rettferdighet er kanskje ikke oppfylt samtidig (dette er en matematisk konsekvens). Hvilken definisjon av rettferdighet som prioriteres i denne sammenheng er en etisk og forretningsmessig beslutning, ikke en teknisk, og tas sammen med interessenter.
Svak tilnærming / Sterk tilnærming
Dårlig: "Den generelle nøyaktigheten til modellen er 88%, noe som er rimelig."
Güçlü: "Total nøyaktighet var 88 %, men når vi delte den inn i undergrupper, var tilbakekallingen 91 % i én gruppe og 67 % i en annen gruppe — modellen manglet systematisk den gruppen. Vi dokumenterte årsaken (manglende representasjon), samlet inn data for den gruppen og revurderte det med lik-recall-definisjonen av interessentene vi ville avgjøre prioriteringen av rettferdig.
Forskjellen: den sterke tilnærmingen skjuler seg ikke bak den generelle metrikken, den skiller undergrupper og behandler rettferdighet som en åpen beslutning.
Etikk og åpenhet
Kjerneprinsippene for ansvarlig AI er:
- Forklarbarhet: Kan det forklares hvorfor modellen tok denne avgjørelsen? I beslutninger med stor effekt (kreditt, ansettelse, helsetjenester) har man rett til en forklaring. Den uforklarlige modellen bør ikke brukes i disse områdene eller bør støttes av en forklarbar metode.
- Menneskelig tilsyn: Beslutninger med stor innvirkning bør ikke tas automatisk; Modellen antyder, bekrefter mennesket.
- Ansvarlighet: Det skal være klart hvem som er ansvarlig når modellen gjør en feil. "Modellen bestemte" er ikke en unnskyldning.
- Åpenhet: Brukeren bør vite at de samhandler med en AI og hvordan dataene deres brukes.
I mange land og sektorer er disse prinsippene også nedfelt i lovgivning (transparens, revisjon og menneskelig tilsynsforpliktelser for høyrisiko AI-systemer). Ingeniøren er ansvarlig for å kjenne til regelverket for sitt fagområde.
Tips: Ha et "modellkort" for hver effektfull modell: hva modellen gjør, hvilke data den ble trent på, hvor godt/dårlig den fungerer i hvilke grupper, hva dens kjente grenser er. Dette dokumentet er både et verktøy for åpenhet og ansvarlighet.
Kostnad og bærekraft
AI er ikke billig. Kostnadene styres i to dimensjoner:
Finansielle kostnader:
- Tokenkostnad (LLM): Hver forespørsel og svar koster tokens; Når volumet vokser, vokser regningen. Unødvendig lange meldinger, for stort modellutvalg og ukontrollerte agentsløyfer (enhet 5) øker kostnadene.
- Opplæring og vertskap: Finjustering og modellpresentasjon medfører maskinvarekostnader.
- Optimalisering: Ikke bruk en stor modell hvis en liten modell er tilstrekkelig; cache ofte stilte spørsmål; forkort ledeteksten; Batch det som kan behandles.
Miljøkostnader: Opplæring og slutninger om store modeller bruker betydelig energi. Bærekraft gjør det å unngå unødvendige beregninger (riktig størrelsesmodell, effektiv arkitektur) til et faglig ansvar.
Tips: Den første regelen for kostnadsoptimalisering: "Hva er den minste passende modellen for denne jobben?" Å sette den kraftigste modellen overalt er som å slå en spiker inn med en slegge – dyrt og unødvendig.
tre minisaker
Sak 1 - Skjult diskriminering. En rekrutteringsscreeningsmodell så totalt sett bra ut. Undergruppeanalyse fant at modellen systematisk understreket kvinnelige kandidater fordi de historiske dataene var mannsdominert - den hadde lært historisk skjevhet. Modellen ble stoppet, databalansert og rettferdighetsmålinger overvåket. Generell rettferdighet dekket over skjult diskriminering.
Sak 2 - Uavklart avslag. En kredittmodell var å avslå søknader, men ingen kunne forklare hvorfor. Når en kunde ba om juridisk avklaring, klarte ikke teamet å svare. Modellen ble tatt ut av bruk i beslutninger med stor innvirkning inntil en forklarbar metode ble lagt til og begrunnelse ble laget for hvert avslag. Leksjon: Forklarbarhet er avgjørende i beslutningsprosesser med stor innflytelse.
Tilfelle 3 - Bill sjokk. Ett team brukte den største LLM og svært lange meldinger for hver forespørsel. Den månedlige regningen har vokst uventet. Postanalyse: de fleste forespørsler kunne løses med en liten modell, halvparten av forespørslene var overflødige, og hyppige spørsmål kunne bufres. Disse tre optimaliseringene reduserte kostnadene betydelig, uten at det gikk på bekostning av kvaliteten. Leksjon: Den kraftigste modellen er ikke nødvendig overalt.
Kopierbare maler
Hjelp meg med å vurdere denne modellen for skjevhet/rettferdighet. Hvilke undergrupper (demografisk/segment) bør jeg dele og måle? Hvilke beregninger (nøyaktighet, tilbakekalling, falsk positiv rate etter gruppe) bør jeg sammenligne? Kan ulike definisjoner av rettferdighet være i konflikt, som bør jeg prioritere i denne sammenhengen og hvorfor? Kontekst for modell/beslutning: [forklaring]
Lag et utkast til modellkort for denne kraftige modellen. Bør inkludere: formål, treningsdata og dato, ytelse i undergrupper, kjente grenser, hensiktsmessig/upassende bruk, status for forklaring, punkt for menneskelig tilsyn. Modell: [beskrivelse]
Hjelp meg med å redusere kostnadene for denne LLM-implementeringen, uten å gå på bekostning av kvaliteten.Tilgjengelig: modellstørrelse, gjennomsnittlig forespørselslengde, forespørselsvolum, er det cache?Vurder:1) Er den mindre modellen nok (for hvilke oppgaver)?2) Kan forespørselen forkortes?3) Kan hyppige forespørsler bufres?4) Er det arbeid tilgjengelig for batch-estimert effekt?Skriv ned estimatet.
Lag en sjekkliste for etikk/ansvar for dette beslutningssystemet med høy effekt.- Forklarbarhet: kan beslutningsbegrunnelsen produseres?- Menneskelig tilsyn: er beslutningen med stor innvirkning gjenstand for godkjenning?- Ansvarlighet: hvem er ansvarlig i tilfelle feil?- Åpenhet: vet brukeren at AI blir brukt?- Regulering: hva er de juridiske forpliktelsene involvert?]System: [beskrivelse
Bias kildetabell
Kilde
symptom
forholdsregel
historisk skjevhet
Tidligere diskriminering fortsetter
Datarevisjon + rettferdighetsberegning
representasjonsskjevhet
Lav nøyaktighet i liten utvalgsgruppe
Undergruppeanalyse + balansering
måleskjevhet
partiske etiketter
Gjennomgang av etikettprosessen
Aggregasjonsskjevhet
Universet er ikke representert
Ressursspredning
Vanlige feil
- Stoler på den generelle beregningen. Skjult diskriminering kan ikke sees uten undergruppeanalyse.
- Forutsatt "modellnøytral". Modellen lærer og forsterker skjevhet i dataene.
- Overlater avgjørelsen med stor innvirkning til den uforklarlige modellen. Juridisk og etisk risiko.
- Omgå menneskelig tilsyn. «Modellen bestemte» er ingen unnskyldning.
- Setter den største modellen overalt. Unødvendige kostnader og energi.
- Ikke sporingskostnad. Regningen svulmer stille.
Oppsummert
En teknisk korrekt modell er fortsatt en fiasko hvis den ikke er rettferdig, forklarlig og bærekraftig. Bias kommer for det meste fra dataene og modellen forstørrer dem i skala; Mål rettferdighet etter undergrupper og avtal med interessenter hvilken definisjon av rettferdighet som skal prioriteres. Forklarlighet, menneskelig tilsyn og ansvarlighet er avgjørende i beslutninger med stor effekt; Dokumentgjennomsiktighet med modellkort. Administrer kostnader og energi: velg den minste passende modellen, forkort forespørselen, bruk cache og batch. Disse dimensjonene er integrerte deler av ingeniørkvalitet, ikke dikkedarer lagt til senere.
Søknadsoppgave
Del en modell inn i minst to undergrupper og sammenlign tilbakekalling og falske positive rater på gruppebasis; Hvis det er en betydelig forskjell, skriv årsaken og en forholdsregel. Lag et kort modellkort for en modell med høy effekt (formål, data, undergruppeytelse, grenser, forklarbarhet). Identifiser minst to konkrete optimaliseringer (minimum / prompt avkorting / cache / batch) for å redusere kostnadene ved å implementere en LLM og skrive ned deres estimerte virkning.
sjekkliste
- [ ] Jeg evaluerte modellen basert på undergrupper, jeg stolte ikke på den generelle metrikken.
- [ ] Jeg bestemte sammen med interessentene hvilken definisjon av rettferdighet jeg ville prioritere.
- [ ] Beslutning med høy effekt kan forklares og er underlagt menneskelig godkjenning.
- [ ] Jeg dokumenterte transparens og grenser med mønsterkortet.
- [ ] Jeg valgte den minste passende modellen; Jeg optimaliserte prompt/cache/batch.
- [ ] Jeg overvåker kostnadene og energipåvirkningen.