Fordommer og rettferdighet — AI-kunnskap

Gevinster:

Forstår at data er den primære kilden til AI-bias
Erkjenner risikoen som skjevhet kan skape på arbeidsplassen
Iverksetter tiltak som kan gjøres for å redusere fordommer

AI fremstår som en nøytral, objektiv maskin; men sannheten er mye mer kompleks. AI-systemer lærer menneskelige skjevheter i dataene de er trent på og noen ganger forstørrer og reproduserer dem. Fordommer er et systems tendens til systematisk å favorisere eller ekskludere bestemte personer eller grupper. I denne enheten skal vi vurdere hvor fordommer kommer fra, hvilke konkrete risikoer det utgjør på arbeidsplassen, og hva som kan gjøres mot det. Dette er ikke bare et spørsmål om "etikk"; Det er en praktisk forretningssak som medfører juridiske, kommersielle og omdømmerisiko når de blir feil administrert.

Hvor kommer fordommer fra?

Informasjonen til en språkmodell kommer fra de enorme tekstene som mennesker produserer. Disse tekstene inneholder all kunnskap om det menneskelige samfunn, så vel som alle dets stereotypier, ubalanser og historiske ulikheter. Modellen skiller ikke mellom "gode" og "dårlige" mønstre; Den lærer det som er i dataene.

Eksempel: Hvis visse yrker hovedsakelig var assosiert med et kjønn i tidligere tekster (f.eks. "sykepleier" med kvinne, "ingeniør" med mann), lærer modellen denne sammenhengen. Hun kan ha en tendens til å velge et mannlig pronomen når hun fullfører setningen "En ingeniør gikk inn på kontoret, han..." Modellen er ikke ondsinnet; det gjenspeiler bare ubalansen i dataene.

Så skjevheten skyldes for det meste at det er et speil av dataene, ikke en bevisst programmeringsfeil. Å forklare problemet som "noen skrev dårlig kode" er misvisende; Problemet er at ubalansen i verden føres inn i dataene og derfra inn i modellen.

Håndgripelige risikoer på arbeidsplassen

område

Risiko for skjevhet

mulig skade

rekruttering

Lær trenden i historiske data og eliminer visse grupper

Rettssak, tap av evne

Kundekommunikasjon

Stereotypisk eller ekskluderende språk

Tap av omdømme, kundeflukt

kreditt/risiko

Å opprettholde tidligere ulikheter

Diskriminering, sanksjoner

Ytelsesevaluering

Bringe skjevhet i data inn i beslutningen

Urettferdig opprykk/bonus

Innhold/markedsføring

Gjør en bestemt gruppe usynlig

Merkeskade

Tre minivesker

Tilfelle 1 – Annonsen begrenset språket. Et selskap begynte å skrive ut stillingsannonser med AI. Etter en stund ble det lagt merke til at annonsene appellerte til en viss profil med uttrykk som «ung og dynamisk», «aggressivt mål» og dermed reduserte mangfoldet i søknadene. Teamet la til et trinn som sjekker hvert innlegg for "inkluderende språk"; Mangfoldet av søkere har økt betydelig i løpet av få måneder.

Sak 2 - Skjult skjevhet i sammendraget. En leder fikk AI til å oppsummere tilbakemeldinger fra 30 ansatte. Oppsummeringen så ut til å konsentrere de negative kommentarene til ett bestemt lag; mens i rådata var situasjonen balansert. Modellen overdrev flere sterke utsagn. Da lederen gikk tilbake og sjekket rådataene, unngikk han en misforståelse.

Sak 3 – Inkluderingsmandatet fungerte. Et markedsføringsteam standardiserte instruksjonene i kampanjeteksten for å «bruke inkluderende, ikke-spesifikt språk for kjønn/alder/gruppe og liste opp antakelsene dine til slutt». Formeluttrykk i de produserte tekstene har blitt merkbart redusert; teamet trengte ikke manuelt korrigere hver utgang om og om igjen.

Hvorfor er skjevhet vanskelig å gjenkjenne?

Det mest lumske med fordommer er at de ofte er usynlige. Utgangen ser jevn, profesjonell og rimelig ut; Tendensen i den blir tydelig bare når man ser nøye etter eller måler dens innvirkning på forskjellige grupper. Det er misvisende å si "det er ingen skjevhet her" ved å se på et enkelt eksempel; Bias manifesterer seg ofte ikke i individuelle eksempler, men i systemets generelle tendens.

Forsiktig: Antakelsen om at "jeg er nøytral, derfor er verktøyet jeg bruker også nøytralt" er farlig. Nøytraliteten til verktøyet avhenger av treningsdataene og hvordan de inspiseres, ikke av intensjonen din.

Svak forespørsel / sterk forespørsel

Svak melding: Beskriv den ideelle kandidaten for denne stillingen.

Resultat: Modellen kan stole på stereotypier og presentere en bestemt profil som "ideell".

Sterk oppfordring: Oppgi kun målbare kompetanser for denne stillingen som virkelig er relevante for jobben. Ikke bruk noen egenskaper som ikke er relatert til jobben, som kjønn, alder, sivilstatus, hjemsted. Skriv til slutt det du utelot under overskriften «antakelser jeg unngår».

Resultat: Evaluering er begrenset til jobbrelaterte kriterier, irrelevante funksjoner er ekskludert.

Maler for å redusere skjevhet

Sjekk teksten nedenfor for inkluderende språk. Flagg utsagn som antyder kjønn, alder, etnisitet, funksjonshemming eller en spesifikk gruppe og foreslå et nøytralt alternativ for hver.Tekst: [lim inn her]

Gjør denne evalueringen kun basert på disse objektive kriteriene: [kriterier]. Ikke ta hensyn til annen informasjon enn disse kriteriene (navn, kjønn, alder).

List under en egen overskrift til slutt hvilke forutsetninger du gjorde i teksten du produserte. Så jeg kan se skjulte skjevheter.

Vurder dette innholdet gjennom øynene til tre forskjellige grupper av lesere, og merk eventuelle utsagn som kan støte/støte noen av dem. Innhold: [lim inn her]

Vanlige feil

Forutsatt "nøytral" AI-utgang. Selv om utdataene virker nøytrale, kan det ha skjevheten i dataene; Aktiv tilsyn er nødvendig.
Ser på ett eksempel og sier "det er ingen skjevhet". Fordommer er skjult i systemets generelle tendens.
Overlater beslutningstaking med stor innflytelse til uovervåket AI. Menneskelig autoritet er avgjørende i beslutninger som rekruttering, forfremmelse og kreditt.
Å glemme å kreve inkludering. Hvis du ikke eksplisitt ber om det i ledeteksten, går modellen tilbake til standardmønstrene.
Det betyr "maskinen sa det." Den som bruker vedtaket er også ansvarlig for konsekvensene.

Rettferdighet er alles ansvar

Å bekjempe fordommer er ikke bare jobben til det tekniske teamet. Hver ansatt som bruker AI-utdata har ansvar for å stille spørsmål ved om den utgangen er rettferdig. "Maskinen fortalte meg" er ikke en unnskyldning; Den som tar avgjørelsen er også ansvarlig for konsekvensene.

Oppsummert

Den primære kilden til AI-bias er ikke ondskap, men eksisterende ubalanser og stereotyper i treningsdataene.
Fordommer; Det skaper reell juridisk og omdømmerisiko innen områder som rekruttering, kundekommunikasjon, økonomi og evaluering.
Bias er ofte usynlig og innebygd i den generelle disposisjonen til systemet; Å se på et enkelt eksempel er misvisende.
For å redusere: vær oppmerksom, begrense beslutninger til jobbrelaterte kriterier, be eksplisitt om inkludering, sett menneskelig kontroll på beslutninger med stor innvirkning.
"Maskinen fortalte meg" er ikke en unnskyldning; Rettferdighet er ansvaret til alle som bruker resultatet.

Søknadsoppgave

Fortell AI "beskriv en ideell [enhver yrke] arbeider" og marker hvilke (kanskje unødvendige) antakelser som ble gjort i utdataene. Gjenta deretter med malen "jobbrelaterte kriterier" ovenfor og sammenlign de to resultatene for rettferdighet.

Sjekkliste

[ ] Jeg forstår at den primære kilden til skjevhet er treningsdata.
[ ] Jeg kan nevne de konkrete risikoene som skjevhet på arbeidsplassen kan utgjøre.
[ ] Jeg vet at skjevhet ofte er usynlig og at det er misvisende å se på ett enkelt eksempel.
[ ] Jeg kan tydelig be om inkludering og jobbrelaterte kriterier i ledeteksten.
[ ] Jeg krever menneskelig tilsyn med beslutninger med stor effekt.