Vinster:
- Förstår att data är den primära källan till AI-bias
- Inser de risker som partiskhet kan skapa på arbetsplatsen
- Genomför åtgärder som kan vidtas för att minska fördomar
AI framstår som en neutral, objektiv maskin; men sanningen är mycket mer komplex. AI-system lär sig mänskliga fördomar i data de tränas på och ibland förstora och reproducera dem. Fördomar är ett systems tendens att systematiskt gynna eller utesluta vissa personer eller grupper. I denna enhet kommer vi att fundera över var fördomar kommer ifrån, vilka konkreta risker de utgör på arbetsplatsen och vad som kan göras mot dem. Detta är inte bara en fråga om "etik"; Det är en praktisk affärsfråga som medför juridiska, kommersiella och anseende risker när det hanteras fel.
Var kommer fördomar ifrån?
Informationen om en språkmodell kommer från de enorma texter som människor producerar. Dessa texter innehåller all kunskap om det mänskliga samhället, såväl som alla dess stereotyper, obalanser och historiska ojämlikheter. Modellen skiljer inte mellan "bra" och "dåliga" mönster; Den lär sig allt som finns i data.
Exempel: Om vissa yrken övervägande var förknippade med ett kön i tidigare texter (t.ex. "sjuksköterska" med kvinna, "ingenjör" med man), lär modellen sig denna koppling. Hon kan ha en tendens att välja ett manligt pronomen när hon slutför meningen, "En ingenjör kom in på kontoret, han..." Modellen är inte skadlig; det återspeglar bara obalansen i data.
Så fördomen beror mest på att det är en spegel av data, inte ett medvetet programmeringsfel. Att förklara problemet som att "någon skrev dålig kod" är missvisande; Problemet är att obalansen i världen förs in i datan och därifrån in i modellen.
Påtagliga risker på arbetsplatsen
område
Risk för partiskhet
möjlig skada
rekrytering
Lär dig trenden i historisk data och eliminera vissa grupper
Rättsfall, förlust av förmåga
Kundkommunikation
Stereotypiskt eller uteslutande språk
Förlust av rykte, kundflykt
kredit/risk
Föreviga tidigare ojämlikheter
Diskriminering, sanktioner
Prestationsutvärdering
Att föra partiskhet i data till beslut
Orättvis befordran/bonus
Innehåll/marknadsföring
Gör en viss grupp osynlig
Varumärkesskada
Tre minifodral
Fall 1 — Annonsen begränsade språket. Ett företag började skriva ut jobbannonser med AI. Efter ett tag märktes att annonserna tilltalade en viss profil med uttryck som "ung och dynamisk", "aggressiv måltavla" och därmed minskade mångfalden i applikationerna. Teamet lade till ett steg som kontrollerar varje inlägg för "inkluderande språk"; Mångfalden av sökande har ökat markant inom några månader.
Fall 2 — Dold partiskhet i sammanfattningen. En chef fick AI:n att sammanfatta 30 anställdas feedback. Sammanfattningen verkade koncentrera de negativa kommentarerna till ett särskilt lag; I rådata var situationen balanserad. Modellen överdrev flera starka uttalanden. När chefen gick tillbaka och kontrollerade rådata undvek han att göra en missuppfattning.
Fall 3 – Inklusionsmandatet fungerade. Ett marknadsföringsteam standardiserade instruktionen i kampanjtexten för att "använda inkluderande, icke-specifikt språk för kön/ålder/grupp och lista dina antaganden i slutet." Formel uttryck i de producerade texterna har märkbart minskat; teamet behövde inte manuellt korrigera varje utdata om och om igen.
Varför är det svårt att känna igen partiskhet?
Det mest lömska med fördomar är att de ofta är osynliga. Resultatet ser smidigt, professionellt och rimligt ut; Tendensen inom den blir uppenbar först när man tittar noga eller mäter dess inverkan på olika grupper. Det är missvisande att säga "det finns ingen partiskhet här" genom att titta på ett enda exempel; Bias visar sig ofta inte i enskilda exempel utan i systemets allmänna tendens.
Varning: Antagandet att "Jag är neutral, därför är verktyget jag använder också neutralt" är farligt. Verktygets neutralitet beror på träningsdata och hur det inspekteras, inte på din avsikt.
Svag prompt / Stark prompt
Svag uppmaning: Beskriv den idealiska kandidaten för denna position.
Resultat: Modellen kan förlita sig på stereotyper och presentera en viss profil som "ideal".
Stark uppmaning: Lista endast mätbara kompetenser för denna position som verkligen är relevanta för jobbet. Använd inte några egenskaper som inte är relaterade till jobbet, såsom kön, ålder, civilstånd, hemstad. Skriv till sist det du utelämnade under rubriken "antaganden jag undviker".
Resultat: Utvärdering är begränsad till jobbrelaterade kriterier, irrelevanta egenskaper är uteslutna.
Mallar för att minska bias
Se texten nedan för inkluderande språk. Flagga uttalanden som antyder kön, ålder, etnicitet, funktionshinder eller en specifik grupp och föreslå ett neutralt alternativ för varje.Text: [klistra in här]
Gör denna utvärdering endast baserat på dessa objektiva kriterier: [kriterier]. Ta inte hänsyn till någon annan information än dessa kriterier (namn, kön, ålder).
Lista under en separat rubrik i slutet vilka antaganden du gjort i texten du tagit fram. Så jag kan se dolda fördomar.
Utvärdera detta innehåll genom ögonen på tre olika grupper av läsare och markera alla påståenden som kan stöta/kränka någon av dem. Innehåll: [klistra in här]
Vanliga misstag
Vanliga misstag
- Förutsatt "neutral" AI-utgång. Även om utgången verkar neutral, kan den bära förspänningen i data; Aktiv tillsyn krävs.
- Tittar på ett exempel och säger "det finns ingen partiskhet". Fördomar är gömda i systemets allmänna tendens.
- Överlåter beslutsfattande med stor inverkan till oövervakad AI. Mänsklig auktoritet är avgörande i beslut som rekrytering, befordran och kredit.
- Att glömma att kräva inkludering. Om du inte uttryckligen begär det i prompten, återgår modellen till standardmönstren.
- Det betyder "Maskinen sa det." Den som använder beslutet är också ansvarig för konsekvenserna.
Rättvisa är allas ansvar
Att bekämpa fördomar är inte bara det tekniska teamets uppgift. Varje anställd som använder AI-utdata har ansvaret att ifrågasätta om den utdata är rättvis. "Maskinen sa till mig" är ingen ursäkt; Den som fattar beslutet är också ansvarig för konsekvenserna.
Sammanfattningsvis
- Den primära källan till AI-bias är inte illvilja, utan befintliga obalanser och stereotyper i träningsdata.
- Fördom; Det skapar verkliga juridiska och anseende risker inom områden som rekrytering, kundkommunikation, ekonomi och utvärdering.
- Bias är ofta osynlig och inbäddad i systemets övergripande disposition; Att titta på ett enda exempel är missvisande.
- För att minska: vara medveten, begränsa beslut till jobbrelaterade kriterier, be uttryckligen om inkludering, sätt mänsklig kontroll på beslut med stor inverkan.
- "Maskinen sa till mig" är ingen ursäkt; Rättvisa är ansvaret för alla som använder resultatet.
Applikationsuppgift
Berätta för AI:n "beskriv en idealisk [alla yrke] arbetare" och markera vilka (kanske onödiga) antaganden som gjordes i resultatet. Upprepa sedan med mallen "jobbrelaterade kriterier" ovan och jämför de två resultaten för rättvisa.
Checklista
- [ ] Jag förstår att den primära källan till partiskhet är träningsdata.
- [ ] Jag kan nämna de konkreta risker som partiskhet på arbetsplatsen kan innebära.
- [ ] Jag vet att partiskhet ofta är osynlig och att det är missvisande att titta på ett enda exempel.
- [ ] Jag kan tydligt be om inkludering och jobbrelaterade kriterier i uppmaningen.
- [ ] Jag kräver mänsklig tillsyn av beslut med stor inverkan.