Câștiguri:
- Înțelege că datele sunt sursa principală a părtinirii AI
- Recunoaște riscurile pe care părtinirea le poate crea la locul de muncă
- Implementează măsuri care pot fi luate pentru a reduce prejudiciile
AI apare ca o mașină neutră, obiectivă; dar adevărul este mult mai complex. Sistemele AI învață părtiniri umane în datele pe care sunt antrenate și uneori le măresc și le reproduc. Prejudecata este tendința unui sistem de a favoriza sau exclude în mod sistematic anumite persoane sau grupuri. În această unitate, vom lua în considerare de unde provine prejudecățile, ce riscuri concrete prezintă la locul de muncă și ce se poate face împotriva acesteia. Aceasta nu este doar o chestiune de „etică”; Este o chestiune practică de afaceri care implică riscuri juridice, comerciale și de reputație atunci când este gestionată greșit.
De unde vine prejudecata?
Informațiile unui model de limbaj provin din textele uriașe pe care le produc oamenii. Aceste texte conțin toate cunoștințele societății umane, precum și toate stereotipurile, dezechilibrele și inegalitățile istorice ale acesteia. Modelul nu face distincție între tiparele „bune” și „rele”; Învață orice se află în date.
Exemplu: dacă anumite profesii au fost asociate predominant cu un gen în textele trecute (de exemplu, „asistentă” cu femeie, „inginer” cu bărbat), modelul învață această asociere. Ea poate avea tendința de a alege un pronume masculin atunci când completează propoziția „Un inginer a intrat în birou, el...” Modelul nu este rău intenționat; reflectă doar dezechilibrul datelor.
Deci, părtinirea se datorează în mare parte faptului că este o oglindă a datelor, nu o eroare de programare conștientă. Explicarea problemei ca „cineva a scris cod prost” este înșelătoare; Problema este că dezechilibrul din lume este transmis în date și de acolo în model.
Riscuri tangibile la locul de muncă
zona
Risc de părtinire
posibil prejudiciu
recrutare
Aflați tendința în datele istorice și eliminați anumite grupuri
Caz legal, pierderea capacității
Comunicarea cu clientul
Limbajul stereotipic sau exclusiv
Pierderea reputației, zborul clienților
credit/risc
Perpetuarea inegalităților din trecut
Discriminare, sancțiuni
Evaluarea performanței
Includerea părtinirii datelor în decizie
Promovare/bonus nedrept
Conținut/marketing
Faceți un anumit grup invizibil
Daune de marcă
Trei mini carcase
Cazul 1 — Anunțul restrângea limba. O companie a început să imprime postări de locuri de muncă cu AI. După un timp, s-a observat că reclamele fac apel la un anumit profil cu expresii precum „tânăr și dinamic”, „țintă agresivă” și astfel au redus diversitatea aplicațiilor. Echipa a adăugat un pas care verifică fiecare postare pentru „limbaj inclusiv”; Diversitatea solicitanților a crescut semnificativ în câteva luni.
Cazul 2 — Prejudecăți ascunse în rezumat. Un manager a avut un rezumat al feedback-ului a 30 de angajați. Recapitularea părea să concentreze comentariile negative pe o anumită echipă; în timp ce în datele brute situaţia era echilibrată. Modelul a exagerat mai multe afirmații puternice. Când managerul s-a întors și a verificat datele brute, a evitat să facă o concepție greșită.
Cazul 3 – Mandatul de incluziune a funcționat. O echipă de marketing a standardizat instrucțiunile din copia campaniei pentru a „utiliza un limbaj nespecific de gen/vârstă/grup și enumera ipotezele tale la sfârșit”. Expresiile formule din textele produse au scăzut considerabil; echipa nu a trebuit să corecteze manual fiecare ieșire din nou și din nou.
De ce este greu de recunoscut părtinirea?
Cel mai insidios lucru despre prejudecăți este că este adesea invizibilă. Ieșirea pare netedă, profesională și rezonabilă; Tendința în interiorul ei devine evidentă doar atunci când se analizează cu atenție sau se măsoară impactul acesteia asupra diferitelor grupuri. Este înșelător să spunem „nu există nicio părtinire aici” analizând un singur exemplu; Prejudecățile se manifestă adesea nu în exemple individuale, ci în tendința generală a sistemului.
Atenție: presupunerea că „sunt neutru, prin urmare instrumentul pe care îl folosesc este și el neutru” este periculoasă. Neutralitatea instrumentului depinde de datele de antrenament și de modul în care este inspectat, nu de intenția dvs.
Solicitare slabă / Solicitare puternică
Prompt slab: Descrieți candidatul ideal pentru această poziție.
Rezultat: modelul se poate baza pe stereotipuri și poate prezenta un anumit profil ca fiind „ideal”.
Prompt puternic: enumerați numai competențele măsurabile pentru această poziție, care sunt cu adevărat relevante pentru post. Nu utilizați nicio caracteristică care nu are legătură cu locul de muncă, cum ar fi sexul, vârsta, starea civilă, orașul natal. În cele din urmă, scrieți ceea ce ați omis sub titlul „ipoteze pe care le evit”.
Rezultat: Evaluarea este limitată la criteriile legate de post, caracteristicile irelevante sunt excluse.
Șabloane pentru a reduce părtinirea
Verificați textul de mai jos pentru un limbaj inclusiv. Semnalați declarații care implică sex, vârstă, etnie, dizabilitate sau un anumit grup și sugerează o alternativă neutră pentru fiecare.Text: [inserați aici]
Faceți această evaluare numai pe baza acestor criterii obiective: [criterii]. Nu țineți cont de alte informații în afară de aceste criterii (nume, sex, vârstă).
Enumerați sub un titlu separat la sfârșit care ipoteze ați făcut în textul pe care l-ați produs. Așa că pot vedea părtiniri ascunse.
Evaluează acest conținut prin ochii a trei grupuri diferite de cititori și marchează orice afirmații care ar putea jigni/ jignește pe oricare dintre ele. Conținut: [inserați aici]
Greșeli comune
Greșeli comune
- Presupunând ieșire AI „neutră”. Chiar dacă ieșirea pare neutră, aceasta poate purta părtinire în date; Este necesară supravegherea activă.
- Privind un exemplu și spunând „nu există părtinire”. Prejudecata este ascunsă în tendința generală a sistemului.
- Lăsând luarea deciziilor cu impact ridicat în seama IA nesupravegheată. Autoritatea umană este esențială în decizii precum recrutarea, promovarea și creditul.
- Uitând să ceri incluziune. Dacă nu o solicitați în mod explicit în prompt, modelul revine la modelele implicite.
- Înseamnă „Mașina a spus-o”. Persoana care folosește decizia este, de asemenea, responsabilă pentru consecințe.
Dreptatea este responsabilitatea tuturor
Combaterea prejudecăților nu este doar treaba echipei tehnice. Fiecare angajat care folosește rezultatul AI are responsabilitatea de a pune la îndoială dacă rezultatul este corect. „Mașina mi-a spus” nu este o scuză; Persoana care ia decizia este, de asemenea, responsabilă pentru consecințe.
Pe scurt
- Sursa principală a părtinirii AI nu este răutatea, ci dezechilibrele și stereotipurile existente în datele de antrenament.
- prejudecată; Creează un risc legal și reputațional real în domenii precum recrutarea, comunicarea cu clienții, finanțele și evaluarea.
- Prejudecata este adesea invizibilă și încorporată în dispoziția generală a sistemului; Privirea unui singur exemplu este înșelătoare.
- Pentru a reduce: fiți conștienți, limitați decizia la criterii legate de locul de muncă, solicitați în mod explicit incluziunea, puneți controlul uman asupra deciziilor cu impact ridicat.
- „Mașina mi-a spus” nu este o scuză; Corectitudinea este responsabilitatea tuturor celor care folosesc rezultatul.
Sarcina de aplicare
Spuneți AI „descrieți un lucrător ideal [orice ocupație]” și marcați ce ipoteze (poate inutile) au fost făcute în rezultat. Apoi repetați cu șablonul „criterii legate de locul de muncă” de mai sus și comparați cele două rezultate pentru corectitudine.
Lista de verificare
- [ ] Înțeleg că sursa principală de părtinire sunt datele de antrenament.
- [ ] Pot numi riscurile concrete pe care le poate prezenta părtinirea la locul de muncă.
- [ ] Știu că părtinirea este adesea invizibilă și că a privi un singur exemplu este înșelătoare.
- [ ] Pot cere în mod clar criterii de incluziune și de muncă în prompt.
- [ ] Am nevoie de supraveghere umană a deciziilor cu impact mare.