Guadagni:
- Comprendere che i dati sono la fonte principale dei bias dell'IA
- Riconosce i rischi che i pregiudizi possono creare sul posto di lavoro
- Implementa le misure che possono essere adottate per ridurre i pregiudizi
L’intelligenza artificiale appare come una macchina neutrale e obiettiva; ma la verità è molto più complessa. I sistemi di intelligenza artificiale apprendono i pregiudizi umani nei dati su cui sono addestrati e talvolta li amplificano e li riproducono. Il pregiudizio è la tendenza di un sistema a favorire o escludere sistematicamente determinate persone o gruppi. In questa unità esamineremo da dove proviene il pregiudizio, quali rischi concreti comporta sul posto di lavoro e cosa si può fare contro di esso. Non è solo una questione di "etica"; Si tratta di una questione aziendale pratica che comporta rischi legali, commerciali e reputazionali se mal gestita.
Da dove viene il pregiudizio?
L'informazione di un modello linguistico proviene dagli enormi testi che gli esseri umani producono. Questi testi contengono tutta la conoscenza della società umana, così come tutti i suoi stereotipi, squilibri e disuguaglianze storiche. Il modello non distingue tra modelli "buoni" e "cattivi"; Apprende tutto ciò che è contenuto nei dati.
Esempio: se nei testi precedenti alcune professioni erano prevalentemente associate a un genere (ad esempio "infermiera" con donna, "ingegnere" con uomo), il modello apprende questa associazione. Potrebbe tendere a scegliere un pronome maschile quando completa la frase: "Un ingegnere è entrato in ufficio, lui..." Il modello non è dannoso; riflette semplicemente lo squilibrio nei dati.
Quindi il pregiudizio è dovuto principalmente al fatto che si tratta di uno specchio dei dati, non di un errore di programmazione consapevole. Spiegare il problema come "qualcuno ha scritto un codice errato" è fuorviante; Il problema è che lo squilibrio mondiale viene trasferito nei dati e da lì nel modello.
Rischi tangibili sul posto di lavoro
zona
Rischio di parzialità
possibile danno
reclutamento
Scopri l'andamento dei dati storici ed elimina determinati gruppi
Causa legale, perdita di capacità
Comunicazione con il cliente
Linguaggio stereotipato o escludente
Perdita di reputazione, fuga dei clienti
credito/rischio
Perpetuare le disuguaglianze del passato
Discriminazioni, sanzioni
Valutazione delle prestazioni
Portare la distorsione dei dati nelle decisioni
Promozione/bonus ingiusto
Contenuto/marketing
Rendi invisibile un gruppo specifico
Danni al marchio
Tre mini custodie
Caso 1: l'annuncio restringeva il campo linguistico. Un'azienda ha iniziato a stampare annunci di lavoro con l'intelligenza artificiale. Dopo un po' si è notato che gli annunci si rivolgevano ad un certo profilo con espressioni come "giovane e dinamico", "target aggressivo" e quindi riducevano la varietà delle candidature. Il team ha aggiunto un passaggio che controlla ogni post per il "linguaggio inclusivo"; La diversità dei candidati è aumentata notevolmente in pochi mesi.
Caso 2 – Distorsioni nascoste nel riepilogo. Un manager ha chiesto all'intelligenza artificiale di riassumere il feedback di 30 dipendenti. Il riepilogo sembrava concentrare i commenti negativi su una squadra in particolare; mentre nei dati grezzi la situazione era equilibrata. Il modello ha esagerato con diverse affermazioni forti. Quando il manager è tornato e ha controllato i dati grezzi, ha evitato di fare un malinteso.
Caso 3 – Il mandato di inclusione ha funzionato. Un team di marketing ha standardizzato le istruzioni nel testo della campagna per “utilizzare un linguaggio inclusivo e non specifico per genere/età/gruppo ed elencare le proprie ipotesi alla fine”. Le espressioni stereotipate nei testi prodotti sono notevolmente diminuite; il team non ha dovuto correggere manualmente ogni output più e più volte.
Perché è difficile riconoscere i pregiudizi?
La cosa più insidiosa del pregiudizio è che spesso è invisibile. Il risultato appare fluido, professionale e ragionevole; La tendenza al suo interno diventa evidente solo quando si guarda attentamente o si misura il suo impatto sui diversi gruppi. È fuorviante dire "non ci sono pregiudizi qui" guardando un singolo esempio; I pregiudizi spesso si manifestano non nei singoli esempi ma nella tendenza generale del sistema.
Attenzione: il presupposto che "io sono neutrale, quindi anche lo strumento che utilizzo è neutrale" è pericoloso. La neutralità dello strumento dipende dai dati di addestramento e da come vengono ispezionati, non dalle tue intenzioni.
Prompt debole / Prompt forte
Suggerimento debole: descrivere il candidato ideale per questa posizione.
Risultato: il modello può basarsi su stereotipi e presentare un particolare profilo come "ideale".
Suggerimento forte: elenca solo le competenze misurabili per questa posizione che sono veramente rilevanti per il lavoro. Non utilizzare caratteristiche non correlate al lavoro, come sesso, età, stato civile, città natale. Infine, scrivi ciò che hai tralasciato sotto la voce "presupposti che evito".
Risultato: la valutazione è limitata ai criteri relativi al lavoro, le caratteristiche irrilevanti sono escluse.
Modelli per ridurre i pregiudizi
Controlla il testo qui sotto per il linguaggio inclusivo. Contrassegna le dichiarazioni che implicano sesso, età, etnia, disabilità o un gruppo specifico e suggerisce un'alternativa neutrale per ciascuno.Testo: [incolla qui]
Effettua questa valutazione solo sulla base di questi criteri oggettivi: [criteri]. Non prendere in considerazione alcuna informazione diversa da questi criteri (nome, sesso, età).
Elenca sotto un titolo separato alla fine quali ipotesi hai fatto nel testo che hai prodotto. Quindi posso vedere i pregiudizi nascosti.
Valuta questo contenuto attraverso gli occhi di tre diversi gruppi di lettori e contrassegna eventuali affermazioni che potrebbero offendere qualcuno di loro. Contenuto: [incolla qui]
Errori comuni
Errori comuni
- Supponendo un output AI "neutro". Anche se il risultato appare neutro, potrebbe contenere distorsioni nei dati; È necessaria una supervisione attiva.
- Guardare un esempio e dire "non ci sono pregiudizi". Il pregiudizio è nascosto nella tendenza generale del sistema.
- Lasciare il processo decisionale ad alto impatto all’intelligenza artificiale senza supervisione. L’autorità umana è essenziale in decisioni come il reclutamento, la promozione e il credito.
- Dimenticarsi di chiedere inclusività. Se non lo richiedi esplicitamente nel prompt, il modello ripristina i modelli predefiniti.
- Significa "L'ha detto la macchina". La persona che utilizza la decisione è responsabile anche delle conseguenze.
La giustizia è responsabilità di tutti
Combattere i pregiudizi non è solo compito del team tecnico. Ogni dipendente che utilizza i risultati dell’intelligenza artificiale ha la responsabilità di chiedersi se tali risultati siano equi. “Me lo ha detto la macchina” non è una scusa; Chi prende la decisione è responsabile anche delle conseguenze.
In sintesi
- La fonte primaria di bias dell’IA non è la malevolenza, ma gli squilibri e gli stereotipi esistenti nei dati di addestramento.
- pregiudizio; Crea un rischio legale e reputazionale reale in aree quali il reclutamento, le comunicazioni con i clienti, la finanza e la valutazione.
- I pregiudizi sono spesso invisibili e radicati nella disposizione complessiva del sistema; Guardare un solo esempio è fuorviante.
- Ridurre: essere consapevoli, limitare la decisione a criteri legati al lavoro, chiedere esplicitamente inclusività, mettere il controllo umano sulle decisioni ad alto impatto.
- “Me lo ha detto la macchina” non è una scusa; L’equità è responsabilità di tutti coloro che utilizzano il risultato.
Compito dell'applicazione
Di' all'intelligenza artificiale di "descrivere un lavoratore ideale [di qualsiasi occupazione]" e di indicare quali ipotesi (forse non necessarie) sono state fatte nell'output. Quindi ripetere con il modello “criteri relativi al lavoro” sopra e confrontare i due risultati per verificarne l’equità.
Lista di controllo
- [ ] Capisco che la principale fonte di bias siano i dati di addestramento.
- [ ] Posso citare i rischi concreti che i pregiudizi sul posto di lavoro possono comportare.
- [ ] So che i pregiudizi sono spesso invisibili e che guardare un singolo esempio è fuorviante.
- [ ] Posso chiaramente chiedere criteri di inclusività e legati al lavoro nel prompt.
- [] Ho bisogno della supervisione umana delle decisioni ad alto impatto.