Guadagni:
- Riconoscere con esempi come i pregiudizi culturali, di genere e diagnostici nei modelli di intelligenza artificiale causano danni nel contesto della psicologia
- Capacità di implementare un controllo dei bias che verifichi l'output per diversi gruppi, lingue e culture
- Capacità di sviluppare tecniche tempestive e di verifica che correggano la norma centrata sull'Occidente e il linguaggio stigmatizzante
L’intelligenza artificiale (AI) non è neutrale. Un modello di intelligenza artificiale impara da un'enorme pila di testo su Internet e la "visione del mondo" del modello è distorta da quale voce contiene di più e da quale voce contiene di meno. Questa distorsione è chiamata bias. Il pregiudizio in psicologia non è un comune difetto tecnico; Può influenzare direttamente la valutazione, la diagnosi e il trattamento di una persona. Un sintomo può essere letto come “normale” in una cultura e “patologico” in un'altra; un comportamento può essere inquadrato come “assertività” in un genere e “aggressività” nell’altro. L’intelligenza artificiale può apprendere e replicare questi pregiudizi storici. In questa unità imparerai a riconoscere i pregiudizi nell'intelligenza artificiale nel contesto della psicologia e a verificare i risultati per diversi gruppi, lingue e culture.
Da dove viene il pregiudizio e in che modo danneggia?
Esistono tre fonti principali di bias dell’IA:
- Squilibrio dei dati di allenamento. I modelli vengono addestrati prevalentemente con testi di una lingua, cultura e periodo specifici. La maggior parte della letteratura psicologica proviene da società occidentali, istruite e industrializzate; quindi il presupposto dell'intelligenza artificiale "umano normale" riflette questo campione ristretto.
- Inclusione di pregiudizi storici. Nei dati sono inclusi anche i testi che hanno patologizzato e stigmatizzato alcuni gruppi in passato; il modello apprende questi modelli.
- Mancanza di rappresentanza. Il modello contiene informazioni insufficienti o stereotipate sui gruppi sottorappresentati (diversa etnia, lingua, orientamento sessuale, disabilità).
Il danno è tangibile: l’intelligenza artificiale può valutare un sintomo come più grave in un gruppo e più lieve che in un altro; può erroneamente considerare un'espressione culturale (rituale del lutto, esperienza religiosa) come un sintomo; Può produrre un linguaggio stigmatizzante e cliché.
Attenzione: anche se un risultato dell’intelligenza artificiale sembra essere “scienza oggettiva”, potrebbe portare con sé i pregiudizi che ha appreso. In particolare quando si tratta di culture, generi, orientamenti sessuali e gruppi socioeconomici diversi, consideriamo ciascun risultato come “è giusto per tutti i gruppi?” Filtra con la domanda.
Tipi di pregiudizi specifici della psicologia
Tipo di pregiudizio
Vista in psicologia
rischio
pregiudizio culturale
Considerare le norme occidentali come universali
Non confondere l'espressione culturale con la patologia
pregiudizio di genere
Interpretare lo stesso comportamento in modo diverso a seconda del sesso
disparità diagnostica
bias diagnostico
Descrivere determinati gruppi come "inclini" a determinate diagnosi
Sovra/sottodiagnosi
pregiudizio linguistico
Più "competente" nella lingua dominante, superficiale nell'altra
Valutazione ineguale
Stampaggio
Linguaggio che identifica la persona con la sua diagnosi
inquadratura degradante
Passo dopo passo: controllo del bias
- Puoi modificare l'output in "per chi è stato scritto?" domanda. Chi è il soggetto predefinito? In genere è un ragazzo istruito, occidentale, "medio".
- Prova con gruppi diversi. Ripetere lo stesso suggerimento in diversi contesti culturali, di genere e di età; I commenti stanno cambiando?
- Scansiona la lingua stigmatica. Formulazione corretta che identifica la persona con la sua diagnosi ("persona schizofrenica" invece di "schizofrenico").
- Aggiungi contesto culturale. Raccontare all’IA il contesto culturale/linguistico del cliente e “non considerare come patologie espressioni che potrebbero essere normali in questo contesto”.
- Occhi degli esperti e della comunità. Se non sei sicuro riguardo a una questione culturale, consulta un collega che conosce quella cultura.
- Lasciamo che siano le persone a decidere. Anche il controllo dei bias non è lasciato all’intelligenza artificiale; Il giudizio finale della giustizia spetta a voi.
Suggerimento: un modo pratico per verificare se un risultato è distorto: modificare un singolo attributo (sesso, cultura, età) nel prompt e porre nuovamente la stessa domanda. Se l'interpretazione cambia "ingiustamente" con questo cambiamento, c'è un pregiudizio.
tre mini custodie
Caso 1 – Patologizzare l’espressione culturale. Un professionista dice all'IA che un cliente di una cultura diversa sta "parlando con il defunto" durante il processo di lutto. L’intelligenza artificiale lo definisce come “potrebbe essere un sintomo psicotico”. Tuttavia, questa è un'espressione comune e normale di dolore nella cultura di quel cliente. L'esperto rifiuta i risultati dell'intelligenza artificiale perché conosce il contesto culturale. Chi non conoscesse il contesto potrebbe commettere un grave errore di valutazione.
Caso 2: test sui pregiudizi di genere. Un investigatore fornisce due volte lo stesso riassunto del caso all’IA; cambia semplicemente il sesso della persona. Nella versione “femminile”, l’intelligenza artificiale enfatizza “l’instabilità emotiva”, mentre nella versione “maschile” inquadra lo stesso comportamento come una “risposta allo stress”. Ciò mostra chiaramente il pregiudizio di genere del modello. Il ricercatore documenta questa differenza e utilizza i risultati con questa consapevolezza.
Caso 3 – Correggere il linguaggio stigmatizzante. L’intelligenza artificiale è un “limite malato”, afferma una bozza di rapporto. Lo specialista vede in questo un linguaggio stigmatizzante che identifica la persona con la sua diagnosi e lo traduce in un linguaggio focalizzato sulla persona, come "un individuo con un modello di personalità borderline definito". Un piccolo cambiamento di linguaggio fa una grande differenza tutelando la dignità del cliente.
Prompt e modelli copiabili
Controlla il seguente testo per eventuali pregiudizi: dichiarazioni di segnalazione che indicano pregiudizi culturali, di genere, di orientamento sessuale, di età o socioeconomici. Mostra anche i presupposti che considerano universali le norme occidentali. Suggerisci un'alternativa più giusta per ciascuno.Testo: [testo]
Aiutami a valutare la seguente situazione, ma il contesto culturale del cliente è [cultura/lingua]. In questo contesto, presentare espressioni che possono essere NORMALI come patologia; Se non sei sicuro di un punto culturale, dì "può variare culturalmente, consulta un esperto". Stato: [stato anonimo]
Traduci le espressioni stigmatizzanti presenti in questo testo che identificano la persona con la sua diagnosi (ad esempio, "schizofrenico", "borderline") in un linguaggio che centra la persona e ne preserva la dignità. Non cambiare il contenuto, umanizza solo il linguaggio. Testo: [testo]
Valuterò il seguente riepilogo del caso due volte: una volta il soggetto [caratteristica A], l'altra [caratteristica B]. Esiste una differenza ingiusta tra le due valutazioni e, in caso affermativo, è dovuta a bias? Confronta.Abstract: [abstract anonimo]
Prompt debole / Prompt forte
Prompt debole: "Il comportamento di questo client è normale o anormale?"
Questo messaggio non chiede per chi è "normale"; L’intelligenza artificiale presuppone una “normalità” incentrata sull’Occidente e incolta e può patologizzare l’espressione culturale.
Suggerimento forte: "Questo cliente è in [contesto culturale/linguistico]. Spiega se questo comportamento può essere un'espressione normale in quel contesto culturale o un segno che richiede attenzione, discutendo entrambi separatamente. Non dare un giudizio definitivo; ricordami di consultare un esperto che conosca il contesto culturale."
Questo suggerimento mette il contesto al centro, impedisce interpretazioni culturali errate e lascia la decisione all’esperto.
Errori comuni
- Scambiare l'output dell'IA per "obiettivo". Dimenticando che il modello comporta pregiudizi e accettando il risultato come fatto scientifico.
- Considerare la norma occidentale come universale. Definire “normale” secondo un'unica cultura e patologizzare le diverse espressioni.
- Non notare il linguaggio stigmatizzante. Confondere il linguaggio che identifica la persona con la sua diagnosi come “linguaggio tecnico”.
- Non testare i pregiudizi. Non provare lo stesso prompt con gruppi diversi e verificare la coerenza.
- Prendere decisioni da solo in una cultura che non conosci. Esprimere un giudizio senza consultare un collega che conosce quella cultura.
In sintesi
L’intelligenza artificiale è parziale perché impara dai testi di un mondo parziale; In psicologia, questo pregiudizio si traduce in danni tangibili sotto forma di fattori culturali, di genere, diagnostici, linguistici e stigmatizzati. Confronta ogni risultato con la domanda “è giusto per tutti i gruppi?” filtrarlo; testare lo stesso prompt con gruppi diversi; aggiungi il contesto culturale al tuo suggerimento; cambiare il linguaggio stigmatizzante in un linguaggio centrato sulla persona; Cerca gli occhi di esperti/comunità su una cultura con cui non hai familiarità. Il giudizio di giustizia, compreso il controllo dei pregiudizi, emana dall’essere umano.
Compito dell'applicazione
Preparare un riepilogo del caso (anonimo). Datelo all'IA due volte; cambiare solo una caratteristica (genere, cultura o età). Posiziona le due stampe una accanto all'altra ed esamina le differenze ingiuste. Chiedi anche all’intelligenza artificiale di tradurre le frasi stigmatizzanti in un paragrafo del rapporto in un linguaggio centrato sulla persona e nota la differenza.
lista di controllo
- [ ] Modificare l'output in "è giusto per tutti i gruppi?" Ho posto la domanda.
- [ ] Ho testato lo stesso suggerimento con gruppi/culture diversi.
- [ ] Ho aggiunto il contesto culturale al prompt; Non ho patologizzato l’espressione culturale.
- [ ] Ho cambiato il linguaggio stigmatizzante in un linguaggio centrato sulla persona.
- [ ] Ho chiesto consiglio a un esperto/collega su una questione culturale che non conoscevo.
- [] Ho lasciato la decisione finale sull'equità al mio giudizio, non all'intelligenza artificiale.