Guadagni:
- Capacità di rilevare discriminazioni nascoste comprendendo che i bias provengono dai dati (storici, rappresentativi, di misurazione, aggregati) e valutando il modello sulla base di sottogruppi
- Capacità di fornire spiegabilità, supervisione umana e responsabilità nelle decisioni ad alto impatto e trasparenza dei documenti con un modello di scheda
- Capacità di gestire i costi finanziari e ambientali senza compromettere la qualità con il modello più piccolo e adeguato, accorciamento rapido, cache e batch
Un modello può tecnicamente funzionare perfettamente ma essere comunque sbagliato, se è ingiusto per alcune persone, inspiegabile o produce costi insostenibili. In questa unità tratteremo tre dimensioni "invisibili" ma decisive dell'ingegneria ML: pregiudizi ed equità, etica e trasparenza, costi e sostenibilità. Non si tratta di ornamenti aggiunti successivamente, ma di parti integranti della qualità ingegneristica.
Da dove viene il pregiudizio?
La distorsione del modello (il trattamento sistematico di determinati gruppi da parte del modello in modo diverso/ingiusto) di solito deriva dai dati, non dal modello. Fonti:
- Distorsione storica: i dati riflettono le ingiustizie del passato. Se a un particolare gruppo è stato dato meno credito in passato, il modello addestrato su quei dati apprenderà e perpetuerà questa discriminazione.
- Bias di rappresentazione: alcuni gruppi sono sottorappresentati nei dati; il modello funziona male per loro (ad esempio bassa precisione in un piccolo campione demografico).
- Distorsione nella misurazione: le etichette stesse sono distorte (ad esempio, se la definizione di “buon dipendente” si basa su decisioni di promozione passate).
- Bias di aggregazione: poiché i dati provengono da un canale specifico, non sono rappresentativi dell'universo.
Il modello non si limita ad apprendere questi pregiudizi; si espande automatizzandolo. La decisione parziale di una persona influisce su un'altra persona; Il verdetto di un modello parziale è di milioni.
Attenzione: non cadere nell'errore di dire "il modello è neutrale perché è solo matematica". Il modello apprende e automatizza i pregiudizi umani nei dati. La neutralità non è un default, ma un risultato che deve essere misurato e garantito.
misurare la giustizia
Per gestire la giustizia è necessario prima misurarla. Per fare ciò, valutare il modello su base di sottogruppi: parametri quali accuratezza, ricordo, tasso di falsi positivi sono uguali tra i diversi gruppi demografici? Alcuni concetti di giustizia:
- Equità di gruppo: il modello tratta diversi gruppi correttamente/erroneamente a tassi simili?
- Pari opportunità: il modello cattura gli aspetti veramente positivi allo stesso modo in tutti i gruppi (uguale richiamo)?
Fatto importante: diverse definizioni di giustizia potrebbero non essere soddisfatte contemporaneamente (questa è una conseguenza matematica). Quale definizione di giustizia abbia la priorità in questo contesto è una decisione etica ed aziendale, non tecnica, e viene presa insieme alle parti interessate.
Approccio debole/Approccio forte
Scarso: "La precisione complessiva del modello è dell'88%, il che è giusto."
Güçlü: "L'accuratezza complessiva era dell'88%, ma quando l'abbiamo diviso in sottogruppi, il richiamo era del 91% in un gruppo e del 67% in un altro gruppo: il modello mancava sistematicamente quel gruppo. Abbiamo documentato il motivo (mancanza di rappresentazione), raccolto dati per quel gruppo e rivalutato con l'obiettivo di un uguale richiamo. Abbiamo deciso con le parti interessate a quale definizione di equità avremmo dato la priorità."
La differenza: l’approccio forte non si nasconde dietro la metrica generale, separa sottogruppi e tratta l’equità come una decisione aperta.
Etica e trasparenza
I principi fondamentali dell’IA responsabile sono:
- Spiegabilità: è possibile spiegare il motivo per cui il modello ha preso questa decisione? Nelle decisioni di grande impatto (credito, assunzioni, sanità) si ha diritto a una spiegazione. Il modello inspiegabile non dovrebbe essere utilizzato in queste aree o dovrebbe essere supportato da un metodo spiegabile.
- Supervisione umana: le decisioni ad alto impatto non dovrebbero essere prese automaticamente; Il modello suggerisce, l’umano conferma.
- Responsabilità: dovrebbe essere chiaro chi è responsabile quando il modello commette un errore. “Il modello ha deciso” non è una scusa.
- Trasparenza: l'utente dovrebbe sapere che sta interagendo con un'intelligenza artificiale e come vengono utilizzati i suoi dati.
In molti paesi e settori, questi principi sono anche integrati nella legislazione (trasparenza, audit e obblighi di supervisione umana per i sistemi di IA ad alto rischio). L'ingegnere è responsabile di conoscere le normative del suo settore.
Suggerimento: tieni una "scheda modello" per ogni modello ad alto impatto: cosa fa il modello, su quali dati è stato addestrato, quanto bene/scarsamente funziona in quali gruppi, quali sono i suoi limiti noti. Questo documento è uno strumento di trasparenza e responsabilità.
Costo e sostenibilità
L’intelligenza artificiale non è economica. Il costo è gestito in due dimensioni:
Costo finanziario:
- Costo token (LLM): ogni richiesta e risposta costa token; All’aumentare del volume aumenta la fattura. Richieste inutilmente lunghe, selezione di modelli eccessivamente ampia e cicli di agenti incontrollati (unità 5) gonfiano i costi.
- Formazione e hosting: la messa a punto e la presentazione del modello comportano costi hardware.
- Ottimizzazione: non utilizzare un modello grande se è sufficiente un modello piccolo; memorizzare nella cache le domande più frequenti; abbreviare il prompt; batch ciò che può essere elaborato.
Costo ambientale: l'addestramento e l'inferenza di modelli di grandi dimensioni consumano una quantità significativa di energia. La sostenibilità fa sì che evitare calcoli inutili (modello dimensionale corretto, architettura efficiente) sia una responsabilità professionale.
Suggerimento: la prima regola per l'ottimizzazione dei costi: "Qual è il modello più piccolo adeguato per questo lavoro?" Mettere ovunque il modello più potente è come piantare un chiodo con una mazza: costoso e inutile.
tre mini custodie
Caso 1 – Discriminazione nascosta. Il modello di screening del reclutamento sembrava nel complesso buono. L’analisi dei sottogruppi ha rilevato che il modello sottolineava sistematicamente le candidate donne perché i dati storici erano dominati dagli uomini: aveva imparato i pregiudizi storici. Il modello è stato fermato, i dati bilanciati e i parametri di equità monitorati. La rettitudine generale nascondeva la discriminazione nascosta.
Caso 2 – Rifiuto inspiegabile. Un modello di credito rifiutava le richieste, ma nessuno riusciva a spiegarne il motivo. Quando un cliente ha richiesto chiarimenti legali, il team non è stato in grado di rispondere. Il modello è stato ritirato dall'uso nelle decisioni ad alto impatto fino a quando non è stato aggiunto un metodo spiegabile e non è stata prodotta una giustificazione per ogni rifiuto. Lezione: la spiegabilità è essenziale nel processo decisionale ad alto impatto.
Caso 3 – Bill shock. Un team utilizzava il LLM più grande e istruzioni molto lunghe per ciascuna richiesta. La fattura mensile è cresciuta inaspettatamente. Analisi post: la maggior parte delle richieste poteva essere risolta con un modello di piccole dimensioni, metà delle richieste erano ridondanti e le domande frequenti potevano essere memorizzate nella cache. Queste tre ottimizzazioni hanno ridotto significativamente i costi, senza compromettere la qualità. Lezione: il modello più potente non è necessario ovunque.
Modelli copiabili
Aiutami a valutare questo modello per pregiudizi/equità. Quali sottogruppi (demografici/segmenti) dovrei dividere e misurare? Quali parametri (precisione, ricordo, tasso di falsi positivi per gruppo) dovrei confrontare? Possono essere in conflitto diverse definizioni di equità, a quale dovrei dare la priorità in questo contesto e perché? Contesto del modello/decisione: [spiegazione]
Produrre una bozza di scheda modello per questo modello ad alto impatto. Dovrebbe includere: scopo, dati e data di formazione, prestazioni nei sottogruppi, limiti noti, uso appropriato/inappropriato, stato di spiegabilità, punto di supervisione umana. Modello: [descrizione]
Aiutami a ridurre il costo di questa implementazione LLM, senza compromettere la qualità. Disponibili: dimensioni del modello, lunghezza media dei prompt, volume delle richieste, è presente cache? Valuta: 1) Il modello più piccolo è sufficiente (per quali attività)? 2) È possibile abbreviare il prompt? 3) È possibile memorizzare nella cache le richieste frequenti? 4) È disponibile lavoro per batch? Annotare l'impatto stimato di ciascun suggerimento.
Produrre una checklist di etica/responsabilità per questo sistema decisionale ad alto impatto.- Spiegabilità: è possibile produrre la giustificazione della decisione?- Supervisione umana: la decisione ad alto impatto è soggetta ad approvazione?- Responsabilità: chi è responsabile in caso di errore?- Trasparenza: l'utente sa che viene utilizzata l'intelligenza artificiale?- Regolamento: quali sono gli obblighi legali coinvolti? Sistema: [descrizione]
Tabella delle origini bias
Fonte
sintomo
precauzione
pregiudizio storico
La discriminazione del passato continua
Verifica dei dati + metrica di equità
bias di rappresentazione
Bassa accuratezza in un piccolo gruppo di campioni
Analisi dei sottogruppi + bilanciamento
bias di misurazione
etichette distorte
Revisione del processo di etichettatura
Distorsione da aggregazione
L'universo non è rappresentato
Diversificazione delle risorse
Errori comuni
- Basandosi sulla metrica generale. Hidden discrimination cannot be seen without subgroup analysis.
- Supponendo un "modello neutrale". Il modello apprende e amplifica le distorsioni nei dati.
- Leaving the high-impact decision to the unexplained model. Rischio legale ed etico.
- Bypassare la supervisione umana. "Il modello ha deciso" non è una scusa.
- Mettere il modello più grande ovunque. Costi ed energie inutili.
- Non tenere traccia dei costi. Il conto aumenta silenziosamente.
In sintesi
A technically correct model is still a failure if it is not fair, explainable and sustainable. Bias mostly comes from the data and the model magnifies it at scale; Measure fairness by subgroups and agree with stakeholders which definition of fairness to prioritize. Explainability, human oversight, and accountability are essential in high-impact decisions; Trasparenza del documento con scheda modello. Manage cost and energy: choose the smallest adequate model, shorten the prompt, use cache and batch. These dimensions are integral parts of engineering quality, not frills added later.
Compito dell'applicazione
Dividere un modello in almeno due sottogruppi e confrontare il tasso di richiamo e di falsi positivi su base di gruppo; Se c'è una differenza significativa, scrivi il motivo e una precauzione. Redigere una breve scheda modello per un modello ad alto impatto (scopo, dati, prestazioni del sottogruppo, confini, spiegabilità). Identificare almeno due ottimizzazioni concrete (minimo/troncamento rapido/cache/batch) per ridurre i costi di implementazione di un LLM e annotarne l'impatto stimato.
lista di controllo
- [ ] Ho valutato il modello in base ai sottogruppi, non mi sono basato sulla metrica generale.
- [ ] I decided with the stakeholders which definition of justice I would prioritize.
- [ ] High impact decision is explainable and subject to human approval.
- [ ] I documented transparency and boundaries with the pattern card.
- [ ] Ho scelto il modello più piccolo adeguato; Ho ottimizzato prompt/cache/batch.
- [ ] Monitoro i costi e l'impatto energetico.