Guadagni:
- Capacità di preparare la lista di controllo dei fattori di rischio e di protezione e lo scheletro del piano di sicurezza con l'intelligenza artificiale e di lavorare senza saltare alcuna area
- Comprendere che il livello/punteggio di rischio e le decisioni sulla sicurezza vengono prese solo da esperti, team, supervisione e processi legali e che l'intelligenza artificiale non può produrre decisioni.
- Considerando che l’intelligenza artificiale può attribuire pregiudizi sistematici ai gruppi svantaggiati e applicando la disciplina di non utilizzare mai i suoi risultati come decisioni e di elaborare i dati più sensibili solo in un sistema sicuro
La responsabilità più seria del servizio sociale è la valutazione del rischio: giudizi che riguardano direttamente la sicurezza della vita, ad esempio se un bambino viene trascurato o maltrattato, se un individuo rischia di fare del male a se stesso o a qualcun altro, se una persona anziana è al sicuro o quanto è in pericolo una vittima di violenza. La prima e più coraggiosa regola di questa unità è questa: il processo decisionale in materia di rischio non appartiene, non può e non deve appartenere all’intelligenza artificiale. Decisione sulla sicurezza di una persona; Richiede autorità professionale, giudizio clinico, opinione del team multidisciplinare, supervisione e responsabilità legale. L’intelligenza artificiale è solo uno strumento di preparazione e promemoria in questo caso: ti ricorda quali fattori di rischio e di protezione esaminare, organizza i tuoi appunti, delinea un piano di sicurezza. Non dà un punteggio, non dice "il rischio è basso/alto", non prende una decisione.
Perché lo sottolineiamo così duramente? Perché nell’arena del rischio, il costo di un errore dell’IA è irreversibile. La valutazione del rischio da parte dell'IA come "basso" lascia un bambino non protetto; Far sembrare un rischio inutilmente "alto" potrebbe portare a una separazione ingiusta della famiglia. Inoltre, l’intelligenza artificiale comporta pregiudizi nell’addestramento dei dati: algoritmi che attribuiscono sistematicamente un rischio più elevato a determinati gruppi socioeconomici, etnie o quartieri sono stati documentati in tutto il mondo. Quindi, anche se l’output dell’IA è un input, non potrà mai prevalere sul tuo giudizio indipendente.
Il ruolo legittimo dell’IA: promemoria e regolamentazione
Esistono tre luoghi in cui è possibile utilizzare in sicurezza l’IA in situazioni di rischio:
1. Promemoria del fattore. I fattori di rischio (ad esempio, storia passata di violenza, uso di sostanze, isolamento sociale, ricoveri precedenti) e fattori protettivi (ad esempio, un adulto di supporto, frequenza scolastica regolare, una forte rete sociale) che dovrebbero essere considerati in una valutazione del rischio sono lunghi; L'intelligenza artificiale ti aiuta a evitare di perdere qualsiasi area richiamando una lista di controllo che si adatta al quadro utilizzato dalla tua organizzazione.
2. Modifica delle note. Traduce le tue osservazioni e le dichiarazioni dei clienti in un testo organizzato e fattuale, così puoi basare il tuo giudizio su dati chiari.
3. Progetto di piano di sicurezza. Un piano di sicurezza (un piano concreto che determina cosa farà la vittima in caso di pericolo, chi contatterà, dove andrà) ha una certa struttura. L'IA può produrre una bozza di scheletro da compilare con il cliente; Ma tu e il cliente compilate il contenuto del piano secondo la realtà.
Attenzione: non chiedere mai all'IA "qual è il livello di rischio in questo caso?" o "il bambino è al sicuro a casa?" Non chiedere. NON utilizzare l'output come decisione, anche se lo chiedi. A queste domande risponde solo l'esperto, il team e la supervisione autorizzati attraverso lo strumento di rischio ufficiale dell'istituto.
Passo dopo passo: posizionare correttamente l’IA nel processo di rischio
- La sicurezza prima di tutto. Se esiste un pericolo immediato e grave (sicurezza della vita), è necessario utilizzare la procedura di emergenza dell'istituzione, non occuparsi dell'IA. L’intelligenza artificiale non dovrebbe ritardare alcuna urgenza.
- Disidentificarsi. Le valutazioni del rischio sono i dati più sensibili; Le informazioni che identificano il cliente non vengono inserite nello strumento aperto, viene utilizzato solo lo strumento istituzionale sicuro.
- Ricordami la lista dei fattori. Richiedere una lista di controllo dei fattori di rischio e di protezione adeguata al quadro istituzionale.
- Esprimi il tuo giudizio. Valuti i fattori, valuti con il team e ti consulti con il supervisore. Non vuoi che l'IA "valuti".
- Completare il piano di sicurezza con il cliente. Lo scheletro della bozza potrebbe provenire dall'IA; Il contenuto viene popolato con la rete, le risorse e le preferenze effettive del cliente.
tre mini custodie
Caso 1 – Fattore protettivo mancato. Un esperto si è concentrato sui fattori di rischio in un caso di violenza domestica. La lista di controllo dei fattori che ha chiesto all'IA gli ha fatto chiedere informazioni sulla rete di supporto sicuro del cliente al lavoro nella sezione "fattori protettivi", un'area che l'esperto aveva mancato. Questa rete è diventata la parte più realistica del piano di sicurezza. La decisione spettava ancora una volta all'esperto; L'intelligenza artificiale si è limitata a ricordare la domanda.
Caso 2: il punteggio errato non è stato considerato attendibile. Un’agenzia ha visto uno strumento di intelligenza artificiale di prova etichettare un caso come “a basso rischio”. Tuttavia, l'osservazione dell'esperto e la dichiarazione del cliente indicavano un serio pericolo. Il team ha rifiutato l’etichetta AI e ha avviato un’azione protettiva basata sulla propria valutazione. Successivamente è stato confermato che il pericolo era reale. Lezione: il punteggio AI non è una decisione; il giudizio umano ha la precedenza.
Caso 3: pregiudizi rilevati. In un processo, lo stesso caso è stato affidato all'IA due volte; L'unica differenza era il quartiere in cui viveva il cliente. L’intelligenza artificiale ha prodotto sistematicamente un “linguaggio a rischio” più elevato per il quartiere noto per essere svantaggiato. Ciò ha dimostrato una distorsione nei dati di addestramento dell’IA e ha rafforzato la politica dell’agenzia di non utilizzare l’IA nel processo decisionale sui rischi.
Quattro modelli copiabili
1) Promemoria sui fattori di rischio/protezione:
Il tuo ruolo: assistente del supervisore del servizio sociale. Preparare una lista di controllo dei fattori di rischio e di protezione che si raccomanda di rivedere in una valutazione del rischio nei casi di [violenza domestica]. Presentalo come un elenco di PROMEMORIA; NON produrre punteggi, decisioni o "livelli di rischio". La valutazione e la decisione appartengono all'esperto.
2) Schema della bozza del piano di sicurezza:
Il tuo ruolo: redattore. Preparare uno schema BIANCO di un piano di sicurezza da compilare con una vittima di violenza domestica: segnali di pericolo, luoghi sicuri, persone e istituzioni da contattare, documenti importanti, piano per i bambini, sicurezza digitale. Compilazione del contenuto; Lascia degli spazi vuoti sotto ogni intestazione da compilare con il cliente.
3) Modificare una nota di rischio (senza prendere una decisione):
Traduci le seguenti osservazioni e dichiarazioni in un testo fattuale e organizzato. Etichettare separatamente l'osservazione e la dichiarazione del cliente. DICHIARARE il livello di rischio, PRENDERE una decisione, AGGIUNGERE un commento. Modifica solo ciò che è presente nella nota e contrassegna le aree mancanti/oscure. Nota: [incolla nota anonimizzata]
4) Autocontrollo dei pregiudizi:
Nella bozza della nota sui rischi riportata di seguito, è presente una dichiarazione che trasmette pregiudizi non dimostrati a causa dello stato socioeconomico, dell'etnia, del quartiere o di caratteristiche simili del cliente? Segna ogni frase che si basa su stereotipi anziché su prove. Non modificare il testo, avvisa e basta. Nota: [incolla nota]
Prompt debole / Prompt forte
Suggerimento debole:
Leggi questo caso e decidi se è sicuro per il bambino rimanere a casa e qual è il livello di rischio.
Questo significa affidare a un software la decisione più importante sulla vita umana. Non è etico, contrario alla responsabilità professionale e porta i pregiudizi dell’intelligenza artificiale direttamente nel destino del bambino.
Suggerimento potente:
Il tuo ruolo: assistente promemoria. Prima di leggere la nota anonima di seguito, preparare una lista di controllo dei fattori di rischio e di protezione da esaminare nella valutazione dei casi di [abbandono dei minori]. PRODURRE decisione, punteggio o livello di rischio. Farò la valutazione con il mio team; Ricordami solo quali aree non dovrei saltare.
La differenza: dire “quali domande non devo dimenticare” anziché chiedere decisioni mantiene l’IA su una frontiera sicura ed etica.
Confini di ruolo nell’ambito del rischio
Ricerca
L’intelligenza artificiale può farlo?
Chi lo fa?
Promemoria della lista di controllo dei fattori
Sì
IA (promemoria)
Modificare le note in modo fattuale
Sì
AI + approvazione degli esperti
Scheletro vuoto del piano di sicurezza
Sì
IA; cliente di contenuti+esperto
Determinazione del livello di rischio/punteggio
no
Esperto + team + supervisione
"È sicuro?" decisione
no
Esperto competente, procedimento legale
Avvio di misure di protezione
no
Istituzione, autorità competente
Errori comuni
- Chiedere all'IA il punteggio/la decisione sul rischio. L'errore più pericoloso; La decisione richiede autorità professionale e responsabilità legale.
- Fidarsi dell’etichetta AI. Una conclusione a "basso rischio" non invaliderà mai la tua osservazione contraria.
- Ignorando i pregiudizi. L’intelligenza artificiale può attribuire sistematicamente un rischio elevato ai gruppi svantaggiati; l'autocontrollo è essenziale.
- Ritardare l'urgenza. Se c'è sicurezza per la vita, prima la procedura di emergenza; Affrontare l’intelligenza artificiale non può aspettare.
- Fornire i dati più sensibili allo strumento aperto. Le note di rischio vengono elaborate solo nello strumento istituzionale sicuro.
In sintesi
La valutazione del rischio è la responsabilità più grave del servizio sociale e la decisione spetta direttamente alla persona: al professionista, al team, alla supervisione, all’autorità legale. In questo caso, l’intelligenza artificiale è solo uno strumento per ricordare (elenco dei fattori di rischio/protezione), organizzare (nota fattuale) e redigere (schema del piano di sicurezza); Non segna, non prende decisioni. Ricorda che l’intelligenza artificiale comporta pregiudizi, non utilizzare mai i suoi risultati come una decisione ed elaborare i dati più sensibili solo nel sistema sicuro.
Compito dell'applicazione
Scegli un tipo di caso immaginario. Ottieni una lista di controllo con un modello di “promemoria fattore di rischio/protezione” e verifica che l’intelligenza artificiale non produca alcun “livello di rischio”. Quindi prendi uno scheletro del piano vuoto con il modello "scheletro del piano di sicurezza". Chiedere consapevolmente all’IA “qual è il livello di rischio?” e scrivi in una frase perché NON dovresti usare l'output come decisione.
lista di controllo
- [ ] Ho chiesto all'IA solo un promemoria del fattore, non una decisione/punteggio.
- [ ] Ho elaborato i dati più sensibili solo nello strumento aziendale sicuro.
- [ ] Avevo previsto di compilare insieme al cliente i contenuti del piano sicurezza.
- [] Ho controllato l'output dell'AI per eventuali bias.
- [ ] Ho confermato che la decisione finale sul rischio spetta al team, alla supervisione e al giusto processo.