Sprijin pentru evaluarea riscurilor și planificarea securității: cea mai sensibilă frontieră — Inteligența artificială în asistență socială

Câștiguri:

Capacitatea de a pregăti lista de verificare a factorilor de risc și de protecție și scheletul planului de securitate cu inteligență artificială și de a lucra fără să omite vreo zonă
Înțelegeți că nivelul de risc/scorul și deciziile de securitate sunt luate numai de experți, echipe, supraveghere și procese legale și că inteligența artificială nu poate produce decizii.
Văzând că inteligența artificială poate atribui părtinire sistematică grupurilor dezavantajate și aplicarea disciplinei de a nu folosi niciodată rezultatul său ca decizie și de a procesa datele cele mai sensibile doar într-un sistem securizat

Responsabilitatea cea mai serioasă a asistenței sociale este evaluarea riscurilor - judecăți care privesc în mod direct siguranța vieții, cum ar fi dacă un copil este neglijat sau abuzat, dacă un individ este susceptibil să-și facă rău pe sine sau pe altcineva, dacă o persoană în vârstă este în siguranță sau cât de periclitată este o victimă a violenței. Prima și cea mai îndrăzneață regulă a acestei unități este următoarea: luarea deciziilor privind riscul nu, nu poate și nu trebuie să aparțină AI. Decizie privind siguranța unei persoane; Este nevoie de autoritate profesională, raționament clinic, aviz de echipă multidisciplinară, supraveghere și responsabilitate juridică. AI este doar un instrument de pregătire și de memento aici: vă reamintește ce factori de risc și de protecție să revizuiți, vă organizează notele, conturează un plan de siguranță. Nu da punctaj, nu spune „riscul este mic/mare”, nu ia o decizie.

De ce subliniem asta atât de aspru? Pentru că în arena riscului, costul unei greșeli AI este ireversibil. Evaluarea AI a unui risc ca „scăzut” lasă un copil neprotejat; A face ca un risc să pară inutil de „mare” ar putea duce la o familie separată pe nedrept. În plus, AI prezintă părtiniri în datele de antrenament: algoritmi care atribuie sistematic risc mai mare anumitor grupuri socioeconomice, etnii sau cartiere au fost documentați în întreaga lume. Deci, chiar dacă ieșirea AI-ului este o intrare, nu vă poate trece niciodată peste judecata independentă.

Rolul legitim al AI: memento și reglementare

Există trei locuri în care puteți utiliza în siguranță AI în caz de risc:

1. Memento factor. Factorii de risc (de exemplu, antecedente de violență, consum de substanțe, izolare socială, admiteri anterioare) și factorii de protecție (de exemplu, un adult care susține, frecventa regulată la școală, o rețea socială puternică) care ar trebui să fie luați în considerare într-o evaluare a riscului sunt lungi; Inteligența artificială vă ajută să evitați pierderea oricăror zone prin amintirea unei liste de verificare care se potrivește cadrului pe care îl folosește organizația dvs.

2. Editarea notelor. Traduce observațiile și declarațiile clienților dvs. într-un text organizat, faptic, astfel încât să vă puteți baza judecata pe date clare.

3. Proiect de plan de securitate. Un plan de securitate (un plan concret care determină ce va face victima în caz de pericol, pe cine va contacta, unde va merge) are o anumită structură. AI poate produce un schelet de schiță pentru a fi completat cu clientul; Dar tu și clientul completați conținutul planului conform realității.

Atenție: Nu întrebați niciodată AI „care este nivelul de risc în acest caz?” sau „copilul este în siguranță acasă?” Nu întreba. NU utilizați rezultatul ca decizie, chiar dacă întrebați. Aceste întrebări primesc răspuns numai de către expertul autorizat, echipa și supravegherea prin intermediul instrumentului oficial de risc al instituției.

Pas cu pas: poziționarea corectă a AI în procesul de risc

Siguranța pe primul loc. Dacă există un pericol imediat și grav (siguranța vieții), este necesar să se opereze procedura de urgență a instituției, nu să se ocupe de AI. AI nu ar trebui să întârzie nicio urgență.
Dezidentificați. Evaluările de risc sunt cele mai sensibile date; Informațiile care identifică clientul nu sunt introduse în instrumentul deschis, se folosește doar instrumentul instituțional securizat.
Amintește-mi lista de factori. Solicitați o listă de verificare a factorilor de risc și de protecție adecvată cadrului instituțional.
Fă-ți propria judecată. Cântărești factorii, evaluezi împreună cu echipa și te consulți cu supervizorul. Nu vrei ca AI să „evalueze”.
Completați planul de siguranță cu clientul. Scheletul de proiectare poate proveni din IA; Conținutul este populat cu rețeaua, resursele și preferințele reale ale clientului.

trei mini cutii

Cazul 1 – Factor de protecție ratat. Un expert sa concentrat pe factorii de risc într-un caz de violență în familie. Lista de verificare a factorilor pentru care a cerut AI îl avea să întrebe despre rețeaua de asistență sigură a clientului la locul de muncă în secțiunea „factori de protecție” – un domeniu pe care expertul a ratat-o. Această rețea a devenit cea mai realistă parte a planului de securitate. Decizia era din nou la latitudinea expertului; AI doar a reamintit întrebarea.

Cazul 2 — Scorul incorect nu a fost de încredere. O agenție a văzut că un instrument AI de probă a etichetat un caz drept „risc scăzut”. Cu toate acestea, observația expertului și declarația clientului au indicat un pericol grav. Echipa a respins eticheta AI și a inițiat acțiuni de protecție pe baza propriei evaluări. Ulterior s-a confirmat că pericolul era real. Lecție: Scorul AI nu este o decizie; judecata umană are prioritate.

Cazul 3 – Prejudecata prins. Într-un proces, același caz a fost dat AI de două ori; Singura diferență era cartierul în care locuia clientul. AI a produs sistematic „limbaj cu risc” mai mare pentru cartierul cunoscut ca fiind dezavantajat. Acest lucru a demonstrat părtinire în datele de instruire ale AI și a consolidat politica agenției de a nu folosi AI în luarea deciziilor privind riscul.

Patru șabloane copiabile

1) Memento factor de risc/protecție:

Rolul dumneavoastră: asistent al supervizorului de asistență socială. Pregătiți o listă de verificare a factorilor de risc și a factorilor de protecție care se recomandă să fie revizuite într-o evaluare a riscului în cazurile de [violență domestică]. Prezentați aceasta ca o listă de METOARE; NU produceți scoruri, decizii sau „niveluri de risc”. Evaluarea și decizia aparțin expertului.

2) Schelet de proiect al planului de securitate:

Rolul tău: redactor. Pregătiți o schiță GOLĂ a unui plan de siguranță pentru a fi completat cu o victimă a violenței domestice: semne de avertizare, locuri sigure, persoane și instituții de contactat, documente importante, plan pentru copii, siguranță digitală. Completarea continutului; Lăsați spații libere sub fiecare rubrică pentru a fi completate cu clientul.

3) Editarea unei note de risc (fără a lua o decizie):

Traduceți următoarele observații și observații într-un text organizat. Etichetați separat observația și declarația clientului. PREZENTAREA nivelului de risc, LUAREA unei decizii, ADĂUGAREA unui comentariu. Editați numai ceea ce este în notă și marcați zonele lipsă/obscure. Notă: [inserați nota de-identificata]

4) Autocontrolul părtinirii:

În proiectul de nota de risc de mai jos, există o declarație care să transmită părtinire nedovedită din cauza statutului socioeconomic, etniei, cartierului sau caracteristicilor similare ale clientului? Marcați fiecare propoziție care se bazează mai degrabă pe stereotipuri decât pe dovezi. Nu modificați textul, doar avertizați. Notă: [pastă nota]

Prompt slab / Prompt puternic

Prompt slab:

Citiți acest caz și decideți dacă este sigur ca copilul să stea acasă și care este nivelul de risc.

Aceasta este externalizarea celei mai importante decizii cu privire la o viață umană către un software. Este lipsit de etică, contrar responsabilității profesionale și poartă părtinirea AI direct în soarta unui copil.

Solicitare puternică:

Rolul tău: asistent de memento. Înainte de a citi nota de-identificată de mai jos, pregătiți o listă de verificare a factorilor de risc și de protecție de revizuit în evaluarea cazurilor de [neglijarea copilului]. PRODUCEREA deciziei, scorului sau nivelului de risc. Evaluarea o voi face cu echipa mea; Amintește-mi doar ce zone nu ar trebui să omit.

Diferența: a spune „ce întrebări ar trebui să nu uit” mai degrabă decât a cere decizii menține IA pe frontiera sigură și etică.

Limitele rolurilor în domeniul riscului

Căutare

Poate AI să o facă?

Cine face?

Memento pentru lista de verificare a factorilor

AI (memento)

Editarea notelor în mod concret

AI + aprobare de expert

Plan de securitate schelet gol

AI; client de conținut+expert

Determinarea nivelului de risc/scorului

Expert + echipa + supraveghere

— Este sigur? decizie

Expert competent, proces legal

Initierea masurilor de protectie

Instituție, autoritate competentă

Greșeli comune

Cererea AI pentru scorul de risc/decizia. Cea mai periculoasă greșeală; Decizia necesită autoritate profesională și responsabilitate legală.
Aveți încredere în eticheta AI. O concluzie cu „risc scăzut” nu va invalida niciodată observația dvs. contrarie.
Ignorarea prejudecăților. AI poate atribui un risc sistematic ridicat grupurilor dezavantajate; autocontrolul este esential.
Întârzierea urgenței. Dacă există siguranța vieții, procedura de urgență mai întâi; Confruntarea cu AI nu poate aștepta.
Oferirea celor mai sensibile date instrumentului deschis. Notele de risc sunt procesate numai în instrumentul instituției securizate.

Pe scurt

Evaluarea riscurilor este cea mai gravă responsabilitate a asistenței sociale, iar decizia revine în mod direct persoanei - profesionistul, echipa, supravegherea, autoritatea juridică. Aici, AI este doar un instrument de reamintire (lista factorilor de risc/protecție), organizare (notă faptică) și redactare (scheletul planului de siguranță); Nu punctează, nu ia decizii. Amintiți-vă că AI are părtinire, nu utilizați niciodată rezultatele sale ca decizie și procesați cele mai sensibile date numai în sistemul securizat.

Sarcina de aplicare

Alegeți un tip de caz fictiv. Obțineți o listă de verificare cu un șablon de „memento de risc/factor de protecție” și verificați dacă AI nu produce niciun „nivel de risc”. Apoi luați un schelet de plan gol cu șablonul „schelet de contur plan de securitate”. Întrebând în mod conștient AI „care este nivelul de risc?” și scrieți într-o singură propoziție de ce NU ar trebui să utilizați rezultatul ca decizie.

lista de verificare

[ ] Am cerut AI doar un memento de factor, nu o decizie/scor.
[ ] Am procesat cele mai sensibile date numai în instrumentul securizat de întreprindere.
[ ] Am planificat să completez conținutul planului de securitate împreună cu clientul.
[ ] Am verificat ieșirea AI pentru părtinire.
[ ] Am confirmat că decizia finală privind riscul revine echipei, supravegherii și procesului echitabil.