Jedinica 4 / 12

Podrška za procjenu rizika i sigurnosno planiranje: najosjetljivija granica

Dobici:

  • Sposobnost pripreme liste rizika i zaštitnih čimbenika i kostura sigurnosnog plana s umjetnom inteligencijom i rada bez preskakanja područja
  • Shvatite da odluke o razini rizika/ocjeni i sigurnosti donose samo stručnjaci, timovi, nadzor i pravni procesi te da umjetna inteligencija ne može donositi odluke.
  • Uvidjeti da umjetna inteligencija može pripisati sustavnu pristranost skupinama u nepovoljnom položaju i primijeniti disciplinu da se njezin rezultat nikada ne koristi kao odluka i obrada najosjetljivijih podataka samo u sigurnom sustavu

Najozbiljnija odgovornost socijalnog rada je procjena rizika – prosudbe koje se izravno tiču ​​životne sigurnosti, primjerice je li dijete zanemareno ili zlostavljano, postoji li vjerojatnost da će pojedinac ozlijediti sebe ili nekoga drugoga, je li starija osoba sigurna ili koliko je žrtva nasilja ugrožena. Prvo i najhrabrije pravilo ove jedinice je sljedeće: donošenje odluka o riziku ne pripada, ne može i ne treba pripadati umjetnoj inteligenciji. Odluka o sigurnosti osobe; Zahtijeva profesionalni autoritet, kliničku prosudbu, mišljenje multidisciplinarnog tima, nadzor i pravnu odgovornost. AI je ovdje samo alat za pripremu i podsjetnik: podsjeća vas koje čimbenike rizika i zaštite trebate pregledati, organizira vaše bilješke, ocrtava sigurnosni plan. Ne daje ocjenu, ne kaže "rizik je nizak/visok", ne donosi odluku.

Zašto to tako oštro naglašavamo? Zato što je u areni rizika cijena pogreške umjetne inteligencije nepovratna. AI-jeva ocjena rizika kao "nizak" ostavlja dijete nezaštićenim; Učiniti rizik nepotrebno "visokim" može dovesti do nepravednog razdvajanja obitelji. Osim toga, AI nosi pristranosti u podacima o obuci: algoritmi koji sustavno pripisuju veći rizik određenim socioekonomskim skupinama, etničkim grupama ili susjedstvima dokumentirani su diljem svijeta. Dakle, čak i ako je izlaz umjetne inteligencije ulaz, on nikada ne može nadjačati vašu neovisnu prosudbu.

Legitimna uloga umjetne inteligencije: podsjetnik i regulacija

Postoje tri mjesta gdje možete sigurno koristiti AI u opasnosti:

1. Podsjetnik na faktor. Čimbenici rizika (npr. prošla povijest nasilja, uporaba supstanci, socijalna izolacija, prethodni prijemi) i zaštitni čimbenici (npr. odrasla osoba koja pruža podršku, redovito pohađanje škole, snažna društvena mreža) koje treba uzeti u obzir u procjeni rizika dugi su; AI vam pomaže da izbjegnete propuštanje bilo kojeg područja prisjećanjem popisa za provjeru koji odgovara okviru koji koristi vaša organizacija.

2. Uređivanje bilješki. Prevodi vaša zapažanja i izjave klijenata u organizirani, činjenični tekst — tako da svoju prosudbu možete temeljiti na jasnim podacima.

3. Nacrt sigurnosnog plana. Sigurnosni plan (konkretan plan koji određuje što će žrtva učiniti u slučaju opasnosti, koga će kontaktirati, kamo će ići) ima određenu strukturu. AI može proizvesti nacrt kostura koji treba ispuniti s klijentom; Ali vi i klijent ispunjavate sadržaj plana prema stvarnosti.

Oprez: Nikada nemojte pitati AI "koja je razina rizika u ovom slučaju?" ili "je li dijete sigurno kod kuće?" Ne pitaj. NEMOJTE koristiti rezultat kao odluku, čak i ako tražite. Na ova pitanja odgovara samo ovlašteni stručnjak, tim i nadzor putem službenog alata za rizike ustanove.

Korak po korak: pravilno pozicioniranje umjetne inteligencije u procesu rizika

  1. Sigurnost prije svega. Ako postoji neposredna i ozbiljna opasnost (sigurnost života), potrebno je djelovati po hitnom postupku ustanove, a ne baviti se AI. AI ne bi trebao odgađati bilo kakvu hitnost.
  2. Razidentificirati. Ocjene rizika su najosjetljiviji podaci; Podaci koji identificiraju klijenta ne unose se u otvoreni alat, već se koristi samo alat sigurne institucije.
  3. Podsjeti me na popis faktora. Zatražite kontrolni popis rizika i zaštitnih faktora koji odgovara institucionalnom okviru.
  4. Donesite vlastiti sud. Važete faktore, procjenjujete s timom i savjetujete se s nadređenim. Ne želite da AI "ocjenjuje".
  5. Dovršite sigurnosni plan s klijentom. Nacrt kostura može doći iz AI; Sadržaj se popunjava klijentovom stvarnom mrežom, resursima i preferencijama.

tri mini kućišta

Slučaj 1 — Propušteni zaštitni faktor. Stručnjak se fokusirao na čimbenike rizika u slučaju nasilja u obitelji. Kontrolni popis čimbenika koji je tražio od AI-ja natjerao ga je da pita o klijentovoj sigurnoj mreži podrške na poslu u odjeljku "zaštitni čimbenici"—područje koje je stručnjak propustio. Ova mreža postala je najrealniji dio sigurnosnog plana. Odluka je opet bila na stručnjaku; AI je samo podsjetio na pitanje.

Slučaj 2 — netočnom rezultatu se nije vjerovalo. Jedna je agencija vidjela da je probni AI alat označio slučaj kao "niski rizik". No, zapažanje vještaka i izjava naručitelja ukazivali su na ozbiljnu opasnost. Tim je odbacio AI oznaku i pokrenuo zaštitnu akciju na temelju vlastite procjene. Kasnije je potvrđeno da je opasnost bila stvarna. Lekcija: AI rezultat nije odluka; ljudska prosudba ima prednost.

Slučaj 3 — Uhvaćena pristranost. U jednom suđenju, isti slučaj dvaput je dat AI-u; Jedina razlika bila je četvrt u kojoj je klijent živio. AI je sustavno proizvodio "jezik većeg rizika" za susjedstvo za koje se zna da je u nepovoljnom položaju. To je pokazalo pristranost u podacima o obuci AI-a i osnažilo politiku agencije da se AI ne koristi u donošenju odluka o riziku.

Četiri predloška za kopiranje

1) Podsjetnik na rizik/zaštitni faktor:

Vaša uloga: pomoćnik supervizora za socijalni rad. Pripremite popis čimbenika rizika i zaštitnih čimbenika koji se preporučuju za reviziju u procjeni rizika u slučajevima [nasilja u obitelji]. Predstavite ovo kao popis PODSJETNIKA; NEMOJTE proizvoditi nikakve rezultate, odluke ili "razine rizika". Ocjena i odluka pripada vještaku.

2) Okvir nacrta sigurnosnog plana:

Vaša uloga: urednik. Pripremite PRAZAN nacrt sigurnosnog plana koji treba ispuniti sa žrtvom obiteljskog nasilja: znakovi upozorenja, sigurna mjesta, osobe i institucije koje treba kontaktirati, važni dokumenti, plan za djecu, digitalna sigurnost. Popunjavanje sadržaja; Ispod svakog naslova ostavite prazna mjesta koja treba popuniti s klijentom.

3) Uređivanje bilješke o riziku (bez donošenja odluke):

Prevedite sljedeća zapažanja i bilješke s izjavama u činjenični, organizirani tekst. Zapažanje na etiketi i izjava klijenta odvojeno. NAVEDENJE stupnja rizika, DONOŠENJE odluke, DODAVANJE komentara. Uredite samo ono što je u bilješci i označite područja koja nedostaju/nejasne. Napomena: [zalijepi deidentificiranu bilješku]

4) Samokontrola pristranosti:

Postoji li u nacrtu bilješke o riziku u nastavku izjava koja prenosi nedokazane pristranosti zbog socioekonomskog statusa, etničke pripadnosti, susjedstva ili sličnih karakteristika klijenta? Označite svaku rečenicu koja se temelji na stereotipima, a ne na dokazima. Ne mijenjajte tekst, samo upozorite. Napomena: [zalijepi bilješku]

Slab upit / Jak upit

Slab upit:

Pročitajte ovaj slučaj i odlučite je li sigurno za dijete ostati kod kuće i koja je razina rizika.

Ovo je prepuštanje najteže odluke o ljudskom životu softveru. To je neetično, protivno profesionalnoj odgovornosti i prenosi pristranost AI-a izravno na djetetovu sudbinu.

Snažan upit:

Vaša uloga: pomoćnik za podsjetnike. Prije čitanja deidentificirane bilješke u nastavku, pripremite popis rizika i zaštitnih čimbenika za pregled u procjeni slučajeva [zanemarivanja djece]. PROIZVODNJA odluke, rezultata ili razine rizika. Procjenu ću napraviti sa svojim timom; Samo me podsjeti koja područja ne bih trebao preskočiti.

Razlika: izgovaranje "koja pitanja ne bih trebao zaboraviti" umjesto traženja odluka održava AI na sigurnoj i etičkoj granici.

Granice uloga u polju rizika

Potraga

Može li umjetna inteligencija to učiniti?

Tko radi?

Podsjetnik na kontrolni popis faktora

da

AI (podsjetnik)

Uređivanje bilješki činjenično

da

AI + stručno odobrenje

Prazan kostur sigurnosnog plana

da

AI; klijent sadržaja+stručnjak

Određivanje razine rizika/boda

br

Stručnjak + tim + nadzor

"Je li sigurno?" odluka

br

Kompetentan stručnjak, pravni postupak

Pokretanje zaštitnih mjera

br

Ustanova, nadležno tijelo

Uobičajene greške

  • Tražiti AI za ocjenu rizika/odluku. Najopasnija greška; Odluka zahtijeva stručni autoritet i zakonsku odgovornost.
  • Vjerovanje u AI oznaku. Zaključak "niskog rizika" nikada neće poništiti vaše suprotno zapažanje.
  • Ignoriranje predrasuda. AI može pripisati sustavno visok rizik skupinama u nepovoljnom položaju; samokontrola je neophodna.
  • Odgađanje hitnosti. Ako postoji životna sigurnost, prvo hitni postupak; Suočavanje s umjetnom inteligencijom ne može čekati.
  • Davanje najosjetljivijih podataka otvorenom alatu. Bilješke o riziku obrađuju se samo u alatu sigurne institucije.

Ukratko

Procjena rizika je najveća odgovornost socijalnog rada, a odluka je isključivo na osobi - stručnjaku, timu, nadzoru, zakonskom autoritetu. Ovdje je umjetna inteligencija samo alat za podsjećanje (popis čimbenika rizika/zaštite), organiziranje (bilješka o činjenicama) i izradu nacrta (kostur plana sigurnosti); Ne zabija, ne donosi odluke. Imajte na umu da umjetna inteligencija nosi pristranost, nikad ne koristite njen rezultat kao odluku i obrađujete najosjetljivije podatke samo u sigurnom sustavu.

Zadatak aplikacije

Odaberite izmišljenu vrstu slučaja. Nabavite popis za provjeru s predloškom "podsjetnika na rizik/zaštitni faktor" i potvrdite da AI ne proizvodi nikakve "razine rizika". Zatim zgrabite prazan kostur plana s predloškom "kostur plana sigurnosti". Svjesno pitati AI "koja je razina rizika?" i napišite u jednoj rečenici zašto NE biste trebali koristiti izlaz kao odluku.

popis za provjeru

  • [ ] Tražio sam od umjetne inteligencije samo podsjetnik na faktor, a ne odluku/rezultat.
  • [ ] Najosjetljivije podatke obradio sam samo u alatu za sigurno poduzeće.
  • [ ] Planirao sam ispuniti sadržaj sigurnosnog plana zajedno s klijentom.
  • [ ] Provjerio sam AI izlaz radi pristranosti.
  • [ ] Potvrdio sam da je konačna odluka o riziku na timu, nadzoru i zakonskom postupku.