Enota 4 / 12

Podpora pri oceni tveganja in varnostno načrtovanje: najbolj občutljiva meja

Dobički:

  • Sposobnost priprave kontrolnega seznama tveganja in zaščitnega faktorja ter okostja varnostnega načrta z umetno inteligenco in delo brez preskoka katerega koli področja
  • Zavedajte se, da odločitve o ravni tveganja/vrednosti in varnosti sprejemajo le strokovnjaki, ekipe, nadzor in pravni postopki ter da umetna inteligenca ne more proizvajati odločitev.
  • Videti, da lahko umetna inteligenca pripiše sistematično pristranskost prikrajšanim skupinam, in uporabiti disciplino, da svojih rezultatov nikoli ne uporabi kot odločitev in obdeluje najbolj občutljive podatke samo v varnem sistemu

Najresnejša odgovornost socialnega delavca je ocena tveganja – presoje, ki neposredno zadevajo varnost življenja, na primer, ali je otrok zanemarjen ali zlorabljen, ali obstaja verjetnost, da bo posameznik škodoval sebi ali komu drugemu, ali je starejši varen, ali je ogrožena žrtev nasilja. Prvo in najbolj drzno pravilo te enote je naslednje: odločanje o tveganjih ne pripada, ne more in ne sme pripadati umetni inteligenci. Odločitev o varnosti osebe; Zahteva strokovno avtoriteto, klinično presojo, mnenje multidisciplinarne ekipe, nadzor in pravno odgovornost. Umetna inteligenca je tukaj samo orodje za pripravo in opomnik: opomni vas, katere dejavnike tveganja in zaščitne dejavnike morate pregledati, organizira vaše zapiske, opiše varnostni načrt. Ne daje ocene, ne pravi "tveganje je nizko/visoko", ne sprejema odločitve.

Zakaj to tako ostro poudarjamo? Ker je v areni tveganja cena napake AI nepopravljiva. Ocena AI tveganja kot "nizko" pusti otroka nezaščitenega; Če se tveganje zdi nepotrebno "visoko", bi to lahko privedlo do nepravične ločitve družine. Poleg tega umetna inteligenca prinaša pristranskosti v podatkih o usposabljanju: algoritmi, ki sistematično pripisujejo večje tveganje določenim socialno-ekonomskim skupinam, etničnim skupinam ali soseskam, so dokumentirani po vsem svetu. Tudi če je izhod umetne inteligence vhod, nikoli ne more preglasiti vaše neodvisne presoje.

Legitimna vloga umetne inteligence: opomin in regulacija

Obstajajo tri mesta, kjer lahko varno uporabljate AI v nevarnosti:

1. Faktorski opomnik. Dejavniki tveganja (npr. anamneza nasilja, uživanje substanc, socialna izolacija, predhodni sprejemi) in zaščitni dejavniki (npr. podporna odrasla oseba, redno obiskovanje šole, močna socialna mreža), ki jih je treba upoštevati pri oceni tveganja, so dolgi; AI vam pomaga preprečiti, da bi zamudili katero koli področje, tako da prikliče kontrolni seznam, ki ustreza okviru, ki ga uporablja vaša organizacija.

2. Urejanje zapiskov. Vaša opažanja in izjave strank prevede v organizirano, dejansko besedilo – tako da lahko svojo presojo utemeljite na jasnih podatkih.

3. Osnutek varnostnega načrta. Varnostni načrt (konkreten načrt, ki določa, kaj bo žrtev storila v primeru nevarnosti, s kom bo stopila v stik, kam bo šla) ima določeno strukturo. AI lahko ustvari osnutek okostja, ki ga izpolni stranka; Vi in naročnik pa izpolnite vsebino načrta glede na realnost.

Pozor: nikoli ne vprašajte AI ​​"kakšna je stopnja tveganja v tem primeru?" ali "je otrok varen doma?" Ne sprašuj. NE uporabljajte rezultatov kot odločitev, tudi če vprašate. Na ta vprašanja odgovarja le pooblaščeni strokovnjak, ekipa in nadzor preko uradnega orodja za tveganja zavoda.

Korak za korakom: pravilno pozicioniranje umetne inteligence v procesu tveganja

  1. Varnost na prvem mestu. Če obstaja neposredna in resna nevarnost (varnost življenja), je treba delovati po nujnem postopku zavoda, ne pa se ukvarjati z UI. AI ne bi smel odložiti nobene nuje.
  2. Razidentificirati. Ocene tveganja so najbolj občutljivi podatki; Podatki, ki identificirajo stranko, se ne vnašajo v odprto orodje, uporablja se le orodje varne ustanove.
  3. Spomni me na seznam dejavnikov. Zahtevajte kontrolni seznam dejavnikov tveganja in zaščitnih dejavnikov, ki ustreza institucionalnemu okviru.
  4. Sami presodite. Pretehtate dejavnike, ocenite z ekipo in se posvetujete z nadzornikom. Ne želite, da AI "ocenjuje".
  5. S stranko izpolnite varnostni načrt. Osnutek okostja lahko izvira iz AI; Vsebina je dopolnjena z odjemalčevim dejanskim omrežjem, viri in nastavitvami.

trije mini kovčki

1. primer – zamujen zaščitni faktor. Strokovnjak se je osredotočil na dejavnike tveganja v primeru nasilja v družini. Kontrolni seznam dejavnikov, za katerega je zahteval AI, je zahteval, da ga vpraša o strankinem varnem podpornem omrežju pri delu v razdelku »zaščitni dejavniki« – področje, ki ga je strokovnjak spregledal. To omrežje je postalo najbolj realen del varnostnega načrta. Odločitev je bila spet na strokovnjaku; AI je samo spomnil na vprašanje.

2. primer – Napačen rezultat ni bil zaupanja vreden. Ena agencija je opazila, da je poskusno orodje AI primer označilo kot "nizko tveganje". Vendar sta izvedenčevo opažanje in izjava naročnika kazala na resno nevarnost. Ekipa je zavrnila oznako AI in sprožila zaščitne ukrepe na podlagi lastne ocene. Pozneje se je potrdilo, da je nevarnost resnična. Lekcija: rezultat AI ni odločitev; človeška presoja ima prednost.

Primer 3 – Ugotovljena pristranskost. V enem poskusu je bil isti primer dvakrat predan AI; Edina razlika je bila soseska, kjer je stranka živela. Umetna inteligenca je sistematično ustvarila "jezik z večjim tveganjem" za sosesko, za katero je znano, da je prikrajšana. To je pokazalo pristranskost podatkov o usposabljanju umetne inteligence in okrepilo politiko agencije, da ne uporablja umetne inteligence pri odločanju o tveganjih.

Štiri predloge za kopiranje

1) Opomnik glede tveganja/zaščitnega faktorja:

Vaša vloga: pomočnik supervizorja za socialno delo. Pripravite kontrolni seznam dejavnikov tveganja in zaščitnih dejavnikov, ki jih je priporočljivo pregledati pri oceni tveganja v primerih [nasilja v družini]. Predstavite to kot seznam OPOMNIKOV; NE ustvarite nobenih rezultatov, odločitev ali "stopenj tveganja". Ocena in odločitev pripada strokovnjaku.

2) Okostje osnutka varnostnega načrta:

Vaša vloga: urednik. Pripravite PRAZEN osnutek varnostnega načrta, ki ga boste izpolnili z žrtvijo nasilja v družini: opozorilni znaki, varna mesta, osebe in ustanove, s katerimi se lahko obrnete, pomembni dokumenti, načrt za otroke, digitalna varnost. Polnjenje vsebine; Pod vsakim naslovom pustite prazne prostore, ki jih izpolnite s stranko.

3) Urejanje opombe o tveganju (brez odločitve):

Prevedite naslednja opažanja in opombe izjav v stvarno, organizirano besedilo. Označite opazovanje in izjavo stranke ločeno. NAVEDBA stopnje tveganja, SPREJEMANJE ODLOČITVE, DODANJE komentarja. Uredite samo tisto, kar je v opombi, in označite manjkajoča/nejasna področja. Opomba: [prilepite deidentificirano opombo]

4) Samokontrola pristranskosti:

Ali je v spodnjem osnutku opombe o tveganju izjava, ki izraža nedokazano pristranskost zaradi strankinega socialno-ekonomskega statusa, etnične pripadnosti, soseske ali podobnih značilnosti? Označite vsak stavek, ki temelji na stereotipih in ne na dokazih. Ne spreminjajte besedila, samo opozorite. Opomba: [prilepite opombo]

Šibek poziv/močan poziv

Šibek poziv:

Preberite ta primer in se odločite, ali je za otroka varno ostati doma in kakšna je stopnja tveganja.

To je prenos najtehtnejše odločitve o človeškem življenju na programsko opremo. Je neetično, v nasprotju s poklicno odgovornostjo in prenaša pristranskost AI neposredno v otrokovo usodo.

Močan poziv:

Vaša vloga: pomočnik pri opomnikih. Preden preberete spodnji opombo o deidentifikaciji, pripravite kontrolni seznam dejavnikov tveganja in zaščitnih dejavnikov, ki jih boste pregledali pri oceni primerov [zanemarjanja otrok]. PROIZVODNJA odločitev, rezultat ali raven tveganja. Oceno bom opravil s svojo ekipo; Samo spomniš me, katerih področij ne smem preskočiti.

Razlika: reči, »katerih vprašanj ne smem pozabiti«, namesto da zahtevajo odločitve, ohranjajo AI na varni in etični meji.

Meje vlog na področju tveganja

Iskanje

Lahko AI to naredi?

Kdo dela?

Opomnik za kontrolni seznam dejavnikov

ja

AI (opomnik)

Urejanje zapiskov dejansko

ja

AI + odobritev strokovnjaka

Prazno okostje varnostnega načrta

ja

AI; stranka vsebine+strokovnjak

Določitev stopnje tveganja/točke

št

Strokovnjak + ekipa + nadzor

"Je varno?" odločitev

št

Pristojen strokovnjak, pravni postopek

Začetek zaščitnih ukrepov

št

Institucija, pristojni organ

Pogoste napake

  • Vprašanje AI za oceno tveganja/odločitev. Najbolj nevarna napaka; Odločitev zahteva strokovno avtoriteto in pravno odgovornost.
  • Zaupanje oznaki AI. Sklep o "nizkem tveganju" ne bo nikoli razveljavil vašega nasprotnega opažanja.
  • Ignoriranje predsodkov. AI lahko sistematično visoko tveganje pripiše prikrajšanim skupinam; samokontrola je nujna.
  • Odlašanje nujnosti. Če obstaja življenjska varnost, najprej nujni postopek; Ukvarjanje z AI ne more čakati.
  • Dajanje najbolj občutljivih podatkov odprtemu orodju. Opombe o tveganjih se obdelujejo samo v orodju varne institucije.

Če povzamem

Ocena tveganja je največja odgovornost socialnega dela, odločitev pa je v celoti na strani človeka – strokovnjaka, tima, nadzora, pravne avtoritete. Tu je umetna inteligenca le orodje za opominjanje (seznam dejavnikov tveganja/zaščitnih dejavnikov), organiziranje (dejstvena opomba) in pripravo osnutkov (skelet varnostnega načrta); Ne zabija, ne sprejema odločitev. Ne pozabite, da je umetna inteligenca pristranska, nikoli ne uporabite njenega rezultata kot odločitve in obdelujte najbolj občutljive podatke samo v varnem sistemu.

Aplikacijska naloga

Izberite izmišljeno vrsto primera. Pridobite kontrolni seznam s predlogo »opomnik o tveganju/zaščitnem faktorju« in preverite, ali AI ne ustvarja nobenih »stopenj tveganja«. Nato zgrabite prazen okvir načrta s predlogo "skelet okvirja varnostnega načrta". Zavestno spraševanje AI "kakšna je stopnja tveganja?" in v enem stavku napišite, zakaj NE bi smeli uporabiti izhoda kot odločitev.

kontrolni seznam

  • [ ] Umetno inteligenco sem prosil le za opomnik faktorja, ne pa za odločitev/rezultat.
  • [ ] Najbolj občutljive podatke sem obdelal samo v varnem orodju za podjetja.
  • [ ] Vsebino varnostnega načrta sem nameraval izpolniti skupaj z naročnikom.
  • [ ] Preveril sem izhod AI za pristranskost.
  • [ ] Potrdil sem, da je končna odločitev o tveganju v rokah ekipe, nadzora in ustreznega postopka.