zisky:
- Rozpoznáva zdroje dát, návrhu a použitia algoritmu a testuje výstup na skupinovej báze.
- Vysvetľuje, ako spätná väzba a chyba reprezentácie zväčšujú nerovnosť a vytvárajú kontrolu vplyvu.
- Zabezpečuje zodpovednosť tým, že zabezpečuje vysvetliteľnosť a odvolanie pri každom automatizovanom rozhodnutí.
Verejnosť musí uplatňovať svoju moc rovnako na všetkých: podobné zaobchádzanie s dvoma občanmi v podobných situáciách, úmerný rozdiel k rôznym situáciám. Tento princíp rovnosti je ústavnou povinnosťou. Umelá inteligencia môže toto pole zlepšiť aj potichu narušiť. Môže sa zlepšiť, pretože dôsledne uplatňované pravidlo môže znížiť svojvôľu a ľudskú zaujatosť. Môže to byť škodlivé, pretože modely AI sa učia z minulých údajov a minulé údaje nesú diskrimináciu z minulosti. Ak je systém trénovaný na údajoch, ktoré historicky znevýhodňovali konkrétnu skupinu, prenesie si túto nevýhodu do budúcnosti – a vo forme, ktorú je ešte ťažšie odhaliť, pod rúškom „objektívneho algoritmu“. V tejto lekcii sa naučíte, ako rozpoznať algoritmickú odchýlku (systematická odchýlka výstupu modelu voči určitým skupinám) pri používaní AI vo verejnom sektore, ako ju znížiť a čo je najdôležitejšie, ako zabezpečiť algoritmickú zodpovednosť (zdôvodnenie automatického rozhodovania je vysvetliteľné, kontrolovateľné a napadnuteľné).
Odkiaľ pochádza zaujatosť?
Existuje niekoľko zdrojov algoritmického skreslenia a všetky z nich sú na verejnosti rizikové:
- Historická odchýlka: Tréningové údaje obsahujú minulú nerovnosť. Napríklad, ak mala oblasť v minulosti menej služieb, „údaje o dopyte“ môžu ukázať, že táto oblasť má nízke potreby – hoci dopyt bol v skutočnosti nízky, pretože neexistovala žiadna služba.
- Skreslenie zastúpenia: Niektoré skupiny sú v údajoch nedostatočne zastúpené (tí, ktorí nemajú digitálny prístup, menšinové jazykové skupiny) a model pre ne nefunguje dobre.
- Zaujatosť proxy: Aj keď sa model priamo nezaoberá zakázaným kritériom (etnická príslušnosť, náboženstvo), môže vyvolať rovnakú diskrimináciu pri pohľade na s ním spojeného zástupcu (susedstvo, meno, PSČ).
- Skreslenie merania: To, čo meriame, nie je to, čo v skutočnosti merať chceme. „Počet sťažností“ meria skôr schopnosť sťažovať sa ako potrebu.
Pozor: Je zavádzajúce povedať „z modelu som odstránil citlivé údaje (pohlavie, etnická príslušnosť), teraz je to fér“. Diskriminácia prostredníctvom proxy premenných môže pokračovať. Spravodlivosť sa nedosahuje odstránením vstupu, ale testovaním výstupu medzi skupinami.
Spravodlivosť testovania: pozri výstup
Či je systém spravodlivý alebo nie, sa dá pochopiť pohľadom na jeho výsledky, nie na jeho zámery. Základná metóda: rozdeľte rozhodnutie do skupín a porovnajte. Líšia sa výrazne výstupy ako miera prijatia/odmietnutia, chybovosť, čakacia doba medzi rôznymi skupinami (pohlavie, vek, región, príjem)? Ak existuje rozdiel, je tento rozdiel založený na legitímnom dôvode alebo ide o diskrimináciu? Keďže táto analýza môže vyžadovať osobné údaje, musí byť agregovaná a vykonaná v súlade s KVKK.
Tip: Pred zavedením nového rozhodovacieho systému založeného na AI rozdeľte jeho rozhodnutia podľa demografických skupín a vytvorte „správu o spravodlivosti“. Ak nájdete rozdiel, "dá sa tento rozdiel vysvetliť?" Dajte otázku komisii ľudí.
Vysvetliteľnosť a príťažlivosť: jadro zodpovednosti
Vo verejnom sektore nemôže byť žiaden občan zbavený svojich práv odpoveďou „systém tak rozhodol“. Pre každé automatizované rozhodnutie alebo rozhodnutie s pomocou AI je potrebné zabezpečiť tri veci:
- Vysvetliteľnosť: Na základe čoho bolo rozhodnutie založené, aké faktory boli účinné, by sa malo vysvetliť v jednoduchom jazyku.
- Spôsob odvolania: Občania by mali mať možnosť namietať proti rozhodnutiu a požiadať človeka, aby ho preskúmal.
- Audit trail: Malo by byť zaznamenané, ktoré údaje, ktorý model/verzia a s ktorou zodpovednou osobou bolo rozhodnutie prijaté.
tri mini prípady
Prípad 1 – Zachytený náhradný variant. Jeden model stanovenia priorít pomoci nepoužíval citlivé údaje, ale zohľadňoval „PSČ“. V teste spravodlivosti sa zistilo, že určité štvrte majú systematicky nízku prioritu – korelujú s poštovým smerovacím číslom, príjmom a etnickou hustotou. Premenná bola odstránená a priorita bola naviazaná priamo na indikátory potreby.
Prípad 2 – Medzera v zastúpení. Chatbot mal o 41 % vyššiu pravdepodobnosť zavádzania otázok od občanov s netureckým rodným jazykom; Tréningové údaje obsahovali málo z tejto skupiny. Keď sa pridala viacjazyčná podpora a prah ľudského odovzdania, medzera sa uzavrela.
Prípad 3 – Nevysvetlené odmietnutie. Inštitúcia automaticky zamietla žiadosť; občan "prečo?" Na otázku dôstojník nevedel vysvetliť, pretože dôvod modelu nebol pochopiteľný. Tento incident ukázal, že modely so slabou vysvetliteľnosťou nemožno použiť na prijímanie rozhodnutí o dodržiavaní práv; Systém bol transformovaný na model, ktorý generuje opodstatnenie a vyžaduje súhlas človeka.
Štyri kopírovateľné šablóny
1) Zdroj skenovania skreslenia:
Vaša úloha: odborník na algoritmickú spravodlivosť. Pozrite si nižšie uvedený rozhodovací proces založený na AI. Uveďte možné zdroje skreslenia: (1) historické skreslenie, (2) skreslenie reprezentácie (nedostatočne zastúpená skupina), (3) proxy premenné (stĺpec spojený so zakázaným kritériom), (4) skreslenie merania. Uveďte konkrétny príklad ku každému a povedzte mi, ako ho otestovať. PROCES: [rozhodovací proces a použité údaje]
2) Plán testovania spravodlivosti:
Vytvorte plán testovania spravodlivosti pre nasledujúci výstup rozhodovania: ktoré skupiny (vek, pohlavie, región, príjem) by som mal rozdeliť, ktoré metriky (miera prijatia, chybovosť, čakacia doba) by som mal porovnať, ako sa rozhodnem, či je rozdiel legitímny alebo diskriminačný? Pridajte varovanie KVKK. ROZHODNUTIE: [aké rozhodnutie]
3) Rozhodnutie (občanovi):
Napíšte občanom zrozumiteľný návrh vysvetlenia nasledujúceho rozhodnutia: aké faktory mali vplyv, v jednoduchom jazyku. Pridajte právo na odvolanie na koniec a možnosť kontroly človekom [čas bude potvrdený]. Používanie vágnych výrazov ako „Systém sa tak rozhodol“. ROZHODNUTIE: [zhrnutie a ovplyvňujúce faktory]
4) Kontrola zodpovednosti pred šírením:
Pred zavedením rozhodovacieho systému založeného na umelej inteligencii vytvorte kontrolný zoznam zodpovednosti: je to vysvetliteľné, existuje spôsob, ako sa odvolať, je udržiavaný záznam o audite (verzia údajov/modelu/zodpovedný), či bolo vykonané testovanie férovosti, kde je bod schválenia človekom. Označte chýbajúce položky červenými vlajkami. SYSTÉM: [recept]
Slabá výzva / Silná výzva
Slabý: "Je tento model rozhodovania spravodlivý?"
Strong: "Vašou úlohou je expert na algoritmickú spravodlivosť. Pre tento model uprednostňovania pomoci najprv vyhľadajte zdroje skreslenia (historické, reprezentačné, náhradná premenná, meranie) a ku každému uveďte konkrétne príklady. Potom vymyslite plán testovania spravodlivosti: rozdelenie podľa skupín, ktoré metriky, ako rozhodnúť o legitimite rozdielu; pridajte varovanie KVKK. Nakoniec pred spustením systému skontrolujte, označte, označte cestu a odvolajte sa na kontrolu."
Rozdiel: silná výzva hľadá zaujatosť pri svojom zdroji, necháva výstup testovať skupinami a rozširuje zodpovednosť.
Rozmery a ovládanie spravodlivosti
Veľkosť
Riziko
ovládanie
historické údaje
Minulosť nesie nerovnosť
Výstup testu podľa skupín
zastupovanie
Pre niektorú skupinu to funguje zle
Skupinová chybovosť
náhradná premenná
skrytá diskriminácia
Vzťah kritéria citlivého na premennú
Vysvetliteľnosť
neodôvodnené rozhodnutie
Vytvorte jednoduché vysvetlenie
námietka
prepadnutie
Cesta ľudskej kontroly
Slučka spätnej väzby a chyba reprezentácie
Najzákernejšia forma algoritmickej diskriminácie sa nevyskytuje v jedinom nesprávnom rozhodnutí, ale v spätnoväzbovej slučke, ktorá sa časom posilňuje (výstup modelu ovplyvňuje následné trénovacie údaje, čím sa posilňuje existujúca zaujatosť). Napríklad, ak inšpekčný model označí konkrétnu štvrť ako „rizikovú“, čím viac inšpekcií sa tam uskutoční, tým viac záznamov sa vytvorí, model považuje túto štvrť za rizikovejšiu – aj keď sa rozdiel zväčšil v sledovanej lokalite, nie v skutočnom riziku. To, čo k tomu pripravuje cestu, je často chyba v reprezentácii (tréningové údaje odrážajú niektoré skupiny neúplne alebo skreslene). Vo verejnom sektore môžu tieto cykly vystaviť znevýhodnené skupiny čoraz prísnejšiemu dohľadu a sankciám. Spôsob, ako sa chrániť, je sledovať vplyv modelu, nielen jeho výstup: pravidelne sledovať skupinovú distribúciu rozhodnutí a neimplementovať slepo odporúčania modelu.
Mini prípad — sebachvaľujúca pochybnosť. Model odhaľovania sociálnych podvodov označil región, ktorý bol v minulosti dôkladnejšie kontrolovaný, za vysoko rizikový. Keď tím z údajov vytiahol intenzitu presadzovania a zmeral „skutočnú mieru detekcie v pomere k populácii“, zistili, že rozdiely medzi regiónmi do značnej miery zmizli; Model si nerovnosť pomýlil so skutočným rizikom.
Šablóna kontroly vplyvu na základe skupiny:
Úloha: Preskúmajte nasledujúce rozhodovacie údaje podľa skupín (žiadne osobné údaje, kategorické zhrnutie).Údaje: [skupina | celkové rozhodnutie | miera negatívnych rozhodnutí | intenzita inšpekcie] Výstup: 1) Ukazuje miera negatívnych rozhodnutí významný rozdiel medzi skupinami? 2) Môže byť rozdiel spôsobený skutočným rizikom alebo intenzitou kontroly/zastúpenia? 3) Existuje nejaký náznak spätnej väzby? 4) Odporúčania pre ľudskú kontrolu. Pravidlo: Stanovenie kauzálneho tvrdenia; Uveďte možné vysvetlenia a spôsoby testovania.
Pozor: Argument, že „model je neutrálny, pretože pre všetkých platí rovnaké pravidlo“, je zavádzajúci. Rovnaké pravidlo, keď sa použije na skreslené údaje, zachováva a zväčšuje nerovnosť. Spravodlivosť sa meria podľa rovnosti výsledku, nie podľa pravidla.
Časté chyby
- Mazanie citlivých údajov a myslenie „je to fér“. Náhradné premenné udržiavajú diskrimináciu; otestujte výstup.
- Meranie spravodlivosti zámerom. Spravodlivosť sa objaví na konci; Triediť rozhodnutia do skupín a porovnávať.
- Zabúdanie na nedostatočne zastúpenú skupinu. Tento model môže pre menšinovú skupinu fungovať ticho; Pozrite si skupinovú chybu.
- Používanie nevysvetleného modelu pri rozhodovaní o udeľovaní práv. Systém, ktorý nedokáže produkovať ospravedlnenie, nemôže robiť verejné rozhodnutia.
- Neposkytnutie prostriedkov na námietku. Každé automatizované rozhodnutie by malo podliehať ľudskej kontrole.
- Neuchovávanie revíznej stopy. Malo by sa zaznamenať, s akými údajmi/modelom/zodpovednou osobou bolo rozhodnutie prijaté.
V súhrne
Vo verejnom sektore môže umelá inteligencia zvýšiť konzistentnosť, ale aj potichu preniesť diskrimináciu z minulosti. Skreslenie pochádza z historických údajov, medzery v zastúpení, proxy premenných a nepresných meraní; Vymazanie citlivých údajov to nevyrieši. Spravodlivosť sa dosahuje testovaním výsledku naprieč skupinami. A žiadneho občana nemôže zbaviť volebného práva „systém to povedal“: každé rozhodnutie musí byť vysvetliteľné, napadnuteľné a kontrolovateľné. Je to inštitúcia, ktorá je braná na zodpovednosť, nie algoritmus.
Aplikačná úloha
Vyberte si vo svojej jednotke rozhodovací proces poháňaný AI alebo automatizovaný. Uveďte zoznam možných skreslení a nájdite aspoň jedno náhradné variabilné riziko pomocou šablóny „Source of bias scan“. Určte, na ktoré rozdelenie skupín sa máte pozrieť pomocou „plánu testu férovosti“. Pre vzorové rozhodnutie vytvorte vysvetlenie pre občanov pomocou šablóny "Vysvetlenie rozhodnutia".
kontrolný zoznam
- [ ] Hľadal som zdroje zaujatosti (historické, reprezentačné, proxy, meranie).
- [ ] Nezmazal som len citlivé údaje; Výstup som testoval po skupinách.
- [ ] Kontroloval som chybovosť pre nedostatočne zastúpené skupiny.
- [ ] Pre každé rozhodnutie som uviedol jednoduché a vysvetliteľné odôvodnenie.
- [ ] Definoval som námietku a cestu ľudskej kontroly.
- [ ] Audit trail (údaje/verzia modelu/zodpovedný) je udržiavaný.