zisky:
- Rozpoznává zdroje dat, návrhu a použití algoritmického zkreslení a testuje výstup na skupinové bázi.
- Vysvětluje, jak smyčka zpětné vazby a chyba reprezentace zvětšují nerovnost a zavádějí kontrolu dopadu.
- Zajišťuje odpovědnost tím, že zajišťuje vysvětlitelnost a odvolání v každém automatizovaném rozhodnutí.
Veřejnost musí uplatňovat svou moc stejně na všechny: podobné zacházení se dvěma občany v podobných situacích, přiměřený rozdíl k různým situacím. Tento princip rovnosti je ústavní povinností. Umělá inteligence může toto pole jak zlepšit, tak tiše narušit. Může se zlepšit, protože důsledně uplatňované pravidlo může snížit svévoli a lidskou zaujatost. Může to být škodlivé, protože modely umělé inteligence se učí z minulých dat a minulá data nesou diskriminaci minulosti. Pokud je systém trénován na datech, která historicky znevýhodňovala určitou skupinu, nese tuto nevýhodu do budoucna – a to ve formě, kterou je ještě obtížnější odhalit, pod rouškou „objektivního algoritmu“. V této lekci se naučíte, jak rozpoznat algoritmické zkreslení (systematické zkreslení výstupu modelu vůči určitým skupinám) při používání umělé inteligence ve veřejném sektoru, jak jej omezit a hlavně, jak zajistit algoritmickou odpovědnost (důvod pro automatické rozhodování je vysvětlitelný, auditovatelný a napadnutelný).
Odkud pochází zaujatost?
Existuje několik zdrojů algoritmického zkreslení a všechny jsou na veřejnosti rizikové:
- Historické zkreslení: Tréninková data obsahují minulou nerovnost. Pokud například oblast měla v minulosti méně služeb, „údaje o poptávce“ mohou ukázat, že tato oblast má nízké potřeby – i když ve skutečnosti byla poptávka nízká, protože neexistovala žádná služba.
- Zkreslení zastoupení: Některé skupiny jsou v datech nedostatečně zastoupeny (ty, které nemají digitální přístup, skupiny menšinových jazyků) a model pro ně nefunguje dobře.
- Zaujatost proxy: I když se model přímo nezabývá zakázaným kritériem (etnická příslušnost, náboženství), může vyvolat stejnou diskriminaci tím, že se podívá na s ním spojeného zástupce (sousedství, jméno, PSČ).
- Zkreslení měření: To, co měříme, není to, co skutečně měřit chceme. „Počet stížností“ měří spíše schopnost stěžovat si než potřebu.
Pozor: Je zavádějící říkat „z modelu jsem odstranil citlivá data (pohlaví, etnická příslušnost), nyní je to spravedlivé“. Diskriminace prostřednictvím proxy proměnných může pokračovat. Spravedlnosti se nedosahuje odstraněním vstupu, ale testováním výstupu mezi skupinami.
Spravedlivost testování: viz výstup
Zda je systém spravedlivý nebo ne, lze pochopit pohledem na jeho výsledky, nikoli na jeho záměry. Základní metoda: rozdělte rozhodnutí do skupin a porovnejte. Liší se výrazně výstupy jako míra přijetí/odmítnutí, chybovost, čekací doba mezi různými skupinami (pohlaví, věk, region, příjem)? Pokud existuje rozdíl, je tento rozdíl založen na legitimním důvodu nebo se jedná o diskriminaci? Protože tato analýza může vyžadovat osobní údaje, musí být agregována a provedena v souladu s KVKK.
Tip: Před zavedením nového rozhodovacího systému založeného na umělé inteligenci rozdělte jeho rozhodnutí podle demografických skupin a vytvořte „zprávu o spravedlnosti“. Pokud najdete rozdíl, "dá se tento rozdíl vysvětlit?" Předložte otázku výboru lidí.
Vysvětlitelnost a přitažlivost: jádro odpovědnosti
Ve veřejném sektoru nemůže být žádný občan zbaven svých práv odpovědí „tak rozhodl systém“. Pro každé automatizované rozhodnutí nebo rozhodnutí s pomocí AI je třeba zajistit tři věci:
- Vysvětlitelnost: Na čem bylo rozhodnutí založeno, jaké faktory byly účinné, by mělo být vysvětleno srozumitelným jazykem.
- Způsob odvolání: Občané by měli mít možnost vznést námitky proti rozhodnutí a požádat člověka, aby je přezkoumal.
- Audit trail: Mělo by být zaznamenáno, která data, jaký model/verze a s jakou odpovědnou osobou bylo rozhodnutí učiněno.
tři mini pouzdra
Případ 1 – Zachycena náhradní varianta. Jeden model upřednostňování pomoci nepoužíval citlivá data, ale sledoval „PSČ“. V testu spravedlnosti bylo zjištěno, že určité čtvrti mají systematicky nízkou prioritu – korelovanou s PSČ, příjmem a etnickou hustotou. Proměnná byla odstraněna a priorita byla navázána přímo na indikátory potřeby.
Případ 2 – Mezera v reprezentaci. Chatbot měl o 41 % vyšší pravděpodobnost, že zavede otázky občanů s netureckým rodným jazykem; Tréninková data obsahovala jen málo z této skupiny. Když byla přidána vícejazyčná podpora a práh lidského předání, mezera se uzavřela.
Případ 3 – Nevysvětlené zamítnutí. Instituce automaticky zamítla žádost; občan "proč?" Na dotaz policista nedokázal vysvětlit, protože důvod modelu nebyl srozumitelný. Incident ukázal, že modely se špatnou vysvětlitelností nelze použít k rozhodování o právech; Systém byl přeměněn na model, který generuje ospravedlnění a vyžaduje souhlas člověka.
Čtyři kopírovatelné šablony
1) Zdroj skenování zkreslení:
Vaše role: expert na algoritmickou spravedlnost. Níže se podívejte na rozhodovací proces založený na umělé inteligenci. Uveďte možné zdroje zkreslení: (1) historické zkreslení, (2) zkreslení reprezentace (nedostatečně zastoupená skupina), (3) proxy proměnné (sloupec spojený se zakázaným kritériem), (4) zkreslení měření. U každého uveďte konkrétní příklad a řekněte mi, jak to otestovat. PROCES: [rozhodovací proces a použitá data]
2) Plán testu spravedlivosti:
Vygenerujte plán testování spravedlivosti pro následující výstup rozhodnutí: které skupiny (věk, pohlaví, region, příjem) bych měl rozdělit, které metriky (míra přijetí, chybovost, čekací doba) mám porovnat, jak se rozhodnu, zda je rozdíl legitimní nebo diskriminační? Přidejte varování KVKK. ROZHODNUTÍ: [jaké rozhodnutí]
3) Rozhodnutí (občanovi):
Napište občansky srozumitelný návrh vysvětlení pro následující rozhodnutí: jaké faktory měly vliv, srozumitelným jazykem. Přidejte na konec právo na odvolání a možnost kontroly člověkem [s časem bude potvrzeno]. Používání vágních výrazů jako "Systém tak rozhodl." ROZHODNUTÍ: [shrnutí a ovlivňující faktory]
4) Kontrola odpovědnosti před šířením:
Před zavedením rozhodovacího systému založeného na umělé inteligenci vytvořte kontrolní seznam odpovědnosti: je to vysvětlitelné, existuje způsob, jak se odvolat, je udržována auditní stopa (data/verze modelu/zodpovědná), zda bylo provedeno testování poctivosti, kde je bod schválení člověkem? Označte chybějící položky jako červené vlajky. SYSTÉM: [recept]
Slabá výzva / Silná výzva
Slabý: "Je tento model rozhodování spravedlivý?"
Strong: "Vaše role je expert na algoritmickou spravedlnost. U tohoto modelu upřednostňování pomoci nejprve vyhledejte zdroje zkreslení (historické, reprezentační, náhradní proměnná, měření) a u každého uveďte konkrétní příklady. Poté vymyslete plán testování spravedlivosti: rozdělení podle skupin, které metriky, jak rozhodnout o legitimitě rozdílu; přidejte KVKK varování, vysvětlete a označte systém, označte cestu a proveďte audit."
Rozdíl: silná výzva hledá zkreslení u svého zdroje, nechává výstup testovat skupinami a rozšiřuje odpovědnost.
Rozměry a ovládání spravedlnosti
Velikost
Riziko
ovládání
historická data
Minulost nese nerovnost
Výstup testu po skupinách
zastoupení
U některé skupiny to funguje špatně
Skupinová chybovost
náhradní proměnná
skrytá diskriminace
Vztah kritéria citlivého na proměnnou
Vysvětlitelnost
neoprávněné rozhodnutí
Vytvořte jednoduché vysvětlení
námitka
propadnutí
Cesta lidské kontroly
Chyba zpětné vazby a reprezentace
Nejzáludnější forma algoritmické diskriminace se nevyskytuje v jediném chybném rozhodnutí, ale ve zpětnovazební smyčce, která se v průběhu času posiluje (výstup modelu ovlivňuje následná trénovací data a posiluje existující zkreslení). Pokud například inspekční model označí určitou čtvrť jako „rizikovou“, čím více inspekcí tam proběhne, tím více záznamů se vytvoří, model tuto čtvrť považuje za rizikovější – i když se rozdíl zvětšil v sledované lokalitě, nikoli ve skutečném riziku. To, co k tomu připravuje cestu, je často chyba reprezentace (trénování dat odrážejících některé skupiny neúplně nebo zkresleně). Ve veřejném sektoru mohou tyto cykly umístit znevýhodněné skupiny pod stále přísnější dohled a sankce. Způsob, jak se chránit, je sledovat dopad modelu, nejen jeho výstup: pravidelně sledovat skupinové rozdělení rozhodnutí a neimplementovat slepě doporučení modelu.
Mini případ — sebechválící pochybnost. Model odhalování sociálních podvodů označil region, který byl v minulosti přísněji kontrolován, za vysoce rizikový. Když tým z dat extrahoval intenzitu prosazování a změřil „skutečnou míru detekce vzhledem k populaci“, zjistili, že rozdíly mezi regiony do značné míry zmizely; Model zaměnil nerovnost za skutečné riziko.
Šablona řízení dopadu na základě skupiny:
Úkol: Prozkoumejte následující rozhodovací údaje podle skupin (žádné osobní údaje, kategorické shrnutí).Údaje: [skupina | celkové rozhodnutí | míra negativních rozhodnutí | intenzita kontroly]Výstup: 1) Vykazuje míra negativních rozhodnutí významný rozdíl mezi skupinami? 2) Může být rozdíl způsoben skutečným rizikem nebo intenzitou kontroly/reprezentace? 3) Existuje nějaká známka zpětné vazby? 4) Doporučení pro lidskou kontrolu. Pravidlo: Stanovení kauzality; Uveďte možná vysvětlení a způsoby testování.
Pozor: Argument, že „model je neutrální, protože pro všechny platí stejné pravidlo“, je zavádějící. Stejné pravidlo při použití na zkreslená data zachovává a zvětšuje nerovnost. Spravedlnost se měří rovností výsledku, nikoli pravidlem.
Časté chyby
- Mazání citlivých dat a myšlení „je to fér“. Náhradní proměnné udržují diskriminaci; otestujte výstup.
- Měření spravedlnosti záměrem. Spravedlnost se objeví na konci; Roztřiďte rozhodnutí do skupin a porovnejte.
- Zapomínání na nedostatečně zastoupenou skupinu. Model může pro menšinovou skupinu fungovat tiše špatně; Viz skupinová chyba.
- Použití nevysvětleného modelu při rozhodování o udělování práv. Systém, který nemůže produkovat ospravedlnění, nemůže přijímat veřejná rozhodnutí.
- Neposkytnutí žádného prostředku námitky. Každé automatizované rozhodnutí by mělo podléhat lidské kontrole.
- Nevedení auditní stopy. Mělo by být zaznamenáno, s jakými údaji/modelem/odpovědnou osobou bylo rozhodnutí učiněno.
V souhrnu
Ve veřejném sektoru může umělá inteligence zvýšit konzistenci, ale také tiše přenést diskriminaci z minulosti. Zkreslení pochází z historických dat, mezery v zastoupení, zástupných proměnných a nepřesných měření; Smazání citlivých dat to nevyřeší. Spravedlnosti je dosaženo testováním výsledku napříč skupinami. A žádného občana nemůže zbavit volebního práva „systém to řekl“: každé rozhodnutí musí být vysvětlitelné, napadnutelné a kontrolovatelné. Je to instituce, která nese odpovědnost, nikoli algoritmus.
Aplikační úkol
Vyberte si ve své jednotce rozhodovací proces s umělou inteligencí nebo automatizovaný. Vyjmenujte možná zkreslení a najděte alespoň jedno náhradní variabilní riziko pomocí šablony „Source of bias scan“. Pomocí „plánu testu spravedlivosti“ určete, na která rozdělení skupin se máte podívat. Pro vzorové rozhodnutí vytvořte vysvětlení pro občany pomocí šablony "Vysvětlení rozhodnutí".
kontrolní seznam
- [ ] Skenoval jsem zdroje zkreslení (historické, reprezentace, proxy, měření).
- [ ] Nesmazal jsem jen citlivá data; Výstup jsem testoval po skupinách.
- [ ] Kontroloval jsem chybovost u nedostatečně zastoupených skupin.
- [ ] Pro každé rozhodnutí jsem uvedl jednoduché a vysvětlitelné odůvodnění.
- [ ] Definoval jsem námitku a cestu lidské kontroly.
- [ ] Audit trail (data/verze modelu/odpovědnost) je udržován.