zisky:
- Schopnost rozpoznat rizika diskriminace, zaujatosti a nepřímé diskriminace při stanovování cen a upisování a testovat je ve výstupu umělé inteligence
- Schopnost dodržovat právo na vysvětlitelnost a námitku v rámci předpisů SEDDK, KVKK a principů automatického rozhodování
- Schopnost aplikovat lidskou kontrolu a povinnosti zdůvodnění při vysoce rizikových automatizovaných rozhodnutích
Pojištění je podnikání, které seskupuje a oceňuje riziko; ale toto seskupení musí být spravedlivé. Poskytování vyššího pojistného nebo odepření krytí určité osobě z důvodu chráněných charakteristik, jako je její pohlaví, etnická příslušnost, přesvědčení, oblast bydliště, je nespravedlivá diskriminace a je zakázáno. Umělá inteligence (software, který se učí z historických dat a generuje cenová a rozhodovací doporučení) představuje v této oblasti zvláštní nebezpečí: může se naučit nespravedlivé vzorce v historických datech a nevědomky udržovat nebo dokonce skrývat diskriminaci. Navíc to může dělat ne přímo, ale nepřímo (prostřednictvím proxy proměnné). V této lekci se naučíte, jak rozpoznat rizika předpojatosti a diskriminace při stanovování cen a upisování, jak testovat spravedlivost výstupu umělé inteligence a jak dodržet právo na vysvětlitelnost a námitku v rámci SEDDK (Agentura pro regulaci a dohled nad pojišťovnictvím a soukromými penzijními fondy), KVKK a principy automatického rozhodování. Tato jednotka není právní poradenství; Vysvětluje obecné zásady, v každém konkrétním případě se nezapomeňte poradit s právním oddělením/oddělením pro dodržování předpisů.
Kde se berou předsudky a diskriminace?
Zkreslení AI vychází ze tří hlavních zdrojů:
- Zkreslení dat: Model se dozvídá o nespravedlivosti v historických datech. Pokud například určité skupině byly v minulosti systematicky poskytovány vysoké pojistné, model to nadále považuje za „normální“.
- Náhradní proměnná (proxy): I když model přímo nepoužívá chráněný prvek (pohlaví, původ), diskriminuje nepřímo pomocí proměnné, která s ním úzce souvisí (sousedství, jméno, nákupní vzorec).
- Vzorkování: Protože některé skupiny jsou v datech nedostatečně zastoupeny, model o nich vytváří nespolehlivé a nespravedlivé úsudky.
Existují dva typy diskriminace. Přímá diskriminace: do očí bijící použití chráněné charakteristiky. Nepřímá diskriminace: když zjevně neutrální kritérium nepřiměřeně ovlivňuje určitou skupinu. Druhá je zákeřnější, protože k ní dochází bez úmyslu a je obtížné ji odhalit.
Pozor: Obhajoba, že „model vychází ze statistik, je tedy objektivní“, je mylná. Statistiky také zahrnují minulou nespravedlnost; Model to nelegitimizuje, ale zvěčňuje. Spravedlnost je něco, co je třeba aktivně testovat.
Testovací výstup pro spravedlnost
Otestujte výstup umělé inteligence (cenové doporučení, důvod odmítnutí, skóre rizika) třemi otázkami pro spravedlnost:
- Je důvod legitimní? Je rozhodnutí založeno na kritériích, která mají reálný a opodstatněný vztah k riziku, nebo na chráněném majetku či jeho zástupci?
- Existuje proxy? Mohla by být jedna z použitých proměnných (sousedství, jméno, povolání, rodinný stav) silně spojena s chráněnou charakteristikou?
- Dá se to vysvětlit? Můžete klientovi a auditorovi vysvětlit rozhodnutí srozumitelně a obhajitelně? „Model to řekl“ není prohlášení.
Pokud odůvodnění neprojde těmito třemi testy, je zamítnuto a rozhodnutí je založeno na legitimních kritériích.
Tip: Otestujte zdůvodnění zamítnutí nebo vysokého pojistného touto větou: "Budu se stydět, když to vysvětlím klientovi a auditorovi?" Nemělo by se používat ostudné nebo neobhajitelné zdůvodnění (sousedství, jméno, původ).
Legislativní rámec: SEDDK, KVKK, automatické rozhodování
Využití umělé inteligence v pojišťovnictví podléhá různým regulacím. Hlavní principy:
- Zásady SEDDK: Pojišťovací činnosti by měly být prováděny spravedlivým, transparentním způsobem, který chrání spotřebitele; Ceny musí být odůvodněné a nesmí docházet k nespravedlivé diskriminaci.
- KVKK: Osobní údaje musí být zpracovávány v souladu se zákonem, omezeny na účel a bezpečně. Speciální údaje, např. zdravotní stav, podléhají nejvyšší ochraně.
- Principy automatizovaného rozhodování: V rozhodnutích, která jsou založena pouze na automatickém zpracování a významně ovlivňují osobu (např. odmítnutí ze strany samotné umělé inteligence), osobu; Do popředí se dostává práva vznést námitku proti rozhodnutí, požadovat lidský zásah a dozvědět se zdůvodnění rozhodnutí.
Proto jsou vysvětlitelnost, lidská kontrola a ospravedlnění zásadní v rozhodnutích s velkým dopadem. Neodůvodněné rozhodnutí modelu „černé skříňky“ je nekontrolovatelné a v rozporu s těmito právy.
Krok za krokem: Spravedlivé a harmonické rozhodnutí
- Identifikujte chráněné vlastnosti. Pohlaví, původ, víra, zdraví, oblast bydliště atd.
- Proveďte skenování proxy. Zpochybňujte vztah použitých proměnných s chráněnými vlastnostmi.
- Otestujte ospravedlnění testu legitimity. Existuje skutečný vztah s rizikem? Dá se to vysvětlit?
- Přidejte lidskou kontrolu. Nechte člověka, aby zkontroloval automatický výsledek v rozhodnutí s velkým dopadem.
- Zdokumentujte zdůvodnění. Zaznamenejte, na jakých legitimních kritériích bylo rozhodnutí založeno.
- Znát způsob, jak se odvolat. Poskytněte zákazníkovi právo vznést námitku, kontrolu a zdůvodnění.
tři mini pouzdra
Případ 1 – Odmítnutí proxy. Cenový model bydlení navrhoval systematicky vysokou prémii za konkrétní PSČ. Znalec zkoumal: PSČ se překrývalo s oblastí s určitou etnickou koncentrací; toto byla proxy proměnná. Když se rozebere skutečné riziko (stáří budovy, typ konstrukce, historie poškození), většina nárůstu již není opodstatněná. Cena byla znovu stanovena na základě legitimních rizikových kritérií.
Případ 2 – Nedostatečně zastoupená skupina. U zdravotnického produktu nabízel model příliš vysokou prémii malé věkové skupině. Důvod: tato skupina byla v datech tak nedostatečně zastoupena, že kvůli několika vysokým škodám se celá skupina jevila jako „riziková“. Expert provedl opravu věrohodnosti (statistické spolehlivosti) a doložil, že doporučení je nespolehlivé; Nespravedlivé zvýšení nebylo uplatněno.
Případ 3 – Právo vznést námitku. Aplikace byla automaticky zamítnuta s hodnocením AI. Zákazník protestoval. V rámci adaptačního procesu bylo rozhodnutí znovu přezkoumáno odborníkem; Zdálo se, že skóre je založeno na chybějících datech (neshodné minulé poškození). Rozhodnutí bylo opraveno. Bez lidské kontroly a práva vznést námitku by nespravedlivé odmítnutí bylo trvalé.
Čtyři kopírovatelné výzvy
1) Proxy a diskriminační skenování:
Pro spravedlivost zkontrolujte následující zdůvodnění cen/rozhodnutí: [zdůvodnění] Hledejte: je chráněná charakteristika (pohlaví, původ, přesvědčení, zdraví, oblast bydliště) používána přímo nebo nepřímo (zástupce: sousedství, jméno, profese atd.)? U každé sporné proměnné vysvětlete, proč by to mohla být proxy, a navrhněte legitimní alternativu.
2) Test legitimity odůvodnění:
Otestujte následující zdůvodnění odmítnutí/vysokého bonusu třemi otázkami: [zdůvodnění]1. Existuje skutečný a ospravedlnitelný vztah k riziku?2. Je založeno na chráněném majetku nebo jeho zmocněnce?3. Dá se to vysvětlit klientovi a auditorovi? Odpovězte na každou otázku jasně; Označte důvod, který testem neprošel, jako „ZAMÍTNUTÍ“.
3) Vysvětlitelný návrh odůvodnění:
Navrhněte klientovi zdůvodnění rozhodnutí na základě následujících OVĚŘENÝCH, legitimních kritérií rizik: [legitimní kritéria] Tón: uctivý, jasný. Používání chráněného vlastnictví/proxy. Uveďte právo zákazníka vznést námitku a požádat o kontrolu člověkem. Toto je návrh; potvrzuje odborník.
4) Kontrolní seznam lidské kontroly:
Vytvořte kontrolní seznam lidského auditu pro automatizované rozhodnutí s velkým dopadem: Typ rozhodnutí: [odmítnutí/vysoká prémie/omezení zajištění]Seznam: kontrola kvalifikovaným odborníkem, zkontrolovaná data, poctivost/kontrola proxy, dokument s odůvodněním, oznámení o odvolání zákazníka, záznam trasy.
Slabá výzva / Silná výzva
Slabý: "Na základě těchto údajů určete nejziskovější cenu a napište odůvodnění."
Problém: Není respektována férovost, zástupnost a vysvětlitelnost; model může zachovat a ospravedlnit minulou diskriminaci.
Strong: "Zkontrolujte toto odůvodnění pro proxy a diskriminaci; označte body, které se spoléhají na chráněný prvek nebo jeho proxy a nahraďte je kritériem legitimního rizika. Načrtněte vysvětlitelné odůvodnění."
Proč je to dobré: Diskriminace je aktivně testována, rozhodnutí je založeno na legitimních a vysvětlitelných kritériích.
srovnávací graf
Předmět
riskantní přístup
správný přístup
Výstup modelu
"Statistika je objektivní"
Aktivně testujte spravedlnost
Variabilní výběr
Využijte všechna data
Extrahujte proxy
zdůvodnění
"To říkal model"
Legitimní, vysvětlitelné kritérium
Rozhodnutí s vysokým dopadem
plně automatické
Lidský dohled je povinný
Právo zákazníka
Nenahlášeno
Námitka + lidská kontrola + odůvodnění
Časté chyby
- Obhajoba "statistika je objektivní". Ospravedlňování minulé nespravedlnosti.
- Ignorování proxy. Nepřímá diskriminace na základě sousedství/jména/profese.
- Nespolehlivé rozhodnutí pro nedostatečně zastoupenou skupinu. Za předpokladu, že rychlost získaná z malého vzorku je přesná.
- Rozhodnutí černé skříňky. Provádění automatického rozhodnutí, u kterého nelze vysvětlit důvod.
- Neuznávání práva vznést námitku. Nedávat zákazníkovi právo na lidskou kontrolu a zdůvodnění.
V souhrnu
Umělá inteligence se může naučit diskriminaci v historických datech a pokračovat v ní nepřímo (prostřednictvím proxy) při stanovování cen a upisování. Aktivně testujte poctivost: identifikujte chráněné vlastnosti a proxy, testujte oprávněnost a vysvětlitelnost. SEDDK, KVKK a principy automatického rozhodování; Spravedlivé ceny vyžadují vysvětlitelnost, kontrolu člověkem a právo vznést námitku. Lidská kontrola je nezbytná pro rozhodnutí s velkým dopadem. V konkrétním případě se obraťte na právní oddělení/oddělení compliance; Diskriminace je červená čára.
Aplikační úkol
Napište seznam 10 proměnných, které cenový model používá (skutečný nebo příklad). U každého odpovězte na otázku „mohlo by se jednat o zástupce chráněného majetku“; Označte podezřelé. Poté vložte vzorové odůvodnění zamítnutí prostřednictvím testu legitimity č. 2: projde testem, a pokud ne, jak jej nahradíte legitimním kritériem?
kontrolní seznam
- [ ] Zadal jsem chráněné vlastnosti.
- [ ] Prohledal jsem proměnné na proxy.
- [ ] Zdůvodnění jsem podrobil testu legitimity a vysvětlitelnosti.
- [ ] Provedl jsem kontroly spolehlivosti u nedostatečně zastoupených skupin.
- [ ] Do rozhodnutí s velkým dopadem jsem přidal lidskou kontrolu.
- [ ] Zdokumentoval jsem zdůvodnění a dal zákazníkovi právo vznést námitku/kontrolu člověkem.
- [ ] V případě pochybností jsem se obrátil na právní oddělení/oddělení pro dodržování předpisů.