zisky:
- Schopnosť rozpoznať riziká diskriminácie, zaujatosti a nepriamej diskriminácie pri oceňovaní a upisovaní a testovať ich vo výstupoch umelej inteligencie
- Schopnosť dodržiavať právo na vysvetliteľnosť a námietky v rámci predpisov SEDDK, KVKK a princípov automatického rozhodovania
- Schopnosť aplikovať ľudskú kontrolu a povinnosti odôvodňovania pri vysoko rizikových automatizovaných rozhodnutiach
Poistenie je podnikanie, ktoré zoskupuje a oceňuje riziko; ale toto zoskupenie musí byť spravodlivé. Poskytovanie vyššieho poistného alebo odmietnutie krytia osobe z dôvodu chránených charakteristík, ako je pohlavie, etnická príslušnosť, vierovyznanie, región bydliska, je nespravodlivou diskrimináciou a je zakázané. Umelá inteligencia (softvér, ktorý sa učí z historických údajov a generuje cenové a rozhodovacie odporúčania) predstavuje v tejto oblasti osobitné nebezpečenstvo: môže sa naučiť nespravodlivé vzorce v historických údajoch a nevedomky udržiavať alebo dokonca skrývať diskrimináciu. Navyše to môže robiť nie priamo, ale nepriamo (prostredníctvom proxy premennej). V tejto lekcii sa naučíte, ako rozpoznať riziká zaujatosti a diskriminácie pri stanovovaní cien a upisovaní, ako testovať férovosť výstupu umelej inteligencie a ako dodržiavať právo na vysvetliteľnosť a námietky v rámci SEDDK (Agentúra pre reguláciu a dohľad nad poisťovníctvom a súkromným dôchodkom), KVKK a princípov automatického rozhodovania. Táto jednotka nie je právnym poradenstvom; Vysvetľuje všeobecné zásady, v každom konkrétnom prípade sa určite poraďte s právnym oddelením/oddelením pre dodržiavanie predpisov.
Odkiaľ pochádzajú predsudky a diskriminácia?
Zaujatosť AI vzniká z troch hlavných zdrojov:
- Skreslenie údajov: Model sa dozvie o nespravodlivosti v historických údajoch. Napríklad, ak sa určitej skupine v minulosti systematicky poskytovalo vysoké poistné, model to naďalej považuje za „normálne“.
- Náhradná premenná (proxy): Aj keď model priamo nepoužíva chránený prvok (pohlavie, pôvod), diskriminuje nepriamo použitím premennej, ktorá s ním silne súvisí (susedstvo, meno, spôsob nakupovania).
- Skreslenie vzorky: Pretože niektoré skupiny sú v údajoch nedostatočne zastúpené, model o nich vytvára nespoľahlivé a nespravodlivé úsudky.
Existujú dva typy diskriminácie. Priama diskriminácia: očividné použitie chránenej charakteristiky. Nepriama diskriminácia: keď zjavne neutrálne kritérium neprimerane ovplyvňuje určitú skupinu. Druhý je zákernejší, pretože sa vyskytuje bez zámeru a je ťažké ho odhaliť.
Pozor: Obhajoba, že „model je založený na štatistike, je teda objektívny“, je mylná. Štatistika zahŕňa aj minulú nespravodlivosť; Model to nelegitimizuje, ale zachováva. Férovosť je niečo, čo treba aktívne testovať.
Testovací výstup pre spravodlivosť
Otestujte výstup AI (cenové odporúčanie, dôvod odmietnutia, skóre rizika) tromi otázkami pre spravodlivosť:
- Je dôvod legitímny? Je rozhodnutie založené na kritériách, ktoré majú skutočný a opodstatnený vzťah k riziku, alebo na chránenom majetku alebo jeho splnomocnencovi?
- Existuje proxy? Môže byť jedna z použitých premenných (susedstvo, meno, povolanie, rodinný stav) silne spojená s chránenou charakteristikou?
- Dá sa to vysvetliť? Môžete klientovi a audítorovi vysvetliť rozhodnutie jasne a obhájiteľne? „Modelka to povedala“ nie je vyhlásenie.
Ak odôvodnenie neprejde týmito tromi testami, zamietne sa a rozhodnutie je založené na legitímnych kritériách.
Tip: Otestujte si odôvodnenie odmietnutia alebo vysokého poistného touto vetou: „Nebudem sa hanbiť, keď to vysvetlím klientovi a audítorovi?“ Nemalo by sa používať hanebné alebo neobhájiteľné odôvodnenie (susedstvo, meno, pôvod).
Legislatívny rámec: SEDDK, KVKK, automatické rozhodovanie
Využitie umelej inteligencie v poisťovníctve podlieha rôznym reguláciám. Hlavné princípy:
- Zásady SEDDK: Poisťovacie činnosti by sa mali vykonávať spravodlivým, transparentným spôsobom, ktorý chráni spotrebiteľa; Stanovenie cien musí byť opodstatnené a nesmie dochádzať k nespravodlivej diskriminácii.
- KVKK: Osobné údaje musia byť spracované v súlade so zákonom, obmedzené na účel a bezpečne. Špeciálne údaje, ako napríklad zdravotný stav, podliehajú najvyššej ochrane.
- Princípy automatizovaného rozhodovania: Pri rozhodnutiach, ktoré sú založené výlučne na automatickom spracovaní a významne ovplyvňujú osobu (napríklad odmietnutie zo strany samotnej umelej inteligencie), osobu; Do popredia sa dostáva právo vzniesť námietku proti rozhodnutiu, požiadať o ľudský zásah a dozvedieť sa zdôvodnenie rozhodnutia.
Preto sú vysvetliteľnosť, ľudská kontrola a opodstatnenosť nevyhnutné pri rozhodovaní s vysokým dopadom. Neodôvodnené rozhodnutie modelu „čiernej skrinky“ je nekontrolovateľné a v rozpore s týmito právami.
Krok za krokom: Spravodlivé a harmonické rozhodnutie
- Identifikujte chránené vlastnosti. Pohlavie, pôvod, presvedčenie, zdravotný stav, región bydliska atď.
- Vykonajte skenovanie servera proxy. Spochybňujte vzťah použitých premenných s chránenými vlastnosťami.
- Osvedčte odôvodnenie do testu legitimity. Existuje skutočný vzťah s rizikom? Dá sa to vysvetliť?
- Pridajte ľudskú kontrolu. Nechajte človeka, aby skontroloval automatický výsledok vo vysokoúčinnom rozhodnutí.
- Zdokumentujte odôvodnenie. Zaznamenajte, na základe akých legitímnych kritérií bolo rozhodnutie založené.
- Poznať spôsob, ako sa odvolať. Poskytnite zákazníkovi právo vzniesť námietku, ľudskú kontrolu a odôvodnenie.
tri mini prípady
Prípad 1 – Odmietnutie splnomocnenca. Cenový model bývania navrhoval systematicky vysokú prémiu za konkrétne PSČ. Expert skúmal: PSČ sa prekrývalo s oblasťou s určitou etnickou koncentráciou; toto bola proxy premenná. Keď sa rozčlení skutočné riziko (vek budovy, typ konštrukcie, história poškodenia), väčšina nárastu už nie je opodstatnená. Cena bola znovu stanovená na základe legitímnych rizikových kritérií.
Prípad 2 – Nedostatočne zastúpená skupina. Za produkt zdravotnej starostlivosti ponúkal model príliš vysokú prémiu malej vekovej skupine. Dôvod: táto skupina bola v údajoch tak nedostatočne zastúpená, že v dôsledku niekoľkých vysokých škôd sa celá skupina javila ako „riziková“. Expert vykonal opravu dôveryhodnosti (štatistickej spoľahlivosti) a zdokumentoval, že odporúčanie je nespoľahlivé; Nebolo uplatnené nespravodlivé zvýšenie.
Prípad 3 – Právo namietať. Žiadosť bola automaticky odmietnutá so skóre poháňaným AI. Zákazník namietal. V rámci adaptačného procesu bolo rozhodnutie opätovne preskúmané odborníkom; Zdá sa, že skóre je založené na chýbajúcich údajoch (nezhodné minulé poškodenie). Rozhodnutie bolo opravené. Bez ľudskej kontroly a práva namietať by nespravodlivé odmietnutie bolo trvalé.
Štyri kopírovateľné výzvy
1) Proxy a diskriminačné skenovanie:
Skontrolujte nasledujúce odôvodnenie ceny/rozhodnutia pre spravodlivosť: [zdôvodnenie] Hľadajte: Používa sa chránená charakteristika (pohlavie, pôvod, viera, zdravie, oblasť bydliska) priamo alebo nepriamo (zástupca: štvrť, meno, povolanie atď.)? Pre každú spornú premennú vysvetlite, prečo by to mohla byť proxy a navrhnite legitímnu alternatívu.
2) Test legitimity odôvodnenia:
Otestujte nasledujúce odôvodnenie odmietnutia/vysokého bonusu tromi otázkami: [odôvodnenie]1. Existuje skutočný a opodstatnený vzťah k riziku?2. Je založená na chránenom majetku alebo jeho splnomocnencovi?3. Dá sa to vysvetliť klientovi a audítorovi? Odpovedzte jasne na každú otázku; Označte dôvod, ktorý testom neprešiel, ako „ODMIETNUŤ“.
3) Vysvetliteľný návrh odôvodnenia:
Navrhnite klientovi jasné zdôvodnenie rozhodnutia na základe nasledujúcich OVERENÝCH, legitímnych kritérií rizika: [legitímne kritériá] Tón: úctivý, jasný. Používanie chráneného vlastníctva/proxy. Uveďte právo zákazníka vzniesť námietku a požiadať o kontrolu človekom. Toto je návrh; potvrdzuje odborník.
4) Kontrolný zoznam ľudskej kontroly:
Vytvorte kontrolný zoznam ľudského auditu pre automatizované rozhodnutie s vysokým dopadom:Typ rozhodnutia: [odmietnutie/vysoká prémia/obmedzenie kolaterálu]Zoznam: kontrola kvalifikovaným odborníkom, kontrola údajov, férovosť/kontrola proxy, dokument s odôvodnením, oznámenie o odvolaní zákazníka, záznam trasy.
Slabá výzva / Silná výzva
Slabý: "Na základe týchto údajov určte najziskovejšiu cenu a napíšte odôvodnenie."
Problém: Nerešpektuje sa spravodlivosť, zástupnosť a vysvetliteľnosť; model môže zachovať a ospravedlniť minulú diskrimináciu.
Silný: "Skontrolujte toto odôvodnenie pre proxy a diskrimináciu; označené body, ktoré sa spoliehajú na chránenú funkciu alebo jej proxy a nahraďte ich kritériom legitímneho rizika. Načrtnite vysvetliteľné odôvodnenie."
Prečo je to dobré: Diskriminácia sa aktívne testuje, rozhodnutie je založené na legitímnych a vysvetliteľných kritériách.
porovnávacia tabuľka
Predmet
riskantný prístup
správny prístup
Výstup modelu
"Štatistika je objektívna"
Aktívne testujte spravodlivosť
Variabilný výber
Využite všetky údaje
Extrahovať proxy
odôvodnenie
"To povedal model"
Legitímne, vysvetliteľné kritérium
Rozhodnutie s vysokým dopadom
plne automatické
Ľudský dohľad je povinný
Zákaznícke právo
Nenahlásené
Námietka + kontrola človekom + odôvodnenie
Časté chyby
- Obhajoba "štatistika je objektívna". Ospravedlňovanie minulej nespravodlivosti.
- Ignorovanie proxy. Nepriama diskriminácia na základe susedstva/mena/profesie.
- Nespoľahlivé rozhodnutie pre nedostatočne zastúpenú skupinu. Za predpokladu, že rýchlosť získaná z malej vzorky je presná.
- Rozhodnutie čiernej skrinky. Vykonávanie automatického rozhodnutia, ktorého dôvod nemožno vysvetliť.
- Neuznanie práva namietať. Nedávajúc zákazníkovi právo na ľudskú kontrolu a ospravedlnenie.
V súhrne
Umelá inteligencia sa môže naučiť diskrimináciu v historických údajoch a nepriamo v nej (prostredníctvom proxy) pokračovať pri oceňovaní a upisovaní. Aktívne testujte spravodlivosť: identifikujte chránené vlastnosti a proxy, testujte opodstatnenosť legitimity a vysvetliteľnosti. SEDDK, KVKK a princípy automatického rozhodovania; Spravodlivé ceny si vyžadujú vysvetliteľnosť, kontrolu človekom a právo namietať. Pri rozhodnutiach s vysokým dopadom je nevyhnutná ľudská kontrola. V konkrétnom prípade sa obráťte na právne oddelenie/oddelenie compliance; Diskriminácia je červená čiara.
Aplikačná úloha
Napíšte zoznam 10 premenných, ktoré cenový model používa (skutočný alebo príklad). Pri každom odpovedzte na otázku „môže to byť zástupca chráneného vlastníctva“; Označte podozrivých. Potom zadajte vzorové odôvodnenie odmietnutia prostredníctvom testu legitimity č. 2: prejde testom, a ak nie, ako ho nahradíte legitímnym kritériom?
kontrolný zoznam
- [ ] Zadal som chránené vlastnosti.
- [ ] Skenoval som premenné na proxy.
- [ ] Ospravedlnenie som podrobil testu legitimity a vysvetliteľnosti.
- [ ] Urobil som kontroly spoľahlivosti pre nedostatočne zastúpené skupiny.
- [ ] Do rozhodnutia s vysokým dopadom som pridal ľudskú kontrolu.
- [ ] Zdokumentoval som odôvodnenie a dal som zákazníkovi právo namietať/kontrolu človekom.
- [ ] V prípade pochybností som sa obrátil na právne oddelenie/oddelenie pre dodržiavanie predpisov.