Zyski:
- Rozpoznaje źródła błędu algorytmicznego w danych, projektach i użyciu oraz testuje wyniki na poziomie grupowym.
- Wyjaśnia, w jaki sposób pętla sprzężenia zwrotnego i błąd reprezentacji zwiększają nierówności i ustanawia kontrolę wpływu.
- Zapewnia odpowiedzialność poprzez zapewnienie wyjaśnialności i odwołania w każdej zautomatyzowanej decyzji.
Społeczeństwo musi stosować swoją władzę jednakowo wobec wszystkich: podobne traktowanie dwóch obywateli znajdujących się w podobnej sytuacji, proporcjonalne różnice w różnych sytuacjach. Ta zasada równości jest obowiązkiem konstytucyjnym. Sztuczna inteligencja może zarówno usprawnić, jak i po cichu zakłócić tę dziedzinę. Może się to poprawić, ponieważ konsekwentnie stosowana zasada może zmniejszyć arbitralność i ludzkie uprzedzenia. Może to być szkodliwe, ponieważ modele sztucznej inteligencji uczą się na danych z przeszłości, a dane z przeszłości niosą ze sobą dyskryminację z przeszłości. Jeśli system zostanie przeszkolony na danych, które w przeszłości były niekorzystne dla określonej grupy, przenosi tę wadę w przyszłość – i to w jeszcze trudniejszej do wykrycia formie, pod przykrywką „obiektywnego algorytmu”. W tej części dowiesz się, jak rozpoznać stronniczość algorytmiczną (systematyczne stronniczość wyników modelu w stosunku do określonych grup) podczas korzystania ze sztucznej inteligencji w sektorze publicznym, jak ją zmniejszyć i, co najważniejsze, jak zapewnić rozliczalność algorytmiczną (zasada zautomatyzowanej decyzji jest możliwa do wyjaśnienia, kontrolowana i kwestionowana).
Skąd bierze się stronniczość?
Istnieje kilka źródeł stronniczości algorytmicznej i wszystkie są ryzykowne w miejscach publicznych:
- Błąd historyczny: dane szkoleniowe zawierają nierówności z przeszłości. Na przykład, jeśli w przeszłości dany obszar miał mniej usług, „dane dotyczące popytu” mogą wskazywać, że obszar ten ma niskie potrzeby – podczas gdy w rzeczywistości popyt był niski z powodu braku usług.
- Stronniczość dotycząca reprezentacji: niektóre grupy są niedostatecznie reprezentowane w danych (osoby bez dostępu cyfrowego, grupy posługujące się mniejszościami językowymi) i model w ich przypadku jest słabo reprezentowany.
- Stronniczość zastępcza: nawet jeśli model nie uwzględnia bezpośrednio zabronionego kryterium (pochodzenie etniczne, religia), może spowodować taką samą dyskryminację, patrząc na powiązany z nim wskaźnik zastępczy (sąsiedztwo, imię i nazwisko, kod pocztowy).
- Błąd pomiaru: to, co mierzymy, nie jest tym, co faktycznie chcemy mierzyć. „Liczba skarg” mierzy zdolność do składania skarg, a nie potrzebę.
Uwaga: twierdzenie „usunąłem wrażliwe dane (płeć, pochodzenie etniczne) z modelu, teraz jest to uczciwe”, wprowadza w błąd”. Dyskryminacja poprzez zmienne zastępcze może być kontynuowana. Uczciwość osiąga się nie poprzez usuwanie danych wejściowych, ale poprzez testowanie wyników pomiędzy grupami.
Testowanie uczciwości: zobacz wyniki
To, czy system jest sprawiedliwy, czy nie, można zrozumieć, patrząc na jego wyniki, a nie intencje. Metoda podstawowa: podziel decyzję na grupy i porównaj. Czy wyniki, takie jak współczynnik akceptacji/odrzucenia, poziom błędów, czas oczekiwania, różnią się znacząco pomiędzy różnymi grupami (płeć, wiek, region, dochód)? Jeżeli istnieje różnica, czy jest ona uzasadniona, czy też stanowi dyskryminację? Ponieważ analiza ta może wymagać danych osobowych, należy ją zagregować i przeprowadzić zgodnie z KVKK.
Wskazówka: przed wdrożeniem nowego systemu decyzyjnego opartego na sztucznej inteligencji podziel jego decyzje według grup demograficznych i sporządź „raport rzetelności”. Jeśli znajdziesz różnicę, „czy można tę różnicę wyjaśnić?” Zadaj pytanie komisji złożonej z ludzi.
Wyjaśnialność i atrakcyjność: istota odpowiedzialności
W sektorze publicznym nie można pozbawić obywatela swoich praw, odpowiadając „tak zdecydował system”. W przypadku każdej decyzji zautomatyzowanej lub wspomaganej przez sztuczną inteligencję należy zapewnić trzy rzeczy:
- Wyjaśnialność: na czym opierała się decyzja i jakie czynniki były skuteczne, należy wyjaśnić prostym językiem.
- Sposób odwołania: Obywatele powinni mieć możliwość sprzeciwienia się decyzji i zwrócenia się do człowieka o jej rozpatrzenie.
- Ścieżka audytu: Należy odnotować, jakie dane, jaki model/wersję i z jaką osobą odpowiedzialną podjęto decyzję.
trzy mini etui
Przypadek 1 – Przechwycono wariant zastępczy. Jeden z modeli ustalania priorytetów pomocy nie wykorzystywał danych wrażliwych, ale sprawdzał „kod pocztowy”. W teście uczciwości stwierdzono, że niektórym dzielnicom systematycznie przypisuje się niski priorytet – skorelowany z kodem pocztowym, dochodami i gęstością etniczną. Zmienną usunięto, a priorytet powiązano bezpośrednio ze wskaźnikami potrzeb.
Przypadek 2 – Luka w reprezentacji. Prawdopodobieństwo, że chatbot będzie wprowadzał w błąd pytania obywateli, których język ojczysty nie jest turecki, było o 41% większe; Dane szkoleniowe zawierały niewiele informacji na temat tej grupy. Po dodaniu obsługi wielojęzycznej i progu przekazywania przez człowieka luka się zmniejszyła.
Przypadek 3 – Niewyjaśniona odmowa. Instytucja automatycznie odrzuciła wniosek; obywatel „dlaczego?” Zapytany funkcjonariusz nie potrafił wyjaśnić, ponieważ powód powstania modelu był niezrozumiały. Incydent pokazał, że do podejmowania decyzji wiążących się z prawami nie można wykorzystywać modeli o słabej wyjaśnialności; System został przekształcony w model generujący uzasadnienie i wymagający akceptacji człowieka.
Cztery szablony do kopiowania
1) Źródło skanowania stronniczości:
Twoja rola: ekspert w zakresie uczciwości algorytmicznej. Poniżej znajdziesz proces decyzyjny oparty na sztucznej inteligencji. Wymień możliwe źródła błędu systematycznego: (1) błąd historyczny, (2) błąd reprezentacji (grupa niedostatecznie reprezentowana), (3) zmienne zastępcze (kolumna powiązana z zabronionym kryterium), (4) błąd pomiaru. Podaj konkretny przykład każdego z nich i powiedz, jak go przetestować. PROCES: [proces decyzyjny i wykorzystane dane]
2) Plan testu uczciwości:
Wygeneruj plan testowania uczciwości dla następujących wyników decyzji: jakie grupy (wiek, płeć, region, dochód) powinienem podzielić, jakie wskaźniki (wskaźnik akceptacji, poziom błędów, czas oczekiwania) powinienem porównać, jak zdecydować, czy różnica jest uzasadniona czy dyskryminująca? Dodaj ostrzeżenie KVKK. DECYZJA: [jaka decyzja]
3) Oświadczenie o decyzji (do obywatela):
Napisz prostym językiem zrozumiały dla obywatela projekt wyjaśnienia następującej decyzji: jakie czynniki miały wpływ. Dodaj na koniec prawo do odwołania i możliwość przeprowadzenia przeglądu przez człowieka [z czasem do potwierdzenia]. Używanie niejasnych wyrażeń, takich jak „System tak zdecydował”. DECYZJA: [podsumowanie i czynniki wpływające]
4) Kontrola odpowiedzialności przed rozpowszechnianiem:
Przed wdrożeniem systemu decyzyjnego opartego na sztucznej inteligencji przygotuj listę kontrolną odpowiedzialności: czy jest to możliwe do wyjaśnienia, czy istnieje sposób na odwołanie, czy prowadzona jest ścieżka audytu (dane/wersja modelu/osoba odpowiedzialna), czy przeprowadzono testy rzetelności, gdzie znajduje się punkt akceptacji ze strony człowieka. Oznacz brakujące elementy czerwoną flagą.SYSTEM: [przepis]
Słaba zachęta/silna zachęta
Słabe: „Czy ten model decyzyjny jest sprawiedliwy?”
Strong: „Twoja rola to ekspert ds. rzetelności algorytmicznej. W przypadku tego modelu ustalania priorytetów pomocy najpierw przeskanuj źródła stronniczości (historyczne, reprezentacyjne, zmienna zastępcza, pomiar) i podaj konkretne przykłady dla każdego z nich. Następnie opracuj plan testowania rzetelności: podział według grup, jakie wskaźniki, jak określić zasadność różnicy; dodaj ostrzeżenie KVKK. Na koniec, przed wdrożeniem systemu, przygotuj listę kontrolną wyjaśnialności, ścieżkę odwołania i ścieżkę audytu oraz oznacz czerwoną flagą niedociągnięcia.
Różnica: silna zachęta szuka stronniczości u źródła, wyniki są testowane przez grupy i sprawia, że odpowiedzialność jest powszechna.
Wymiary i kontrola sprawiedliwości
Rozmiar
Ryzyko
kontrola
dane historyczne
Przeszłość niesie ze sobą nierówność
Testuj wyjście według grup
reprezentacja
Działa źle dla niektórych grup
Poziom błędu oparty na grupie
zmienna zastępcza
ukryta dyskryminacja
Zależność kryterium wrażliwego na zmienną
Wyjaśnialność
nieuzasadniona decyzja
Generuj proste wyjaśnienie
sprzeciw
przepadek
Ścieżka przeglądu ręcznego
Pętla sprzężenia zwrotnego i błąd reprezentacji
Najbardziej podstępna forma dyskryminacji algorytmicznej nie polega na pojedynczej błędnej decyzji, ale na pętli sprzężenia zwrotnego, która wzmacnia się z biegiem czasu (wyniki modelu wpływają na późniejsze dane szkoleniowe, wzmacniając istniejące obciążenie). Na przykład, jeśli model inspekcji oznaczy konkretną okolicę jako „ryzykowną”, im więcej będzie tam przeprowadzanych kontroli, tym więcej zostanie utworzonych rekordów, a model uzna tę okolicę za bardziej ryzykowną – nawet jeśli różnica wzrosła w sprawdzanej lokalizacji, a nie w rzeczywistym ryzyku. Tym, co toruje drogę do tego, jest często błąd reprezentacji (dane uczące odzwierciedlające niektóre grupy w sposób niepełny lub zniekształcony). W sektorze publicznym cykle te mogą narazić grupy znajdujące się w niekorzystnej sytuacji na coraz bardziej rygorystyczny nadzór i sankcje. Sposobem na zabezpieczenie się jest monitorowanie wpływu modelu, a nie tylko jego wyników: regularne monitorowanie grupowego rozkładu decyzji i nie wdrażanie na ślepo zaleceń modelu.
Mini-sprawa — wywyższające się wątpliwości. Model wykrywania oszustw związanych z opieką socjalną oznaczył region, który był w przeszłości dokładniej kontrolowany, jako region wysokiego ryzyka. Kiedy zespół wyodrębnił z danych intensywność egzekwowania prawa i zmierzył „rzeczywisty współczynnik wykrywalności w stosunku do populacji”, odkrył, że różnice między regionami w dużej mierze zniknęły; Model pomylił nierówność z rzeczywistym ryzykiem.
Szablon kontroli wpływu oparty na grupie:
Zadanie: Zbadaj następujące dane decyzyjne według grup (brak danych osobowych, podsumowanie kategoryczne).Dane: [grupa | całkowita decyzja | wskaźnik decyzji negatywnych | intensywność inspekcji] Wyniki: 1) Czy odsetek decyzji negatywnych wykazuje znaczącą różnicę między grupami? 2) Czy różnica może wynikać z rzeczywistego ryzyka lub intensywności kontroli/reprezentacji? 3) Czy są jakieś oznaki pętli sprzężenia zwrotnego? 4) Zalecenia dotyczące kontroli człowieka. Zasada: Ustalenie twierdzenia o związku przyczynowym; Wymień możliwe wyjaśnienia i sposoby testowania.
Uwaga: Argument, że „model jest neutralny, ponieważ stosuje wobec wszystkich tę samą zasadę” jest mylący. Ta sama zasada zastosowana do skośnych danych zachowuje i powiększa nierówności. Sprawiedliwość mierzy się równością wyniku, a nie regułą.
Typowe błędy
- Usuwanie wrażliwych danych i myślenie „to sprawiedliwe”. Zmienne zastępcze utrwalają dyskryminację; przetestuj wyjście.
- Mierzenie sprawiedliwości intencją. Na końcu pojawia się sprawiedliwość; Sortuj decyzje w grupy i porównuj.
- Zapominając o grupie niedostatecznie reprezentowanej. Model może działać słabo w przypadku grupy mniejszościowej; Zobacz błąd oparty na grupie.
- Stosowanie niewyjaśnionego modelu w decyzjach przyznających prawa. System, który nie jest w stanie przedstawić uzasadnienia, nie może podejmować decyzji publicznych.
- Nie udostępniając żadnych środków sprzeciwu. Każda zautomatyzowana decyzja powinna podlegać weryfikacji przez człowieka.
- Nieprowadzenie ścieżki audytu. Należy zapisać, z jakimi danymi/modelem/osobą odpowiedzialną podjęto decyzję.
Podsumowując
W sektorze publicznym sztuczna inteligencja może zwiększyć spójność, ale także po cichu przenieść dyskryminację z przeszłości. Błąd wynika z danych historycznych, luki w reprezentacji, zmiennych zastępczych i niedokładnego pomiaru; Usunięcie wrażliwych danych nie rozwiąże problemu. Uczciwość osiąga się poprzez testowanie wyników w różnych grupach. I żaden obywatel nie może zostać pozbawiony praw wyborczych na skutek „tak powiedział system”: każda decyzja musi być możliwa do wyjaśnienia, kwestionowania i kontroli. Odpowiedzialność ponosi instytucja, a nie algorytm.
Zadanie aplikacji
Wybierz w swojej jednostce proces decyzyjny oparty na sztucznej inteligencji lub zautomatyzowany. Wymień możliwe błędy systematyczne i znajdź co najmniej jedną zastępczą zmienną ryzyka za pomocą szablonu „Skan źródła błędu systematycznego”. Określ, którym podziałom grup należy się przyjrzeć, korzystając z „planu testu uczciwości”. W przypadku przykładowej decyzji przygotuj wyjaśnienie skierowane do obywateli, korzystając z szablonu „Wyjaśnienie decyzji”.
lista kontrolna
- [ ] Przeszukałem źródła stronniczości (historyczne, reprezentacyjne, zastępcze, pomiarowe).
- [ ] Nie tylko usunąłem wrażliwe dane; Przetestowałem dane wyjściowe według grup.
- [ ] Kontrolowałem poziom błędu dla grup niedostatecznie reprezentowanych.
- [ ] Dla każdej decyzji przedstawiłem proste i zrozumiałe uzasadnienie.
- [ ] Zdefiniowałem ścieżkę sprzeciwu i przeglądu ręcznego.
- [ ] Zachowana jest ścieżka audytu (dane/wersja modelu/odpowiedzialny).