Nyereség:
- Felismeri az algoritmikus torzítás adatait, tervezési és felhasználási forrásait, és csoportos alapon teszteli a kimenetet.
- Elmagyarázza, hogy a visszacsatolási hurok és a reprezentációs hiba hogyan növeli az egyenlőtlenséget, és hogyan hoz létre hatásszabályozást.
- Biztosítja az elszámoltathatóságot azáltal, hogy minden automatizált döntés megmagyarázhatóságát és fellebbezését biztosítja.
A nyilvánosságnak mindenkire egyformán kell érvényesítenie hatalmát: hasonló bánásmódot két hasonló helyzetben lévő állampolgárral, arányos különbséget a különböző helyzetekben. Ez az egyenlőség elve alkotmányos kötelezettség. A mesterséges intelligencia javíthatja és csendesen megzavarhatja ezt a területet. Javulhat, mert egy következetesen alkalmazott szabály csökkentheti az önkényességet és az emberi elfogultságot. Ez korrupt lehet, mert az AI-modellek tanulnak a múltbeli adatokból, és a múltbeli adatok magukban hordozzák a múlt diszkriminációját. Ha egy rendszert olyan adatokra képeznek ki, amelyek történelmileg hátrányos helyzetbe hoztak egy adott csoportot, akkor ezt a hátrányt a jövőbe is átviszi – és még nehezebben észlelhető formában, egy „objektív algoritmus” leple alatt. Ebben a részben megtudhatja, hogyan ismerheti fel az algoritmikus torzítást (a modell kimenetének szisztematikus torzítása bizonyos csoportokkal szemben), amikor mesterséges intelligenciát használ a közszférában, hogyan csökkentheti azt, és ami a legfontosabb, hogyan biztosíthatja az algoritmikus elszámoltathatóságot (az automatizált döntés indoklása magyarázható, auditálható és vitatható).
Honnan származik az elfogultság?
Az algoritmikus torzításnak számos forrása van, és ezek mindegyike kockázatos a nyilvánosság előtt:
- Történelmi torzítás: A képzési adatok múltbeli egyenlőtlenséget tartalmaznak. Például, ha egy területen korábban kevesebb szolgáltatást nyújtottak, a „keresleti adatok” azt mutathatják, hogy az adott területnek alacsony az igénye – pedig valójában alacsony volt a kereslet, mert nem volt szolgáltatás.
- Reprezentációs torzítás: Egyes csoportok alulreprezentáltak az adatokban (digitális hozzáféréssel nem rendelkezők, kisebbségi nyelvi csoportok), és a modell rosszul működik náluk.
- Proxy torzítás: Még ha a modell nem is néz közvetlenül egy tiltott kritériumot (etnikai hovatartozás, vallás), ugyanazt a diszkriminációt produkálhatja, ha egy hozzá kapcsolódó proxyt (környék, név, irányítószám) néz.
- Mérési torzítás: Amit mérünk, az nem az, amit valójában mérni akarunk. A "panaszok száma" inkább a panaszkészséget méri, mint a szükségletet.
Vigyázat: Félrevezető az a mondás, hogy "a szenzitív adatokat (nem, etnikai hovatartozás) eltávolítottam a modellből, ez most igazságos". A proxy változókon keresztül történő megkülönböztetés folytatódhat. A méltányosság nem a bemenet törlésével érhető el, hanem a kimenet tesztelésével a csoportok között.
Méltányosság tesztelése: lásd a kimenetet
Azt, hogy egy rendszer igazságos-e vagy sem, az eredményeit vizsgáljuk, nem pedig a szándékait. Alapmódszer: oszd csoportokra a döntést és hasonlítsd össze. Az olyan kimenetek, mint az elfogadási/elutasítási arány, a hibaarány, a várakozási idő jelentősen eltérnek a különböző csoportok között (nem, életkor, régió, jövedelem)? Ha van különbség, akkor ez a különbség jogos indokon alapul, vagy diszkrimináció? Mivel ehhez az elemzéshez személyes adatokra is szükség lehet, azt összesíteni és a KVKK szerint kell elvégezni.
Tipp: Mielőtt új, mesterséges intelligenciával hajtott döntési rendszert vezetne be, demográfiai csoportok szerint bontsa le a döntéseit, és készítsen „méltányossági jelentést”. Ha különbséget talál, "megmagyarázható ez a különbség?" Vidd a kérdést egy bizottsághoz.
Megmagyarázhatóság és vonzerő: az elszámoltathatóság szíve
A közszférában egyetlen állampolgárt sem lehet megfosztani a jogaitól azzal a válasszal, hogy "a rendszer döntött így". Minden automatizált vagy mesterséges intelligencia által támogatott döntésnél három dolgot kell biztosítani:
- Magyarázatosság: A döntés alapját mi alapján, milyen tényezők voltak hatékonyak, közérthető nyelven kell elmagyarázni.
- A fellebbezés módja: A polgárok számára lehetővé kell tenni, hogy kifogást emelhessenek a határozat ellen, és egy embert kérhessenek fel annak felülvizsgálatára.
- Ellenőrzési nyomvonal: Rögzíteni kell, hogy milyen adatokkal, milyen modellel/verzióval és melyik felelős személynél hozták meg a döntést.
három mini tok
1. eset – Surrogate variáns rögzítve. Az egyik támogatási prioritási modell nem használt érzékeny adatokat, hanem az „irányítószámot” vizsgálta. A méltányossági teszt során bizonyos városrészek szisztematikusan alacsony prioritást kaptak – az irányítószámmal, a jövedelemmel és az etnikai sűrűséggel összefüggésben. A változót eltávolították, és a prioritást közvetlenül a szükségletmutatókhoz kötötték.
2. eset – Reprezentációs rés. A chatbot 41%-kal nagyobb valószínűséggel vezette félre a nem török anyanyelvű állampolgárok kérdéseit; A képzési adatok keveset tartalmaztak ebből a csoportból. Amikor hozzáadták a többnyelvű támogatást és az emberi átadás-átvételi küszöböt, a szakadék megszűnt.
3. eset – Megmagyarázhatatlan elutasítás. Egy intézmény automatikusan elutasította a kérelmet; állampolgár "miért?" Kérdésre a tiszt nem tudott magyarázatot adni, mert a modell oka nem volt érthető. Az incidens megmutatta, hogy a rossz magyarázhatóságú modellek nem használhatók jogos döntések meghozatalára; A rendszert olyan modellvé alakították át, amely indoklást generál, és emberi jóváhagyást igényel.
Négy másolható sablon
1) A torzítási szkennelés forrása:
Az Ön szerepe: algoritmikus igazságosság szakértő. Tekintse meg az AI-alapú döntési folyamatot alább. Sorolja fel a torzítás lehetséges forrásait: (1) történelmi torzítás, (2) reprezentációs torzítás (alulreprezentált csoport), (3) proxy változók (tiltott kritériumhoz tartozó oszlop), (4) mérési torzítás. Mondjon mindegyikre konkrét példát, és mondja el, hogyan teszteljem. FOLYAMAT: [döntési folyamat és felhasznált adatok]
2) Méltányossági vizsgálati terv:
Készítsen méltányossági tesztelési tervet a következő döntési kimenethez: mely csoportokat (életkor, nem, régió, jövedelem) bontsam fel, mely mutatókat (elfogadási arány, hibaarány, várakozási idő) hasonlítsam össze, hogyan döntsem el, hogy a különbség jogos vagy diszkriminatív? Adjon hozzá KVKK figyelmeztetést. DÖNTÉS: [milyen döntés]
3) Határozati nyilatkozat (az állampolgárnak):
Írjon közérthetően megfogalmazott, állampolgárok számára érthető magyarázattervezetet a következő döntéshez: milyen tényezők voltak hatással! Adja hozzá a végére a fellebbezési jogot és az emberi felülvizsgálat lehetőségét [idővel még meg kell erősíteni]. Homályos kifejezések használata, például "A rendszer úgy döntött". DÖNTÉS: [összefoglaló és befolyásoló tényezők]
4) Az elszámoltathatóság ellenőrzése a terjesztés előtt:
Az AI-alapú döntési rendszer bevezetése előtt készítsen elszámoltathatósági ellenőrzőlistát: megmagyarázható-e, van-e lehetőség fellebbezésre, van-e ellenőrzési nyomvonal (adat/modell verzió/elszámolható), elvégezték-e a méltányossági tesztet, hol van az emberi jóváhagyási pont. A hiányzó elemek megjelölése piros zászlóként. RENDSZER: [recept]
Gyenge felszólítás / Erős felszólítás
Gyenge: "Tisztességes ez a döntési modell?"
Erős: "Az Ön szerepe az algoritmikus méltányosság szakértője. Ennél a támogatási prioritási modellnél először keresse meg a torzítás forrásait (előzmény, reprezentáció, helyettesítő változó, mérés), és mindegyikre adjon konkrét példákat. Ezután készítsen egy méltányossági tesztelési tervet: bontásban, mely csoportok, milyen mérőszámok, hogyan lehet eldönteni a különbség jogosságát; adjon hozzá egy fellebbezési útvonalat, és magyarázza el a fellebbezési ellenőrzési rendszert. nyomvonalat, és piros zászlóval jelezd a hiányosságokat."
A különbség: az erős felszólítás a forrásnál keresi a torzítást, a kimenetet csoportok tesztelik, és széles körben elterjedt az elszámoltathatóság.
Igazságügyi méretek és ellenőrzések
Méret
Kockázat
irányítani
történelmi adatok
A múlt egyenlőtlenséget hordoz magában
Teszt kimenet csoportonként
reprezentáció
Egyes csoportoknál rosszul működik
Csoport alapú hibaarány
helyettesítő változó
rejtett diszkrimináció
Változó-érzékeny kritérium kapcsolat
Magyarázatosság
indokolatlan döntést
Egyszerű magyarázat létrehozása
kifogás
elkobzás
Emberi áttekintési útvonal
Visszacsatolási hurok és megjelenítési hiba
Az algoritmikus megkülönböztetés legravaszabb formája nem egyetlen rossz döntésben jelentkezik, hanem egy visszacsatolási hurokban, amely idővel megerősíti önmagát (a modell kimenete befolyásolja a későbbi betanítási adatokat, megerősítve a meglévő torzítást). Például, ha egy vizsgálati modell egy adott környéket „kockázatosként” jelöl meg, minél több ellenőrzés megy oda, annál több rekord jön létre, a modell azt a környéket kockázatosabbnak tekinti – annak ellenére, hogy a különbség a vizsgált helyen nőtt, nem pedig a tényleges kockázatban. Ami ehhez az utat nyitja meg, az gyakran egy reprezentációs hiba (egyes csoportokat hiányosan vagy torzul tükröző képzési adatok). A közszférában ezek a ciklusok egyre szigorúbb felügyelet és szankciók alá vonhatják a hátrányos helyzetű csoportokat. A védekezés módja a modell hatásának nyomon követése, nem csak az outputja: rendszeresen figyelemmel kíséri a döntések csoportos megoszlását, és nem vakon hajtja végre a modell ajánlásait.
Mini tok — önmagukat nagyító kétség. A jóléti csalások felderítésére szolgáló modell magas kockázatúként jelölt meg egy olyan régiót, amelyet korábban szigorúbban ellenőriztek. Amikor a csapat az adatokból kinyerte a végrehajtás intenzitását, és megmérte a „lakossághoz viszonyított valódi észlelési arányt”, azt találták, hogy a régiók közötti különbségek nagyrészt eltűntek; A modell összetéveszti az egyenlőtlenséget a valós kockázattal.
Csoport alapú hatásvezérlő sablon:
Feladat: Vizsgálja meg csoportonként az alábbi döntési adatokat (személyes adatok nélkül, kategorikus összegzés).Adatok: [csoport | teljes döntés | negatív döntési arány | ellenőrzés intenzitása]Kimenet: 1) mutat-e szignifikáns különbséget a negatív döntési arány a csoportok között? 2) A különbség oka lehet a tényleges kockázat vagy az ellenőrzés/reprezentáció intenzitása? 3) Van valami jele visszacsatolási huroknak? 4) Javaslatok az emberi kontrollhoz.Szabály: okozati összefüggés megállapítása; Sorolja fel a lehetséges magyarázatokat és a tesztelés módjait.
Vigyázat: Az az érv, hogy "a modell semleges, mert mindenkire ugyanazt a szabályt alkalmazza", félrevezető. Ugyanez a szabály ferde adatokra alkalmazva megőrzi és felnagyítja az egyenlőtlenséget. Az igazságosságot az eredmény egyenlőségével mérik, nem a szabályon.
Gyakori hibák
- Érzékeny adatok törlése és "igazságos" gondolkodás. A helyettesítő változók állandósítják a diszkriminációt; tesztelje a kimenetet.
- Az igazságosság mérése szándékkal. Az igazságosság a végén megjelenik; A döntéseket csoportokba sorolja és összehasonlítja.
- Elfelejtve az alulreprezentált csoportot. A modell csendesen rosszul működhet egy kisebbségi csoport esetében; Lásd a csoport alapú hibát.
- A megmagyarázhatatlan modell alkalmazása a jogalkotási döntésekben. Az a rendszer, amely nem tud igazolást produkálni, nem hozhat nyilvános döntéseket.
- Nem biztosít semmilyen kifogást. Minden automatizált döntést emberi felülvizsgálatnak kell alávetni.
- Nem vezet ellenőrzési nyomvonalat. Rögzíteni kell, hogy melyik adattal/modell/felelős személy mellett döntöttek.
Összefoglalva
A közszférában a mesterséges intelligencia növelheti a konzisztenciát, de csendesen továbbviheti a múlt diszkriminációját. A torzítás előzményadatokból, reprezentációs résből, proxyváltozókból és pontatlan mérésekből ered; Az érzékeny adatok törlése nem oldja meg. A méltányosság úgy érhető el, hogy az eredményeket a csoportok között tesztelik. Egyetlen állampolgárt sem lehet megfosztani attól, hogy "a rendszer ezt mondta": minden döntésnek megmagyarázhatónak, megtámadhatónak és ellenőrizhetőnek kell lennie. Az intézményt vonják felelősségre, nem az algoritmust.
Pályázati feladat
Válasszon egy mesterséges intelligencia által vezérelt vagy automatizált döntési folyamatot az egységében. Sorolja fel a lehetséges torzításokat, és találjon legalább egy helyettesítő változó kockázatot a „Torzítási vizsgálat forrása” sablonnal. Határozza meg, mely csoportbontásokat kell megvizsgálni a "méltányossági tesztterv" segítségével. Döntésmintához készítsen egy polgároknak szóló magyarázatot a „Határozat magyarázata” sablonnal.
ellenőrző lista
- [ ] Kerestem az elfogultság forrásait (történeti, reprezentációs, proxy, mérés).
- [ ] Nem csak érzékeny adatokat töröltem; A kimenetet csoportonként teszteltem.
- [ ] Alulreprezentált csoportok hibaarányát szabályoztam.
- [ ] Minden döntéshez egyszerű, magyarázható indoklást adtam.
- [ ] Meghatároztam a kifogásolást és az emberi felülvizsgálati utat.
- [ ] Az ellenőrzési nyomvonal (adat/modell verzió/felelős) megmarad.