Hagnaður:
- Það viðurkennir gagna-, hönnunar- og notkunaruppsprettur reikniritskekkju og prófar úttakið á hópgrundvelli.
- Útskýrir hvernig endurgjafarlykkjan og framsetningarvillan magna upp ójöfnuð og koma á áhrifastjórnun.
- Það tryggir ábyrgð með því að tryggja skýringu og áfrýjun í hverri sjálfvirkri ákvörðun.
Almenningur verður að beita valdi sínu jafnt til allra: Svipuð meðferð á tveimur borgurum í svipuðum aðstæðum, hlutfallslegur munur miðað við mismunandi aðstæður. Þessi jafnræðisregla er stjórnarskrárbundin skylda. Gervigreind getur bæði bætt og truflað þetta sviði hljóðlega. Það getur batnað vegna þess að stöðugt beitt regla getur dregið úr geðþótta og mannlegri hlutdrægni. Það getur verið spillt vegna þess að gervigreind líkön læra af fyrri gögnum og fyrri gögn bera mismunun fortíðar. Ef kerfi er þjálfað á gögnum sem hafa í gegnum tíðina sett óhagræði fyrir ákveðinn hóp, ber það þann ókost inn í framtíðina - og á því formi sem er enn erfiðara að greina, undir því yfirskini að "hlutlægt reiknirit." Í þessari einingu muntu læra hvernig á að bera kennsl á reikniritskekkju (kerfisbundin hlutdrægni í framleiðslu líkansins gegn ákveðnum hópum) þegar gervigreind er notuð í opinbera geiranum, hvernig á að draga úr henni og síðast en ekki síst hvernig á að tryggja reiknirit ábyrgð (rökstuðningur fyrir sjálfvirkri ákvörðun er útskýranleg, endurskoðanleg og móttekin).
Hvaðan kemur hlutdrægni?
Það eru nokkrar uppsprettur reikniritskekkju og allar eru þær áhættusamar á almannafæri:
- Söguleg hlutdrægni: Þjálfunargögn innihalda fyrri ójöfnuð. Til dæmis, ef svæði hefur haft minni þjónustu í fortíðinni, geta „eftirspurnargögn“ sýnt að það svæði hafi litlar þarfir - þegar eftirspurnin var í raun lítil vegna þess að engin þjónusta var.
- Fulltrúahlutdrægni: Sumir hópar eru undirfulltrúar í gögnunum (þeir sem eru án stafræns aðgangs, minnihluta tungumálahópar) og líkanið virkar illa fyrir þá.
- Umboðshlutdrægni: Jafnvel þótt líkanið horfi ekki beint á bannað viðmið (þjóðerni, trúarbrögð), getur það framkallað sömu mismunun með því að skoða umboð sem tengist því (hverfi, nafn, póstnúmer).
- Hlutdrægni í mælingum: Það sem við mælum er ekki það sem við viljum í raun mæla. „Fjöldi kvartana“ mælir frekar hæfni til að kvarta en þörf.
Varúð: Það er villandi að segja "Ég fjarlægði viðkvæm gögn (kyn, þjóðerni) úr líkaninu, nú er það sanngjarnt". Mismunun með umboðsbreytum getur haldið áfram. Sanngirni næst ekki með því að eyða inntakinu, heldur með því að prófa úttakið á milli hópa.
Sanngirni prófunar: sjá útkomuna
Hvort kerfi er sanngjarnt eða ekki er hægt að skilja með því að skoða niðurstöður þess, ekki áform þess. Grunnaðferð: skipta ákvörðun í hópa og bera saman. Er framleiðsla eins og samþykki/höfnunarhlutfall, villuhlutfall, biðtími verulega mismunandi milli ólíkra hópa (kyn, aldur, svæði, tekjur)? Ef það er munur, byggist þessi munur á lögmætum ástæðum eða er það mismunun? Þar sem þessi greining kann að krefjast persónuupplýsinga verður hún að vera tekin saman og framkvæmd í samræmi við KVKK.
Ábending: Áður en nýtt AI-knúið ákvarðanakerfi er sett í loftið skaltu sundurliða ákvarðanir þess eftir lýðfræðilegum hópum og búa til „sanngirnisskýrslu“. Ef þú finnur mun, "er hægt að útskýra þennan mun?" Farðu með spurninguna fyrir nefnd manna.
Útskýringar og áfrýjunar: hjarta ábyrgðar
Í hinu opinbera er hægt að svipta engan borgara réttindum sínum með svarinu „kerfið ákvað það“. Fyrir hverja sjálfvirka eða gervigreindarákvörðun þarf að tryggja þrennt:
- Útskýranleiki: Á hverju ákvörðunin byggðist, hvaða þættir virkuðu, ber að útskýra á einföldu máli.
- Áfrýjunarleið: Borgarar ættu að geta mótmælt ákvörðuninni og beðið mann um að endurskoða hana.
- Endurskoðunarslóð: Skrá skal hvaða gögn, hvaða gerð/útgáfa og með hvaða ábyrgðarmanni ákvörðunin var tekin.
þrjú smámál
Tilfelli 1 - staðgönguafbrigði tekin. Eitt forgangsröðunarlíkan fyrir aðstoð notaði ekki viðkvæm gögn heldur horfði á „póstnúmer“. Í sanngirnisprófinu kom í ljós að ákveðin hverfi fengu kerfisbundið lágan forgang - í tengslum við póstnúmer, tekjur og þjóðernisþéttleika. Breytan var fjarlægð og forgangurinn bundinn beint við þarfavísana.
Mál 2 - Fulltrúabil. Spjallboti var 41% líklegri til að villa um fyrir spurningum borgara með móðurmál sem ekki var tyrkneskt; Þjálfunargögnin innihéldu lítið af þessum hópi. Þegar fjöltyngdum stuðningi og þröskuldi fyrir afhendingar manna var bætt við lokaðist bilið.
Mál 3 - Óútskýrð höfnun. Stofnun hafnaði umsókn sjálfkrafa; borgari "af hverju?" Aðspurður gat lögreglumaðurinn ekki útskýrt þar sem ástæðan fyrir líkaninu var ekki skiljanleg. Atvikið sýndi að ekki er hægt að nota líkön með lélega skýringu til að taka ákvarðanir sem bera réttindi; Kerfinu hefur verið breytt í líkan sem skapar réttlætingu og krefst mannlegs samþykkis.
Fjögur afritanleg sniðmát
1) Uppspretta hlutdrægniskönnunar:
Hlutverk þitt: sérfræðingur í reikniritmi sanngirni. Skoðaðu AI-knúna ákvörðunarferlið hér að neðan. Nefndu mögulegar uppsprettur hlutdrægni: (1) söguleg hlutdrægni, (2) framsetningarskekkju (vantmyndaður hópur), (3) umboðsbreytur (dálkur tengdur bannaðri viðmiðun), (4) mælingarskekkju. Nefndu áþreifanlegt dæmi fyrir hvern og einn og segðu mér hvernig á að prófa það. FERLI: [ákvörðunarferli og gögn notuð]
2) Sanngirnisprófsáætlun:
Búðu til sanngirnisprófunaráætlun fyrir eftirfarandi ákvarðanaúttak: hvaða hópa (aldur, kyn, svæði, tekjur) ætti ég að skipta niður, hvaða mælikvarða (samþykkishlutfall, villuhlutfall, biðtími) ætti ég að bera saman, hvernig ákveð ég hvort munurinn sé lögmætur eða mismunandi? Bæta við KVKK viðvörun. ÁKVÖRÐUN: [hvaða ákvörðun]
3) Ákvörðunaryfirlýsing (til borgara):
Skrifaðu drög að skýringu sem skiljanlegt er fyrir borgara fyrir eftirfarandi ákvörðun: hvaða þættir höfðu áhrif, á einföldu máli. Bættu við réttinum til að áfrýja í lokin og möguleikanum á að fá mannlega endurskoðun [með tímanum að staðfesta]. Nota óljós orðasambönd eins og "Kerfið ákvað það." ÁKVÖRÐUN: [yfirlit og áhrifaþættir]
4) Ábyrgðarathugun fyrir miðlun:
Búðu til gátlista fyrir ábyrgð áður en gervigreindarknúna ákvarðanakerfið er sett í notkun: er það útskýranlegt, er leið til að áfrýja, er endurskoðunarslóð (gögn/líkanútgáfa/ábyrg) viðhaldið, hefur sanngirnispróf verið gerð, hvar er mannlegt samþykki. Merktu hluti sem vantar sem rauða fána.KERFI: [uppskrift]
Veik kvaðning / Sterk kvaðning
Veik: „Er þetta ákvörðunarmódel sanngjarnt?
Strong: "Hlutverk þitt er sérfræðingur í reikniritmi sanngirni. Fyrir þetta forgangsröðunarlíkan fyrir aðstoð skaltu fyrst leita að upptökum hlutdrægni (söguleg, framsetning, staðgengisbreyta, mæling) og gefa áþreifanleg dæmi fyrir hvern og einn. Komdu síðan með sanngirnisprófunaráætlun: sundurliðun eftir hvaða hópum, hvaða mæligildi, hvernig á að ákveða lögmæti mismunarins; bæta við KVKK-kerfinu, áður en þú getur áfrýjað KVKK-listanum, útskýrðu KVKK-listann. stígur og endurskoðunarslóð og rautt flagg á annmörkum.“
Munurinn: sterk hvetja leitar að hlutdrægni við uppruna sinn, lætur prófa afköst af hópum og gerir ábyrgð útbreidd.
Réttlætisvíddir og eftirlit
Stærð
Áhætta
stjórna
söguleg gögn
Fortíðin ber með sér ójöfnuð
Prófunarúttak eftir hópum
framsetning
Virkar illa fyrir einhvern hóp
Hópmiðað villuhlutfall
staðgöngubreytu
leynileg mismunun
Breytuviðkvæmt viðmiðunarsamband
Skýringarhæfni
óréttmæta ákvörðun
Búðu til einfalda skýringu
andmæli
upptöku
Mannleg endurskoðunarleið
Endurgjöf lykkja og framsetning villa
Skaðlegasta form reiknirit mismununar á sér ekki stað í einni rangri ákvörðun heldur í endurgjöfarlykkju sem styrkir sig með tímanum (framleiðsla líkans hefur áhrif á síðari þjálfunargögn, sem styrkir núverandi hlutdrægni). Til dæmis, ef skoðunarlíkan flaggar tiltekið hverfi sem „áhættusamt“, því fleiri skoðanir sem fara þangað, því fleiri skrár verða til, líkanið lítur á það hverfi sem áhættusamara - jafnvel þó munurinn hafi aukist á staðsetningunni sem horft er á, ekki í raunverulegri áhættu. Það sem ryður brautina fyrir þetta er oft framsetningarvilla (þjálfunargögn sem endurspegla suma hópa ófullkomið eða brenglað). Í opinbera geiranum geta þessar lotur sett illa setta hópa undir sífellt harðara eftirlit og refsiaðgerðir. Leiðin til að vernda sjálfan þig er að fylgjast með áhrifum líkansins, ekki bara framleiðsla þess: að fylgjast reglulega með hóptengdri dreifingu ákvarðana og ekki innleiða tillögur líkansins í blindni.
Lítil kassi - sjálfsupphafandi vafi. Uppgötvunarlíkan fyrir velferðarsvik merkti svæði sem hafði verið meira skoðað áður sem áhættusamt. Þegar teymið dró framfylgnistyrk úr gögnunum og mældi „sanna uppgötvunarhlutfall miðað við íbúafjölda,“ komust þeir að því að munurinn á milli svæða hvarf að mestu; Líkanið taldi ójöfnuð vera raunverulega áhættu.
Hópmiðað sniðmát fyrir áhrifastjórnun:
Verkefni: Skoðaðu eftirfarandi ákvörðunargögn eftir hópum (engar persónuupplýsingar, flokkuð samantekt). Gögn: [hópur | heildarákvörðun | neikvæð ákvörðunarhlutfall | eftirlitsstyrkur]Framleiðsla: 1) Sýnir neikvæða ákvörðunarhlutfall marktækan mun á milli hópa? 2) Gæti munurinn stafað af raunverulegri áhættu eða eftirliti/framsetningarstyrk? 3) Er einhver merki um endurgjöf? 4) Ráðleggingar um stjórn manna. Regla: Að koma á orsakasamhengi; Nefndu mögulegar skýringar og leiðir til að prófa.
Varúð: Rökin um að "líkanið sé hlutlaust vegna þess að það gildir sömu reglu um alla" eru villandi. Sama regla, þegar hún er notuð á skekkt gögn, varðveitir og eykur ójöfnuð. Réttlæti er mælt með jöfnuði niðurstöðunnar, ekki reglunni.
Algeng mistök
- Eyða viðkvæmum gögnum og hugsa „það er sanngjarnt“. Staðgöngubreytur viðhalda mismunun; prófa úttakið.
- Mæla réttlæti með ásetningi. Réttlætið birtist á endanum; Raða ákvörðunum í hópa og bera saman.
- Gleymdi hópnum sem er vantrúaður. Líkanið getur virkað hljóðlega illa fyrir minnihlutahóp; Sjá hóptengda villu.
- Notkun óútskýrða líkansins í réttindaákvörðunum. Kerfi sem getur ekki framkallað réttlætingu getur ekki tekið opinberar ákvarðanir.
- Engin leið til að mótmæla. Sérhver sjálfvirk ákvörðun ætti að vera háð mannlegri endurskoðun.
- Að halda ekki endurskoðunarslóð. Skrá skal með hvaða gögnum/líkan/ábyrgðaraðila ákvörðun var tekin.
Í stuttu máli
Í hinu opinbera getur gervigreind aukið samkvæmni en einnig flutt mismunun fortíðarinnar hljóðlega yfir. Hlutdrægni kemur frá sögulegum gögnum, framsetningarbili, umboðsbreytum og ónákvæmum mælingum; Að eyða viðkvæmum gögnum mun ekki leysa það. Sanngirni er náð með því að prófa niðurstöðuna þvert á hópa. Og enginn borgari getur verið sviptur réttindum með því að „kerfið sagði það“: sérhver ákvörðun verður að vera útskýranleg, móttekin og endurskoðanleg. Það er stofnunin sem er dregin til ábyrgðar, ekki reikniritið.
Umsóknarverkefni
Veldu AI-knúið eða sjálfvirkt ákvörðunarferli í einingunni þinni. Listaðu upp mögulegar hlutdrægni og finndu að minnsta kosti eina staðgengilsbreytuáhættu með „Source of bias scan“ sniðmátinu. Ákvarðaðu hvaða hópabrot á að skoða með „sanngirniprófsáætluninni“. Fyrir sýnishornsákvörðun, framleiðið skýringu sem snýr að borgaranum með sniðmátinu „Skýring ákvörðunar“.
gátlisti
- [ ] Ég leitaði að heimildum um hlutdrægni (sögulegt, framsetning, umboð, mæling).
- [ ] Ég eyddi ekki bara viðkvæmum gögnum; Ég prófaði úttakið eftir hópum.
- [ ] Ég stjórnaði villuhlutfalli fyrir vanfulltrúa hópa.
- [ ] Ég hef lagt fram einfalda, skýranlega rökstuðning fyrir hverri ákvörðun.
- [ ] Ég hef skilgreint andmæli og mannleg endurskoðunarleið.
- [ ] Endurskoðunarslóð (gögn/gerð útgáfa/ábyrg) er viðhaldið.