Ieguvumi:
- Tā atpazīst algoritmiskās novirzes datu, dizaina un lietojuma avotus un pārbauda izvadi pēc grupas.
- Izskaidro, kā atgriezeniskās saites cilpa un attēlojuma kļūda palielina nevienlīdzību un nosaka ietekmes kontroli.
- Tas nodrošina atbildību, nodrošinot katra automatizētā lēmuma izskaidrojamību un pārsūdzību.
Sabiedrībai ir jāpiemēro savs spēks vienādi visiem: līdzīga attieksme pret diviem pilsoņiem līdzīgās situācijās, proporcionāla atšķirība dažādām situācijām. Šis vienlīdzības princips ir konstitucionāls pienākums. Mākslīgais intelekts var gan uzlabot, gan klusi izjaukt šo jomu. Tas var uzlaboties, jo konsekventi piemēroti noteikumi var samazināt patvaļu un cilvēku aizspriedumus. Tas var sabojāt, jo AI modeļi mācās no pagātnes datiem, un pagātnes dati rada pagātnes diskrimināciju. Ja sistēma ir apmācīta, izmantojot datus, kas vēsturiski ir radījuši neizdevīgu stāvokli konkrētai grupai, tā nesīs šo trūkumu nākotnē — un vēl grūtāk atklātā formā, aizsedzoties ar “objektīvu algoritmu”. Šajā nodaļā jūs uzzināsiet, kā atpazīt algoritmisko novirzi (modeļa izvades sistemātisku novirzi pret noteiktām grupām), izmantojot AI publiskajā sektorā, kā to samazināt un, pats galvenais, kā nodrošināt algoritmisko atbildību (automatizēta lēmuma pamatojums ir izskaidrojams, auditējams un apstrīdams).
No kurienes rodas neobjektivitāte?
Ir vairāki algoritmu aizspriedumu avoti, un tie visi ir publiski riskanti:
- Vēsturiskā novirze: apmācību dati satur pagātnes nevienlīdzību. Piemēram, ja apgabalā iepriekš ir bijis mazāk pakalpojumu, “pieprasījuma dati” var liecināt par šo apgabalu ar zemām vajadzībām, lai gan patiesībā pieprasījums bija zems, jo pakalpojuma nebija.
- Pārstāvības novirze: dažas grupas datos ir nepietiekami pārstāvētas (tās, kurām nav digitālas piekļuves, minoritāšu valodu grupas), un modelis tām nedarbojas.
- Starpniekservera novirze: pat ja modelī nav tieši aplūkots aizliegts kritērijs (etniskā piederība, reliģija), tas var radīt tādu pašu diskrimināciju, aplūkojot ar to saistīto starpniekserveri (apkaime, nosaukums, pasta indekss).
- Mērījumu novirze: tas, ko mēs mērām, nav tas, ko mēs patiesībā vēlamies izmērīt. "Sūdzību skaits" mēra spēju sūdzēties, nevis vajadzību.
Uzmanību: ir maldinoši teikt: “Es noņēmu no modeļa sensitīvus datus (dzimums, etniskā piederība), tagad tas ir godīgi”. Var turpināties diskriminācija, izmantojot starpniekservera mainīgos. Taisnīgums tiek panākts nevis dzēšot ievadi, bet gan pārbaudot izvadi starp grupām.
Taisnīguma pārbaude: skatiet rezultātu
To, vai sistēma ir godīga vai nē, var saprast, aplūkojot tās rezultātus, nevis nodomus. Pamatmetode: sadaliet lēmumu grupās un salīdziniet. Vai tādi rezultāti kā pieņemšanas/noraidīšanas līmenis, kļūdu īpatsvars, gaidīšanas laiks dažādās grupās (dzimums, vecums, reģions, ienākumi) būtiski atšķiras? Ja ir atšķirība, vai šīs atšķirības pamatā ir likumīgs iemesls vai tā ir diskriminācija? Tā kā šai analīzei var būt nepieciešami personas dati, tā ir jāapkopo un jāveic saskaņā ar KVKK.
Padoms. Pirms jaunas ar AI darbināmas lēmumu sistēmas ieviešanas sadaliet tās lēmumus pa demogrāfiskajām grupām un sagatavojiet “taisnīguma ziņojumu”. Ja atrodat atšķirību, "vai šo atšķirību var izskaidrot?" Nododiet jautājumu cilvēku komitejai.
Izskaidrojamība un pievilcība: atbildības būtība
Valsts sektorā nevienam pilsonim nevar atņemt tiesības ar atbildi "tā lēma sistēma". Katram automatizētam vai AI atbalstītam lēmumam ir jānodrošina trīs lietas:
- Izskaidrojamība: uz ko tika pieņemts lēmums, kādi faktori bija efektīvi, jāpaskaidro vienkāršā valodā.
- Pārsūdzības veids: pilsoņiem ir jābūt iespējai iebilst pret lēmumu un lūgt cilvēku to pārskatīt.
- Audita pēdas: Jāreģistrē, kuri dati, kāds modelis/versija un ar kuru atbildīgo personu pieņemts lēmums.
trīs mini futrāļi
1. gadījums — tverts aizstājējvariants. Vienā atbalsta prioritāšu noteikšanas modelī netika izmantoti sensitīvi dati, bet tika aplūkots “pasta indekss”. Taisnīguma pārbaudē tika konstatēts, ka noteiktiem rajoniem ir sistemātiski zema prioritāte, kas saistīta ar pasta indeksu, ienākumiem un etnisko blīvumu. Mainīgais lielums tika noņemts, un prioritāte tika tieši saistīta ar vajadzību rādītājiem.
2. gadījums — pārstāvības atšķirības. Tērzēšanas robots par 41% biežāk maldināja jautājumus no pilsoņiem, kuru dzimtā valoda nav turku; Apmācības datos bija maz šīs grupas. Kad tika pievienots daudzvalodu atbalsts un cilvēku nodošanas slieksnis, plaisa tika novērsta.
3. gadījums — neizskaidrojams noraidījums. Iestāde automātiski noraidīja pieteikumu; pilsonis "kāpēc?" Uz jautājumu virsnieks nevarēja paskaidrot, jo modeļa iemesls nebija saprotams. Šis incidents parādīja, ka modeļus ar vāju izskaidrojamību nevar izmantot, lai pieņemtu lēmumus par tiesībām; Sistēma ir pārveidota par modeli, kas rada pamatojumu un prasa cilvēka apstiprinājumu.
Četras kopējamas veidnes
1) Novirzes skenēšanas avots:
Jūsu loma: algoritmiskā godīguma eksperts. Tālāk skatiet AI balstīto lēmumu pieņemšanas procesu. Uzskaitiet iespējamos novirzes avotus: (1) vēsturiskā novirze, (2) reprezentācijas novirze (nepietiekami pārstāvēta grupa), (3) starpniekservera mainīgie (kolonna, kas saistīta ar aizliegto kritēriju), (4) mērījumu novirze. Sniedziet katram konkrētu piemēru un pastāstiet man, kā to pārbaudīt. PROCESS: [lēmuma pieņemšanas process un izmantotie dati]
2) Godīguma pārbaudes plāns:
Izveidojiet godīguma pārbaudes plānu šādam lēmuma rezultātam: kuras grupas (vecums, dzimums, reģions, ienākumi) ir jāsadala, kuri rādītāji (pieņemšanas līmenis, kļūdu līmenis, gaidīšanas laiks) jāsalīdzina, kā es varu izlemt, vai atšķirība ir likumīga vai diskriminējoša? Pievienojiet KVKK brīdinājumu. LĒMUMS: [kāds lēmums]
3) Lēmuma paziņojums (pilsonim):
Uzrakstiet iedzīvotājiem saprotamu skaidrojuma projektu šādam lēmumam: kādi faktori bija ietekmējuši, vienkāršā valodā. Beigās pievienojiet tiesības iesniegt apelāciju un iespēju pārskatīt cilvēku [ar laiku, kas jāapstiprina]. Izmantojot neskaidrus izteicienus, piemēram, "Sistēma tā nolēma". LĒMUMS: [kopsavilkums un ietekmējošie faktori]
4) Atbildības pārbaude pirms izplatīšanas:
Pirms AI balstītas lēmumu sistēmas ieviešanas izveidojiet pārskatatbildības kontrolsarakstu: vai tas ir izskaidrojams, vai ir iespēja pārsūdzēt, vai tiek uzturēta audita izsekojamība (datu/modeļa versija/atskaitāma), vai ir veikta godīguma pārbaude, kur ir cilvēka apstiprināšanas punkts. Atzīmējiet trūkstošos vienumus kā sarkanus karogus. SISTĒMA: [recepte]
Vāja uzvedne / spēcīga uzvedne
Vājš: "Vai šis lēmuma modelis ir godīgs?"
Spēcīgs: "Jūsu loma ir algoritmiskā godīguma eksperts. Šim atbalsta prioritāšu noteikšanas modelim vispirms meklējiet novirzes avotus (vēsturiskos, reprezentācijas, aizstājējmainīgos, mērījumus) un sniedziet katram konkrētus piemērus. Pēc tam izstrādājiet godīguma pārbaudes plānu: sadalījums pēc grupām, kādiem rādītājiem, kā izlemt atšķirības leģitimitāti; pievienojiet apelācijas ceļu pārbaudes sistēmu, pirms pievienojiet apelācijas pārbaudes sistēmu, pirms apelācijas pārbaudes brīdinājuma. taka un atzīmējiet trūkumus."
Atšķirība: spēcīga uzvedne meklē neobjektivitāti tās avotā, iznākumu pārbauda grupas, un atbildība tiek plaši izplatīta.
Tiesiskuma izmēri un kontrole
Izmērs
Risks
kontrole
vēsturiskie dati
Pagātne nes nevienlīdzību
Testa izvadi pa grupām
pārstāvība
Slikti darbojas kādai grupai
Grupas kļūdu līmenis
aizstājējs mainīgais
slēpta diskriminācija
Mainīga-jutīga kritērija sakarība
Izskaidrojamība
nepamatots lēmums
Izveidojiet vienkāršu skaidrojumu
iebildumu
konfiskācija
Cilvēka pārskatīšanas ceļš
Atgriezeniskās saites cilpa un attēlojuma kļūda
Vismānīgākā algoritmiskās diskriminācijas forma rodas nevis vienā nepareizā lēmumā, bet gan atgriezeniskās saites cilpā, kas laika gaitā pastiprinās (modeļa izvade ietekmē turpmākos apmācības datus, pastiprinot esošo novirzi). Piemēram, ja inspekcijas modelis atzīmē konkrētu apkaimi kā “riskantu”, jo vairāk pārbaužu tur notiek, jo vairāk ierakstu tiek izveidots, modelis uzskata, ka šī apkaime ir riskantāka — lai gan atšķirība ir palielinājusies aplūkotajā vietā, nevis faktiskajā riskā. Tas, kas paver ceļu tam, bieži vien ir attēlojuma kļūda (apmācības dati, kas nepilnīgi vai izkropļoti atspoguļo dažas grupas). Publiskajā sektorā šie cikli nelabvēlīgā situācijā esošās grupas var pakļaut arvien stingrākai uzraudzībai un sankcijām. Veids, kā sevi pasargāt, ir uzraudzīt modeļa ietekmi, nevis tikai tā iznākumu: regulāri uzraudzīt lēmumu sadalījumu grupā un akli neīstenot modeļa ieteikumus.
Mini futrālis — sevi slavinošas šaubas. Labklājības krāpšanas atklāšanas modelis apzīmēja reģionu, kas agrāk tika pārbaudīts vairāk, kā augstu riska pakāpi. Kad komanda ieguva izpildes intensitāti no datiem un novērtēja "patieso noteikšanas līmeni attiecībā pret iedzīvotāju skaitu", viņi atklāja, ka atšķirības starp reģioniem lielā mērā izzuda; Modelis nevienlīdzību sajauca ar reālu risku.
Grupas ietekmes kontroles veidne:
Uzdevums: Izpētiet šādus lēmumu datus pa grupām (bez personas datu, kategorisks kopsavilkums).Dati: [grupa | kopējais lēmums | negatīvu lēmumu īpatsvars | pārbaudes intensitāte] Rezultāts: 1) Vai negatīvā lēmuma līmenis parāda būtisku atšķirību starp grupām? 2) Vai atšķirība varētu būt saistīta ar faktisko risku vai kontroles/pārstāvības intensitāti? 3) Vai ir kāda atgriezeniskās saites cilpas pazīme? 4) Ieteikumi cilvēka kontrolei. Noteikums: cēloņsakarības apgalvojuma noteikšana; Uzskaitiet iespējamos skaidrojumus un pārbaudes veidus.
Uzmanību: arguments, ka "modelis ir neitrāls, jo tas attiecas uz visiem vienādiem noteikumiem", ir maldinošs. Tas pats noteikums, ja to piemēro šķībiem datiem, saglabā un palielina nevienlīdzību. Taisnīgumu mēra pēc iznākuma vienlīdzības, nevis pēc noteikuma.
Biežas kļūdas
- Sensitīvu datu dzēšana un domāšana "tas ir godīgi". Aizstājēji mainīgie saglabā diskrimināciju; pārbaudiet izvadi.
- Taisnīguma mērīšana pēc nodoma. Taisnīgums parādās beigās; Sakārtojiet lēmumus grupās un salīdziniet.
- Aizmirstot nepietiekami pārstāvēto grupu. Modelis var darboties klusi slikti mazākumtautību grupai; Skatīt grupas kļūdu.
- Neizskaidrotā modeļa izmantošana tiesību piešķiršanas lēmumos. Sistēma, kas nespēj nodrošināt pamatojumu, nevar pieņemt publiskus lēmumus.
- Nesniedzot nekādus iebildumu līdzekļus. Katrs automatizētais lēmums ir jāpārskata cilvēkam.
- Neuzturot revīzijas liecības. Jāfiksē, ar kādiem datiem/modeli/atbildīgo personu pieņemts lēmums.
Rezumējot
Publiskajā sektorā AI var palielināt konsekvenci, bet arī klusi pārnest pagātnes diskrimināciju. Neobjektivitāti rada vēsturiskie dati, attēlojuma atšķirības, starpniekservera mainīgie un neprecīzi mērījumi; Sensitīvu datu dzēšana to neatrisinās. Taisnīgums tiek panākts, pārbaudot rezultātus dažādās grupās. Un nevienam pilsonim nevar atņemt tiesības "tā teica sistēma": katram lēmumam ir jābūt izskaidrojamam, apstrīdamam un auditējamam. Pie atbildības tiek prasīta iestāde, nevis algoritms.
Lietojumprogrammas uzdevums
Izvēlieties AI darbinātu vai automatizētu lēmumu pieņemšanas procesu savā vienībā. Uzskaitiet iespējamās novirzes un atrodiet vismaz vienu mainīgā riska aizstājēju, izmantojot veidni “Novirzes skenēšanas avots”. Nosakiet, kurus grupu sadalījumus apskatīt, izmantojot "taisnīguma pārbaudes plānu". Lai iegūtu lēmuma paraugu, izveidojiet pilsoņiem paredzētu paskaidrojumu, izmantojot veidni “Lēmuma skaidrojums”.
kontrolsaraksts
- [ ] Es meklēju neobjektivitātes avotus (vēsturisku, reprezentāciju, starpniekserveri, mērījumu).
- [ ] Es ne tikai izdzēsu sensitīvus datus; Es pārbaudīju produkciju pa grupām.
- [ ] Es kontrolēju kļūdu līmeni nepietiekami pārstāvētām grupām.
- [ ] Katram lēmumam esmu sniedzis vienkāršu, izskaidrojamu pamatojumu.
- [ ] Esmu definējis iebildumu un cilvēka pārskatīšanas ceļu.
- [ ] Audita pēdas (dati/modeļa versija/atbildīgais) tiek uzturētas.