Câștiguri:
- Recunoaște datele, designul și sursele de utilizare ale părtinirii algoritmice și testează rezultatul pe o bază de grup.
- Explică modul în care bucla de feedback și eroarea de reprezentare amplifica inegalitatea și stabilește controlul impactului.
- Acesta asigură responsabilitatea, asigurând explicabilitatea și apelul în fiecare decizie automată.
Publicul trebuie să-și aplice puterea în mod egal tuturor: tratament similar pentru doi cetățeni aflați în situații similare, diferență proporțională cu situațiile diferite. Acest principiu al egalității este o obligație constituțională. Inteligența artificială poate îmbunătăți și perturba în liniște acest domeniu. Se poate îmbunătăți, deoarece o regulă aplicată în mod consecvent poate reduce arbitrariul și părtinirea umană. Poate fi corupt, deoarece modelele AI învață din datele din trecut, iar datele din trecut poartă discriminarea trecutului. Dacă un sistem este antrenat pe date care au dezavantajat istoric un anumit grup, el duce acel dezavantaj în viitor – și într-o formă care este și mai dificil de detectat, sub pretextul unui „algoritm obiectiv”. În această unitate, veți învăța cum să recunoașteți părtinirea algoritmică (disturbirea sistematică a rezultatelor modelului față de anumite grupuri) atunci când utilizați AI în sectorul public, cum să o reduceți și, cel mai important, cum să asigurați responsabilitatea algoritmică (motivarea unei decizii automatizate fiind explicabilă, auditabilă și contestabilă).
De unde vine părtinirea?
Există mai multe surse de părtinire algoritmică și toate sunt riscante în public:
- Prejudecăți istorice: datele de antrenament conțin inegalități din trecut. De exemplu, dacă o zonă a avut mai puține servicii în trecut, „datele privind cererea” pot arăta că acea zonă are nevoi scăzute - când de fapt cererea a fost scăzută pentru că nu a existat niciun serviciu.
- Prejudecăți de reprezentare: Unele grupuri sunt subreprezentate în date (cele fără acces digital, grupuri lingvistice minoritare) și modelul funcționează slab pentru ele.
- Prejudecățile proxy: chiar dacă modelul nu se uită direct la un criteriu interzis (etnie, religie), poate produce aceeași discriminare analizând un proxy asociat cu acesta (cartier, nume, cod poștal).
- Prejudecăți de măsurare: ceea ce măsurăm nu este ceea ce dorim de fapt să măsurăm. „Numărul de reclamații” măsoară mai degrabă capacitatea de a se plânge decât nevoia.
Atenție: este înșelător să spui „Am eliminat datele sensibile (sex, etnie) din model, acum este corect”. Discriminarea prin variabile proxy poate continua. Corectitudinea se realizează nu prin ștergerea intrării, ci prin testarea rezultatelor între grupuri.
Testarea corectitudinii: vedeți rezultatul
Dacă un sistem este corect sau nu, poate fi înțeles analizând rezultatele sale, nu intențiile sale. Metoda de bază: împărțiți decizia în grupuri și comparați. Produsele precum rata de acceptare/respingere, rata de eroare, timpul de așteptare diferă semnificativ între diferitele grupuri (sex, vârstă, regiune, venit)? Dacă există o diferență, această diferență se bazează pe un motiv legitim sau este discriminare? Deoarece această analiză poate necesita date cu caracter personal, aceasta trebuie să fie agregată și efectuată în conformitate cu KVKK.
Sfat: înainte de a lansa un nou sistem de decizie bazat pe inteligență artificială, defalcați deciziile pe grupuri demografice și produceți un „raport de corectitudine”. Dacă găsiți o diferență, „poate fi explicată această diferență?” Duceți întrebarea unui comitet de oameni.
Explicabilitate și atracție: inima responsabilității
În sectorul public, niciun cetățean nu poate fi privat de drepturile sale cu răspunsul „așa a decis sistemul”. Pentru fiecare decizie automatizată sau asistată de inteligență artificială, trebuie asigurate trei lucruri:
- Explicabilitate: pe ce s-a bazat decizia, ce factori au fost eficienți, ar trebui explicate într-un limbaj simplu.
- Mod de contestare: cetățenii ar trebui să poată obiecta asupra deciziei și să ceară unui om să o revizuiască.
- Pista de audit: Ar trebui să fie înregistrate ce date, ce model/versiunea și cu ce persoană responsabilă a fost luată decizia.
trei mini cutii
Cazul 1 — Varianta surogat capturată. Un model de prioritizare a ajutorului nu a folosit date sensibile, ci a analizat „codul poștal”. În testul de corectitudine, s-a constatat că anumite cartiere primesc în mod sistematic o prioritate scăzută - corelat cu codul poștal, venitul și densitatea etnică. Variabila a fost eliminată și prioritatea a fost legată direct de indicatorii de nevoie.
Cazul 2 – Decalaj de reprezentare. Un chatbot avea cu 41% mai multe șanse să inducă în eroare întrebările de la cetățenii cu o limbă maternă non-turca; Datele de instruire au conținut puțin din acest grup. Când au fost adăugate suportul multilingv și pragul de predare umană, decalajul s-a redus.
Cazul 3 – Respingere inexplicabilă. O instituție a respins automat o cerere; cetatean "de ce?" Întrebat, ofițerul nu a putut explica, deoarece motivul modelului nu era de înțeles. Incidentul a arătat că modelele cu explicabilitate slabă nu pot fi folosite pentru a lua decizii purtătoare de drepturi; Sistemul a fost transformat într-un model care generează justificare și necesită aprobare umană.
Patru șabloane copiabile
1) Sursa de scanare a părtinirii:
Rolul dumneavoastră: expert în echitate algoritmică. Consultați mai jos procesul de decizie bazat pe inteligență artificială. Enumerați sursele posibile de părtinire: (1) părtinire istorică, (2) părtinire de reprezentare (grup subreprezentat), (3) variabile proxy (coloana asociată cu criteriul interzis), (4) părtinire de măsurare. Dați un exemplu concret pentru fiecare și spuneți-mi cum să-l testez. PROCES: [proces de decizie și date utilizate]
2) Planul de testare a corectitudinii:
Generați un plan de testare a corectitudinii pentru următoarele rezultate ale deciziei: ce grupuri (vârstă, sex, regiune, venit) ar trebui să defalc, ce valori (rata de acceptare, rata de eroare, timpul de așteptare) ar trebui să compar, cum decid dacă diferența este legitimă sau discriminatorie? Adăugați avertisment KVKK. DECIZIE: [ce decizie]
3) Declarație de decizie (către cetățean):
Scrieți un proiect de explicație pe înțelesul cetățenilor pentru următoarea decizie: ce factori au fost influenți, într-un limbaj simplu. Adăugați dreptul de a face recurs la sfârșit și posibilitatea de a avea o revizuire umană [cu timp ce urmează a fi confirmat]. Folosind expresii vagi precum „Așa a decis sistemul”. DECIZIE: [rezumat și factori de influență]
4) Verificarea responsabilității înainte de difuzare:
Produceți o listă de verificare a responsabilității înainte de a lansa sistemul de decizie bazat pe inteligența artificială: este explicabil, există o modalitate de a face recurs, este menținută o pistă de audit (date/versiune de model/responsabil), s-a efectuat testarea echității, unde este punctul de aprobare umană. Semnalați articolele lipsă ca steaguri roșii.SISTEM: [rețetă]
Prompt slab / Prompt puternic
Slab: „Este acest model de decizie corect?”
Puternic: „Rolul dvs. este expert în echitate algoritmică. Pentru acest model de prioritizare a ajutorului, mai întâi căutați sursele de părtinire (istorice, reprezentare, variabilă surogat, măsurare) și dați exemple concrete pentru fiecare. Apoi veniți cu un plan de testare a corectitudinii: defalcare după ce grupuri, ce metrici, cum să decideți legitimitatea diferenței, adăugați lista KV pentru diferența înainte de lansare. explicabilitate, cale de apel și pistă de audit și semnalizare roșie a deficiențelor.”
Diferența: un prompt puternic caută părtinire la sursă, are rezultatul testat de grupuri și face responsabilitatea larg răspândită.
Dimensiunile și controalele justiției
Dimensiune
Risc
control
date istorice
Trecutul poartă inegalitate
Testarea rezultatelor pe grupuri
reprezentare
Funcționează prost pentru un grup
Rata de eroare bazată pe grup
variabila surogat
discriminare ascunsă
Relația de criteriu variabilă-sensibil
Explicabilitate
decizie nejustificată
Generați o explicație simplă
obiecție
confiscarea
Calea revizuirii umane
Bucla de feedback și eroare de reprezentare
Cea mai insidioasă formă de discriminare algoritmică apare nu într-o singură decizie greșită, ci într-o buclă de feedback care se întărește în timp (ieșirea unui model afectează datele de antrenament ulterioare, consolidând părtinirea existentă). De exemplu, dacă un model de inspecție semnalează un anumit cartier ca fiind „riscant”, cu cât se efectuează mai multe inspecții acolo, cu atât se creează mai multe înregistrări, modelul vede acel cartier ca fiind mai riscant - chiar dacă diferența a crescut în locația privită, nu în riscul real. Ceea ce deschide calea pentru aceasta este adesea o eroare de reprezentare (datele de antrenament care reflectă unele grupuri incomplet sau distorsionat). În sectorul public, aceste cicluri pot pune grupurile dezavantajate sub supraveghere și sancțiuni din ce în ce mai severe. Modul de a te proteja este să monitorizezi impactul modelului, nu doar rezultatul acestuia: să monitorizezi regulat distribuția deciziilor pe bază de grup și să nu implementezi orbește recomandările modelului.
Mini carcasă — îndoială auto-amplificatoare. Un model de detectare a fraudei de bunăstare a semnalat o regiune care a fost mai intens inspectată în trecut ca fiind cu risc ridicat. Când echipa a extras intensitatea aplicării din date și a măsurat „rata adevărată de detectare în raport cu populația”, ei au descoperit că diferențele dintre regiuni au dispărut în mare măsură; Modelul a confundat inegalitatea cu risc real.
Șablon de control al impactului pe bază de grup:
Sarcină: Examinați următoarele date de decizie pe grupuri (fără date personale, rezumat categoric).Date: [grup | decizie totală | rata de decizie negativă | intensitatea inspecției] Rezultate: 1) Rata de decizie negativă arată o diferență semnificativă între grupuri? 2) Ar putea diferența să se datoreze riscului real sau intensității controlului/reprezentării? 3) Există vreun semn de buclă de feedback? 4) Recomandări pentru controlul uman. Regula: Stabilirea unei afirmații de cauzalitate; Enumerați posibilele explicații și modalități de testare.
Atenție: Argumentul că „modelul este neutru pentru că aplică aceeași regulă tuturor” este înșelător. Aceeași regulă, atunci când este aplicată datelor denaturate, păstrează și mărește inegalitatea. Justiția se măsoară prin egalitatea rezultatului, nu prin regulă.
Greșeli comune
- Ștergerea datelor sensibile și gândirea „este corect”. Variabilele surogat perpetuează discriminarea; testați ieșirea.
- Măsurarea dreptății prin intenție. Dreptatea apare în cele din urmă; Sortați deciziile în grupuri și comparați.
- Uitând grupul subreprezentat. Modelul poate funcționa slab pentru un grup minoritar; Vedeți eroarea bazată pe grup.
- Utilizarea modelului inexplicabil în deciziile de acordare a drepturilor. Un sistem care nu poate produce justificare nu poate lua decizii publice.
- Nu se oferă niciun mijloc de obiecție. Fiecare decizie automatizată ar trebui să fie supusă revizuirii umane.
- Nu ține o pistă de audit. Ar trebui înregistrată cu ce date/model/persoană responsabilă a fost luată decizia.
Pe scurt
În sectorul public, inteligența artificială poate crește coerența, dar și poate duce în liniște discriminările din trecut. Prejudecățile provin din date istorice, decalaj de reprezentare, variabile proxy și măsurători inexacte; Ștergerea datelor sensibile nu o va rezolva. Corectitudinea este obținută prin testarea rezultatelor între grupuri. Și nici un cetățean nu poate fi dezafectat de „sistemul așa a spus”: fiecare decizie trebuie să fie explicabilă, contestabilă și auditabilă. Instituția este cea care răspunde, nu algoritmul.
Sarcina de aplicare
Alegeți un proces de decizie bazat pe inteligență artificială sau automatizat în unitatea dvs. Enumerați posibilele părtiniri și găsiți cel puțin un risc variabil surogat cu șablonul „Source of bias scan”. Stabiliți ce defalcări de grup să vă uitați cu „planul de testare a corectitudinii”. Pentru un exemplu de decizie, produceți o explicație adresată cetățenilor cu șablonul „Explicarea deciziei”.
lista de verificare
- [ ] Am scanat pentru surse de părtinire (istoric, reprezentare, proxy, măsurare).
- [ ] Nu am șters doar date sensibile; Am testat ieșirea pe grupuri.
- [ ] Am controlat rata de eroare pentru grupurile subreprezentate.
- [ ] Am oferit o justificare simplă, explicabilă pentru fiecare decizie.
- [ ] Am definit o cale de obiecție și de revizuire umană.
- [ ] Pista de audit (date/versiunea model/responsabil) este menținută.