Dobički:
- Razlikovanje treh modelov človeškega nadzora (v zanki, na zanki, na ukaz)
- Prepoznavanje in zmanjševanje tveganj pristranskosti in diskriminacije pri izdelavi umetne inteligence
- Prevajanje načel transparentnosti in razložljivosti v konkretne aplikacije
Sistem umetne inteligence lahko tehnično deluje popolno, vendar je še vedno napačen: lahko sistematično odstrani skupino, ne uspe pojasniti razloga za svojo odločitev ali povzroči, da jo ljudje sprejmejo brez dvoma. V tej enoti prevajamo »mehko«, a najbolj odločilno stran upravljanja – človeški nadzor, obvladovanje pristranskosti, preglednost in etiko – v konkretne prakse. Cilj niso nejasni slogani, kot je "ne zaupaj AI"; So delujoči mehanizmi, ki kažejo, kako revidirati rezultat, zmanjšati pristranskost in vzpostaviti preglednost.
Trije modeli človeškega nadzora
Človeški nadzor pomeni, da človek obdrži nadzor nad odločitvami, ki jih sprejme AI. Obstajajo trije osnovni modeli in treba je izbrati pravi model glede na tveganje.
model
Pomen
Kjer se spodobi
Človek v zanki
Človek odobri vsako odločitev
Visoko tvegane, vplivne odločitve
Človek na zanki
Umetna inteligenca deluje, ljudje spremljajo in po potrebi posredujejo
Srednje tveganje, velik obseg transakcij
Človek na čelu
Človek načrtuje sistem, mu postavlja meje, lahko ga zapre
Splošna raven upravljanja
Za odločitve, ki pomembno vplivajo na osebo (zaposlitev, kredit, zdravstveno varstvo), ima prednost model človeka v zanki: AI svetuje, a končno odločitev sprejme kompetenten človek. "AI je tako rekel" ni nikoli izgovor; Odgovornost je vedno na osebi.
Pozor: Ni dovolj, da je človeški nadzor »na papirju«. Če človek samodejno odobri predlog umetne inteligence (gumijasto žigosanje), ni pravega nadzora. Da bi bilo preverjanje smiselno, mora biti človek sposoben videti utemeljitev, se vprašati o njej in resnično reči "ne".
Tveganje predsodkov in diskriminacije
Pristranskost je, ko AI sistematično prikrajša ali daje prednost določenim skupinam. Njegov vir so pogosto podatki o usposabljanju: če obstaja diskriminacija v zgodovinskih podatkih, se umetna inteligenca tega nauči in vzdržuje – celo prilagodi.
Praktični koraki za zmanjšanje pristranskosti:
- Preglejte občutljive spremenljivke: preverite vpliv polj, kot so spol, starost, etnična pripadnost, na odločitev.
- Rezultati testa po skupinah: Ali sistem ustvarja različne stopnje zavrnitve/sprejemanja v različnih skupinah?
- Pazite se nadomestnih spremenljivk: Polja, kot sta »soseska« ali »šola«, lahko implicitno izražajo etnično/razredno razlikovanje.
- Vzpostavite redno spremljanje: pristranskost se testira nenehno, ne samo enkrat; Lahko se vrne, ko se podatki spremenijo.
trije mini kovčki
Primer 1 – Gumijasti žig. Pri eni banki uradniki za posojila odobrijo oceno AI, ne da bi jo pregledali; Pravijo, da je "sistem že izračunal". Revizija je pokazala, da je človek pri 498 od 500 oddaj sprejel popolnoma enako odločitev kot umetna inteligenca - tako da ni pravega pregleda. Rešitev: zahtevajte, da ljudje vidijo utemeljitev, do določene mere pretehtajo odločitev in zahtevajo opombo "zakaj se strinjam/ne strinjam".
Primer 2 – Implicitna pristranskost. Umetna inteligenca za zaposlovanje nižje ocenjuje kandidatke, čeprav sploh ne uporablja spola. od kje? Ker so pretekli podatki vključevali večinoma moške na določenem položaju, se je model naučil posredne diskriminacije prek posrednih spremenljivk, kot je "neprekinjena kariera". Skupinsko testiranje to razkriva; Ekipa izloči nadomestne spremenljivke in spremlja rezultat.
Primer 3 – Zaupanje s preglednostjo. V svoji oceni škode na podlagi umetne inteligence zavarovalnica vsako stranko obvesti, da "odločitev temelji na umetni inteligenci, lahko se pritoži in zahteva človeški pregled." Stopnja ugovorov je nižja od pričakovane, ker stranke razumejo postopek in mu zaupajo. Transparentnost poveča zaupanje in hkrati zmanjša tveganje.
Preglednost in razložljivost
Transparentnost pomeni pojasniti ustreznim ljudem, da je umetna inteligenca v akciji in kako deluje. Razložljivost pomeni biti sposoben na razumljiv način pojasniti razlog za odločitev. Konkretne aplikacije:
- Obvestilo »Govorite z umetno inteligenco« pri interakciji umetne inteligence z osebo.
- "Ta odločitev je temeljila na naslednjih dejavnikih", razlaga v samodejnih odločitvah.
- Jasno predstavite pot do pritožbe in zahteve za ročni pregled.
- Za interne ekipe: dokumentacija in zapis o tem, kaj počne model.
Namig: vprašajte odločitev umetne inteligence »kateri so bili glavni trije dejavniki, ki so vplivali na to odločitev?« Preizkusite z vprašanjem. Če sistem tega ne more narediti razumljivega in odločitev pomembno vpliva na osebo, ta sistem še ni pripravljen za odgovorno uporabo.
Pristranskost avtomatizacije: lastna past
Tudi če sta preglednost in človeški nadzor vzpostavljena, obstaja zahrbtno tveganje na človeški strani: pristranskost avtomatizacije. To je težnja, da ljudje bolj zaupajo rezultatu stroja kot svoji lastni presoji. Ker se predlog umetne inteligence na zaslonu zdi »objektiven in preračunan«, človeka zamika, da bi ga sprejel brez dvoma – to je psihološki izvor gumijastega žiga.
Obstajajo konkretni načini za zmanjšanje tega. Najprej spodbudite nasprotno mnenje: vprašajte osebo, ki odobri odločitev: "Zakaj se morda ne strinjam z AI?" Prosite ga, naj razmisli o vprašanju. Nato pokažite oceno zaupanja: navedite, kako samozavesten je AI; Izhode z nizko stopnjo zaupanja označite ločeno. Nato nastavite opozorilo o konfliktu: Če priporočilo AI krši pravilo institucije ali podatke, ki so na voljo človeku, bo sistem to izpostavil. Na koncu uporabite obe človeški načeli za kritične odločitve; En sam odobritelj je bolj dovzeten za pristranskost avtomatizacije.
Pozor: reči, da "obstaja človeška odobritev", ne pomeni, da ste brez pristranskosti avtomatizacije. Človek mora imeti avtoriteto, čas in prave informacije, da dvomi o AI. Sistem, ki prisili odobritelja, da sprejme 200 odločitev v 3 sekundah, dejansko ne ponuja pravega človeškega nadzora.
Kopirane predloge
PREDLOGA 1 — Izbira modela človeškega nadzora: "Kateri model človeškega nadzora je primeren za naslednjo uporabo umetne inteligence [opišite uporabo]: v zanki, v zanki ali v ukazu? Priporočite z utemeljitvijo ob upoštevanju tveganja in vpliva na posameznika. Navedite, kateri nadzor naj dodam, da se izognem tveganju gumijastega žiga."
PREDLOGA 2 — Načrt testiranja pristranskosti: "Pripravite [opišite uporabo] načrt testiranja pristranskosti za naslednjo umetno inteligenco za podporo odločanju: katere skupine naj primerjam, katero meritev naj izmerim (stopnja zavrnitve/sprejemanja itd.), katere nadomestne spremenljivke naj iščem, kako pogosto naj ponovim test? Napišite korak za korakom."
PREDLOGA 3 — Besedilo opisa odločitve: "Napišite preprosto opisno besedilo za prilagojeno avtomatizirano odločitev: ali je odločitev temeljila na AI, ključni dejavniki, ki so vplivali na odločitev, način za pritožbo in zahtevo za človeški pregled. Neobtožujoč, spoštljiv ton, 120 besed ali manj."
PREDLOGA 4 – Kontrolni seznam za etični pregled: "Pred objavo uporabe umetne inteligence pripravite kontrolni seznam za etični pregled: pravičnost/diskriminacija, preglednost, človeški nadzor, zasebnost, varnost, odgovornost. Pod vsak naslov vključite 1-2 jasni vprašanji, na katera je treba odgovoriti."
Šibek poziv/močan poziv
ŠIBKO: »Ali je ta umetna inteligenca pri zaposlovanju poštena?«-> Model daje splošen odgovor, kot je 'moralo bi biti pošteno'; ne zagotavlja metode, ki bi jo bilo mogoče preizkusiti, in meritev pristranskosti. MOČNO: "Nastavite načrt testiranja pristranskosti za to umetno inteligenco za podporo zaposlovanju: metoda za primerjavo stopenj sprejemljivosti med spoloma in starostnimi skupinami, približne spremenljivke, ki jih je treba upoštevati, sprejemljiv prag razlike in pogostost spremljanja. Dodajte tudi nadzor, da zagotovite, da končno odločitev sprejme človek." -> Model ustvari merljiv, ponovljiv mehanizem pravičnosti.
Pogoste napake
- Prepustitev človeškemu nadzoru "na papirju" in samodejno odobritev priporočila AI (gumijasti žig).
- Odločitve, ki pomembno vplivajo na osebo, pustite nenadzorovane namesto v zanki.
- Glede na to, da je pristranskost razrešena samo zato, ker sem "izbrisal občutljivo spremenljivko"; preskakovanje proxy spremenljivk.
- Enkratno testiranje pristranskosti in ne nenehno spremljanje.
- Preskakovanje preglednosti, ker "je tehnična podrobnost, uporabnik je ne bo razumel".
- Uporaba sistema, ki ne more pojasniti razloga za odločitev pri kritičnih odločitvah.
- Pustiti etično oceno za po objavi z besedami "bomo videli pozneje".
Če povzamem
- Človeški nadzor je izveden v treh modelih; Pri odločitvah, ki zadevajo ljudi, imajo v ciklu prednost ljudje.
- Nadzor mora biti smiseln; Gumijasti žig (samodejna odobritev) ni dejanska revizija.
- Pristranskost pogosto izhaja iz podatkov o usposabljanju; Občutljive in nadomestne spremenljivke je treba testirati in nenehno spremljati.
- Preglednost in razložljivost zahtevata jasno predstavitev uporabniku, da je AI v igri, in razlog za odločitev.
- Etični pregled se opravi pred objavo; odgovornost je vedno na človeku, "AI je tako rekla" ni opravičilo.
Aplikacijska naloga
Izberite postopek odločanja z umetno inteligenco, ki vpliva na ljudi v vaši organizaciji (na primer vrednotenje aplikacij). Določite ustrezen model človeškega nadzora za ta proces z utemeljitvijo in oblikujte konkretno kontrolo za preprečitev gumijastega žigosanja (npr. zahteva po ogledu utemeljitve, pregled vzorca). Nato napišite načrt testiranja pristranskosti: določite, katere skupine boste primerjali, s katero metriko, kako pogosto in na katere proxy spremenljivke boste pozorni. Nazadnje sestavite besedilo obrazložitve odločitve, ki bo prikazano osebi med tem postopkom, in vključite pot pritožbe/človeškega pregleda.
kontrolni seznam
- [ ] Izbral sem model človeškega nadzora, ki ustreza procesu.
- [ ] Oblikoval sem betonsko kontrolo, ki bo preprečila gumijasti žig.
- [ ] Pripravil sem načrt testiranja pristranskosti (skupine, metrika, frekvenca).
- [ ] Ocenil sem tveganje nadomestnih spremenljivk.
- [ ] Napisal sem besedilo obrazložitve odločitve za osebo.
- [ ] Jasno sem predstavil pot do pritožbe in človeškega pregleda.
- [ ] Pred objavo sem opravil etični pregled.