zisky:
- Rozlišovanie troch modelov ľudskej kontroly (v slučke, v slučke, v príkaze)
- Rozpoznanie a zmiernenie rizík zaujatosti a diskriminácie vo výstupe AI
- Prevedenie princípov transparentnosti a vysvetliteľnosti do konkrétnych aplikácií
Systém umelej inteligencie môže technicky fungovať dokonale, no stále môže byť chybný: môže systematicky eliminovať skupinu, nedokáže vysvetliť dôvod svojho rozhodnutia alebo viesť ľudí k tomu, aby ho prijali bez otázok. V tomto oddelení prevádzame „mäkkú“, ale najrozhodujúcejšiu stránku riadenia – ľudskú kontrolu, riadenie predsudkov, transparentnosť a etiku – do konkrétnych praktík. Cieľom nie sú vágne slogany ako „nedôveruj AI“; Sú to pracovné mechanizmy, ktoré ukazujú, ako auditovať výstup, znížiť zaujatosť a zabezpečiť transparentnosť.
Tri modely ľudskej kontroly
Ľudský dohľad znamená, že človek si ponecháva kontrolu nad rozhodnutiami, ktoré robí AI. Existujú tri základné modely a je potrebné zvoliť správny model podľa rizikovosti.
model
Význam
Kde sa to hodí
Človek v slučke
Človek schvaľuje každé rozhodnutie
Vysoko rizikové rozhodnutia, ktoré majú vplyv
Človek na slučke
AI funguje, ľudia monitorujú a v prípade potreby zasahujú
Stredné riziko, vysoký objem transakcií
Veliteľ
Človek navrhne systém, nastaví jeho hranice, môže ho uzavrieť
Celková úroveň riadenia
Pri rozhodnutiach, ktoré výrazne ovplyvňujú človeka (zamestnanie, úvery, zdravotná starostlivosť), sa uprednostňuje model human-in-the-loop: AI radí, ale konečné rozhodnutie robí kompetentný človek. „AI to povedala“ nikdy nie je ospravedlnením; Zodpovednosť je vždy na človeku.
Pozor: Nestačí, aby ľudská kontrola bola „na papieri“. Ak človek automaticky schváli návrh AI (vytlačenie), neexistuje žiadna skutočná kontrola. Aby bol audit zmysluplný, človek musí byť schopný vidieť dôvod, spochybňovať ho a skutočne povedať „nie“.
Riziko predsudkov a diskriminácie
Zaujatosť je, keď AI systematicky znevýhodňuje alebo zvýhodňuje určité skupiny. Jeho zdrojom sú často trénovacie údaje: ak existuje diskriminácia v historických údajoch, AI sa ich naučí a udržiava – dokonca ich škáluje.
Praktické kroky na zníženie zaujatosti:
- Skontrolujte citlivé premenné: Skontrolujte vplyv oblastí, ako je pohlavie, vek, etnická príslušnosť, na rozhodnutie.
- Výsledky testov podľa skupín: Vytvára systém rôzne miery odmietnutia/prijatia v rôznych skupinách?
- Dajte si pozor na proxy premenné: Polia ako „susedstvo“ alebo „škola“ môžu implicitne vyjadrovať etnický/triedny rozdiel.
- Zaveďte pravidelné monitorovanie: Zaujatosť sa testuje nepretržite, nie iba raz; Môže sa vrátiť, keď sa údaje zmenia.
tri mini prípady
Prípad 1 – Pečiatka. V jednej banke pôžičkoví úradníci schvaľujú skóre AI bez toho, aby ho preskúmali; Hovorí sa, že „systém to už vypočítal“. Audit ukazuje, že v 498 z 500 podaní urobil človek presne to isté rozhodnutie ako AI – takže neexistuje žiadna skutočná kontrola. Riešenie: vyžadovať, aby ľudia videli odôvodnenie, do určitej miery odhadli rozhodnutie a požadujte poznámku „prečo súhlasím/nesúhlasím“.
Prípad 2 – Implicitná zaujatosť. Náborová AI má u kandidátok nižšie skóre, aj keď vôbec nepoužíva rod. Odkiaľ? Keďže minulé údaje zahŕňali väčšinou mužov na danej pozícii, model sa naučil nepriamu diskrimináciu prostredníctvom proxy premenných, ako je „neprerušená kariéra“. Odhaľuje to skupinové testovanie; Tím extrahuje náhradné premenné a sleduje výsledok.
Prípad 3 – Dôverujte transparentnosti. Poisťovňa vo svojom hodnotení škôd na základe AI informuje každého zákazníka, že „rozhodnutie je založené na AI, môžu sa odvolať a požiadať o preskúmanie človekom“. Miera námietok je nižšia, ako sa očakávalo, pretože zákazníci procesu rozumejú a dôverujú mu. Transparentnosť zvyšuje dôveru a zároveň znižuje riziko.
Transparentnosť a vysvetliteľnosť
Transparentnosť je o tom, aby bolo relevantným ľuďom jasné, že AI funguje a ako funguje. Vysvetliteľnosť znamená vedieť vysvetliť dôvod rozhodnutia zrozumiteľným spôsobom. Konkrétne aplikácie:
- Upozornenie „Hovoríte s AI“ o interakcii AI s osobou.
- Vysvetlenie „Toto rozhodnutie bolo založené na nasledujúcich faktoroch“ v automatických rozhodnutiach.
- Jasne uveďte cestu k odvolaniu a požiadajte o kontrolu človekom.
- Pre interné tímy: dokumentácia a zaznamenávanie toho, čo model robí.
Tip: Opýtajte sa rozhodnutia AI „aké tri hlavné faktory ovplyvnili toto rozhodnutie?“ Otestujte si to otázkou. Ak to systém nedokáže urobiť zrozumiteľným a rozhodnutie človeka výrazne ovplyvňuje, tento systém ešte nie je pripravený na zodpovedné používanie.
Zaujatosť automatizácie: vlastná pasca
Aj keď sa zavedie transparentnosť a ľudský dohľad, na ľudskej strane existuje zákerné riziko: zaujatosť automatizácie. Toto je tendencia ľudí dôverovať viac výstupu stroja ako svojmu vlastnému úsudku. Keďže návrh umelej inteligencie na obrazovke sa javí ako „objektívny a vypočítaný“, máme pokušenie prijať ho bez otázok – toto je psychologický pôvod pečiatky.
Existujú konkrétne spôsoby, ako to znížiť. Najprv podporte protinázor: opýtajte sa osoby, ktorá schvaľuje rozhodnutie: „Prečo by som nesúhlasil s AI?“ Požiadajte ho, aby sa nad otázkou zamyslel. Potom ukážte skóre spoľahlivosti: uveďte, aká istá je AI; Výstupy s nízkou spoľahlivosťou označte oddelene. Potom nastavte upozornenie na konflikt: Ak odporúčanie AI porušuje pravidlo inštitúcie alebo údaje dostupné človeku, systém to zvýrazní. Nakoniec aplikujte dva ľudské princípy na kritické rozhodnutia; Jediný schvaľovateľ je náchylnejší na zaujatosť automatizácie.
Pozor: Povedať „existuje ľudský súhlas“ neznamená byť bez zaujatosti automatizácie. Človek musí mať autoritu, čas a správne informácie na to, aby spochybňoval AI. Systém, ktorý núti schvaľovateľa urobiť 200 rozhodnutí za 3 sekundy, v skutočnosti neponúka skutočnú ľudskú kontrolu.
Kopírovateľné šablóny
ŠABLÓNA 1 – Výber modelu ľudskej kontroly: „Ktorý model ľudskej kontroly je vhodný na nasledujúce použitie AI [opíšte použitie]: v slučke, na slučke alebo na príkaz? Odporúčam s odôvodnením, berúc do úvahy riziko a dopad na jednotlivca. Uveďte, akú kontrolu by som mal pridať, aby som predišiel riziku pečiatky.“
ŠABLÓNA 2 — Plán testovania zaujatosti: „Vypracujte plán testovania zaujatosti [opíšte použitie] pre nasledujúcu umelú inteligenciu na podporu rozhodovania: ktoré skupiny by som mal porovnávať, akú metriku by som mal merať (miera odmietnutia/prijatia atď.), aké náhradné premenné by som mal hľadať, ako často by som mal test opakovať? Napíšte to krok za krokom.“
ŠABLÓNA 3 – Text popisu rozhodnutia: „Napíšte jednoduchý popisný text pre prispôsobené automatizované rozhodnutie: či rozhodnutie bolo založené na umelej inteligencii, kľúčové faktory ovplyvňujúce rozhodnutie, spôsob odvolania a žiadosti o preskúmanie človekom. Neobviňujúci, úctivý tón, 120 slov alebo menej.“
ŠABLÓNA 4 – Kontrolný zoznam etického preskúmania: „Pripravte si kontrolný zoznam etického preskúmania pred zverejnením použitia AI: spravodlivosť/diskriminácia, transparentnosť, ľudská kontrola, súkromie, bezpečnosť, zodpovednosť. Pod každý nadpis uveďte 1 – 2 jasné otázky, na ktoré treba odpovedať.“
Slabá výzva / Silná výzva
SLABÝ: „Je tento nábor AI spravodlivý?“-> Model dáva všeobecnú odpoveď ako „malo by to byť spravodlivé“; neposkytuje testovateľnú metódu a meranie skreslenia. STRONG: "Nastavte plán testovania zaujatosti pre túto umelú inteligenciu na podporu náboru: metóda na porovnanie miery prijatia medzi pohlaviami a vekovými skupinami, proxy premenné, ktoré treba zvážiť, prah prijateľného rozdielu a frekvencia monitorovania. Pridajte tiež kontrolu, aby ste sa uistili, že konečné rozhodnutie urobí človek." -> Model vytvára merateľný, opakovateľný mechanizmus spravodlivosti.
Časté chyby
- Ponechanie ľudskej kontroly „na papieri“ a automatické schválenie odporúčania AI (pečiatka).
- Rozhodnutia, ktoré výrazne ovplyvňujú osobu, ponechajú bez dozoru namiesto toho, aby boli v slučke.
- Berúc do úvahy zaujatosť vyriešenú len preto, že „vymazal som citlivú premennú“; preskakovanie proxy premenných.
- Testovanie zaujatosti raz a nie neustále sledovanie.
- Preskakovanie transparentnosti, pretože „je to technický detail, používateľ to nepochopí“.
- Používanie systému, ktorý nedokáže vysvetliť dôvod rozhodnutia v kritických rozhodnutiach.
- Etické hodnotenie ponechať až po zverejnení so slovami „uvidíme neskôr“.
V súhrne
- Ľudská kontrola je implementovaná v troch modeloch; Pri rozhodnutiach ovplyvňujúcich ľudí sú v cykle preferovaní ľudia.
- Kontrola musí byť zmysluplná; Pečiatka (automatické schválenie) nie je skutočným auditom.
- Skreslenie často pochádza z tréningových údajov; Citlivé a náhradné premenné by sa mali testovať a neustále monitorovať.
- Transparentnosť a vysvetliteľnosť si vyžadujú jasné prezentovanie používateľovi, že AI je v hre, a dôvod rozhodnutia.
- Etické preskúmanie prebieha pred zverejnením; zodpovednosť je vždy na ľudskej bytosti, "AI to povedala" nie je ospravedlnenie.
Aplikačná úloha
Vyberte si rozhodovací proces AI, ktorý ovplyvňuje ľudí vo vašej organizácii (napríklad hodnotenie aplikácií). Určite vhodný model ľudskej kontroly pre tento proces so zdôvodnením a navrhnite konkrétnu kontrolu, aby ste zabránili razeniu gumy (napr. požiadavka vidieť odôvodnenie, kontrola vzorky). Potom napíšte plán testovania zaujatosti: špecifikujte, ktoré skupiny budete porovnávať, s akou metrikou, ako často a ktorým proxy premenným budete venovať pozornosť. Nakoniec navrhnite text s vysvetlením rozhodnutia, ktorý sa osobe počas tohto procesu zobrazí, a zahrňte cestu odvolania/kontroly človekom.
kontrolný zoznam
- [ ] Zvolil som model ľudského riadenia vhodný pre daný proces.
- [ ] Navrhol som betónovú kontrolu, ktorá zabráni gumovej pečiatke.
- [ ] Pripravil som plán testovania skreslenia (skupiny, metrika, frekvencia).
- [ ] Vyhodnotil som riziko náhradných premenných.
- [ ] Napísal som pre danú osobu text s vysvetlením rozhodnutia.
- [ ] Jasne som predstavil cestu k odvolaniu a ľudskej kontrole.
- [ ] Etickú previerku som vykonal pred zverejnením.