zisky:
- Chápe, že dáta sú primárnym zdrojom skreslenia AI
- Uvedomuje si riziká, ktoré môže spôsobiť zaujatosť na pracovisku
- Vykonáva opatrenia, ktoré možno prijať na zníženie predsudkov
AI sa javí ako neutrálny, objektívny stroj; ale pravda je oveľa zložitejšia. Systémy AI sa učia ľudské zaujatosti v údajoch, na ktorých sú trénované, a niekedy ich zväčšujú a reprodukujú. Predsudok je tendencia systému systematicky uprednostňovať alebo vylučovať určitých ľudí alebo skupiny. V tejto časti zvážime, odkiaľ predsudky pochádzajú, aké konkrétne riziká predstavujú na pracovisku a čo sa dá proti nim robiť. Nie je to len otázka „etiky“; Ide o praktickú obchodnú záležitosť, ktorá pri nesprávnom riadení nesie so sebou právne, obchodné a reputačné riziko.
Odkiaľ pochádza predsudok?
Informácie o jazykovom modeli pochádzajú z obrovských textov, ktoré ľudia produkujú. Tieto texty obsahujú všetky poznatky ľudskej spoločnosti, ako aj všetky jej stereotypy, nerovnováhy a historické nerovnosti. Model nerozlišuje medzi „dobrými“ a „zlými“ vzormi; Učí sa všetko, čo je v údajoch.
Príklad: Ak boli určité profesie v minulých textoch prevažne spojené s pohlavím (napr. „zdravotná sestra“ so ženou, „inžinier“ s mužom), model sa túto asociáciu naučí. Pri dokončovaní vety môže mať tendenciu zvoliť si mužské zámeno: „Do kancelárie vošiel inžinier, on...“ Model nie je zlomyseľný; odráža len nerovnováhu v údajoch.
Takže zaujatosť je väčšinou spôsobená tým, že ide o zrkadlo údajov, nie vedomú chybu programovania. Vysvetľovať problém ako „niekto napísal zlý kód“ je zavádzajúce; Problém je v tom, že nerovnováha vo svete sa prenáša do údajov a odtiaľ do modelu.
Hmatateľné riziká na pracovisku
oblasť
Riziko zaujatosti
možné poškodenie
nábor
Naučte sa trend v historických údajoch a eliminujte určité skupiny
Právny prípad, strata spôsobilosti
Komunikácia so zákazníkom
Stereotypný alebo vylučovací jazyk
Strata reputácie, útek zákazníkov
úver/riziko
Udržiavanie minulých nerovností
Diskriminácia, sankcie
Hodnotenie výkonu
Prenesenie skreslenia údajov do rozhodovania
Nespravodlivá propagácia/bonus
Obsah/marketing
Urobte neviditeľnú konkrétnu skupinu
Poškodenie značky
Tri mini puzdrá
Prípad 1 – Reklama zužovala jazyk. Spoločnosť začala tlačiť pracovné ponuky pomocou AI. Po chvíli sa zistilo, že reklamy oslovujú určitý profil výrazmi ako „mladý a dynamický“, „agresívny cieľ“ a tým znižujú rôznorodosť aplikácií. Tím pridal krok, ktorý skontroluje každý príspevok na „zahrnutý jazyk“; Rozmanitosť žiadateľov sa v priebehu niekoľkých mesiacov výrazne zvýšila.
Prípad 2 – Skrytá zaujatosť v súhrne. Jeden manažér nechal AI zhrnúť spätnú väzbu od 30 zamestnancov. Zdá sa, že rekapitulácia sústreďuje negatívne komentáre na jeden konkrétny tím; zatiaľ čo v hrubých údajoch bola situácia vyrovnaná. Modelka prehnala viaceré silné výroky. Keď sa manažér vrátil a skontroloval nespracované údaje, vyhol sa mylnej predstave.
Prípad 3 – Mandát na začlenenie fungoval. Jeden marketingový tím štandardizoval pokyny v znení kampane tak, aby „používali inkluzívny, nešpecifický jazyk pre pohlavie/vek/skupinu a na konci uvádzali svoje predpoklady“. Formulatické výrazy v produkovaných textoch výrazne ubudli; tím nemusel ručne opravovať každý výstup znova a znova.
Prečo je ťažké rozpoznať zaujatosť?
Najzákernejšie na predsudkoch je, že ich často nevidno. Výstup vyzerá hladko, profesionálne a primerane; Tendencia v nej sa prejaví až vtedy, keď sa pozorne pozrieme alebo zmeriame jej vplyv na rôzne skupiny. Je zavádzajúce tvrdiť, že „tu nejde o žiadnu zaujatosť“ pri pohľade na jediný príklad; Zaujatosť sa často neprejavuje v jednotlivých príkladoch, ale vo všeobecnej tendencii systému.
Pozor: Predpoklad, že „som neutrálny, preto je neutrálny aj nástroj, ktorý používam“, je nebezpečný. Neutralita nástroja závisí od tréningových údajov a spôsobu ich kontroly, nie od vášho zámeru.
Slabá výzva / silná výzva
Slabá výzva: Popíšte ideálneho kandidáta na túto pozíciu.
Výsledok: Model sa môže spoliehať na stereotypy a prezentovať konkrétny profil ako „ideálny“.
Silná výzva: Uveďte iba merateľné kompetencie pre túto pozíciu, ktoré sú skutočne relevantné pre danú prácu. Nepoužívajte žiadne charakteristiky, ktoré nesúvisia s prácou, ako je pohlavie, vek, rodinný stav, rodné mesto. Nakoniec napíšte, čo ste vynechali pod nadpisom „predpoklady, ktorým sa vyhýbam“.
Výsledok: Hodnotenie je obmedzené na kritériá súvisiace s prácou, irelevantné prvky sú vylúčené.
Šablóny na zníženie zaujatosti
V nižšie uvedenom texte nájdete inkluzívny jazyk. Označte vyhlásenia, ktoré naznačujú pohlavie, vek, etnickú príslušnosť, postihnutie alebo konkrétnu skupinu a pre každú z nich navrhujú neutrálnu alternatívu.Text: [prilepte sem]
Urobte toto hodnotenie len na základe týchto objektívnych kritérií: [kritériá]. Neberte do úvahy žiadne iné informácie okrem týchto kritérií (meno, pohlavie, vek).
Pod samostatným nadpisom na konci uveďte, ktoré predpoklady ste v texte vytvorili. Takže vidím skryté predsudky.
Vyhodnoťte tento obsah očami troch rôznych skupín čitateľov a označte výroky, ktoré môžu kohokoľvek z nich uraziť/uraziť. Obsah: [prilepte sem]
Časté chyby
Časté chyby
- Za predpokladu "neutrálneho" výstupu AI. Aj keď sa výstup javí ako neutrálny, môže niesť skreslenie údajov; Vyžaduje sa aktívny dohľad.
- Keď sa pozrieme na jeden príklad a povieme „neexistuje žiadna zaujatosť“. Predsudok je skrytý vo všeobecnej tendencii systému.
- Rozhodovanie s vysokým dopadom sa ponecháva na umelú inteligenciu bez dozoru. Ľudská autorita je nevyhnutná pri rozhodovaní, ako je nábor, povýšenie a úver.
- Zabúdame požadovať inkluzívnosť. Ak to vo výzve výslovne nepožiadate, model sa vráti k predvoleným vzorom.
- Znamená to „povedal to stroj“. Za následky je zodpovedný aj ten, kto rozhodnutie použije.
Spravodlivosť je zodpovednosťou každého
Boj s predsudkami nie je len úlohou technického tímu. Každý zamestnanec, ktorý používa výstup AI, je zodpovedný za otázku, či je tento výstup spravodlivý. „Stroj mi povedal“ nie je ospravedlnenie; Osoba, ktorá rozhoduje, je zodpovedná aj za následky.
V súhrne
- Primárnym zdrojom skreslenia AI nie je zlomyseľnosť, ale existujúca nerovnováha a stereotypy v tréningových údajoch.
- Predsudok; Vytvára skutočné právne a reputačné riziko v oblastiach ako nábor, komunikácia so zákazníkmi, financie a hodnotenie.
- Zaujatosť je často neviditeľná a je súčasťou celkovej dispozície systému; Pohľad na jeden príklad je zavádzajúci.
- Znížiť: uvedomte si, obmedzte rozhodovanie na kritériá súvisiace s prácou, výslovne žiadajte o inkluzívnosť, dajte ľudskú kontrolu nad rozhodnutiami s vysokým dopadom.
- „Stroj mi povedal“ nie je ospravedlnenie; Za spravodlivosť je zodpovedný každý, kto používa výstup.
Aplikačná úloha
Povedzte AI „opíšte ideálneho [akéhokoľvek povolania] pracovníka“ a označte, aké (možno zbytočné) predpoklady boli uvedené vo výstupe. Potom to zopakujte s vyššie uvedenou šablónou „kritériá súvisiace s prácou“ a porovnajte dva výstupy pre spravodlivosť.
Kontrolný zoznam
- [ ] Chápem, že primárnym zdrojom skreslenia sú tréningové údaje.
- [ ] Viem vymenovať konkrétne riziká, ktoré môže predstavovať zaujatosť na pracovisku.
- [ ] Viem, že zaujatosť je často neviditeľná a že pohľad na jediný príklad je zavádzajúci.
- [ ] Vo výzve môžem jasne požiadať o začlenenie a kritériá súvisiace s prácou.
- [ ] Vyžadujem ľudský dohľad nad rozhodnutiami s veľkým dosahom.