Voitot:
- Kyky havaita piilotettu syrjintä ymmärtämällä, että harha tulee tiedosta (historiallinen, edustava, mittaus, aggregaatio) ja arvioimalla mallia alaryhmien perusteella
- Kyky tarjota selitettävyyttä, inhimillistä valvontaa ja vastuullisuutta vaikuttavissa päätöksissä ja dokumentoida läpinäkyvyyttä mallikortin avulla
- Kyky hallita taloudellisia ja ympäristökustannuksia laadusta tinkimättä pienimmällä sopivalla mallilla, nopealla lyhennyksellä, välimuistilla ja erällä
Malli voi teknisesti toimia täydellisesti, mutta silti olla väärä – jos se on epäreilu joillekin ihmisille, selittämätön tai aiheuttaa kestämättömiä kustannuksia. Tässä osiossa käsittelemme ML-suunnittelun kolmea "näkymätöntä" mutta ratkaisevaa ulottuvuutta: puolueellisuus ja oikeudenmukaisuus, etiikka ja läpinäkyvyys, kustannukset ja kestävyys. Nämä eivät ole myöhemmin lisättyjä koristeita, vaan olennainen osa suunnittelun laatua.
Mistä ennakkoluulo tulee?
Mallin harha (mallin systemaattinen kohtelu tiettyihin ryhmiin eri tavalla/epäreilusti) tulee yleensä tiedoista, ei mallista. Lähteet:
- Historiallinen harha: Data heijastaa menneisyyttä epäoikeudenmukaisuutta. Jos tietylle ryhmälle on aiemmin myönnetty vähemmän arvoa, näillä tiedoilla koulutettu malli oppii ja jatkaa tämän syrjinnän.
- Edustusharha: Jotkut ryhmät ovat aliedustettuina tiedoissa; malli toimii heikosti heille (esim. alhainen tarkkuus pienessä demografisessa otoksessa).
- Mittausharha: Tunnisteet itsessään ovat puolueellisia (esim. jos "hyvän työntekijän" määritelmä perustuu aiempiin ylennyspäätöksiin).
- Aggregaatioharha: Koska data tulee tietystä kanavista, se ei edusta maailmankaikkeutta.
Malli ei vain opi näitä harhoja; skaalautuu automatisoimalla. Yhden henkilön puolueellinen päätös vaikuttaa toiseen henkilöön; Puolueellisen mallin tuomio on miljoonia.
Varoitus: Älä lankea siihen virheeseen, että sanot "malli on neutraali, koska se on vain matematiikkaa". Malli oppii ja automatisoi tietojen inhimillisen harhan. Neutraalisuus ei ole oletusarvo, vaan tulos, joka on mitattava ja varmistettava.
mittaamaan oikeudenmukaisuutta
Oikeuden hallitsemiseksi on välttämätöntä mitata se ensin. Tätä varten arvioi malli alaryhmäkohtaisesti: ovatko mittarit, kuten tarkkuus, muistaminen, väärien positiivisten prosenttiosuus, samanlaisia eri väestöryhmissä? Muutamia oikeudenmukaisuuden käsitteitä:
- Ryhmän oikeudenmukaisuus: Kohteleeko malli eri ryhmiä oikein/väärin samalla tavalla?
- Mahdollisuuksien tasa-arvo: Vangitseeko malli todella positiiviset mahdollisuudet tasapuolisesti kaikissa ryhmissä (yhdenvertainen muistaminen)?
Tärkeä tosiasia: oikeudenmukaisuuden eri määritelmät eivät välttämättä täyty samaan aikaan (tämä on matemaattinen seuraus). Se, mikä oikeuden määritelmä on tässä yhteydessä ensisijainen, on eettinen ja liiketoiminnallinen päätös, ei tekninen, ja se tehdään yhdessä sidosryhmien kanssa.
Heikko lähestymistapa / Vahva lähestymistapa
Huono: "Mallin yleinen tarkkuus on 88%, mikä on kohtuullista."
Güçlü: "Yleinen tarkkuus oli 88%, mutta kun jaoimme sen alaryhmiin, takaisinveto oli 91% yhdessä ryhmässä ja 67% toisessa ryhmässä – mallista puuttui järjestelmällisesti kyseinen ryhmä. Dokumentoimme syyn (edustuksen puute), keräsimme tietoja kyseisestä ryhmästä ja arvioimme sen uudelleen tasa-arvoisen palauttamisen tavoitteella. Päätimme, kumpi reilun haltijan määritelmä asettaisi etusijalle."
Ero: vahva lähestymistapa ei piiloudu yleisen metriikan taakse, se erottaa alaryhmät ja käsittelee oikeudenmukaisuutta avoimena päätöksenä.
Etiikka ja avoimuus
Vastuullisen tekoälyn perusperiaatteet ovat:
- Selitettävyys: Onko mahdollista selittää, miksi malli teki tämän päätöksen? Vaikuttavissa päätöksissä (luotto, palkkaaminen, terveydenhuolto) on oikeus saada selitys. Selittämätöntä mallia ei tule käyttää näillä alueilla tai sitä tulee tukea selitetyllä menetelmällä.
- Inhimillinen valvonta: Vaikuttavia päätöksiä ei pitäisi tehdä automaattisesti; Malli ehdottaa, ihminen vahvistaa.
- Vastuullisuus: On oltava selvää, kuka on vastuussa, kun malli tekee virheen. "Malli päätetty" ei ole tekosyy.
- Läpinäkyvyys: Käyttäjän tulee tietää, että hän on vuorovaikutuksessa tekoälyn kanssa ja kuinka hänen tietojaan käytetään.
Monissa maissa ja aloilla nämä periaatteet on sisällytetty myös lainsäädäntöön (läpinäkyvyys, auditointi ja inhimillisen valvonnan velvoitteet riskialttiille tekoälyjärjestelmille). Insinööri on vastuussa oman alansa määräysten tuntemisesta.
Vinkki: Säilytä "mallikortti" jokaiselle erittäin vaikuttavalle mallille: mitä malli tekee, mihin tietoihin se on koulutettu, kuinka hyvin/huonosti se toimii missä ryhmissä, mitkä ovat sen tunnetut rajat. Tämä asiakirja on sekä läpinäkyvyyden että vastuullisuuden työkalu.
Kustannukset ja kestävyys
AI ei ole halpaa. Kustannuksia hallitaan kahdessa ulottuvuudessa:
Rahoituskulut:
- Tokenin hinta (LLM): Jokainen pyyntö ja vastaus maksaa tunnukset; Kun volyymi kasvaa, lasku kasvaa. Tarpeettoman pitkät kehotteet, liian suuri mallivalikoima ja hallitsemattomat agenttisilmukat (yksikkö 5) lisäävät kustannuksia.
- Koulutus ja isännöinti: Hienosäätö ja malliesittely aiheuttavat laitteistokustannuksia.
- Optimointi: Älä käytä suurta mallia, jos pieni malli riittää; tallenna usein kysytyt kysymykset välimuistiin; lyhentää kehotetta; Erä, mitä voidaan käsitellä.
Ympäristökustannukset: Laaja mallikoulutus ja päättely kuluttavat merkittävästi energiaa. Vastuullisuus tekee tarpeettomien laskelmien välttämisen (oikea kokomalli, tehokas arkkitehtuuri) ammatillisen vastuun.
Vinkki: Kustannusoptimoinnin ensimmäinen sääntö: "Mikä on pienin sopiva malli tähän työhön?" Tehokkaimman mallin laittaminen kaikkialle on kuin naulan lyömistä vasaralla – kallista ja tarpeetonta.
kolme minilaukkua
Tapaus 1 - Piilotettu syrjintä. Rekrytointiseulontamalli näytti kaiken kaikkiaan hyvältä. Alaryhmäanalyysissä havaittiin, että malli korosti systemaattisesti naispuolisia ehdokkaita, koska historialliset tiedot olivat miesvaltaisia – se oli oppinut historiallisen harhan. Malli pysäytettiin, tiedot tasapainotettiin ja oikeudenmukaisuusmittauksia tarkkailtiin. Yleinen vanhurskaus peitti piilotetun syrjinnän.
Tapaus 2 - Selittämätön hylkääminen. Luottomalli hylkäsi hakemukset, mutta kukaan ei osannut selittää miksi. Kun asiakas pyysi oikeudellista selvennystä, tiimi ei pystynyt vastaamaan. Malli poistettiin käytöstä vaikuttavissa päätöksissä, kunnes selitettävissä oleva menetelmä lisättiin ja jokaiselle hylkäämiselle tehtiin perustelut. Oppitunti: Selitettävyys on olennaista vaikuttavassa päätöksenteossa.
Tapaus 3 - Bill shokki. Yksi tiimi käytti suurinta LLM:ää ja erittäin pitkiä kehotteita jokaisessa pyynnössä. Kuukausilasku on kasvanut yllättäen. Viestianalyysi: useimmat pyynnöt voitiin ratkaista pienellä mallilla, puolet kehotteista oli tarpeettomia ja usein kysytyt kysymykset voitiin tallentaa välimuistiin. Nämä kolme optimointia alensivat kustannuksia merkittävästi laadusta tinkimättä. Oppitunti: tehokkain malli ei ole välttämätön kaikkialla.
Kopioitavat mallit
Auta minua arvioimaan tämän mallin puolueettomuutta/rehellisyyttä. Mitkä alaryhmät (demografiset tiedot/segmentit) minun pitäisi jakaa ja mitata? Mitä mittareita (tarkkuus, muistaminen, väärä positiivisuus ryhmittäin) minun pitäisi verrata? Voivatko erilaiset oikeudenmukaisuuden määritelmät olla ristiriidassa keskenään, mitä minun pitäisi tässä yhteydessä asettaa etusijalle ja miksi? Mallin/päätöksen konteksti: [selitys]
Valmista mallikorttiluonnos tälle vaikuttavalle mallille. Pitäisi sisältää: tarkoitus, koulutustiedot ja päivämäärä, suorituskyky alaryhmissä, tunnetut rajat, asianmukainen/sopimaton käyttö, selitettävyyden tila, ihmisen valvontapiste. Malli: [kuvaus]
Auta minua alentamaan tämän LLM-toteutuksen kustannuksia laadusta tinkimättä.Saatavilla: mallin koko, kehotteen keskimääräinen pituus, pyynnön määrä, onko välimuistia? Arvioi:1) Riittääkö pienempi malli (mihin tehtäviin?)
Luo eettinen/vastuullinen tarkistuslista tälle vaikuttavalle päätöksentekojärjestelmälle.- Selittävyys: voidaanko päätöksen perustelut tehdä?- Inhimillinen valvonta: edellyttääkö vaikutusvaltainen päätös hyväksyntää?- Vastuuvelvollisuus: kuka on vastuussa virhetapauksissa?- Avoimuus: tietääkö käyttäjä, että tekoälyä käytetään?- Sääntely: mitkä ovat lailliset velvoitteet: [kuvaus]järjestelmä]
Bias-lähdetaulukko
lähde
oire
varotoimenpide
historiallinen harha
Mennyt syrjintä jatkuu
Tietojen tarkastus + oikeudenmukaisuusmittari
edustusharha
Alhainen tarkkuus pienessä näyteryhmässä
Alaryhmäanalyysi + tasapainotus
mittausharha
puolueelliset etiketit
Merkintäprosessin tarkistus
Aggregaatioharha
Universumia ei ole edustettuna
Resurssien monipuolistaminen
Yleisiä virheitä
- Luotetaan yleismittariin. Piilotettua syrjintää ei voi nähdä ilman alaryhmäanalyysiä.
- Olettaen "mallineutraali". Malli oppii ja vahvistaa datan harhaa.
- Vaikuttava päätös jätetään selittämättömälle mallille. Oikeudellinen ja eettinen riski.
- Ihmisen valvonnan ohittaminen. "Malli päätti" ei ole tekosyy.
- Laitetaan suurin malli kaikkialle. Tarpeettomia kustannuksia ja energiaa.
- Ei seuraa kuluja. Lasku turpoaa hiljaa.
Yhteenvetona
Teknisesti oikea malli on silti epäonnistuminen, jos se ei ole oikeudenmukainen, selitettävissä oleva ja kestävä. Bias tulee enimmäkseen tiedoista ja malli suurentaa sitä mittakaavassa; Mittaa oikeudenmukaisuutta alaryhmittäin ja sopi sidosryhmien kanssa, mikä oikeudenmukaisuuden määritelmä asetetaan etusijalle. Selittävyys, inhimillinen valvonta ja vastuullisuus ovat olennaisia vaikuttavia päätöksiä tehtäessä; Asiakirjan läpinäkyvyys mallikortilla. Hallitse kustannuksia ja energiaa: valitse pienin sopiva malli, lyhennä kehote, käytä välimuistia ja erää. Nämä mitat ovat olennainen osa suunnittelun laatua, eivät myöhemmin lisättyjä röyhelöitä.
Sovellustehtävä
Jaa malli vähintään kahteen alaryhmään ja vertaa muistamisen ja väärien positiivisten osuutta ryhmäkohtaisesti; Jos ero on merkittävä, kirjoita syy ja varotoimenpide. Laadi lyhyt mallikortti erittäin vaikuttavalle mallille (tarkoitus, tiedot, alaryhmän suorituskyky, rajat, selitettävyys). Tunnista vähintään kaksi konkreettista optimointia (minimi / nopea katkaisu / välimuisti / erä) vähentääksesi LLM:n käyttöönottokustannuksia ja kirjoita niiden arvioitu vaikutus.
tarkistuslista
- [ ] Arvioin mallia alaryhmien perusteella, en tukeutunut yleiseen metriikkaan.
- [ ] Päätin sidosryhmien kanssa, minkä oikeudenmukaisuuden määritelmän asettaisin etusijalle.
- [ ] Vaikuttava päätös on selitettävissä ja edellyttää ihmisen hyväksyntää.
- [ ] Dokumentoin läpinäkyvyyden ja rajat kuviokortilla.
- [ ] Valitsin pienimmän sopivan mallin; Optimoin kehotteen/välimuistin/erän.
- [ ] Seuraan kustannuksia ja energiavaikutuksia.