Ieguvumi:
- Spēja atklāt slēptu diskrimināciju, saprotot, ka neobjektivitāte nāk no datiem (vēsturiskiem, reprezentatīviem, mērījumiem, apkopojumiem) un novērtējot modeli, pamatojoties uz apakšgrupām
- Spēja nodrošināt izskaidrojamību, cilvēka uzraudzību un atbildību, pieņemot spēcīgus lēmumus un dokumentējot caurspīdīgumu ar paraugkarti
- Spēja pārvaldīt finanšu un vides izmaksas, neapdraudot kvalitāti ar mazāko piemēroto modeli, ātru saīsināšanu, kešatmiņu un pakešu
Modelis var tehniski darboties nevainojami, bet tomēr būt nepareizs — ja tas ir netaisnīgs pret dažiem cilvēkiem, neizskaidrojams vai rada neilgtspējīgas izmaksas. Šajā nodaļā mēs aplūkojam trīs “neredzamas”, bet izšķirošas ML inženierijas dimensijas: neobjektivitāti un godīgumu, ētiku un caurspīdīgumu, izmaksas un ilgtspējību. Tie nav vēlāk pievienoti ornamenti, bet gan inženiertehniskās kvalitātes neatņemama sastāvdaļa.
No kurienes rodas aizspriedumi?
Modeļa novirze (modeļa sistemātiska attieksme pret noteiktām grupām atšķirīgi/netaisnīgi) parasti izriet no datiem, nevis no modeļa. Avoti:
- Vēsturiskā novirze: dati atspoguļo pagātnes netaisnību. Ja kādai konkrētai grupai iepriekš ir piešķirts mazāk kredītu, modelis, kas apmācīts, pamatojoties uz šiem datiem, apgūs un saglabās šo diskrimināciju.
- Pārstāvības novirze: dažas grupas datos ir nepietiekami pārstāvētas; modelis tiem darbojas slikti (piem., zema precizitāte nelielā demogrāfiskā izlasē).
- Mērījumu neobjektivitāte: pašas etiķetes ir neobjektīvas (piemēram, ja “laba darbinieka” definīcija ir balstīta uz iepriekšējiem lēmumiem paaugstināšanā).
- Apkopošanas novirze: tā kā dati nāk no konkrēta kanāla, tie neatspoguļo Visumu.
Modelis ne tikai apgūst šīs novirzes; palielinās, to automatizējot. Vienas personas neobjektīvs lēmums ietekmē citu personu; Spriedums par tendenciozu modeli ir miljoniem.
Uzmanību: nekļūdieties, sakot: "modelis ir neitrāls, jo tā ir tikai matemātika". Modelis apgūst un automatizē cilvēka neobjektivitāti datos. Neitralitāte nav noklusējums, bet gan rezultāts, kas ir jāizmēra un jānodrošina.
taisnīguma mērīšana
Lai pārvaldītu taisnīgumu, vispirms tas ir jāizmēra. Lai to izdarītu, novērtējiet modeli, pamatojoties uz apakšgrupām: vai tādi rādītāji kā precizitāte, atcerēšanās, kļūdaini pozitīvu rezultātu rādītājs ir vienādi dažādās demogrāfiskajās grupās? Daži taisnīguma jēdzieni:
- Grupas godīgums: vai modelis apstrādā dažādas grupas pareizi/nepareizi ar līdzīgām likmēm?
- Iespēju vienlīdzība: vai modelis aptver patiesi pozitīvos vienādi visās grupās (vienāda atsaukšana)?
Svarīgs fakts: dažādas taisnīguma definīcijas var netikt apmierinātas vienlaikus (tās ir matemātiskas sekas). Kura taisnīguma definīcija šajā kontekstā ir prioritāra, ir ētisks un biznesa lēmums, nevis tehnisks, un tas tiek pieņemts kopā ar ieinteresētajām personām.
Vāja pieeja / spēcīga pieeja
Slikti: "Modeļa kopējā precizitāte ir 88%, kas ir godīgi."
Güçlü: "Kopējā precizitāte bija 88%, bet, sadalot to apakšgrupās, atsaukšana bija 91% vienā grupā un 67% citā grupā — modelim šī grupa sistemātiski trūka. Mēs dokumentējām iemeslu (pārstāvības trūkums), apkopojām datus par šo grupu un atkārtoti novērtējām to ar vienlīdzīgas atsaukšanas mērķi. Mēs izlēmām, kura no godīguma definīcijām būtu prioritāte."
Atšķirība: stingrā pieeja neslēpjas aiz vispārējās metrikas, tā nodala apakšgrupas un uzskata taisnīgumu par atklātu lēmumu.
Ētika un caurspīdīgums
Atbildīga AI pamatprincipi ir:
- Izskaidrojamība: vai var izskaidrot, kāpēc modelis pieņēma šādu lēmumu? Ietekmīgos lēmumos (kredīts, pieņemšana darbā, veselības aprūpe) ir tiesības uz paskaidrojumu. Šajās jomās nevajadzētu izmantot neizskaidrojamu modeli vai arī tas būtu jāatbalsta ar izskaidrojamu metodi.
- Cilvēku uzraudzība: lielas ietekmes lēmumus nevajadzētu pieņemt automātiski; Modelis iesaka, cilvēks apstiprina.
- Atbildība: jābūt skaidram, kurš ir atbildīgs, ja modelis pieļauj kļūdu. “Modele nolēma” nav attaisnojums.
- Pārredzamība: lietotājam jāzina, ka viņi mijiedarbojas ar AI un kā tiek izmantoti viņu dati.
Daudzās valstīs un nozarēs šie principi ir iestrādāti arī tiesību aktos (caurredzamība, audits un cilvēku pārraudzības pienākumi augsta riska AI sistēmām). Inženieris ir atbildīgs par savas jomas noteikumu pārzināšanu.
Padoms. Saglabājiet "modeļa karti" katram augstas ietekmes modelim: ko modelis dara, uz kādiem datiem tas tika apmācīts, cik labi/slikti tas darbojas kādās grupās, kādi ir tā zināmie ierobežojumi. Šis dokuments ir gan pārredzamības, gan atbildības instruments.
Izmaksas un ilgtspējība
AI nav lēts. Izmaksas tiek pārvaldītas divās dimensijās:
Finanšu izmaksas:
- Token cost (LLM): katrs pieprasījums un atbildes maksā marķieri; Pieaugot apjomam, pieaug arī rēķins. Nevajadzīgi garas uzvednes, pārāk liela modeļu izvēle un nekontrolētas aģentu cilpas (5. vienība) palielina izmaksas.
- Apmācība un hostings: precizēšana un modeļa prezentācija rada aparatūras izmaksas.
- Optimizācija: neizmantojiet lielu modeli, ja pietiek ar mazu modeli; kešatmiņā bieži uzdotos jautājumus; saīsināt uzvedni; Partijas, ko var apstrādāt.
Vides izmaksas: liela modeļa apmācība un secinājumi patērē ievērojamu enerģiju. Ilgtspējība liek izvairīties no nevajadzīgiem aprēķiniem (pareiza izmēra modelis, efektīva arhitektūra) par profesionālu atbildību.
Padoms: pirmais izmaksu optimizācijas noteikums: "Kāds ir mazākais piemērotais modelis šim darbam?" Jaudīgākā modeļa ievietošana visur ir kā naglas iesita ar āmuru — dārgi un nevajadzīgi.
trīs mini futrāļi
1. gadījums — slēptā diskriminācija. Rekrutēšanas pārbaudes modelis kopumā izskatījās labi. Apakšgrupu analīze atklāja, ka modelis sistemātiski uzsvēra sieviešu kandidātes, jo vēsturiskajos datos dominēja vīrieši - tas bija iemācījies vēsturisku neobjektivitāti. Modelis tika apturēts, dati tika līdzsvaroti un tika uzraudzīti godīguma rādītāji. Vispārējā taisnība aizsedza slēpto diskrimināciju.
2. gadījums — neizskaidrojams noraidījums. Kredīta modelis noraidīja pieteikumus, bet neviens nevarēja izskaidrot, kāpēc. Kad klients pieprasīja juridisku skaidrojumu, komanda nevarēja atbildēt. Modelis tika izņemts no izmantošanas augstas ietekmes lēmumos, līdz tika pievienota izskaidrojama metode un tika sagatavots pamatojums katram noraidījumam. Nodarbība: izskaidrojamība ir būtiska augstas ietekmes lēmumu pieņemšanā.
3. gadījums — Bila šoks. Viena komanda izmantoja lielāko LLM un ļoti garas uzvednes katram pieprasījumam. Mēneša rēķins ir negaidīti pieaudzis. Ziņu analīze: lielāko daļu pieprasījumu varēja atrisināt, izmantojot nelielu modeli, puse no uzvednēm bija liekas, un bieži uzdotos jautājumus varēja saglabāt kešatmiņā. Šīs trīs optimizācijas ievērojami samazināja izmaksas, nemazinot kvalitāti. Nodarbība: jaudīgākais modelis nav nepieciešams visur.
Kopējamas veidnes
Palīdziet man novērtēt šī modeļa neobjektivitāti/taisnīgumu. Kuras apakšgrupas (demogrāfiskie/segmenti) man vajadzētu sadalīt un novērtēt? Kādus rādītājus (precizitāte, atsaukšana, kļūdaini pozitīvo rezultātu rādītājs grupās) man vajadzētu salīdzināt? Vai dažādas godīguma definīcijas var būt pretrunā, kam šajā kontekstā vajadzētu piešķirt prioritāti un kāpēc? Modeļa/lēmuma konteksts: [paskaidrojums]
Izveidojiet paraugkartes melnrakstu šim iespaidīgajam modelim. Jāiekļauj: mērķis, apmācības dati un datums, veiktspēja apakšgrupās, zināmie ierobežojumi, atbilstošs/nepiemērots lietojums, izskaidrojamības statuss, cilvēka pārraudzības punkts. Modelis: [apraksts]
Palīdziet man samazināt šīs LLM ieviešanas izmaksas, neapdraudot kvalitāti.Pieejams: modeļa izmērs, vidējais uzvednes garums, pieprasījuma apjoms, vai ir kešatmiņa?Novērtējiet:1) Vai pietiek ar mazāku modeli (kuriem uzdevumiem)?2) Vai uzvedni var saīsināt?3) Vai biežu pieprasījumu var saglabāt kešatmiņā?4) Vai ir pieejams darbs pakešam?Pierakstiet katra ieteikuma paredzamo ietekmi.
Izveidojiet ētikas/atbildības kontrolsarakstu šai ļoti iedarbīgajai lēmumu sistēmai.- Izskaidrojamība: vai var izveidot lēmuma pamatojumu?- Cilvēku uzraudzība: vai liela ietekme ir jāapstiprina?- Atbildība: kurš ir atbildīgs kļūdas gadījumā?- Pārredzamība: vai lietotājs zina, ka tiek izmantots mākslīgais intelekts?- Noteikumi: kādi ir saistītie juridiskie pienākumi: [description]
Neobjektivitātes avota tabula
Avots
simptoms
piesardzība
vēsturiskā neobjektivitāte
Pagātnes diskriminācija turpinās
Datu audits + godīguma metrika
reprezentācijas neobjektivitāte
Zema precizitāte mazā izlases grupā
Apakšgrupu analīze + balansēšana
mērījumu novirze
neobjektīvas etiķetes
Etiķetes procesa pārskatīšana
Apkopošanas neobjektivitāte
Visums nav pārstāvēts
Resursu dažādošana
Biežas kļūdas
- Paļaujoties uz kopējo metriku. Slēpto diskrimināciju nevar redzēt bez apakšgrupu analīzes.
- Pieņemot "modeļa neitrālu". Modelis apgūst un pastiprina datu novirzes.
- Ietekmes lēmumu atstājot neizskaidrojama modeļa ziņā. Juridiskais un ētiskais risks.
- Apejot cilvēka uzraudzību. "Modele nolēma" nav attaisnojums.
- Visur liekot lielāko modeli. Nevajadzīgas izmaksas un enerģija.
- Neizseko izmaksas. Rēķins klusi uzbriest.
Rezumējot
Tehniski pareizs modelis joprojām ir neveiksme, ja tas nav godīgs, izskaidrojams un ilgtspējīgs. Neobjektivitāte galvenokārt rodas no datiem, un modelis tos palielina mērogā; Novērtējiet godīgumu pa apakšgrupām un vienojieties ar ieinteresētajām personām, kurai godīguma definīcijai piešķirt prioritāti. Izskaidrojamība, cilvēka pārraudzība un atbildība ir būtiskas lielas ietekmes lēmumos; Dokumentu caurspīdīgums ar modeļa karti. Pārvaldiet izmaksas un enerģiju: izvēlieties mazāko piemēroto modeli, saīsiniet uzvedni, izmantojiet kešatmiņu un pakešu. Šie izmēri ir inženiertehniskās kvalitātes neatņemama sastāvdaļa, nevis vēlāk pievienotas frills.
Lietojumprogrammas uzdevums
Sadaliet modeli vismaz divās apakšgrupās un salīdziniet atsaukšanas un kļūdaini pozitīvo rādītāju skaitu grupās; Ja ir būtiska atšķirība, uzrakstiet iemeslu un piesardzības pasākumu. Sagatavojiet īsu modeļa karti spēcīgam modelim (mērķis, dati, apakšgrupas veiktspēja, robežas, izskaidrojamība). Identificējiet vismaz divas konkrētas optimizācijas (minimālā / tūlītēja saīsināšana / kešatmiņa / partija), lai samazinātu LLM ieviešanas izmaksas, un pierakstiet to paredzamo ietekmi.
kontrolsaraksts
- [ ] Modeli vērtēju pēc apakšgrupām, nepaļāvos uz vispārējo metriku.
- [ ] Kopā ar ieinteresētajām personām izlēmu, kurai taisnīguma definīcijai es dotu priekšroku.
- [ ] Augstas ietekmes lēmums ir izskaidrojams, un tas ir jāapstiprina.
- [ ] Es dokumentēju caurspīdīgumu un robežas ar modeļa karti.
- [ ] Es izvēlējos mazāko adekvāto modeli; Es optimizēju uzvedni/kešatmiņu/pakešu.
- [ ] Es uzraugu izmaksu un enerģijas ietekmi.