Hagnaður:
- Hæfni til að greina falda mismunun með því að skilja að hlutdrægni kemur frá gögnum (sögulegum, framsetningum, mælingum, samansöfnun) og meta líkanið á grundvelli undirhópa
- Hæfni til að veita skýringu, mannlegt eftirlit og ábyrgð í áhrifamiklum ákvörðunum og gagnsæi skjala með fyrirmyndarkorti
- Geta til að stjórna fjárhags- og umhverfiskostnaði án þess að skerða gæði með minnstu fullnægjandi gerðinni, skjótri styttingu, skyndiminni og lotu
Líkan getur tæknilega virkað fullkomlega en samt verið rangt - ef það er ósanngjarnt fyrir sumt fólk, óútskýranlegt eða veldur ósjálfbærum kostnaði. Í þessari einingu förum við yfir þrjár „ósýnilegar“ en afgerandi víddir ML verkfræði: hlutdrægni og sanngirni, siðferði og gagnsæi, kostnaður og sjálfbærni. Þetta eru ekki skraut sem bætt er við síðar, heldur óaðskiljanlegur hluti af verkfræðilegum gæðum.
Hvaðan koma fordómar?
Model bias (kerfisbundin meðferð líkansins á ákveðnum hópum á annan/ósanngjarnan hátt) kemur venjulega frá gögnunum, ekki líkaninu. Heimildir:
- Söguleg hlutdrægni: Gögn endurspegla fyrri óréttlæti. Ef tilteknum hópi hefur verið gefið minna lán áður, mun líkanið sem er þjálfað á þeim gögnum læra og viðhalda þessari mismunun.
- Fulltrúahlutdrægni: Sumir hópar eru vanfulltrúar í gögnunum; líkanið gengur illa fyrir þá (t.d. lítil nákvæmni í litlu lýðfræðilegu úrtaki).
- Hlutdrægni í mælingum: Merkingar sjálfar eru hlutdrægar (t.d. ef skilgreiningin á „góður starfsmanni“ er byggð á fyrri ákvörðunum um stöðuhækkun).
- Samsöfnunarhlutdrægni: Vegna þess að gögn koma frá ákveðinni rás eru þau ekki dæmigerð fyrir alheiminn.
Líkanið lærir ekki bara þessar hlutdrægni; stækkar með því að gera það sjálfvirkt. Hlutdræg ákvörðun eins einstaklings hefur áhrif á annan einstakling; Dómur hlutdrægrar fyrirmyndar er milljónir.
Varúð: Ekki falla í þau mistök að segja "módelið er hlutlaust vegna þess að það er bara stærðfræði." Líkanið lærir og gerir mannlega hlutdrægni í gögnum sjálfvirk. Hlutleysi er ekki sjálfgefið, heldur niðurstaða sem þarf að mæla og tryggja.
mæla réttlæti
Til að stjórna réttlætinu er nauðsynlegt að mæla það fyrst. Til að gera þetta, metið líkanið á grundvelli undirhóps: eru mælikvarðar eins og nákvæmni, innköllun, hlutfall falskt jákvætt jafnt í mismunandi lýðfræðilegum hópum? Nokkur hugtök um réttlæti:
- Hópsanngirni: Fer líkanið með mismunandi hópa rétt/rangt á svipuðum hraða?
- Jafnrétti tækifæra: Fangar líkanið hina raunverulegu jákvæðu jafnt í öllum hópum (jöfn innköllun)?
Mikilvæg staðreynd: ólíkum skilgreiningum á réttlæti er kannski ekki fullnægt á sama tíma (þetta er stærðfræðileg afleiðing). Hvaða skilgreining á réttlæti hefur forgang í þessu samhengi er siðferðileg og viðskiptaleg ákvörðun, ekki tæknileg, og er tekin í samvinnu við hagsmunaaðila.
Veik nálgun / Sterk nálgun
Lélegt: "Heildar nákvæmni líkansins er 88%, sem er sanngjarnt."
Güçlü: "Heildarnákvæmni var 88%, en þegar við skiptum því í undirhópa var innköllunin 91% í einum hópi og 67% í öðrum hópi - líkanið vantaði kerfisbundið þann hóp. Við skjalfestum ástæðuna (skort á framsetningu), söfnuðum gögnum fyrir þann hóp og endurmetum þau með jafnri skilgreiningu á hagsmunaaðilanum sem við myndum forgangsraða með hagsmunaaðila."
Munurinn: sterka nálgunin felur sig ekki á bak við almenna mælikvarða, hún aðskilur undirhópa og lítur á sanngirni sem opna ákvörðun.
Siðfræði og gagnsæi
Kjarnareglur ábyrgar gervigreindar eru:
- Útskýring: Er hægt að útskýra hvers vegna líkanið tók þessa ákvörðun? Við ákvarðanir sem hafa mikil áhrif (lán, ráðningar, heilbrigðisþjónustu) á maður rétt á skýringum. Óútskýrða líkanið ætti ekki að nota á þessum sviðum eða ætti að vera stutt með skýranlegri aðferð.
- Mannlegt eftirlit: Ákvarðanir sem hafa mikil áhrif ættu ekki að vera teknar sjálfkrafa; Líkanið gefur til kynna, maðurinn staðfestir.
- Ábyrgð: Það ætti að vera ljóst hver er ábyrgur þegar líkanið gerir mistök. „Módelið ákvað“ er ekki afsökun.
- Gagnsæi: Notandinn ætti að vita að hann er í samskiptum við gervigreind og hvernig gögn hans eru notuð.
Í mörgum löndum og geirum eru þessar meginreglur einnig innbyggðar í löggjöf (gagnsæi, endurskoðun og mannleg eftirlitsskylda fyrir gervigreindarkerfi með mikla áhættu). Verkfræðingur ber ábyrgð á að þekkja reglur á sínu sviði.
Ábending: Geymdu „módelkort“ fyrir hvert áhrifamikið líkan: hvað líkanið gerir, hvaða gögn það var þjálfað á, hversu vel/illa það virkar í hvaða hópum, hver þekkt mörk þess eru. Þetta skjal er bæði gagnsæi og ábyrgðartæki.
Kostnaður og sjálfbærni
AI er ekki ódýrt. Kostnaði er stjórnað í tveimur víddum:
Fjármagnskostnaður:
- Token cost (LLM): Hver beiðni og svar kostar tákn; Eftir því sem magnið stækkar, stækkar reikningurinn. Óþarflega langar leiðbeiningar, of mikið módelúrval og stjórnlausar umboðslykkjur (eining 5) auka kostnaðinn.
- Þjálfun og hýsing: Fínstilling og módelkynning hefur í för með sér vélbúnaðarkostnað.
- Hagræðing: Ekki nota stórt líkan ef lítið líkan er nóg; skyndiminni algengar spurningar; stytta hvetja; Lotu það sem hægt er að vinna úr.
Umhverfiskostnaður: Þjálfun og ályktanir af stórum gerðum eyða umtalsverðri orku. Sjálfbærni gerir það að faglegri ábyrgð að forðast óþarfa útreikninga (rétt stærðarlíkan, skilvirkan arkitektúr).
Ábending: Fyrsta reglan um hagræðingu kostnaðar: "Hver er minnsta fullnægjandi líkanið fyrir þetta starf?" Að setja öflugustu módelið alls staðar er eins og að hamra nagla í með sleggju - dýrt og óþarft.
þrjú smámál
Mál 1 - Falin mismunun. Ráðningarskimunarlíkan leit vel út í heildina. Greining undirhópa komst að því að líkanið lagði kerfisbundið áherslu á kvenkyns frambjóðendur vegna þess að sögulegu gögnin voru karlkyns yfirráðin - það hafði lært sögulega hlutdrægni. Líkanið var stöðvað, gögnum jafnvægi og fylgst með sanngirnismælingum. Almennt réttlæti huldi yfir dulda mismunun.
Mál 2 - Óútskýrð höfnun. Lánarmódel var að hafna umsóknum en enginn gat útskýrt hvers vegna. Þegar viðskiptavinur óskaði eftir lagalegum skýringum gat teymið ekki svarað. Líkanið var tekið úr notkun við ákvarðanir sem hafa mikil áhrif þar til skýranleg aðferð var bætt við og rökstuðningur fyrir hverja höfnun. Lexía: skýringin er nauðsynleg í ákvarðanatöku sem hefur mikil áhrif.
Mál 3 - Bill lost. Eitt teymi notaði stærsta LLM og mjög langar leiðbeiningar fyrir hverja beiðni. Mánaðarreikningurinn hefur vaxið óvænt. Eftirgreining: hægt var að leysa flestar beiðnir með litlu líkani, helmingur leiðbeininganna var óþarfi og oft var hægt að vista algengar spurningar. Þessar þrjár hagræðingar lækkuðu kostnaðinn verulega, án þess að það komi niður á gæðum. Lexía: Öflugasta líkanið er ekki alls staðar nauðsynlegt.
Afritanleg sniðmát
Hjálpaðu mér að meta þetta líkan með tilliti til hlutdrægni/sanngirni. Hvaða undirhópa (lýðfræði/hluti) ætti ég að skipta og mæla? Hvaða mælikvarða (nákvæmni, muna, hlutfall falskt jákvætt eftir hópum) ætti ég að bera saman? Geta mismunandi skilgreiningar á sanngirni stangast á, hver ætti ég að forgangsraða í þessu samhengi og hvers vegna? Samhengi fyrirmynd/ákvörðunar: [skýring]
Búðu til drög að líkanskorti fyrir þetta áhrifamikla líkan. Ætti að innihalda: tilgang, þjálfunargögn og dagsetningu, frammistöðu í undirhópum, þekkt mörk, viðeigandi/óviðeigandi notkun, útskýranleg staða, eftirlitsstaður manna. Gerð: [lýsing]
Hjálpaðu mér að draga úr kostnaði við þessa LLM innleiðingu, án þess að það komi niður á gæðum. Í boði: líkansstærð, meðallengd boðs, magn beiðni, er skyndiminni? Metið: 1) Er smærra líkanið nóg (fyrir hvaða verkefni)?2) Er hægt að stytta leiðbeininguna?3) Er hægt að vista tíðar beiðnir í skyndiminni?4) Er vinna í boði fyrir lotuáætluð áhrif?Skrifaðu niður áætlunina.
Búðu til gátlista fyrir siðferði/ábyrgð fyrir þetta áhrifamikla ákvarðanakerfi.- Skýringar: er hægt að leggja fram rökstuðning fyrir ákvörðuninni?- Mannlegt eftirlit: er ákvörðunin með mikla áhrif háð samþykki?- Ábyrgð: hver er ábyrgur ef um mistök er að ræða?- Gagnsæi: veit notandinn að verið er að nota gervigreind?- Reglugerð: hverjar eru lagalegar skyldur sem felast í því? Kerfi: [lýsing]
Bias source tafla
Heimild
einkenni
varúðarráðstöfun
sögulega hlutdrægni
Mismunun fyrri tíma heldur áfram
Gagnaúttekt + sanngirnismælikvarði
fulltrúahlutdrægni
Lítil nákvæmni í litlum úrtakshópi
Undirhópagreining + jafnvægi
mæliskekkju
hlutdræg merki
Endurskoðun merkisferlis
Söfnunarhlutdrægni
Alheimurinn er ekki táknaður
Fjölbreytni auðlinda
Algeng mistök
- Að treysta á heildarmælinguna. Falda mismunun er ekki hægt að sjá án undirhópagreiningar.
- Miðað er við "módelhlutlaus". Líkanið lærir og magnar hlutdrægni í gögnunum.
- Að láta óútskýrða líkanið eftir hina áhrifamiklu ákvörðun. Lagaleg og siðferðileg áhætta.
- Framhjá eftirliti manna. „Módelið ákvað“ er engin afsökun.
- Setja stærsta módelið alls staðar. Óþarfa kostnaður og orka.
- Ekki rekja kostnað. Reikningurinn bólgnar hljóðlaust.
Í stuttu máli
Tæknilega rétt líkan er samt bilun ef það er ekki sanngjarnt, útskýranlegt og sjálfbært. Hlutdrægni kemur að mestu úr gögnunum og líkanið stækkar þau í mælikvarða; Mældu sanngirni eftir undirhópum og komdu að með hagsmunaaðilum hvaða skilgreiningu á sanngirni ætti að forgangsraða. Skýringarhæfni, mannlegt eftirlit og ábyrgð eru nauðsynleg í ákvörðunum sem hafa mikil áhrif; Gagnsæi skjala með módelkorti. Hafa umsjón með kostnaði og orku: veldu minnstu fullnægjandi líkanið, styttu leiðbeiningarnar, notaðu skyndiminni og lotu. Þessar stærðir eru óaðskiljanlegur hluti af verkfræðilegum gæðum, ekki fínirí sem bætt er við síðar.
Umsóknarverkefni
Skiptu líkani í að minnsta kosti tvo undirhópa og berðu saman innköllunar- og falskt jákvæða hlutfall á hópgrundvelli; Ef það er marktækur munur skaltu skrifa ástæðuna og varúðarráðstöfun. Gerðu drög að stuttu líkanaspjaldi fyrir áhrifamikið líkan (tilgangur, gögn, frammistaða undirhóps, mörk, útskýranleiki). Tilgreindu að minnsta kosti tvær áþreifanlegar hagræðingar (lágmark / skyndi stytting / skyndiminni / lotu) til að draga úr kostnaði við innleiðingu LLM og skrifaðu niður áætluð áhrif þeirra.
gátlisti
- [ ] Ég mat líkanið út frá undirhópum, ég treysti ekki á almenna mælikvarða.
- [ ] Ég ákvað með hagsmunaaðilum hvaða skilgreiningu á réttlæti ég myndi setja í forgang.
- [ ] Ákvörðun um mikil áhrif er skýranleg og háð samþykki manna.
- [ ] Ég skráði gagnsæi og mörk með mynsturspjaldinu.
- [ ] Ég valdi minnstu fullnægjandi líkanið; Ég fínstillti hvetja/skyndiminni/lotu.
- [ ] Ég fylgist með kostnaði og orkuáhrifum.