Upendeleo, Maadili na Gharama: Uhandisi wa AI unaowajibika na Endelevu

Faida:

• Uwezo wa kugundua ubaguzi uliofichwa kwa kuelewa kwamba upendeleo hutoka kwa data (ya kihistoria, uwakilishi, kipimo, mkusanyiko) na kutathmini muundo kwa misingi ya vikundi vidogo.
• Uwezo wa kutoa ufafanuzi, uangalizi wa kibinadamu na uwajibikaji katika maamuzi yenye athari kubwa na uwazi wa hati na kadi ya mfano.
• Uwezo wa kusimamia gharama za kifedha na mazingira bila kuathiri ubora na mfano mdogo wa kutosha, ufupishaji wa haraka, kashe na kundi.

Muundo unaweza kufanya kazi kikamilifu kiufundi lakini bado usiwe sahihi - ikiwa sio haki kwa baadhi ya watu, hauelezeki, au hutoa gharama zisizo endelevu. Katika kitengo hiki, tunashughulikia vipimo vitatu "visivyoonekana" lakini muhimu vya uhandisi wa ML: upendeleo na usawa, maadili na uwazi, gharama na uendelevu. Hizi sio mapambo yaliyoongezwa baadaye, lakini sehemu muhimu za ubora wa uhandisi.

Ubaguzi unatoka wapi?

Upendeleo wa mfano (mtindo wa kimfumo wa vikundi fulani kwa njia tofauti/isivyo sawa) kawaida hutoka kwa data, sio mfano. Vyanzo:

• Upendeleo wa kihistoria: Data inaonyesha ukosefu wa haki wa zamani. Ikiwa kikundi fulani kilipewa mkopo mdogo hapo awali, mtindo uliofunzwa juu ya data hiyo utajifunza na kuendeleza ubaguzi huu.
• Upendeleo wa uwakilishi: Baadhi ya makundi hayawakilishwi katika data; mfano huwafanyia vibaya (k.m. usahihi wa chini katika sampuli ndogo ya idadi ya watu).
• Upendeleo wa vipimo: Lebo zenyewe zina upendeleo (k.m., ikiwa ufafanuzi wa "mfanyakazi mzuri" unatokana na maamuzi ya awali ya kupandishwa cheo).
• Upendeleo wa kujumlisha: Kwa sababu data hutoka kwa njia mahususi, si mwakilishi wa ulimwengu.

Mfano haujifunzi tu upendeleo huu; huongeza kwa kuiendesha kiotomatiki. Uamuzi wa upendeleo wa mtu huathiri mtu mwingine; Hukumu ya mtindo wa upendeleo ni mamilioni.

Tahadhari: Usiingie katika makosa ya kusema "mfano hauegemei upande wowote kwa sababu ni hesabu tu." Mtindo hujifunza na kubinafsisha upendeleo wa kibinadamu katika data. Kuegemea upande wowote sio chaguo-msingi, bali ni matokeo ambayo lazima yapimwe na kuhakikishwa.

kupima haki

Ili kusimamia haki, ni muhimu kupima kwanza. Ili kufanya hivyo, tathmini muundo huo kwa misingi ya kikundi kidogo: je, vipimo kama vile usahihi, kukumbuka, kiwango cha chanya ya uongo ni sawa katika vikundi mbalimbali vya demografia? Dhana chache za haki:

• Uadilifu wa kikundi: Je, mtindo hutendea vikundi tofauti kwa usahihi/visivyofaa kwa viwango sawa?
• Usawa wa fursa: Je, mtindo unakamata zile chanya kweli kwa usawa katika makundi yote (kumbuka sawa)?

Ukweli muhimu: ufafanuzi tofauti wa haki hauwezi kuridhika kwa wakati mmoja (haya ni matokeo ya hisabati). Ambayo ufafanuzi wa haki unapewa kipaumbele katika muktadha huu ni uamuzi wa kimaadili na wa kibiashara, si wa kiufundi, na hufanywa pamoja na washikadau.

Mbinu dhaifu / Mbinu kali

Maskini: "Usahihi wa jumla wa mfano ni 88%, ambayo ni sawa."

Güçlü: "Usahihi wa jumla ulikuwa 88%, lakini tulipoigawanya katika vikundi vidogo, kumbukumbu ilikuwa 91% katika kundi moja na 67% katika kundi lingine - mfano haukufuata kundi hilo. Tuliandika sababu (ukosefu wa uwakilishi), tulikusanya data ya kikundi hicho na kutathmini upya kwa lengo la kukumbuka sawa ambalo tungeamua na washikadau wa haki.

Tofauti: mbinu thabiti haijifichi nyuma ya kipimo cha jumla, hutenganisha vikundi vidogo na huchukulia haki kama uamuzi wazi.

Maadili na uwazi

Kanuni za msingi za AI inayowajibika ni:

• Ufafanuzi: Je, inaweza kuelezewa kwa nini mwanamitindo alifanya uamuzi huu? Katika maamuzi yenye athari kubwa (mikopo, kukodisha, huduma ya afya) mtu ana haki ya maelezo. Mtindo usioelezeka haufai kutumika katika maeneo haya au unapaswa kuungwa mkono na njia inayoeleweka.
• Uangalizi wa kibinadamu: Maamuzi yenye athari kubwa hayapaswi kufanywa moja kwa moja; Mfano unapendekeza, mwanadamu anathibitisha.
• Uwajibikaji: Inapaswa kuwa wazi ni nani anayehusika wakati mtindo anafanya makosa. "Mfano umeamua" sio kisingizio.
• Uwazi: Mtumiaji anapaswa kujua kwamba anaingiliana na AI na jinsi data yake inatumiwa.

Katika nchi na sekta nyingi, kanuni hizi pia zimepachikwa katika sheria (uwazi, ukaguzi na wajibu wa usimamizi wa binadamu kwa mifumo ya hatari ya AI). Mhandisi anawajibika kujua kanuni za uwanja wake.

Kidokezo: Weka "kadi ya kielelezo" kwa kila kielelezo chenye athari ya juu: mfano hufanya nini, ni data gani ulifunzwa, jinsi inavyofanya kazi vizuri/hafifu katika vikundi gani, mipaka yake inayojulikana ni ipi. Hati hii ni chombo cha uwazi na uwajibikaji.

Gharama na uendelevu

AI sio nafuu. Gharama inasimamiwa katika vipimo viwili:

Gharama ya kifedha:

• Gharama ya ishara (LLM): Kila ombi na majibu hugharimu tokeni; Kadiri kiasi kinakua, muswada unakua. Vidokezo virefu visivyo vya lazima, uteuzi mkubwa wa muundo na misururu ya wakala isiyodhibitiwa (sehemu ya 5) huongeza gharama.
• Mafunzo na upangishaji: Urekebishaji mzuri na uwasilishaji wa muundo huingiza gharama za maunzi.
• Uboreshaji: Usitumie mfano mkubwa ikiwa mfano mdogo unatosha; cache maswali yanayoulizwa mara kwa mara; fupisha haraka; Kundi nini kinaweza kuchakatwa.

Gharama ya kimazingira: Mafunzo ya kielelezo kikubwa na makisio hutumia nishati muhimu. Uendelevu hufanya kuepuka mahesabu yasiyo ya lazima (mfano wa saizi sahihi, usanifu bora) kuwa jukumu la kitaaluma.

Kidokezo: Kanuni ya kwanza ya uboreshaji wa gharama: "Je, ni muundo gani mdogo wa kutosha kwa kazi hii?" Kuweka kielelezo chenye nguvu zaidi kila mahali ni kama kupigilia msumari ndani kwa nyundo - ghali na sio lazima.

kesi tatu ndogo

Kesi ya 1 - Ubaguzi uliofichwa. Mtindo wa uchunguzi wa kuajiri ulionekana mzuri kwa ujumla. Uchanganuzi wa vikundi vidogo uligundua kuwa kielelezo kilisisitiza watahiniwa wa kike kwa utaratibu kwa sababu data ya kihistoria ilitawaliwa na wanaume—ilijifunza upendeleo wa kihistoria. Muundo ulisimamishwa, usawazishaji wa data, na vipimo vya usawa vikafuatiliwa. Haki ya jumla ilifunika ubaguzi uliojificha.

Kesi ya 2 - Kukataliwa bila sababu. Mfano wa mkopo ulikuwa unakataa maombi, lakini hakuna mtu anayeweza kueleza kwa nini. Wakati mteja aliomba ufafanuzi wa kisheria, timu haikuweza kujibu. Mtindo huo uliondolewa kutoka kwa matumizi katika maamuzi yenye athari kubwa hadi mbinu inayoweza kuelezeka ilipoongezwa na uhalali kutolewa kwa kila kukataliwa. Somo: kuelezeka ni muhimu katika kufanya maamuzi yenye athari kubwa.

Kesi ya 3 - Mshtuko wa bili. Timu moja ilikuwa ikitumia LLM kubwa zaidi na vidokezo virefu kwa kila ombi. Bili ya kila mwezi imekua bila kutarajiwa. Uchanganuzi wa machapisho: maombi mengi yanaweza kutatuliwa kwa kielelezo kidogo, nusu ya vidokezo havikuwa vya lazima, na maswali ya mara kwa mara yanaweza kuhifadhiwa. Uboreshaji huu tatu ulipunguza gharama kwa kiasi kikubwa, bila kuathiri ubora. Somo: mfano wa nguvu zaidi sio lazima kila mahali.

Violezo vinavyoweza kunakiliwa

Nisaidie kutathmini mfano huu kwa upendeleo / haki. Je, ni vikundi gani vidogo (demografia/sehemu) ninapaswa kugawanya na kupima? Je, ni vipimo gani (usahihi, kukumbuka, kiwango cha chanya cha uwongo kulingana na kikundi) ninapaswa kulinganisha? Je, ufafanuzi tofauti wa haki unaweza kugongana, ni kipi ninachopaswa kutanguliza katika muktadha huu na kwa nini? Muktadha wa mfano / uamuzi: [maelezo]

Tengeneza rasimu ya kadi ya kielelezo kwa muundo huu wenye athari ya juu. Inapaswa kujumuisha: madhumuni, data ya mafunzo na tarehe, utendaji katika vikundi vidogo, mipaka inayojulikana, matumizi sahihi/yasiyofaa, hali ya kuelezeka, hatua ya uangalizi wa binadamu. Mfano: [maelezo]

Nisaidie kupunguza gharama ya utekelezaji huu wa LLM, bila kuathiri ubora. Inapatikana: saizi ya mfano, urefu wa wastani wa ombi, kiasi cha ombi, je kuna akiba?Tathmini:1) Je, muundo mdogo unatosha (kwa kazi zipi)?2) Je, kidokezo kinaweza kufupishwa?3) Je, maombi ya mara kwa mara yanaweza kuakibishwa?4) Je, kuna kazi inayopatikana kwa kundi? Andika kila pendekezo lililokadiriwa.

Tengeneza orodha ya ukaguzi wa maadili/uwajibikaji kwa mfumo huu wa maamuzi yenye athari kubwa.- Ufafanuzi: je, uhalali wa uamuzi unaweza kutolewa?- Uangalizi wa kibinadamu: je, uamuzi wenye athari kubwa unaweza kuidhinishwa?- Uwajibikaji: ni nani anayehusika katika kesi ya makosa?- Uwazi: je, mtumiaji anajua kwamba AI inatumiwa?- Kanuni: ni nini wajibu wa kisheria: kushiriki?

Jedwali la chanzo cha upendeleo

Chanzo

dalili

tahadhari

upendeleo wa kihistoria

Ubaguzi uliopita unaendelea

Ukaguzi wa data + kipimo cha haki

upendeleo wa uwakilishi

Usahihi wa chini katika kikundi kidogo cha sampuli

Uchambuzi wa kikundi kidogo + kusawazisha

upendeleo wa kipimo

lebo za upendeleo

Ukaguzi wa mchakato wa lebo

Upendeleo wa kujumlisha

Ulimwengu hauwakilishwi

Mseto wa rasilimali

Makosa ya kawaida

• Inategemea kipimo cha jumla. Ubaguzi uliojificha hauwezi kuonekana bila uchambuzi wa kikundi kidogo.
• Kwa kudhani "mfano wa neutral". Mfano hujifunza na kukuza upendeleo katika data.
• Kuacha uamuzi wa athari ya juu kwa mfano usioelezewa. Hatari ya kisheria na kimaadili.
• Kupuuza usimamizi wa mwanadamu. "Mtindo umeamua" sio kisingizio.
• Kuweka mfano mkubwa kila mahali. Gharama na nishati isiyo ya lazima.
• Sio gharama ya kufuatilia. Mswada unavimba kimya kimya.

Kwa muhtasari

Mtindo sahihi wa kitaalam bado haufaulu ikiwa sio sawa, unaweza kuelezewa na endelevu. Upendeleo mara nyingi hutoka kwa data na modeli huikuza kwa kiwango; Pima usawa kwa vikundi vidogo na ukubaliane na washikadau ni fasili gani ya haki itakayopewa kipaumbele. Ufafanuzi, uangalizi wa kibinadamu, na uwajibikaji ni muhimu katika maamuzi yenye athari kubwa; Uwazi wa hati na kadi ya mfano. Dhibiti gharama na nishati: chagua muundo mdogo wa kutosha, fupisha haraka, tumia akiba na bechi. Vipimo hivi ni sehemu muhimu za ubora wa uhandisi, sio vitu vya kuchekesha vilivyoongezwa baadaye.

Jukumu la maombi

Gawanya kielelezo katika angalau vikundi vidogo viwili na ulinganishe kiwango cha kukumbuka na chanya cha uwongo kwa msingi wa kikundi; Ikiwa kuna tofauti kubwa, andika sababu na tahadhari. Rasimu ya kadi fupi ya kielelezo kwa muundo wa athari ya juu (kusudi, data, utendaji wa kikundi kidogo, mipaka, kuelezeka). Tambua angalau uboreshaji madhubuti (kiwango cha chini / upunguzaji haraka / akiba / bechi) ili kupunguza gharama ya kutekeleza LLM na uandike makadirio ya athari zao.

orodha ya ukaguzi

• [ ] Nilitathmini muundo kulingana na vikundi vidogo, sikutegemea metriki ya jumla.
• [ ] Niliamua na wadau ni ufafanuzi gani wa haki ningeupa kipaumbele.
• [ ] Uamuzi wa athari kubwa unaweza kuelezewa na kutegemea idhini ya mwanadamu.
• [ ] Niliandika uwazi na mipaka kwa kutumia kadi ya muundo.
• [ ] Nilichagua kielelezo kidogo cha kutosha; Niliboresha haraka/cache/batch.
• [ ] Ninafuatilia gharama na athari ya nishati.