Bias, Da'a da Kuɗi: Alhaki kuma Mai Dorewa AI Injiniya

Riba:

• Ƙarfin gano ɓoyayyiyar wariya ta hanyar fahimtar cewa son zuciya ya fito ne daga bayanai (na tarihi, wakilci, aunawa, tarawa) da kuma kimanta ƙima bisa tushen ƙungiyoyi.
• Ability don ba da bayanin, sa ido na ɗan adam da kuma ba da lissafi a cikin yanke shawara mai tasiri da takaddun bayyana gaskiya tare da katin ƙira.
• Ikon sarrafa kuɗin kuɗi da muhalli ba tare da lalata inganci tare da mafi ƙarancin isassun samfuri ba, gajeriyar hanzari, cache da tsari

Samfurin na iya aiki da fasaha daidai amma har yanzu yana kuskure - idan rashin adalci ne ga wasu mutane, wanda ba za a iya bayyanawa ba, ko kuma ya haifar da tsadar rayuwa. A cikin wannan rukunin, mun rufe nau'ikan "marasa ganuwa" guda uku amma yanke hukunci na injiniyan ML: son zuciya da adalci, ɗa'a da bayyana gaskiya, farashi da dorewa. Waɗannan ba kayan ado ba ne da aka ƙara daga baya, amma sassan sassan ingancin aikin injiniya.

A ina ne son zuciya ta fito?

Ƙaunar ƙirar ƙira (tsari na tsarin kula da wasu ƙungiyoyi daban-daban/rashin adalci) yawanci yakan fito ne daga bayanan, ba samfurin ba. Sources:

• Ra'ayin Tarihi: Bayanai na nuna rashin adalci a baya. Idan an ba wa wata ƙungiya ƙarancin ƙima a baya, ƙirar da aka horar akan wannan bayanan za ta koya kuma ta ci gaba da wannan wariyar.
• Ƙaunar wakilci: Wasu ƙungiyoyi ba su da wakilci a cikin bayanan; samfurin yayi musu rashin kyau (misali ƙananan daidaito a cikin ƙaramin samfurin alƙaluma).
• Ƙimar aunawa: Lakabi da kansu suna da ban sha'awa (misali, idan ma'anar "ma'aikaci mai kyau" ya dogara ne akan yanke shawara na gaba).
• Ƙimar tarawa: Saboda bayanai sun fito daga takamaiman tashar, ba wakiltar sararin samaniya ba.

Samfurin ba wai kawai ya koyi waɗannan son zuciya ba; yana inganta ta atomatik. Shawarar son zuciya ɗaya ta shafi wani; Hukuncin samfurin son zuciya miliyoyi ne.

Tsanaki: Kada ku fada cikin kuskuren faɗin "samfurin ba shi da tsaka-tsaki saboda lissafi ne kawai." Samfurin yana koya kuma yana sarrafa son zuciya a cikin bayanai. Rashin tsaka-tsaki ba tsoho ba ne, amma sakamako ne wanda dole ne a auna kuma a tabbatar.

auna adalci

Don gudanar da adalci, wajibi ne a fara auna shi. Don yin wannan, ƙididdige ƙirar akan rukunin ƙungiyoyi: shin ma'auni kamar daidaito, tuno, ƙimar ƙimar ƙarya daidai take a cikin ƙungiyoyin alƙaluma daban-daban? Wasu ra'ayoyi na adalci:

• Adalci na rukuni: Shin ƙirar tana kula da ƙungiyoyi daban-daban daidai/ba daidai ba a farashi iri ɗaya?
• Daidaiton dama: Shin samfurin yana ɗaukar masu inganci daidai daidai a cikin duk ƙungiyoyi (daidai da tunawa)?

Muhimmiyar gaskiya: ma'anoni daban-daban na adalci bazai iya gamsar da su a lokaci guda (wannan sakamakon ilimin lissafi ne). Wanne ma'anar adalci ke ɗaukar fifiko a cikin wannan mahallin shine yanke shawara na ɗabi'a da kasuwanci, ba na fasaha ba, kuma an yi shi tare da masu ruwa da tsaki.

Hanya mai rauni / Ƙarfi mai ƙarfi

Talakawa: "Game da daidaito na samfurin shine 88%, wanda yake daidai."

Güçlü: "Gaba ɗaya daidaito ya kasance 88%, amma lokacin da muka raba shi zuwa ƙananan ƙungiyoyi, abin tunawa shine 91% a cikin rukuni ɗaya da 67% a cikin wani rukuni - samfurin ya ɓace a cikin rukuni.

Bambanci: hanya mai ƙarfi ba ta ɓoye a bayan ma'auni na gabaɗaya, yana raba ƙungiyoyin ƙungiyoyi kuma yana ɗaukar adalci azaman yanke shawara buɗe.

Da'a da bayyana gaskiya

Babban ka'idodin AI masu alhakin sune:

• Bayyanawa: Za a iya bayyana dalilin da yasa samfurin ya yanke wannan shawarar? A cikin yanke shawara mai tasiri (bashi, haya, kiwon lafiya) mutum yana da haƙƙin yin bayani. Bai kamata a yi amfani da ƙirar da ba a bayyana ba a waɗannan wuraren ko kuma ya kamata a goyi bayan hanyar da za a iya bayyanawa.
• Sakon Dan Adam: Bai kamata a yanke shawara mai tasiri kai tsaye ba; Samfurin ya nuna, ɗan adam ya tabbatar.
• Lissafi: Ya kamata ya bayyana a fili wanda ke da alhakin lokacin da samfurin ya yi kuskure. "Model ya yanke shawarar" ba uzuri ba ne.
• Bayyanawa: Ya kamata mai amfani ya san cewa suna hulɗa da AI da kuma yadda ake amfani da bayanan su.

A cikin ƙasashe da sassa da yawa, waɗannan ƙa'idodin kuma suna cikin dokoki (fahimtar gaskiya, dubawa da wajibcin sa ido kan ɗan adam don tsarin AI mai haɗari). Injiniya ne ke da alhakin sanin ka'idojin filin sa.

Tukwici: Kiyaye "katin ƙira" ga kowane ƙirar ƙira mai tasiri: abin da ƙirar ke yi, menene bayanan da aka horar da shi, yadda yake da kyau/rashin aiki a cikin ƙungiyoyi, menene iyakokin da aka sani. Wannan daftarin aiki duka kayan aiki ne na gaskiya da rikon amana.

Farashin da dorewa

AI ba shi da arha. Ana sarrafa farashi ta hanyoyi biyu:

Kudin kuɗi:

• Farashin Token (LLM): Kowane buƙatu da ƙimar amsawa alamun; Yayin da girma ke girma, lissafin yana girma. Dogayen abubuwan da ba dole ba, babban zaɓin ƙirar ƙima da madaukai na wakilai marasa sarrafawa (raka'a 5) suna haɓaka farashi.
• Horowa da karɓar baƙi: Kyakkyawan daidaitawa da gabatarwar ƙirar suna haifar da farashin kayan aiki.
• Ingantawa: Kada kayi amfani da babban samfuri idan ƙaramin ƙirar ya isa; tambayoyin cache akai-akai; rage hanzari; Batch abin da za a iya sarrafa.

Farashin muhalli: Babban horon ƙirar ƙira da ƙididdigewa yana cinye makamashi mai mahimmanci. Dorewa yana sa guje wa lissafin da ba dole ba (daidaitaccen samfurin girman, ingantaccen gine-gine) alhakin ƙwararru.

Tukwici: Dokar farko na inganta farashi: "Mene ne mafi ƙarancin isassun samfuri don wannan aikin?" Sanya samfurin mafi ƙarfi a ko'ina yana kama da ƙusa ƙusa tare da guduma - tsada kuma ba dole ba.

uku mini lokuta

Shari'a ta 1 - Boyewar wariya. Samfurin nunin daukar ma'aikata yayi kyau gaba daya. Binciken ƙananan ƙungiyoyi ya gano cewa ƙirar ta ba da fifiko ga ƴan takara mata bisa tsari saboda bayanan tarihi sun mamaye maza-ya koyi son zuciya. An dakatar da samfurin, daidaiton bayanai, kuma ana sa ido kan ma'aunin gaskiya. Adalci gabaɗaya ya rufe ɓoyayyiyar wariya.

Hali na 2 - Kin amincewa da ba a bayyana ba. Samfurin kiredit yana ƙin aikace-aikace, amma babu wanda zai iya bayyana dalilin. Lokacin da abokin ciniki ya nemi bayanin doka, ƙungiyar ba ta iya ba da amsa ba. An cire samfurin daga amfani a cikin yanke shawara mai tasiri har sai an ƙara hanyar da za a iya bayyanawa kuma an samar da hujja ga kowane ƙin yarda. Darasi: Bayyanawa yana da mahimmanci wajen yanke shawara mai tasiri.

Case 3 - Bill shock. Ƙungiya ɗaya tana amfani da LLM mafi girma da kuma tsayin daka don kowace buƙata. Kudi na wata-wata ya karu ba zato ba tsammani. Binciken bayan fage: yawancin buƙatun za a iya warware su tare da ƙaramin ƙira, rabin abubuwan faɗakarwa ba su da yawa, kuma ana iya adana tambayoyi akai-akai. Wadannan ingantawa guda uku sun rage farashin da muhimmanci, ba tare da lalata ingancin ba. Darasi: samfurin mafi ƙarfi ba lallai ba ne a ko'ina.

Samfura masu kwafi

Taimaka min kimanta wannan samfurin don son zuciya/adalci. Wadanne rukunoni ne (yanki/banki) zan raba in auna? Wadanne ma'auni (daidai, tunowa, ƙimar ƙimar ƙarya ta ƙungiya) zan kwatanta? Za a iya samun rikice-rikice daban-daban na adalci, wanda zan ba da fifiko a cikin wannan mahallin kuma me yasa? Model/yanayin yanke shawara: [bayani]

Samar da daftarin katin ƙirar don wannan ƙirar mai tasiri mai tasiri. Ya kamata ya haɗa da: manufa, bayanan horo da kwanan wata, aiki a cikin ƙananan ƙungiyoyi, iyakokin da aka sani, dacewa/amfani da bai dace ba, matsayin bayanin, batu na kulawar ɗan adam. Model: [bayani]

Taimaka mini in rage farashin wannan aikin na LLM, ba tare da lalata ingancin ba. Akwai: Girman samfurin, matsakaicin tsayin sauri, ƙarar buƙatar, akwai cache? Ƙimar: 1) Shin ƙaramin samfurin ya isa (waɗanne ayyuka)?2) Za a iya rage saurin gaggawa?3) Za a iya adana buƙatun akai-akai?4) Shin akwai aiki don batch?Rubuta kimanta tasirin kowane shawara.

Samar da lissafin ɗabi'a / alhaki don wannan tsarin yanke shawara mai tasiri.- Bayani: shin za a iya samar da hujjar yanke shawara? - Kulawa da ɗan adam: shine babban sakamako mai tasiri yana ƙarƙashin yarda?

Bias tushen tebur

Source

alama

yin taka tsantsan

son zuciya ta tarihi

Ana ci gaba da nuna wariya a baya

Binciken bayanan + daidaitattun daidaito

son zuciya wakilci

Ƙananan daidaito a cikin ƙananan samfurin samfurin

Binciken Ƙungiya + daidaitawa

auna son zuciya

lakabin son zuciya

Label tsari review

Ƙimar tarawa

Ba a wakilta sararin duniya

Bambance-bambancen albarkatu

Kuskuren gama gari

• Dogara ga ma'auni gabaɗaya. Ba za a iya ganin ɓoyayyiyar wariya ba tare da bincike na rukuni ba.
• Zaton "samfurin tsaka tsaki". Samfurin yana koya kuma yana haɓaka son zuciya a cikin bayanan.
• Barin yanke shawara mai tasiri ga ƙirar da ba a bayyana ba. Haɗarin doka da ɗa'a.
• Ketare kulawar ɗan adam. "The model yanke shawarar" ba uzuri.
• Sanya mafi girma samfurin a ko'ina. Kudin da ba dole ba da kuzari.
• Ba biyan kuɗi ba. Kudirin ya kumbura shiru.

A takaice

Samfurin madaidaicin fasaha har yanzu gazawa ne idan bai yi adalci ba, mai bayyanawa kuma mai dorewa. Bias galibi ya fito ne daga bayanan kuma samfurin yana haɓaka shi a sikelin; Auna adalci ta ƙungiyoyin ƙasa da yarda da masu ruwa da tsaki akan ma'anar adalci don ba da fifiko. Bayyanawa, sa ido na ɗan adam, da kuma alhaki suna da mahimmanci a cikin yanke shawara mai tasiri; Rubutun nuna gaskiya tare da katin ƙira. Sarrafa farashi da kuzari: zaɓi mafi ƙarancin isasshiyar ƙira, gajarta saurin gaggawa, yi amfani da cache da tsari. Waɗannan nau'o'in nau'ikan nau'ikan nau'ikan ingancin injiniya ne, ba a ƙara su daga baya ba.

Aikin aikace-aikace

Rarraba samfuri zuwa aƙalla ƙungiyoyi biyu kuma kwatanta ƙima da ƙimar ƙimar ƙarya akan tsarin rukuni; Idan akwai bambanci mai mahimmanci, rubuta dalili da taka tsantsan. Zana taƙaitaccen katin ƙirar ƙira don ƙira mai tasiri mai ƙarfi (manufa, bayanai, aikin rukuni, iyakoki, iya bayani). Gano aƙalla ingantawa na kankare guda biyu (mafi ƙanƙanta / saurin yankewa / cache / batch) don rage farashin aiwatar da LLM da rubuta tasirin tasirin su.

jerin abubuwan dubawa

• [ ] Na kimanta samfurin bisa ga ƙungiyoyin ƙasa, ban dogara ga ma'auni na gaba ɗaya ba.
• [ ] Na yanke shawara tare da masu ruwa da tsaki wace ma'anar adalci zan ba da fifiko.
• [ ] Babban yanke shawara mai tasiri yana iya bayyanawa kuma yana ƙarƙashin amincewar ɗan adam.
• [ ] Na rubuta nuna gaskiya da iyakoki tare da katin ƙira.
• [ ] Na zaɓi mafi ƙarancin isassun samfurin; Na inganta hanzari/cache/batch.
• [ ] Ina lura da farashi da tasirin makamashi.