Ọgụgụ isi na nka ML: Ọrụ, oke, nkwado na ibu ọrụ

Uru:

• Inwe ike ịmata ọdịiche dị na ebe ọrụ ML (koodu, data, akwụkwọ) ọgụgụ isi na-echekwa oge na obere ihe ize ndụ, yana ebe a na-ahapụ mmadụ ka mkpebi ndị dị ka metric / data / itinye n'ime mmepụta ihe, dị ka ọkwa ọrụ dị ize ndụ si dị.
• Ikike itinye ịdọ aka ná ntị nke na-enyocha mmepụta AI ọ bụla site na ijikọ ya na isi iyi, na-emegharị ya, tụọ ya, na-agafe ya site na nzacha injinia.
• Ikike ị nweta àgwà nke ịghara iziga raw nzuzo na data nkeonwe na ngwaọrụ mpụga, iji ngwaọrụ ụlọ ọrụ kwadoro, na ijikwa okwu nchekwa naanị maka ebumnuche nchekwa.

Ọgụgụ isi dị n'ime igwe mmụta injinịa: Ọrụ, oke, nkwado na ibu ọrụ

Onye injinia mmụta igwe ( injinia ML: ọkachamara sọftụwia nke na-echepụta, na-azụ ma na-eweta ụdị na-amụta site na data gaa na mmepụta) taa na-eji ngwa ọgụgụ isi ọzọ arụ ọrụ n'oge ọ bụla nke ọrụ ya. Onye inyeaka koodu na-arụ ọrụ mgbe ị na-ede koodu, ụdị mkparịta ụka mgbe ị na-enyocha data, yana ụdị asụsụ buru ibu (LLM: netwọk akwara nwere ọtụtụ ijeri paramita na-aghọta ma na-emepụta ederede) mgbe ị na-emepụta akwụkwọ. Modul a na-atụle ọgụgụ isi dị ka ma ngwaahịa emepụtara yana ngwa ọrụ kwa ụbọchị nke injinia ML. Ọ na-arụ ọrụ site na ịkọwapụta oke ọrụ n'ụzọ doro anya na-agwakọtaghị ọrụ abụọ ahụ.

N'ime nkeji mbụ a, anyị na-aza ajụjụ bụ isi: Ebee na injinia ML na-echekwa ọgụgụ isi na-echekwa oge, oleekwa ebe anyị ga-ahapụ mkpebi ahụ n'aka ụmụ mmadụ? Azịza ya dị n'obi ịdọ aka ná ntị injinia: onye na-eme ngwa ngwa, onye na-enyocha ya bụ ọrụ.

Ebee ka ọgụgụ isi mmadụ na-abata na injinịa ML?

Ihe oru ngo ML na-agafe n'ahịrị ndị a: nchịkọta data, nhicha data, nhazi njirimara (ịsụgharị data raw n'ime akara dijitalụ nke ihe nlereanya ahụ nwere ike ịghọta), ọzụzụ nlereanya, nyocha, ntinye (nkwanye: imepe ihe nlereanya na onye ọrụ n'ezie) na nlekota oru. AI na-enyere aka na nkwụsị ọ bụla na ahịrị a, mana ọkwa ikike ya dịgasị iche.

Ụgwọ ọrụ dị elu, mpaghara ihe ize ndụ dị ala: ịmepụta skeleton koodu, na-edepụta ọrụ mgbanwe data, ịkọwa ozi ndekọ, na-akọwa nchịkọta nchịkọta, na-achịkọta ndetu nnwale, ide akwụkwọ na README, na-atụ aro ikpe ikpe. N'ebe a, mmejọ ọgụgụ isi dị ọnụ ala; n'ihi na mmepụta ga-ama na-aga site ule na nyochaa.

Mpaghara ihe ize ndụ dị elu: ikpebi ihe data na-abanye na ọzụzụ, na-akwado ma ihe nlereanya kwesịrị ịbanye na mmepụta, ikpe metric bụ "ezigbo zuru oke", mkpebi ịhazi data nkeonwe, mechie nchebe nchebe dị ka "junk". Ndị a na-emetụta ego, nzuzo, ụgwọ iwu, na ntụkwasị obi onye ọrụ. Ọgụgụ isi na-enye aro ebe a; Emere mkpebi a site n'aka injinia tozuru oke na ndị otu nwere ọrụ.

NDỤMỌDỤ: Tupu iziga AI ọrụ, jụọ: "Gịnị bụ ọnụ ahịa ma ọ bụrụ na mmepụta a adịghị mma, oleekwa otú onye ọ bụla ga-esi nweta mmejọ ahụ n'ụzọ dị mfe?" Ọ bụrụ na ọnụahịa ahụ dị ala na ijide dị mfe, nyefee ya. Ọ bụrụ na ọnụahịa ahụ dị elu ma ọ bụ ijide siri ike, jiri AI naanị maka eserese ahụ wee kpebie.

Ntuziaka nkwenye: nzọụkwụ atọ

Na injinia ML, mmepụta AI anaghị abụ “ọrụ agwụla”; Ọ bụ ihe atụ. Gbaa nsonaazụ ọ bụla site na usoro atọ ndị a:

1. Jikọọ ya na isi iyi. Ọ bụrụ na ihe nlereanya ahụ kwuru ọnụọgụ, ọnụ ụzọ, ma ọ bụ “omume kacha mma,” dabere na akwụkwọ gọọmentị, uru n'ezie na codebase, ma ọ bụ metrik tụrụ atụ. "Ndabere nke ihe nlereanya" (nhụta anya: mmepụta obi ike nke ozi na-abụghị eziokwu site na ụdị asụsụ) na-ejidekarị ebe a.
2. Malitegharịa ekwentị wee tụọ. Gbaa koodu emepụtara, gbakọọ metrik ọ na-arụpụta n'usoro nnwale nke gị, kwado ajụjụ SQL a chọrọ na obere nlele. Koodu na-adịghị arụ ọrụ abaghị uru, ọbụlagodi na ọ mara mma.
3. Nyefee ya site na nzacha injinia. Nsonaazụ a na-ebuli elu n'ọkwa? Atụlela ikpe ihu (data efu, nnukwu ntinye, oghere efu)? Enwere mmebi nchekwa na nzuzo? Naanị onye maara ubi nwere ike ime nzọụkwụ a.

Ngwa ngwa adịghị ike / Ike siri ike

Ngwa ngwa na-adịghị ike: "Deere m ụfọdụ koodu ọzụzụ nlereanya."

Ike ngwa ngwa: "Dee a ọzụzụ script maka ọnụọgụ abụọ nkewa na scikit-learn. Ntinye: data/train.parquet, lekwasịrị kọlụm is_churn. E nwere klaasị ahaghị nhata (positive ọnụego ~ 8%), jikwaa ya na class_weight. Jiri PR-AUC (mpaghara n'okpuru nkenke-cheta curve) dị ka na nwale na-adịghị metric data, n'ihi na. ka 42. Nwalee na njedebe nke koodu mbipụta set PR-AUC."

Ọdịiche: Ọrụ ngwa ngwa nke abụọ nwere eziokwu data, metrik ziri ezi, ozi enweghị aha na ihe nkwugharị chọrọ. Ọ bụ site n'ọnọdụ a ka a na-enyocha ya ma nwee ike iji ya mee ihe.

Nzuzo na nchekwa data: ọrụ mbụ nke injinia

Onye injinia ML na-emetụkarị data ụlọ ọrụ kacha nwee mmetụta: ndekọ ndị ahịa, akụkọ azụmahịa, ahụike ma ọ bụ data ego, ndekọ nke sistemu mmepụta. Iwu atọ mgbe ị na-enye data ngwaọrụ ọgụgụ isi:

• Ezipụla data nkeonwe na nzuzo na ngwaọrụ mpụga. Dịka ọmụmaatụ, kama ịtinye ozi-e ndị ahịa n'ime ngwa ngwa, zipu schema na dummy (synthetic) sample. Jiri ihe atụ kpuchie dị ka "ex: ahmet@example.com" kama ezigbo data.
• Jiri ụgbọ ala akwadoro. Họrọ ngwaọrụ ndị ejiri nkwekọrịta doo anya ebe a na-ahazi data, ma echekwara ya, ma ejiri ya maka agụmakwụkwọ ma ọ bụ na ejighi ya. Iji akaụntụ nkeonwe hazie data ụlọ ọrụ bụ mmebi n'ọtụtụ ụlọ ọrụ.
• Amụma data kacha nta. Nye ọnọdụ kacha nta achọrọ iji dozie ọrụ ahụ. Ọ bụghị tebụl dum, mana ogidi 5 dị mkpa na schema.

Kpachara anya: Were ya na enweghị ike ịmegharị ederede ị na-enye ụdị asụsụ. Adịla ezipụ data nkeonwe na-eche echiche "Aga m ehichapụ ya ma emechaa"; Ihe ize ndụ ahụ mere ozugbo ezigara ya.

Eji nchekwa na mpaghara nchekwa

Ndị injinia ML na-etinyekarị sistemụ nchekwa: nchọpụta aghụghọ, nhazi okporo ụzọ ọjọọ, nyocha. N'ime modul a, anyị na-ekpuchi okwu nchekwa maka ebumnuche nchekwa naanị: ịchọpụta ọgụ, ime ka usoro ahụ sie ike, mechie adịghị ike. Iji ọgụgụ isi arụ ọrụ maka ịnweta enweghị ikike, mwepu data ma ọ bụ ntinye aka na-akwadoghị n'ime usoro onye ọzọ bụ nke iwu na-akwadoghị ma megidere ụkpụrụ omume ọkachamara. Mgbe ịchọtara adịghị ike, ụzọ ziri ezi bụ ịkọ ya nke ọma ma dozie ya; erigbula.

Obere ikpe atọ

Ikpe 1 - Oge echekwara. Onye injinia ML ga-anọkarị ọkara ụbọchị na-eme nyocha data nyocha (EDA) nke nhazi data kọlụm 40. O nyere schema na df.describe () mmepụta na ọgụgụ isi artificial wee jụọ, "Olee ogidi ndị nwere oke dị elu na ọnụ ọgụgụ efu, olee mgbanwe ndị ị kwadoro?" N'ime nkeji 20, ọ natara ndepụta ahaziri ahazi, na-enyocha ihe ọ bụla na koodu nke ya. Chekwa: ~ 3 awa, obere ihe ize ndụ nke njehie n'ihi na atụnyere nkwupụta ọ bụla.

Ikpe 2 - Njehie ejidere. "Izizi nkuzi bụ 99%, ọ dị mma," ihe nlereanya ahụ nwere onye enyemaka nkata kwuru. Onye injinia tinyere usoro nke atọ (nyocha injinia) wee ghọta: kọlụm lekwasịrị anya nwere njirimara agbapụta na mberede (nha data: ihe nlereanya ahụ na-ahụ ozi ọ na-ekwesịghị ịhụ na ọzụzụ). Arụmọrụ n'ezie dị ala nke ukwuu. Obi abụọ nke onye injinia, ọ bụghị nkọwa "nnukwu" nke AI, zọpụtara ọrụ ahụ.

Ikpe 3 - igbochi mmebi nzuzo. Otu otu na-ekefe ndekọ njehie mmepụta n'ime ụdị mpụga na-ekwu "dozie njehie a". Enwere nọmba njirimara ndị ahịa na ndekọ. Ndị otu ahụ mere iwu nke ide obere edemede nke na-ebu ụzọ kpuchie ndekọ (na-eme nọmba ID ha ***) wee ziga ha n'ụzọ ahụ. Ihe ize ndụ nke mmebi ahụ akwụsịla, ọsọ enyemaka agbanwebeghị.

Ụdị ndebiri nwere ike iṅomi

Ọrụ: [ihe a ga-eme, otu ahịrịokwu] Okwu: [atụmatụ data, nha, ihe mgbochi; Ọ BỤGHỊ data nkeonwe] Mgbochi: [asụsụ/ọbá akwụkwọ, arụmọrụ, mmeghari] Metrics: [otu esi atụ ihe ịga nke ọma] Mmepụta achọrọ: [koodu/nkọwa/ndepụta] na ihe kpatara na usoro a

Lelee koodu a. Nyochaa ọ bụghị naanị na ọ na-arụ ọrụ, kamakwa na usoro nke: 1) Edge ikpe (ntinye efu, kọlụm na-efu efu, nnukwu data) 2) Ihe ize ndụ nke leakage data3) Mmụgharị (mkpụrụ, ụdị)Na-atụ aro ndozi maka nsogbu ọ bụla ịchọtara. Kaa akara "nyochaa" ebe ị na-ejighị n'aka. Koodu: [koodu]

Kọwaa nsonaazụ metric a, mana buru ụzọ jụọ: metric a ọ̀ ziri ezi maka nsogbu a? Nsogbu: [nhazi nhazi/nhazighị nha anya, regression, ranking...]Metric na uru akọpụtara: [dịka ọmụmaatụ. ziri ezi 0.99] Kedu metrik ị ga-akwado na ihe kpatara ya, na kedu akara m ga-achọ iji mee ka m nwee obi abụọ maka nsonaazụ ugbu a?

Lelee ma enwere ozi nkeonwe / nzuzo na data m ga-enye ozugbo na-esote. Depụta mpaghara (aha, e-mail, nọmba ID, ekwentị, adreesị) ndị a ga-ekpuchi n'ime ederede dị n'okpuru. Ederede: [ederede]

Okpokoro ọrụ na ikike

Achọ

Ọrụ nke ọgụgụ isi

Onye nwe mkpebi

Ọrụ skeleton / mgbanwe koodu

onye na-emepụta ihe

Injinia (nyocha)

EDA / nchịkọta data

osooso

Injinia (na-enyocha ya site na nha)

Nkọwa metrik

Aro

injinia

Kedu data ga-abanye na ọzụzụ?

Aro

Otu + onye nwe data

Tinye ihe nlereanya n'ime mmepụta

Ihe ncheta ndetu

Injinia na-ahụ maka ọrụ + otu

Nhazi data nkeonwe

Ọ nweghị (ejighi ya)

Iwu + data njikwa

Mmejọ ndị nkịtị

• Iji mmepụta na-akwadoghị ya. Njehie kachasị na nke kachasị ọnụ. Koodu ma ọ bụ metric nke mara mma apụtaghị na ọ ziri ezi.
• Tapawa data nzuzo nzuzo n'ime ngwa. Ozugbo ezigara ya, enweghị ike iweghachi ya.
• Na-adabere na metrik na-ezighi ezi. Metiriks na-ekwekọghị ekwekọ dị ka izi ezi na data enweghị nha nha yana RMSE na nsogbu ogo na-eduhie eduhie.
• Na-ezighị ezi ọgụgụ isi dị ka onye na-eme mkpebi. Ọ na-enye aro; Ọrụ dị n'aka onye nbinye aka.
• Mkpesa na-enweghị mgbagha. Arịrịọ dị mgbagwoju anya dị ka "dee ihe nlereanya" na-emepụta mmepụta enweghị ike ịchọpụta.

Na nchịkọta

Ọgụgụ isi bụ ma ngwaahịa nke injinia ML mepụtara yana onye na-emegharị ya kwa ụbọchị. Ọnụ ahịa ya kachasị elu na obere ihe ize ndụ, ọrụ ndị a kwadoro dị mfe dị ka koodu-data-document; Mkpebi na-emetụta ego, nzuzo na nchekwa na-anọnyere onye ahụ. Jikọọ mmepụta ọ bụla na isi iyi, tụọ ọzọ, gafere nzacha injinia. Chedo data nzuzo, jiri ụgbọ ala akwadoro, rụọ ọrụ na nchekwa maka naanị ihe nchekwa. Ọzụzụ a bụ ihe ndabere maka nkeji niile na-esote.

Ọrụ ngwa

Họrọ otu ọrụ site na ọrụ nke gị (dịka ịde ọrụ nhicha data). Buru ụzọ dee ọsọ ọsọ na-adịghị ike, wee dee ngwa ngwa siri ike site na iji ndebiri dị na nkeji a. Were nsonaazụ abụọ ahụ, tinye nkwenye nke nzọụkwụ atọ (njikọ na isi mmalite, megharịa, nzacha injinia). Rịba ama nke ozugbo na-echekwa nkeji ole na ole mmezi.

ndetu

• [] Achọpụtara m ọkwa dị ize ndụ (ala / elu) nke ọrụ m.
• [] Etinyeghị m data nkeonwe / nzuzo ọ bụla na ngwa ngwa; M kpuchie ya ma ọ bụ jiri ihe nlele sịntetik mee ihe.
• [] Ejikọtara m ihe mmepụta ahụ na isi iyi, gbagharịa ya ọzọ, kpochaa ya site n'echiche injinia.
• [ ] Achọpụtara m na ahọpụtara m metric ziri ezi.
• [] Emere m mkpebi dị oke egwu (itinye ya na mmepụta, nhazi data) onwe m / ya na ndị otu, ahapụghị m ya na ọgụgụ isi.
• [ ] Eji m ụgbọ ala akwadoro.