Uru:
- Ikike ịtọ pipeline data (nchịkọta, nkwenye, nhichapụ, mgbanwe, nkewa, nsụgharị) na itinye nkwenye schema na mmalite nke pipeline.
- Ikike ime uru efu na ịde aha mkpebi dabere na ihe ubi pụtara na nkewa iji gbochie ntapu data (otu na oge)
- Ikike ịmepụta ntọala data enwere ike imepụtaghachi site na idozi ụdị data na mkpụrụ enweghị usoro
Ezi ike nke usoro mmụta igwe ọ bụla dị na data, ọ bụghị ihe nlereanya. Ndị injinia nwere ahụmahụ maara: "ihe mkpofu na, ihe mkpofu" - ọbụnadị ihe nlereanya kachasị elu na-enye nri ọjọọ ga-arụpụta ihe ọjọọ. N'ime nkeji a, anyị na-eguzobe pipeline data (ọkọlọtọ data: usoro nke usoro nke na-eme ka data raw dị njikere maka ọzụzụ ihe nlereanya) na-ejedebe ma mụta usoro nke usoro a anyị nwere ike iji ọgụgụ isi na-enweghị nchebe.
Nzọụkwụ nke data akara
Ahịrị data na-agafekarị na nkwụsị ndị a:
- Mkpokọta (ingestion): Na-adọta data sitere na isi mmalite (database, API, faịlụ ndekọ, iyi mmemme).
- Nkwado: Na-enyocha ma data ahụ dabara na atụmatụ, ụdị, na oke a na-atụ anya ya.
- Nhicha: Ijikwa ụkpụrụ na-efu efu, ndekọ oyiri, ndị na-apụ apụ, na enweghị nkwekọrịta.
- Mgbanwe: Ịtụgharị data raw ka ọ bụrụ njiri mara - dị ka ịtụgharị mgbanwe categorical ka ọ bụrụ ọnụọgụ, na-ewepụta "ụbọchị izu" site na ụbọchị.
- Nkewa: Nkewa n'ime ọzụzụ, nkwado na nhazi ule.
- Versioning: Ịdekọ ụdị nke ejiri data zụrụ azụ.
Artificial ọgụgụ isi na-azọpụta oge site n'ịwa code drafts na echiche, karịsịa na nzọụkwụ 2, 3 na 4. Ma mkpebi ndị dị otú ahụ dị ka nke ndekọ na-atụfu, nke efu uru mejupụta na otú, bụ nke engineer maara data; n'ihi na ihicha nke na-ekwesịghị ekwesị nwere ike itinye nhụsianya zoro ezo n'ime ihe nlereanya ahụ.
Nnwale data: nchebe mbụ nke ahịrị
Njehie ndị kachasị ọnụ na-amalite ọ bụghị na mmepụta, mana ebe a na-amafe ọkwa nkwenye. Nkwenye atụmatụ na-akpaghị aka ma ọ bụrụ data ọ bụla na-abata kwekọrọ n'usoro a tụrụ anya ya. Dịka ọmụmaatụ, kọlụm afọ dị n'etiti 0-120, mpaghara ozi-e efu efu, ọnụọgụ nke kọlụm agbanweela?
Ndụmọdụ: Tinye nkwenye na mmalite nke ahịrị. A na-ejide ngwa ngwa data rụrụ arụ, ọ ga-adị ọnụ ala karịa ka ọ ga-edozi. Njehie schema enwetara n'imepụta ji ọnụ karịa nke ejidere n'oge ọzụzụ.
Jiri pandera (ma ọ bụ nnukwu atụmanya) dee atụmatụ nkwado maka atụmatụ data ndị a. Ogidi na iwu:- user_id: integer, enweghị ike ịbụ efu, pụrụ iche- afọ: integer, enweghị ike ịbụ site na 0-120- signup_date: ụbọchị, enweghị ike ịbụ n'ọdịnihu- obodo: categorical, site na set {TR, DE, US, UK}- itule: decimal, enweghị ike ịbụ adịghị mma Wepụta njehie bara uru maka iwu ọ bụla mebiri. Gosi ule ahụ site na iji ihe atụ ahịrị agbajiri na njedebe nke koodu.
Nchacha: ọ bụ mmadụ na-ekpebi
Ụkpụrụ na-efu efu bụ eziokwu nke setịpụrụ data ọ bụla. Ụzọ ijikwa:
- Nhichapụ: Na-atụfu ahịrị/kọlụm nwere oke na-efu efu. Mana enwere ihe ize ndụ nke mfu ozi na enweghị isi.
- Mkpọpụta: Mkpọpụta n'ọnụ, etiti, uru na-adịkarị, ma ọ bụ amụma dabere na ụdị.
- Ọkọlọtọ: Ịchekwa ozi “efu efu” na kọlụm ọkọlọtọ dị iche - mgbe ụfọdụ ihe na-efu n'onwe ya bụ mgbama.
Kedu nke ziri ezi dabere na nsogbu ahụ. Na nhazi data ahụike, ekwesịrị ịchekwa ozi "uru ọbara a tụleghị" kama ihichapụ; N'ihi na ọbụna ọjụjụ dọkịta jụrụ ime nha bụ ihe mgbaàmà. AI nwere ike inye gị nhọrọ na koodu; Ị na-ahọrọ nke dabara na eziokwu nke ubi.
Ngwa ngwa adịghị ike / Ike siri ike
Ngwa ngwa adịghị ike: "Mejupụta ụkpụrụ efu."
Ike siri ike: "Enwere ụkpụrụ efu na kọlụm ndị a: ego (12% efu, nkesa ziri ezi), last_login (30% efu). Na-atụ aro na-ejuputa ego na median, ma kọwaa ihe mere median na ọ bụghị pụtara. N'ihi na last_login, chere na efu uru nwere ike dị ịrịba ama (onye ọrụ nwere ike ọ dịghị mgbe abanyela); tụlee ịmepụta a never_logged_in ọkọlọtọ kama tinye biputere ihe nlereanya. "
Ọdịiche: ngwa ngwa siri ike na-enye ozi nkesa na nkọwa mpaghara; ọgụgụ isi artificial na-emepụta nkwado mkpebi kama imeju igwe.
Labeling: A na-atụ àgwà
N'ime mmụta a na-elekọta (mmụta nke e nyere ọmụmaatụ na azịza ziri ezi), ihe nlereanya na-amụta bụ akara (akara: azịza ziri ezi maka ihe atụ ọ bụla). Ogo akara na-edobe uko ụlọ - ọ bụrụ na ndị mmadụ na-akpọ aha na-ekwekọghị ekwekọ, ihe nlereanya ahụ na-amụta ihe na-agbanwe agbanwe.
Nkwekọrịta inter-annotator na-atụle ọnụego nke ndị dị iche iche na-enye otu akara n'otu ihe atụ; E gosipụtara ya site na ọnụọgụ dị ka Cohen's Kappa. Nrubeisi dị ala na-egosi ma ọrụ ahụ edoghị anya ma ọ bụ na ntuziaka adịghị ike.
Ọgụgụ isi na-enyere aka n'ịkpọ aha n'ụzọ abụọ: (1) idepụta ntuziaka nkọwa, (2) tupu ịde aha na ime ka mmadụ gbanwee ya naanị. Mana ntinye aha ya na LLM nwere ọnyà: njehie nhazi nke ihe nlereanya nwere ike ịdaba na akara ngosi niile. Ọ bụ ya mere ụmụ mmadụ ji elele ụfọdụ akara LLM mgbe niile.
Ntị: Echela akara aha LLM mepụtara dị ka "eziokwu ala". Jiri mmadụ lelee nlele wee tụọ LLM-mmadụ dabara adaba. Ọ bụrụ na nrubeisi dị ala, ntinye akara ga-emerụ ahụ karịa ka ọ dị mma.
Nkebi data: gbochie ntapu
Njehie kachasị dị ize ndụ mgbe ị na-ekewa data n'ime ọzụzụ / nkwado / ule bụ nkwụsị data: ngwakọta nke ozi nyocha n'ime ọzụzụ. Ọmụmaatụ:
- Otu ndekọ nke onye ọrụ na-adaba na ọzụzụ na ule (leak otu).
- Iji ọdịnihu na ọzụzụ na n'oge gara aga na ule na usoro oge (oge ntapu).
- Ịgbakọ scaling (normalization) paramita sitere na data niile wee kewaa.
Nkewa nke nwa oge dị mkpa maka nsogbu ndị metụtara oge: zụọ ihe n'oge gara aga, nwalee n'ọdịnihu. Nkewa nke enweghị usoro na-enye uru "ọdị n'ihu" nke na-agaghị eme na mmepụta ma na-ebuli metrics.
Versiondị data na nrụpụtagharị
"Kedu data anyị ji zụọ ihe nlereanya a?" Inwe ike ịza ajụjụ a ọnwa ole na ole ka e mesịrị bụ akara nke injinịa ML siri ike. Versiondị data na-echekwa foto data ọ bụla nwere ID (hash ma ọ bụ mkpado ụdị). Ngwa dị ka DVC (Data Version Control) ụdị data dị ka koodu.
Iji mepụtaghachi nsonaazụ nke ihe nlereanya, a ga-edozirịrị ihe atọ: ụdị data, ụdị koodu, na mkpụrụ enweghị usoro. Ọ gaghị ekwe omume ịsị "Enwetara m otu nsonaazụ ahụ" na-enweghị atọ a. Anyị ga-amụbawanye Reproducibility na nkeji 11; mana idozi mkpụrụ na pipeline data na-amalite site na ebe a.
Obere ikpe atọ
Ikpe 1 - echekwara nkwado atụmatụ ụbọchị. Mgbe otu otu tụgharịrị ọnụ ahịa sistemụ dị elu site na pennies gaa na liras, ọnụ ahịa niile dara 100 ugboro. Nkwado atụmatụ jụrụ batch ahụ dị ka "ọnụahịa na-enweghị oke" na ejighị data emerụrụ zụọ ihe nlereanya ahụ. Enweghị nkwenye, a ga-achọpụta njehie ahụ naanị na mmepụta, yana amụma ezighi ezi.
Ikpe 2 - nhụsianya nke njuputa na-ezighi ezi. N'ụdị kredit, ọnụ ahịa ego na-efu efu jupụtara n'ọnụ. Mana ego na-efu efu bụ nke kachasị n'ime ndị na-enweghị ego; nkezi ka otu a “bara ọgaranya” na nkezi, na ihe nlereanya ahụ nyere ha oke oke na-ezighi ezi. Doziri nsogbu ahụ na ọkọlọtọ etiti + efu.
Ikpe nke 3 - ntapu nwa oge. Nlere amụma amụma chọrọ dị mma na nhazi ule (95% ziri ezi) mana dara na mmepụta. Ihe kpatara ya: n'ihi nkewa na-enweghị usoro, ihe nlereanya ahụ ahụla ọdịnihu. Ịtụgharị na binning nwa oge wedara izi ezi ule ruo 78% - mana nke ahụ bụ ezigbo arụmọrụ wee debe ya na mmepụta.
Ụdị ndebiri nwere ike iṅomi
Kewaa ndị na-esonụ dataset n'ime atọ tent: ọzụzụ / nkwado / testing.Mgbochi: Nke a bụ usoro oge; Jiri nkewa TEMPORAL (ụgbọ okporo ígwè n'oge gara aga, nwalee n'ọdịnihu). Gbochie ntapu ogbe: nwee otu `onye ahịa_id` naanị n'otu ụyọkọ. Gbakọọ usoro nlegharị anya naanị site na nhazi ọzụzụ, wee tinye aka na mmadụ niile. Bipụta ahịrị ole fọdụrụ na koodu ahụ n'ọkwa ọ bụla wee gbakwunye nkwupụta na-elele maka enweghị ntapu ọ bụla.
Dee ntuziaka nkọwa nkọwa maka ọrụ ntinye aha a. Ọrụ: [dịka ọmụmaatụ. Kpọọ onye ahịa nyochaa nke ọma/na-adịghị mma/anọpụ iche]Kwapụtakwuo okwu ikpe dị n'ókè: njakịrị, mmetụta dị iche iche, ka esi akpọ aha nyocha na-enweghị njikọ na ngwaahịa? Nye ihe atụ 5 na ikpe 3 siri ike nke ga-eme ka nkwụsi ike gafee mkpado.
Mepụta ndetu ndegharị maka pipeline data a: - Kedu ka esi edozi ụdị data ahụ? - Kedu mkpụrụ osisi randomness kwesịrị ịtọ ebe? - Kedu metadata (data hash, ọnụọgụ ahịrị, ụbọchị) kwesịrị ịbanye? Ebe nchekwa m: [asụsụ/ụlọ akwụkwọ]
Lelee koodu nchacha a maka mwepu data. Leba anya na nke a kpọmkwem: a na-agbakọọ paramita scaling/encoding tupu ikewa? Enwere ọnụọgụ ọ bụla gbakọrọ site na data niile ma ọ bụ naanị ọzụzụ? Koodu: [koodu]
Tebụl mkpebi: atụmatụ uru efu efu
Ọnọdụ
Ụzọ akwadoro
Ntak
Ọnụọgụ, nkesa skewed
jupụta na etiti
Nkezi na-emetụta outliers
Ọnụọgụgụ, symmetrical
jupụta na nkezi
Na-echebe ozi
Ụkọ ahụ nwere ike ịdị mkpa
Kọlụm ọkọlọtọ + jupụta
Enweghị bụ mgbaama
Ọnụego efu> 60%
Nyochaa/tufuo kọlụm
Ụzụ karịrị akarị
Ụdị
Otu "Amaghị".
Ọ naghị emepụta ọtụtụ artificial
Mmejọ ndị nkịtị
- Na-amafe nkwenye. Enweghị njikwa schema, data mebiri emebi na-ezoro ezo.
- Ịtụle tupu kewaa. Ọ na-etinye ọnụ ọgụgụ ule n'ime agụmakwụkwọ.
- Iji nkewa na-enweghị usoro n'usoro oge. Ọ na-emepụta metrik dị elu adịgboroja.
- Ịtụkwasị obi na akara LLM. Njehie usoro na-agbasa na data niile.
- Anaghị echekwa ụdị data ahụ. Ị nweghị ike imepụtaghachi nsonaazụ ya.
- Mechanical njuputa na nkezi. Ọ na-eleghara ihe pụtara ubi anya, na-agbakwụnye elelị.
Na nchịkọta
Pipeline data bụ ntọala nke usoro ML ma kwesị itinye mgbalị karịa ihe nlereanya ahụ. Tinye nkwenye n'elu; mee mkpebi nhicha na ịkpọ aha na ihe ọmụma ngalaba; gbochie ntanye (otu na oge) na ngalaba; dozie ụdị data na mkpụrụ. AI na-ewepụta koodu na echiche na ahịrị a, mana ọ dịịrị gị ikpebi ụdị data ị ga-ahazi yana otu - n'ihi na mkpebi ọ bụla na-ezighi ezi ebe a na-abanye n'ụdị dị ka ntụpọ zoro ezo.
Ọrụ ngwa
Dee atụmatụ nkwado (pandera/Great Expects) na dataset nke gị wee kpachapụ anya tinye ahịrị ọjọọ wee gosi na ejidere ya. Mgbe ahụ kewaa data ahụ nwa oge ma ọ bụ n'usoro batchwise, gbakọọ scaling paramita site na ọzụzụ naanị, wee chọpụta na ọ nweghị ntapu site na nkwuputa. Dee ụdị data na ọnụọgụ ahịrị na faịlụ metadata.
ndetu
- [ ] Nkwado atụmatụ na-aga n'elu ahịrị.
- [] M họọrọ atụmatụ efu efu dabere na ihe ubi pụtara, emeghị m ya n'usoro.
- [] M tụrụ àgwà akara (nkwenye); M mkpado LLM mmadụ nyochara.
- [ ] M gbochiri otu na ntapu nwa oge na pane.
- [] Agbakọba ihe/nkọwapụta site na naanị ọzụzụ ahazibere.
- [] Ụdị data, ọnụọgụ ahịrị na mkpụrụ e dekọrọ.