Awọn anfani:
- Agbara lati ṣeto opo gigun ti epo (gbigba, afọwọsi, mimọ, yiyi pada, pipin, ikede) ati gbigbe afọwọsi ero ni ibẹrẹ opo gigun ti epo.
- Agbara lati ṣe iye ti o padanu ati awọn ipinnu isamisi ti o da lori itumọ aaye ati pipin lati ṣe idiwọ jijo data (ẹgbẹ ati igba diẹ)
- Agbara lati ṣẹda ipilẹ data ti o le ṣe atunṣe nipa titunṣe ẹya data ati irugbin laileto
Agbara gidi ti gbogbo eto ẹkọ ẹrọ wa ninu data, kii ṣe awoṣe. Awọn onimọ-ẹrọ ti o ni iriri mọ: “idoti sinu, idoti jade” - paapaa awoṣe ti ilọsiwaju julọ ti o jẹ data buburu yoo gbe awọn abajade buburu jade. Ninu ẹyọkan yii, a ṣe agbekalẹ opo gigun ti epo data (opopona data: pq awọn igbesẹ ti o jẹ ki data aise ti ṣetan fun ikẹkọ awoṣe) pari lati pari ati kọ ẹkọ ni igbesẹ wo ni laini yii a le lo oye atọwọda lailewu.
Awọn igbesẹ ti ila data
Laini data nigbagbogbo n kọja nipasẹ awọn iduro wọnyi:
- Gbigba (ijinle): Nfa data lati awọn orisun (database, API, log files, awọn ṣiṣan iṣẹlẹ).
- Ifọwọsi: Ṣiṣayẹwo boya data ṣe ibamu si ero ti a reti, awọn oriṣi, ati awọn sakani.
- Ninu: Mimu awọn iye ti o padanu, awọn igbasilẹ ẹda-iwe, awọn ita, ati awọn aiṣedeede.
- Iyipada: Yipada data aise sinu awọn abuda - gẹgẹbi iyipada oniyipada isori si nọmba kan, ṣiṣe “ọjọ ti ọsẹ” lati ọjọ kan.
- Pipin: Iyapa si ikẹkọ, afọwọsi ati awọn eto idanwo.
- Versioning: Gbigbasilẹ eyi ti awoṣe ti a ti oṣiṣẹ pẹlu eyi ti data.
Imọye ti Artificial fi akoko pamọ nipasẹ ṣiṣe awọn iwe-ipamọ koodu ati awọn ero, paapaa ni awọn igbesẹ 2, 3 ati 4. Ṣugbọn awọn ipinnu gẹgẹbi eyi ti igbasilẹ lati sọ silẹ, eyi ti o padanu iye lati kun ati bi, jẹ ti ẹlẹrọ ti o mọ data naa; nitori aibojumu ninu le fa irẹjẹ farasin sinu awoṣe.
Data ijerisi: tete olugbeja ti ila
Awọn aṣiṣe ti o gbowolori julọ bẹrẹ kii ṣe ni iṣelọpọ, ṣugbọn nibiti a ti fo igbesẹ ijẹrisi naa. Ifọwọsi ero laifọwọyi ṣayẹwo boya ipele data kọọkan ti nwọle ni ibamu si eto ti a reti. Fun apẹẹrẹ, jẹ iwe ọjọ-ori laarin 0-120, jẹ aaye imeeli ti ṣofo, Njẹ nọmba awọn ọwọn ti yipada bi?
Imọran: Fi ijẹrisi naa si ibẹrẹ ila. Gere ti ibaje data ti wa ni mu, awọn din owo ti o jẹ lati fix. Aṣiṣe ero-ọrọ ti o mu ni iṣelọpọ jẹ ọpọlọpọ igba diẹ gbowolori ju ọkan ti o mu ni ipele ikẹkọ.
Kọ ero afọwọsi pẹlu pandera (tabi Awọn ireti Nla) fun ero data atẹle. Awọn ọwọn ati awọn ofin: - user_id: odidi, ko le jẹ asan, oto- ọjọ ori: odidi, ko le jẹ lati 0-120- signup_date: ọjọ, ko le wa ni ojo iwaju- orilẹ-ede: categorical, lati ṣeto {TR, DE, US, UK}- iwọntunwọnsi: eleemewa, ko le jẹ odi Ṣejade ifiranṣẹ aṣiṣe ti o nilari fun irufin ofin kọọkan. Ṣe afihan idanwo naa pẹlu apẹẹrẹ laini fifọ ni opin koodu naa.
Ninu: eniyan ni o pinnu
Awọn iye ti o padanu jẹ otitọ ti gbogbo ṣeto data. Awọn ọna lati mu:
- Piparẹ: Sisọ ila kan / iwe-ọwọ sọnù pẹlu oṣuwọn sonu ti o ga pupọ. Ṣugbọn eewu ti isonu alaye ati abosi wa.
- Iṣiro: Iṣiro pẹlu itumọ, agbedemeji, iye loorekoore, tabi asọtẹlẹ-orisun awoṣe.
- Flag: Titoju alaye “sonu” ni iwe asia ti o yatọ - nigbamiran ti o padanu funrararẹ jẹ ifihan agbara naa.
Eyi ti o tọ da lori iṣoro naa. Ninu eto data iṣoogun kan, “iye ẹjẹ ko ni iwọn” alaye yẹ ki o wa ni fipamọ kuku ju paarẹ; Nitoripe paapaa kiko dokita lati ṣe iwọnwọn jẹ ifihan agbara kan. AI le fun ọ ni awọn aṣayan ati koodu; O yan eyi ti o baamu otitọ ti aaye naa.
Ailagbara kiakia / Alagbara kiakia
Ibere ailagbara: "Fọwọsi awọn iye ti o padanu."
Itọkasi ti o lagbara: "Awọn iye ti o padanu ni awọn ọwọn wọnyi: owo oya (12% sonu, pinpin ọtun), last_login (30% sonu). Daba owo-wiwọle kikun pẹlu agbedemeji, ṣugbọn ṣe alaye idi ti agbedemeji ati kii ṣe tumọ si. Fun last_login, ro pe iye ti o padanu le jẹ pataki (olumulo le ko wọle rara); ro pe o ṣe ipilẹṣẹ asia never_logged_in dipo ti asia.
Iyatọ: kiakia ti o lagbara yoo fun alaye pinpin ati itumọ agbegbe; itetisi atọwọda ṣe agbejade atilẹyin ipinnu dipo kikun ẹrọ.
Labeling: didara ti wa ni won
Ninu ẹkọ ti a ṣe abojuto (ẹkọ ninu eyiti a fun awọn apẹẹrẹ pẹlu awọn idahun to tọ), ohun ti awoṣe kọ jẹ aami (awọn aami: idahun to pe fun apẹẹrẹ kọọkan). Didara aami ṣeto aja kan - ti awọn eniyan ba ṣe aami aisedede, awoṣe kọ ẹkọ ni aisedede.
Adehun Inter-annotator ṣe iwọn oṣuwọn ni eyiti awọn eniyan oriṣiriṣi fun ni aami kanna si apẹẹrẹ kanna; O jẹ afihan nipasẹ olusọdipúpọ gẹgẹbi Cohen's Kappa. Ibamu kekere tọkasi boya iṣẹ-ṣiṣe ko ṣe akiyesi tabi itọnisọna ko lagbara.
Imọran atọwọda ṣe iranlọwọ ni isamisi ni awọn ọna meji: (1) kikọ ilana itọnisọna, (2) aami-iṣaaju ati pe eniyan ṣe atunṣe nikan. Ṣugbọn isamisi-tẹlẹ pẹlu LLM ni ọfin kan: aṣiṣe eleto ti awoṣe le jo sinu gbogbo ṣeto aami. Ti o ni idi ti eniyan nigbagbogbo ṣayẹwo diẹ ninu awọn aami LLM.
Akiyesi: Maṣe gbero awọn akole ti LLM ṣe jade bi “otitọ ilẹ”. Ṣayẹwo ayẹwo pẹlu eniyan kan ki o wọn LLM-ibaramu eniyan. Ti ifaramọ ba lọ silẹ, isamisi-tẹlẹ yoo ṣe ipalara diẹ sii ju ti o dara lọ.
Data ipin: idilọwọ jijo
Aṣiṣe ti o lewu julọ nigbati pipin data sinu ikẹkọ / afọwọsi / idanwo jẹ jijo data: dapọ ti alaye idanwo sinu ikẹkọ. Awọn apẹẹrẹ:
- Awọn igbasilẹ olumulo kanna ṣubu sinu ikẹkọ mejeeji ati idanwo (jo ẹgbẹ).
- Lilo ọjọ iwaju ni ikẹkọ ati ti o ti kọja ni idanwo ni jara akoko (jijo akoko).
- Iṣiro igbelowọn (normalization) awọn aye lati gbogbo data ati lẹhinna pinpin.
Pipin akoko jẹ pataki fun awọn iṣoro ti o kan akoko: ọkọ oju-irin pẹlu awọn ti o ti kọja, idanwo ni ojo iwaju. Pipin laileto funni ni anfani “ọjọ iwaju” ti kii yoo ṣẹlẹ ni iṣelọpọ ati fa awọn metiriki naa pọ si.
Data versioning ati reproducibility
"Data wo ni a ṣe ikẹkọ awoṣe yii pẹlu?" Ni anfani lati dahun ibeere ni awọn oṣu nigbamii jẹ ami iyasọtọ ti imọ-ẹrọ ML to ṣe pataki. Itumọ data n tọju aworan data kọọkan pẹlu ID kan (hash tabi ami ẹya). Awọn irinṣẹ bii DVC (Iṣakoso Ẹya Data) data ẹya bi koodu.
Lati ṣe ẹda abajade awoṣe kan, awọn nkan mẹta gbọdọ wa titi: ẹya data, ẹya koodu, ati irugbin laileto. Ko ṣee ṣe lati sọ "Mo ni esi kanna" laisi awọn mẹta yii. A yoo jinle Reproducibility ni kuro 11; ṣugbọn atunse irugbin ninu opo gigun ti epo data bẹrẹ lati ibi.
mẹta mini igba
Ọran 1 - Ifọwọsi ero ọjọ ti o fipamọ. Nigbati ẹgbẹ kan ṣe iyipada aaye idiyele eto oke lati pennies si awọn liras, gbogbo awọn idiyele lọ silẹ ni awọn akoko 100. Ifọwọsi eto kọ ipele naa bi “owo ti ko ni iwọn” ati pe awoṣe ko ni ikẹkọ pẹlu data ibajẹ. Laisi ijẹrisi, aṣiṣe yoo ṣe akiyesi nikan ni iṣelọpọ, pẹlu awọn asọtẹlẹ ti ko tọ.
Ọran 2 - Iyatọ ti kikun ti ko tọ. Ninu awoṣe kirẹditi kan, awọn iye owo-wiwọle ti o padanu ti kun pẹlu itumọ. Ṣugbọn awọn owo-wiwọle ti o padanu jẹ pataki julọ ni ẹgbẹ ti o ni owo-kekere; aropin Oríkĕ "idarato" egbe yi, ati awọn awoṣe ti a nṣe wọn ohun aiṣododo ga iye to. Ti ṣatunṣe iṣoro naa pẹlu agbedemeji + asia aisinu.
Ọran 3 - Jijo akoko. Awoṣe asọtẹlẹ eletan dabi ẹni nla lori eto idanwo (ipeye 95%) ṣugbọn kọlu ni iṣelọpọ. Kilode: nitori pipin laileto, awoṣe ti rii ọjọ iwaju. Yipada si binning igba diẹ silẹ deede idanwo si 78% - ṣugbọn iyẹn jẹ iṣẹ ṣiṣe gidi o jẹ ki o wa ni iṣelọpọ.
Awọn awoṣe idakọ
Pipin dataset wọnyi si awọn eto mẹta: ikẹkọ / afọwọsi / testing.Constraint: Eyi jẹ jara akoko; Lo pipin TEMPOAL (reluwe ni iṣaaju, idanwo ni ọjọ iwaju). Dena jijo ipele: ni `onibara_id` kanna ni iṣupọ kan. Ṣe iṣiro awọn aye igbelowọn NIKAN lati eto ikẹkọ, lẹhinna kan si gbogbo. Tẹjade iye awọn laini ti o kù ninu koodu ni igbesẹ kọọkan ki o ṣafikun idaniloju kan ti o ṣayẹwo fun ko si jijo.
Kọ ilana itọnisọna kikọ fun iṣẹ isamisi yii. Iṣẹ-ṣiṣe: [fun apẹẹrẹ. Aami onibara atunyewo rere / odi / didoju] Ṣalaye awọn ọran aala: ẹgan, imolara ti o dapọ, bawo ni a ṣe le ṣe aami atunyẹwo ti ko ni ibatan si ọja? Fun apẹẹrẹ 5 ati awọn ọran eti ti o nira 3 ti yoo mu aitasera kọja awọn taggers.
Ṣe agbejade atokọ atunjade fun opo gigun ti epo data yii: - Bawo ni o yẹ ki ẹya data wa ni tunṣe? - Awọn irugbin aileto wo ni o yẹ ki o ṣeto nibo? - Metadata wo (hash data, kika kana, ọjọ) yẹ ki o wọle? Ipilẹ koodu mi: [ede/ile-ikawe]
Ṣayẹwo koodu afọmọ yii fun jijo data. Ni pato wo eyi: ṣe awọn iṣiro igbelowọn/awọn ipilẹ koodu KIKỌPIN? Ṣe awọn iṣiro eyikeyi ṣe iṣiro lati gbogbo data tabi ikẹkọ kan? Koodu: [koodu]
tabili ipinnu: sonu iye nwon.Mirza
Ipo
Niyanju ona
Kí nìdí
Nọmba, pinpin skewed
fọwọsi pẹlu agbedemeji
Awọn apapọ ti wa ni fowo nipasẹ outliers
Oníkà, onírònú
fọwọsi pẹlu apapọ
Ṣe aabo alaye
Aipe le jẹ pataki
Flag iwe + kun
Aini jẹ ifihan agbara kan
Oṣuwọn ti o padanu> 60%
Akojopo / danu iwe
Ariwo ti pọ ju
Isọri
"Aimọ" ẹka
Ko ṣẹda Oríkĕ poju
Awọn aṣiṣe ti o wọpọ
- Ijerisi fofo. Laisi iṣakoso ero, data ti bajẹ yokuro ni ipalọlọ.
- Iwontunwonsi ṣaaju pipin. O n jo awọn iṣiro idanwo sinu eto-ẹkọ.
- Lilo iyapa laileto ni akoko jara. O ṣe agbejade awọn metiriki giga giga.
- Igbẹkẹle afọju awọn aami LLM. Aṣiṣe eto ti ntan jakejado data naa.
- Ko fifipamọ awọn data version. O ko le ṣe ẹda abajade.
- Mechanical nkún pẹlu apapọ. O foju pa itumo aaye, ṣe afikun abosi.
Ni akojọpọ
Pipeline data jẹ ipilẹ ti eto ML ati pe o yẹ igbiyanju diẹ sii ju awoṣe lọ. Fi ijerisi si oke; ṣe awọn ipinnu mimọ ati isamisi pẹlu imọ-ašẹ; idilọwọ jijo (ẹgbẹ ati igba diẹ) ninu yara; fix awọn data version ati irugbin. AI ṣe ipilẹṣẹ koodu ati awọn imọran lori laini yii, ṣugbọn o wa si ọ lati pinnu iru data lati ṣiṣẹ ati bii - nitori gbogbo ipinnu aṣiṣe nibi kọja sinu awoṣe bi abawọn ti o farapamọ.
Ohun elo iṣẹ-ṣiṣe
Kọ ero afọwọsi kan (pandera/Awọn ireti Nla) sori iwe data tirẹ ki o mọọmọ ṣafikun laini buburu ki o fihan pe o ti mu. Lẹhinna pin data naa ni igba diẹ tabi ni iwọn, ṣe iṣiro awọn aye igbelowọn lati ikẹkọ nikan, ati rii daju pe ko si jijo pẹlu imuduro kan. Kọ ẹya data ati kika kana si faili metadata kan.
akojọ ayẹwo
- [] Afọwọsi eto ṣiṣe ni oke ila.
- [] Mo ti yan awọn sonu iye nwon.Mirza da lori aaye itumo, Emi ko fọwọsi o mechanically.
- [] Mo wọn didara aami (ibamu); Mo eniyan-ṣayẹwo LLM afi.
- [] Mo ṣe idiwọ ẹgbẹ ati jijo igba diẹ ninu pane.
- [] Iṣiro / fifi koodu ṣe iṣiro lati eto ikẹkọ nikan.
- [] Ẹya data, nọmba awọn ori ila ati irugbin ti o gbasilẹ.