Gnóthachain:
- Cumas píblíne sonraí a bhunú (bailiú, bailíochtú, glanadh, claochlú, scoilteadh, leagan) agus bailíochtú scéimre a chur ag tús na píblíne
- Cumas luach in easnamh agus cinntí lipéadaithe a dhéanamh bunaithe ar bhrí réimse agus deighilt chun sceitheadh sonraí a chosc (grúpa agus ama)
- Cumas bunachar sonraí in-atáirgthe a chruthú tríd an leagan sonraí agus an síol randamacht a shocrú
Tá fíorchumhacht gach córas meaisínfhoghlama sna sonraí, ní sa mhúnla. Tá a fhios ag innealtóirí a bhfuil taithí acu: “truflais isteach, truflais amach” - fiú an tsamhail is airde a chothaítear drochshonraí, beidh drochthorthaí ann. San aonad seo, bunaímid an phíblíne sonraí (píblíne sonraí: an slabhra céimeanna a dhéanann na sonraí amh réidh le haghaidh oiliúna múnla) deireadh go deireadh agus foghlaim ag an gcéim den líne seo is féidir linn hintleachta saorga a úsáid go sábháilte.
Céimeanna na líne sonraí
Go hiondúil téann líne sonraí trí na stadanna seo:
- Bailiú (ionghabháil): Ag tarraingt sonraí ó fhoinsí (bunachar sonraí, API, comhaid logála, sruthanna imeachta).
- Bailíochtú: Seiceáil an gcomhlíonann na sonraí an scéimre, na cineálacha agus na raonta a bhfuiltear ag súil leo.
- Glanadh: Láimhseáil luachanna atá in easnamh, taifid dhúblacha, asluitigh agus neamhréireachtaí.
- Claochlú: Amhshonraí a thiontú ina tréithe — amhail athróg chatagóireach a thiontú go huimhir, "lá na seachtaine" a tháirgeadh ó dháta.
- Scoilteadh: Scaradh ina thacair oiliúna, bhailíochtaithe agus tástála.
- Leagan: Taifeadadh cén múnla ar cuireadh oiliúint air maidir leis na sonraí.
Sábhálann faisnéis shaorga am trí dhréachtaí cód agus smaointe a ghiniúint, go háirithe i gcéimeanna 2, 3 agus 4. Ach is leis an innealtóir a bhfuil na sonraí ar eolas aige nó aici cinntí ar nós cé acu taifead atá le haistriú, cé acu a bhfuil luach in easnamh le líonadh agus conas; toisc gur féidir le glanadh míchuí claonadh folaithe a instealladh isteach sa mhúnla.
Fíorú sonraí: cosaint luath ar an líne
Ní thosaíonn na hearráidí is costasaí i dtáirgeadh, ach nuair a dhéantar an chéim fíoraithe a dhíbirt. Seiceálann bailíochtú scéimre go huathoibríoch cibé an gcloíonn gach baisc sonraí a thagann isteach leis an struchtúr a bhfuiltear ag súil leis. Mar shampla, an bhfuil an colún aoise idir 0-120, an bhfuil an réimse ríomhphoist folamh, an bhfuil líon na gcolún athraithe?
Leid: Cuir an fíorú ag tús na líne. Dá luaithe a ghlactar sonraí truaillithe, is ea is saoire a bheidh sé iad a dheisiú. Tá earráid scéimre a gabhadh sa táirgeadh i bhfad níos costasaí ná earráid a gabhadh sa chéim oiliúna.
Scríobh scéim bhailíochtaithe le pandera (nó Great Expectations) don scéimre sonraí seo a leanas. Colúin agus rialacha:- user_id: slánuimhir, ní féidir a bheith ar neamhní, uathúil- aois: slánuimhir, ní féidir a bheith ó 0-120- signup_date: dáta, ní féidir a bheith sa todhchaí- tír: catagóiriúil, ón tacar {TR, DE, SAM, UK}- cothromaíocht: deachúil, ní féidir a bheith diúltach Tabhair teachtaireacht earráide brí le haghaidh gach sárú riail. Taispeáin an tástáil le líne bhriste shamplach ag deireadh an chóid.
Glanadh: is é an duine a chinneann
Tá luachanna in easnamh ina réaltacht i ngach tacar sonraí. Bealaí le láimhseáil:
- Scriosadh: Ag fáil réidh le ró/colún a bhfuil ráta an-ard in easnamh air. Ach tá baol ann go gcaillfear faisnéis agus go gcloisfear faisnéis.
- Áireamh: Áireamh le meán, airmheánach, luach is minicí, nó tuar múnla-bhunaithe.
- Bratach: Bhí faisnéis “ar iarraidh” á stóráil i gcolún brataí ar leith — uaireanta is é an comhartha féin atá in easnamh.
Braitheann an ceann atá ceart ar an bhfadhb. I dtacar sonraí leighis, ba cheart an fhaisnéis "fola gan tomhas" a chaomhnú seachas a scriosadh; Toisc gur comhartha é diúltú an dochtúir fiú tomhais a ghlacadh. Is féidir le AI roghanna agus cód a thabhairt duit; Roghnaíonn tú an ceann a oireann do réaltacht na páirce.
Leid lag / Pras láidir
Leid lag: "Líon isteach na luachanna atá ar iarraidh."
Leid láidir: "Tá luachanna in easnamh sna colúin seo a leanas: ioncam (12% in easnamh, dáileadh ceart-sceabhach), last_login (30% in easnamh). Mol ioncam a líonadh leis an airmheán, ach mínigh cén fáth airmheán agus ní chiallaíonn sé. Maidir le last_login, glac leis go bhféadfadh an luach atá ar iarraidh a bheith suntasach (seans nár logáil an t-úsáideoir isteach riamh); smaoinigh ar bhratach never_logged_in a ghiniúint. Scríobhfadh an múnla scriosta in ionad an tsamhail scriosta. "
Difríocht: tugann leid láidir faisnéis dáileacháin agus brí achair; táirgeann hintleachta saorga tacaíocht cinnidh in ionad líonadh meicniúil.
Lipéadú: déantar cáilíocht a thomhas
San fhoghlaim faoi mhaoirseacht (foghlaim ina dtugtar samplaí leis na freagraí cearta), is iad na lipéid a fhoghlaimíonn an tsamhail (lipéid: an freagra ceart do gach sampla). Leagann cáilíocht an lipéid uasteorainn amach — má dhéanann daoine lipéadú go neamh-chomhsheasmhach, foghlaimíonn an tsamhail go neamh-chomhsheasmhach.
Tomhaistear an ráta ag a dtugann daoine éagsúla an lipéad céanna ar an sampla céanna i gcomhaontú idir-anóadóirí; Cuirtear in iúl é le comhéifeacht mar Kappa Cohen. Léiríonn comhlíonadh íseal nach bhfuil an tasc soiléir nó go bhfuil an teagasc lag.
Cabhraíonn faisnéis shaorga le lipéadú ar dhá bhealach: (1) an treoirlíne nótaí a dhréachtú, (2) an lipéadú a réamh-lipéadú agus an duine amháin a cheartú. Ach tá contúirt ag baint le réamh-lipéadú le LLM: féadann earráid chórasach an mhúnla sceitheadh isteach sa tacar lipéad iomlán. Sin an fáth a seiceann daoine cuid de na lipéid LLM i gcónaí.
Aird: Ná meas lipéid a tháirgeann LLM mar "fhírinne na talún". Seiceáil sampla le feisteas daonna agus tomhais LLM-oireann an duine. Má tá comhlíonadh íseal, déanfaidh réamhlipéadú níos mó dochar ná maith.
Deighilt sonraí: cosc a chur ar sceitheadh
Is é an botún is contúirtí agus sonraí á roinnt in oiliúint/bailíochtú/tástáil ná sceitheadh sonraí: faisnéis tástála a mheascadh isteach in oiliúint. Samplaí:
- Baineann taifid an úsáideora chéanna le hoiliúint agus tástáil (sceitheadh grúpa).
- Ag baint úsáide as an todhchaí in oiliúint agus an am atá caite i dtástáil i sraith ama (sceitheadh ama).
- paraiméadair scálú (normalú) a ríomh ó na sonraí go léir agus ansin roinnt.
Tá scoilteadh ama riachtanach le haghaidh fadhbanna a bhaineann le ham: traenáil leis an am atá caite, tástáil sa todhchaí. Tugann scoilteadh randamach tairbhe "sa todhchaí" nach dtarlóidh choíche i dtáirgeadh agus ardaíonn sé an mhéadracht.
Leaganacha sonraí agus in-atáirgtheacht
“Cén sonraí a ndearnamar oiliúint don mhúnla seo leo?” Is sainmharc innealtóireacht thromchúiseach ML é bheith in ann an cheist a fhreagairt míonna ina dhiaidh sin. Stórálann leagan sonraí gach pictiúr sonraí le haitheantas (hash nó clib leagain). Uirlisí cosúil le sonraí leagan DVC (Rialú Leagan Sonraí) cosúil le cód.
Chun toradh múnla a atáirgeadh, ní mór trí rud a shocrú: an leagan sonraí, an leagan cód, agus an síol randamach. Ní féidir a rá "Fuair mé an toradh céanna" gan an triúr seo. Déanfaimid atáirgtheacht a dhoimhniú in aonad 11; ach tosaíonn socrú an tsíl sa phíblíne sonraí as seo.
trí chás mion
Cás 1 - Sábháladh an bailíochtú scéimre lae. Nuair a d'iompaigh foireann réimse praghsanna córais réamhtheachtacha ó phinginí go liras, thit na praghsanna go léir 100 uair. Dhiúltaigh bailíochtú scéimre an bhaisc mar “phraghas as raon” agus níor cuireadh oiliúint ar an tsamhail le sonraí truaillithe. Gan fíorú, ní thabharfaí an earráid faoi deara ach amháin i dtáirgeadh, le tuar mícheart.
Cás 2 - Laofacht de líonadh mícheart. I múnla creidmheasa, líonadh luachanna ioncaim in easnamh leis an meán. Ach bhí ioncam ar iarraidh go príomha sa ghrúpa ar ioncam íseal; "saibhríodh" an grúpa seo ar an meán go saorga, agus thairg an tsamhail teorainn ard éagórach dóibh. Réitíodh an fhadhb le bratach airmheánach + easnamh.
Cás 3 - Sceitheadh ama. Bhí cuma iontach ar mhúnla réamhaisnéise éilimh ar an tacar tástála (cruinneas 95%) ach thit sé i dtuairteáil i dtáirgeadh. Cén fáth: mar gheall ar scoilteadh randamach, bhí an todhchaí feicthe ag an tsamhail. Thit cruinneas na tástála go dtí 78% de bharr aistriú chuig an gceangal ama - ach b'fheidhmíocht iarbhír é sin agus choinnigh sé i dtáirgeadh é.
Teimpléid inchóipeála
Roinn an tacar sonraí seo a leanas i dtrí shraith: oiliúint/bailíochtú/tástáil. Srianadh: Seo sraith ama; Bain úsáid as scoilteadh TEMPORAL (traein san am atá caite, tástáil sa todhchaí). Cosc ar sceitheadh baisc: bíodh an `custaiméir_id` céanna agat in aon bhraisle amháin. Ríomh paraiméadair scálaithe AMHÁIN ón tacar oiliúna, ansin cuir i bhfeidhm ar gach duine. Priontáil cé mhéad línte atá fágtha sa chód ag gach céim agus cuir dearbhú isteach nach seiceálann aon sceitheadh.
Scríobh dréacht-treoirlíne nótaí don tasc lipéadaithe seo.Tasc: [e.g. Lipéadaigh athbhreithniú custaiméara dearfach/diúltach/neodrach] Cásanna teorann a shoiléiriú: searbhas, mothúcháin mheasctha, conas athbhreithniú lipéad a dhéanamh nach mbaineann leis an táirge? Tabhair 5 shampla agus 3 chás deacra imeallacha a mhéadóidh comhsheasmhacht trasna na gclibeoirí.
Déan seicliosta in-atáirgthe don phíblíne sonraí seo:- Cén chaoi ar cheart an leagan sonraí a shocrú?- Cé na síolta randamachta ar cheart a shocrú cá háit?- Cad iad na meiteashonraí (hash sonraí, comhaireamh rónna, dáta) ar cheart a logáil? Mo bhunachar cód: [teanga/leabharlann]
Seiceáil an cód glanta seo le haghaidh sceitheadh sonraí. Breathnaigh air seo go sonrach: an ríomhtar na paraiméadair scálaithe/ionchódaithe ROIMH scoilteadh? An ríomhtar aon staitisticí ó na sonraí go léir nó díreach oiliúint? Cód: [cód]
Tábla cinntí: straitéis luach in easnamh
Stádas
Cur chuige molta
Cén fáth
Dáileadh uimhriúil, sceabhach
líonadh le airmheán
Bíonn tionchar ag asluitigh ar an meán
Uimhriúil, siméadrach
líonadh le meán
Cosnaíonn faisnéis
Féadfaidh an t-easnamh a bheith suntasach
Bratach colún + líonadh
Is comhartha é easpa
Ráta in easnamh > 60%
Déan an colún a mheas / a scriosadh
Tá torann i bhfad ró
Catagóireach
Catagóir "Anaithnid".
Ní chruthaíonn tromlach saorga
Botúin choitianta
- Fíorú gan bacadh le. Gan rialú scéimre, sneaks sonraí truaillithe isteach go ciúin.
- Scálú roimh scoilteadh. Scaoileann sé staitisticí tástála isteach san oideachas.
- Ag baint úsáide as scoilteadh randamach i sraith ama. Táirgeann sé méadracht falsa ard.
- Dall muiníneach lipéid LLM. Leathnaíonn earráid chórasach ar fud na sonraí.
- Gan an leagan sonraí a shábháil. Ní féidir leat an toradh a atáirgeadh.
- Líonadh meicniúil le meán. Déanann sé neamhaird de bhrí réimse, cuireann sé le claonadh.
Go hachomair
Is í an phíblíne sonraí bunchloch an chórais ML agus tá níos mó iarracht tuillte ag an tsamhail. Cuir fíorú ag an mbarr; cinntí glantacháin agus lipéadaithe a dhéanamh le heolas fearainn; cosc a chur ar sceitheadh (grúpa agus ama) san urrann; an leagan sonraí agus an síol a shocrú. Gineann AI cód agus smaointe ar an líne seo, ach is fútsa atá sé cinneadh a dhéanamh ar na sonraí is cóir a phróiseáil agus conas - mar go dtéann gach cinneadh mícheart anseo isteach sa mhúnla mar locht folaithe.
Tasc feidhmchláir
Scríobh scéim bhailíochtaithe (pandera/Mór-ionchais) ar do thacar sonraí féin agus cuir drochréim leis d’aon ghnó agus taispeáin go raibh sé gafa. Ansin scoilt na sonraí go sealadach nó go batchwise, ríomh paraiméadair scálaithe ón oiliúint amháin, agus fíoraigh nach bhfuil aon sceitheadh ann le dearbhú. Scríobh an leagan sonraí agus comhaireamh rónna chuig comhad meiteashonraí.
seicliosta
- [ ] Ritheann bailíochtú scéimre ag barr na líne.
- [ ] Roghnaigh mé an straitéis luach in easnamh bunaithe ar bhrí réimse, ní raibh mé a líonadh go meicniúil.
- [ ] Thomhais mé cáilíocht an lipéid (comhlíonadh); Sheiceáil mé clibeanna LLM daonna.
- [ ] Chuir mé cosc ar sceitheadh grúpa agus ama sa phána.
- [ ] Scálú/ionchódú arna ríomh ón tacair oiliúna amháin.
- [ ] Leagan sonraí, líon na sraitheanna agus na síolta a taifeadadh.