Uru:
- Ikike ịmata isi mmalite data dị iche iche (database, API, file, web scraping) na ọnyà nke ọ bụla ma ghọta atụmatụ ahụ nke ọma.
- Ikike ịme nlele ugboro ugboro site n'ịtụle ma ihe nlele ahụ na-anọchite anya ndị bi na nhọpụta nhọrọ
- Ikike ikpochapụ ntapu data n'oge nchịkọta ma debe oke iwu / ụkpụrụ site na ịjụ ajụjụ a 'M ga-enwe ya n'oge amụma' na kọlụm ọ bụla?
Nyocha ọ bụla dị mma dị ka ogo data ị na-anakọta. Ọbụna ihe nlereanya kachasị elu n'ụwa ga-arụpụta ihe a na-apụghị ịdabere na ya ma ọ bụrụ na ọ na-arụ ọrụ na data nke anakọtara na-ezighị ezi, na-esetịpụ enweghị mmasị, ma ọ bụ nwere ozi gbasara ọdịnihu. Na sayensị kọmputa, a na-achịkọta ụkpụrụ a dị ka "ihe mkpofu na-apụ apụ" (ahịhịa n'ime, mkpofu). N'ime nkeji a, anyị ga-ekpuchi usoro nchịkọta data: ịghọta isi mmalite, nlele, ịjụ ajụjụ dị mma, na ịmụrụ anya maka ihe ize ndụ nke ịwepu data site na ụbọchị mbụ. Ọgụgụ isi bụ ihe enyemaka dị ike n'oge a; Na-ede ajụjụ SQL, na-achịkọta akwụkwọ API, na-edepụta nkwekọrịta data. Mana ọ bụ mmadụ na-ekpebi data ị na-anakọta yana ma data ahụ na-anọchite anya gị.
Ịmata isi mmalite data
Data sitere na ebe dị iche iche, na ebe ọ bụla nwere ọnyà nke ya. Ebe nchekwa data (data ahaziri echekwa na tebụl, a na-ajụkarị ya na SQL) bụ ebe a na-ahụkarị; A pụrụ ịdabere na ya, ma ọ dị mkpa ịghọta atụmatụ ya nke ọma. API (Interface Programming Ngwa) na-enye data dị ndụ mana ọ na-ebu ihe egwu nke oke ọsọ yana mgbanwe usoro. Faịlụ (CSV, Excel, JSON) na-agbanwe mana ọ na-enwekarị enweghị nkwekọrịta. Web scraping dị ike, ma ọ nwere oke iwu na ụkpụrụ; Ọ bụghị saịtị ọ bụla nwere ike ihichapụ.
Nlebara anya: Maka ncha webụ na nchịkọta data akpaka, soro usoro ojiji saịtị, faịlụ robots.txt na KVKK/GDPR. Nchịkọta data na-akwadoghị na-emepụta ụgwọ iwu. N'ihe gbasara nchekwa ozi, jiri ngwaọrụ nnakọta data naanị na sistemụ enyere gị ikike yana maka ebumnuche nchekwa/nyocha; Amachibidoro ịnweta ma ọ bụ nchacha n'enwetaghị ikike.
Ịghọta atụmatụ ahụ: ịmara data ahụ
Tupu ịnakọta data setịpụ, ị ga-aghọtarịrị atụmatụ ya (aha ogidi, ụdị data ha, ihe ha pụtara na mmekọrịta ha na ibe ha). AI bara uru ebe a n'ịmepụta "akwụkwọ ọkọwa okwu data" - tebụl na-akọwa ihe kọlụm ọ bụla pụtara. Ma nkọwa AI na-emepụta bụ amụma; Gosipụta ezi ihe ọ pụtara kọlụm ọ bụla yana otu ndị mepụtara data ahụ. Dịka ọmụmaatụ, kọlụm aha ya bụ "ọnọdụ" nwere ike ịnwe 0/1/2; Naanị otu ndị malitere maara ma ndị a "na-echere / kwadoro / kagbuo" ma ọ bụ ihe ọzọ.
Tebụlụ na-esonụ na-achịkọta ụdị akụrụngwa na ịdọ aka ná ntị ndị bụ isi:
Isi mmalite
isi ihe siri ike
ọnyà
Kedu ka AI si enyere aka
SQL nchekwa data
Nhazi, ntụkwasị obi
Njikọ dị mgbagwoju anya
Na-ede edemede ajụjụ
API
data dị ndụ
Oke ọsọ, mgbanwe ọdịdị
Nchịkọta akwụkwọ, koodu sere
CSV/Excel
Mgbanwe, ngwa ngwa
Hazie ekwekọghị ekwekọ
Gụọ/tuchapụ koodu
web scraping
Ogologo iru
Oke iwu/omume
Nyochaa akwụkwọ (n'ime ikike)
Ndebanye / data mmemme
zuru ezu
nnukwu olu
Ajụjụ nzacha
Ihe atụ: akụkụ ahụ ọ na-anọchi anya ihe niile?
Ọtụtụ oge, ị na-arụ ọrụ na ihe nlele (nkeji ahọpụtara site na ọnụ ọgụgụ mmadụ) karịa data niile. Ajụjụ dị mkpa bụ: ihe nlele a ọ na-anọchite anya ndị mmadụ? Nhọrọ nhọrọ bụ ọnyà a na-ahụkarị. Dịka ọmụmaatụ, ọ bụrụ na ị na-elele ndị ọrụ site na ngwa mkpanaka, ị gaghị ahụ ndị ọrụ webụ na nsonaazụ gị ga-eduhie eduhie. Nlere anya na-enweghị usoro (ndekọ ọ bụla nwere ohere nhata nke ịhọrọ) kacha dịrị nchebe n'ọtụtụ ọnọdụ; mana na usoro data usoro oge, a na-eme nkewa n'usoro n'usoro oge kama ịbụ na enweghị usoro (anyị ga-ahụ nke a na nkeji 7 na 10).
Mwepu mmata site na ụbọchị mbụ
Nhapu data bụ isi iyi nke ọtụtụ ọdachi na-ebilite n'oge oge nchịkọta data. Ọmụmaatụ: mgbe ị na-ebu amụma "a kagburu ya", ọ bụrụ na ị gbakwunye kọlụm "kagbuo ụbọchị" na data ahụ, ihe nlereanya ahụ na-eleba anya n'ọdịnihu. N'oge mgbakọ ahụ, jụọ otu ajụjụ maka kọlụm nke ọ bụla: "M ga-enweta ozi a n'oge m na-ebu amụma?" Ọ bụrụ na azịza ya bụ mba, kọlụm ahụ na-agbapụta. Anyị ga-ekpuchi isiokwu a nke ọma na nkeji 10; Mana mmata kwesịrị ịmalite site n'ụbọchị mbụ.
Obere ikpe atọ
Ikpe 1 - Nsogbu nke nnọchiteanya. Otu ụlọ akụ nakọtara data naanị na mbinye ego akwadoro maka ụdị ihe egwu kredit ya (ndekọ 18,500). Ọjụjụ adịghị na data ahụ. Ihe nlereanya ahụ ezighi ezi na ụwa n'ezie n'ihi na ọ dịghị mgbe ahụ ka ndị jụrụ ya ga-esi akpa àgwà. Ihe nkuzi: ihe nlele kwesịrị ịbụ nnọchite anya mmadụ niile ị na-eme mkpebi gị.
Ikpe 2 — Silent ụdị mgbanwe. Otu otu nọ na-adọta data ọnụahịa site na API kwa ụbọchị. Otu ụbọchị, onye na-eweta API gbanwere ego site na USD gaa EUR, mana aha ngalaba ahụ ka dị otu. A nakọtara data na nkeji na-ezighi ezi maka ụbọchị 12; E mebiri ahịrị 3,200. Ọzụzụ: Na-elele oge niile na olu na usoro ngbanwe na data API.
Ikpe nke 3 - Mwepu nke mbụ. Onye nyocha gụnyere kọlụm "ihe kpatara mmechi akaụntụ" mgbe ọ na-anakọta data maka atụmatụ "churn". Ejuputara kọlụm a naanị mgbe onye ahịa gachara. Ihe nlereanya ahụ nwetara 97% ziri ezi na nhazi ule; Ọ naghị arụ ọrụ na mmepụta n'ihi na kọlụm ahụ tọgbọrọ chakoo n'oge amụma. Ihe nkuzi: jụọ kọlụm ọ bụla ajụjụ a "m nwere ya n'oge amụma?"
Ndebiri anọ enwere ike iṅomi
1) Mwepụta akwụkwọ ọkọwa okwu:
Ọrụ gị: onye enyemaka ọkà mmụta sayensị data. N'okpuru bụ aha kọlụm na ụkpụrụ (amaghị aha) nke tebụl. Maka kọlụm ọ bụla, depụta atụmatụ atụmatụ ya, ụdị data, na ihe egwu dị mma nwere ike na tebụl. Kaa akara na kọlụm ndị ị na-ejighị n'aka dị ka "nkwenye chọrọ"; Nke pụtara ime.Columns: [tapawa ebe a]
2) Koodu nlele ( random, nke enwere ike ikwugharị):
Enwere m pandas df. Dee koodu na-ewepụta ihe nnochite anya 5% enweghị usoro site na ahịrị 200,000. Jiri random_state=42 (maka mmeghari). Tinye koodu iji lelee na nkesa klaasị nke nlele ahụ yitere ndị mmadụ.
3) ajụjụ nyocha nke leak:
Aga m enye gị ndepụta ogidi a. Ebumnobi m bụ ịkọ amụma "a kagbuola" (0/1). Maka kọlụm ọ bụla, nyochaa ma m ga-enwe ya n'oge amụma ma kaa ya dị ka "nchekwa / enyo / leak". Dee echiche gị n'otu ahịrịokwu. Ogidi: [ndepụta]
4) SQL dọkpụrụ ajụjụ:
Enwere m tebụl "iwu" na "ndị ahịa" na PostgreSQL. Dee ajụjụ JOIN nke jikọtara iwu nke ụbọchị 90 gara aga na obodo ndị ahịa wee weghachi mkpokọta ego na ọnụọgụ iwu n'otu obodo. Kọwaa nzacha ụbọchị yana otu esi ejikwa obodo NULL. M ga-agba ọsọ ajụjụ ahụ wee nyochaa ya.
Ngwa ngwa adịghị ike / Ike siri ike
Ngwa ngwa adịghị ike:
Setara m ezigbo nlele data sitere na nchekwa data a.
"Ezigbo" bụ ihe mgbagwoju anya; Kedu eserese, nke oge, nke nha, nke nzube na-edoghị anya. AI ga-ewepụta naanị mkpokọta, ikekwe ajụjụ na-ezighi ezi.
Mgbasa ozi siri ike:
Ọrụ gị: onye enyemaka SQL. Enwere m tebụl "ịzụ ahịa": id kọlụm, client_id, date (timestamp), ego (ọnụọgụ), ọwa (ederede: 'web'/'mobile'). Ọrụ: Dee ajụjụ nwere ike imegharị (deterministic with ORDER BY) nke na-eweghachi ahịrị nnọchite anya 10,000 site na ọwa ọ bụla maka afọ 2024. Nzube: nyocha ntụnyere ọwa. Depụta echiche nke ajụjụ gị.
N'ebe a, tebụl, nzube, nha na nkwughachi doro anya.
Mmejọ ndị nkịtị
- Ọ bụghị na-ajụ ndị nnọchiteanya nke sample. Data dị mfe ịnweta abụghị data ziri ezi; nhọpụta nhụsianya na-agbagọ nsonaazụ.
- Na-emegharị ntụgharị kọlụm na AI. Otu isi mmalite maara ihe ọ pụtara; Ejila amụma AI na-akwadoghị ya.
- Anaghị eso usoro API/mgbanwe otu nkeji. Mgbanwe dị jụụ na-anakọta data rụrụ arụ maka ụbọchị.
- Na-eleghara anya na-agbapụta na ọkwa nchịkọta. Ọ bụrụ na ajụghị ajụjụ ahụ "M nwere ya n'oge amụma" n'oge, ihe nlereanya ahụ ga-enye ihe ịga nke ọma ụgha.
- Ịnakọta data akwadoghị ma ọ bụ iwu akwadoghị. Mmebi nke robots.txt, usoro ojiji na KVKK bụ nnukwu ihe egwu.
NDỤMỌDỤ: Debe “kaadị data” otu ibe maka isi mmalite data ọhụrụ ọ bụla: isi mmalite, ụbọchị ndọpụta, ọnụọgụ ahịrị, oke ama ama, na kọlụm nọ n'ihe ize ndụ nke ntapu. Kaadị a na-echekwa ajụjụ "Gịnị bụ data a" na mmeghari ọnwa ka e mesịrị.
Na nchịkọta
Ogo nke nyocha na-ejedebe site na njirimara nke data anakọtara. Mara isi iyi (database, API, file, scrape) na schema nke ọma; jide n'aka na ihe nlele ahụ bụ nnọchite anya ọnụ ọgụgụ mmadụ; Wepụ ntapu site na ụbọchị mbụ site n'ịjụ kọlụm ọ bụla "Enwere m ya n'oge amụma?" AI bụ nnukwu ngwangwa maka ajụjụ na ọrụ akwụkwọ, mana ụmụ mmadụ na-ekpebi ihe data ha ga-anakọta na nnọchite anya ya. Oke ikike, iwu na nzuzo na-ebute ụzọ mgbe niile.
Ọrụ ngwa
Họrọ isi iyi data (site na azụmahịa nke gị ma ọ bụ echiche efu). Nweta akwụkwọ ọkọwa okwu data sitere na AI yana ndebiri “mwepụta ọkọwa okwu data” dị n'elu; Wee jiri aka gị nyochaa kọlụm nke ọ bụla ka ị mara ma agbapụtala ya. Gbalịa ịchọta opekata mpe otu kọlụm na-enyo enyo/wepu wee dee n'otu ahịrịokwu ihe kpatara o ji dị ize ndụ.
ndetu
- [ ] Ekwenyela m isi iyi data na schema n'etiti ndị otu isi mmalite?
- [ ] Achọpụtala m na ihe nlele a bụ nnọchite anya ndị mmadụ?
- [ ] Ajụrụ m kọlụm ọ bụla ajụjụ a "ga-m nwere ya n'oge atụmatụ?"
- [] Emela m nlele nlele ugboro ugboro (mkpụrụ edobere)?
- [ ] Atụlela m oke nchịkọta nke iwu/omume (ikike, robots.txt, KVKK)?