Uru:
- Ikike ị were koodu SQL siri ike na koodu pandas wee gụọ ma nyochaa ya n'ahịrị site n'inye atụmatụ na ebumnuche doro anya maka ọgụgụ isi.
- Ikike ijide mperi mperi dị ka ọnụọgụ ahịrị ahịrị, ọrụ dabara na ntinye aka mgbe ejikọtara/jikọọ
- Ikike iji dozie nsogbu ahụ na debug na-enweghị ịgbachi nkịtị ma zere ịgba ọsọ koodu na-anwaleghị ya na mpaghara mmepụta
Sayensị data nwere asụsụ abụọ bụ isi: SQL (Asụsụ ajụjụ Structured — asụsụ maka ịjụ data sitere na ọdụ data) na Python (kpọmkwem, ọba akwụkwọ pandas — ngwa ọkọlọtọ maka ijikwa tebụl na mmemme). Na nkeji a, anyị ga-amụta iji AI dị ka onye mmekọ koodu: ịnweta SQL siri ike na koodu pandas site na ya na ajụjụ ziri ezi, na-agụ ma na-akwado koodu ahụ, debugging ya, na-adịghị na-agba ọsọ ya kpuru ìsì. AI na-ede koodu ugboro ugboro na sekọnd kama nkeji; Mana ọ bụ ọrụ gị ijide n'aka na koodu ọ na-emepụta na-ahazi kọlụm ziri ezi na mgbagha ziri ezi. Koodu ọrụ apụtaghị koodu ziri ezi.
Kedu ihe kpatara ịmepụta koodu na AI dị ike mana ọ dị ize ndụ
AI na-enye nnukwu uru atọ na ọgbọ koodu: ọsọ (na-ede ọrụ 30-line groupby-pivot na sekọnd), ncheta (na-echetara gị ọrụ pandas ị chefuru), na nkuzi (na-akọwa akara koodu site na ahịrị). Ma ọ na-ebu ihe ize ndụ atọ: njehie mgbagha nkịtị (koodu nke na-achịkọta kọlụm na-ezighị ezi na-agba ọsọ na-enweghị njehie), ọrụ dabara adaba (na-egosi usoro na-adịghị adị), na ọnyà na-emepụta (koodu na-arụ ọrụ na obere data ma na-akụda na ahịrị 10 nde). Ya mere iwu ọla edo: Gụọ koodu AI dị ka a ga-asị na ị dere ya n'onwe gị. Agbala ahịrị ị na-aghọtaghị.
SQL: hazie data na isi iyi
SQL na-enye gị ohere iweghachite data na nchekwa data wee hazie ya n'ebe ahụ; Ị nwere ike ichikota ọtụtụ nde ahịrị na-adọtaghị ha na Python. Ngwongwo ụlọ ndị bụ isi: HỌRỌ (ogidi ndị), EBEE (ahịrị ndị), GROUP BY (otu na nchịkọta), JIKỌỌ (jikọọ tebụl), INWE (nzacha otu nzacha). AI na-enye aka nke ukwuu n'ịde JOIN dị mgbagwoju anya na ọrụ windo, mana jide n'aka na ịlele ihe abụọ: bụ JOIN site na igodo ziri ezi (ahịrị igodo na-ezighị ezi na-emepụta ahịrị) na ọ bụ nzacha nzacha ziri ezi (karịsịa omume NULL na ụbọchị ụbọchị).
Kpachara anya: Ejila ajụjụ SQL nke AI mepụtara ozugbo megide nchekwa data mmepụta. Jiri obere oyiri ma ọ bụ LIMIT nwaa ụzọ. Ọ dịghị mgbe ọ bụla emelitere/Hichapụ ajụjụ na-akwadoghị ọnọdụ ebe; Ebe na-ezighi ezi nwere ike ihichapụ tebụl dum.
Python/pandas: nyocha mgbanwe
pandas bụ ụzọ eji eme tebụl (DataFrame) na Python. Ojiji kachasị mma nke AI bụ inye ya atụmatụ doro anya na ebumnuche. Ọrụ ndị a na-ejikarị eme ihe: filter, groupby, merge, pivot_table, tinye. AI na-ede ndị a ngwa ngwa; Ihe ị chọrọ ịlele bụ mgbagha: bụ grouping na ziri ezi kọlụm, ka jikota gbanwere ọnụ ọgụgụ nke ahịrị na-atụghị anya (mgbe niile na-elele ọnụ ọgụgụ nke ahịrị mgbe jikota), na-yinye arụmọrụ na-agbanwe mbụ.
azụmahịa
SQL
pandas
ebe nlele
Nzacha
Ebee
df[df.x > 5]
Omume NULL/NaN
nchịkọta
Otu sitere n'aka
df. otu()
Ọ bụ kọlụm ziri ezi?
jikota
Soro
df.jikota()
Mgbanwe ọnụ ọgụgụ ahịrị
Nchịkọta
AVG(), SUM()
. pụtara (), .nchịkọta ()
Kedu kọlụm achịkọtara
Hazie site na
Iwu SITE
.ụdị_ụkpụrụ()
Ntuziaka (nrịgo/rịdata)
mwepu
Ọpụrụiche
.drop_duplicates()
N'ime ogidi ndị dị?
Debugging: ya na AI
Mgbe koodu dara, AI bụ ezigbo onye mmekọ debugging. Nye ya ozi njehie zuru oke yana snippet koodu dabara adaba. Ma kpachara anya maka ọnyà abụọ. Nke mbụ, AI nwere ike ikwu ihe ngwọta nke "mechibidoro" njehie ahụ (dịka ọmụmaatụ, izobe ọkwa) - nke a anaghị edozi njehie ahụ, ọ na-ezobe ya. Nke abụọ, AI mgbe ụfọdụ na-agbanwe nwayọọ nwayọọ na-agbanwe omume ọzọ mgbe ọ "na-edozi" nsogbu. Iwu: ghọta ihe ndozi ahụ, kpebie na ọ bụghị ogbi, wee chọpụta na mmepụta ahụ ka ziri ezi mgbe edozichara ya.
Achọrọ koodu ntụgharị na idowe ya
Mgbe ị na-azụta koodu site na AI, rịọ maka koodu nke enwere ike ịgụ na idobe, ọ bụghị naanị koodu nke "na-arụ ọrụ". Mgbe gị ma ọ bụ onye ọrụ ibe gị mepere koodu ahụ ọnwa ole na ole ka e mesịrị, ọ ga-enwe ike ịghọta ihe ọ na-eme. Iji mee nke a, mee ka ọ bụrụ omume ịnweta AI gụnyere ihe atọ: aha mgbanwe bara uru (orders_temiz, ọ bụghị df2), ahịrị okwu nkọwa dị mkpirikpi na usoro dị oke egwu (na-akọwa ihe kpatara, ọ bụghị ihe a na-eme), na aha na-adịgide adịgide kama nọmba anwansi (ACCEPT_ESIGI = 0.85 kama 0.85 e liri na koodu). Zerekwa agbụ ogologo otu ahịrị (ijikọ omume ise n'otu ahịrị); ndị a na-eme ka nbipu sie ike. Site na ndabara, AI na-emepụtakarị koodu nkenke na "smart"; Ọ bụrụ n'ịsị n'ụzọ doro anya "dee ihe a ga-agụ, nke a pụrụ ịkọwapụta, nke a na-echekwa", ị ga-enweta nsonaazụ enwere ike idobe ya. Nke a bụkwa ihe ndabere nke mmeghari (Unit 10): koodu na-aghọtaghị bụ koodu nke enweghị ike ịmegharị ya n'enweghị nsogbu.
Obere ikpe atọ
Ikpe 1 - Jikọọ mmegharị. Onye nyocha jikọtara iwu ndị ahụ na tebụl ngwaahịa wee chọpụta ngbanwe ngbanwe nke ugboro 3 dị elu. Ihe kpatara: ngwaahịa ọ bụla nwere ọtụtụ ahịrị (agba dị iche iche) na tebụl ngwaahịa; JOIN emegharịrị usoro ọ bụla. Koodu AI bụ "na-arụ ọrụ", mana ọnụọgụ nke ahịrị esiwo na 240 puku ruo 690 puku. Ihe nkuzi: na-elele ọnụọgụ ahịrị ahịrị mgbe ejikọtara/jikọọ.
Ikpe 2 - arụ ọrụ dabara adaba. Ọ tụrụ aro AI df.groupby('x') .summarize() nye onye nkuzi; Enweghị usoro dị otú ahụ na pandas (enwere .agg ()). Koodu ahụ arụghị ọrụ, onye nkuzi ahụ furu efu maka nkeji iri abụọ. Ọmụmụ: nyochaa ọrụ ị na-amataghị site na doc; AI nwere ike mepụta usoro.
Ikpe 3 - Mpụta ọdịda. Otu koodu nọ na-ajụ ebe nchekwa data etinyere maka ahịrị ọ bụla; Ọ na-agba ọsọ n'ahịrị 5,000, were awa 9 na ahịrị 4 nde, wee kwụsị. Mgbe AI tụrụ aro ka ọ bụrụ ihe ngwọta vectorized (batch), e belatara oge ahụ ka ọ bụrụ 40 sekọnd. Ihe nkuzi: koodu na-arụ ọrụ na obere data nwere ike ịdaba na nnukwu data; Tụlee ịrụ ọrụ nke ọma.
Ndebiri anọ enwere ike iṅomi
1) Na-arịọ SQL na schema:
Ọrụ gị: onye enyemaka SQL (PostgreSQL). Tebụlụ: - iwu (id, customer_id, date timestamp, ọnụọgụ ọnụọgụ) - ndị ahịa (id, ederede obodo) Ọrụ: Nweta mkpokọta ntụgharị na ọnụọgụ iwu kwa obodo na 2024, hazie site na ntụgharị n'usoro na-agbadata. Kọwaa otu i si eji obodo NULL eme ihe. M ga-ebu ụzọ nwalee ajụjụ a na LIMIT; Melite/Hichapụ ọgbọ.
2) usoro pandas na ebe nlele:
Enwere m DataFrames df (iwu) na df_customers (ndị ahịa). Gbakọọ nkezi ego kwa obodo. DỊ MKPA: bipụta ọnụọgụgụ ahịrị tupu njikọta na mgbe emechara ka m nwee ike ịhụ ma enwere mpịaji. Kọwaa na kọlụm ị jikọtara yana ihe kpatara ịhọrọ ime/aka ekpe.
3) Nkọwa koodu na nkwenye:
Kọwaa ahịrị koodu pandas ndị a site n'ahịrị: kedu ihe ahịrị ọ bụla na-eme, kedu echiche ọ na-eme, n'ọnọdụ ndị dị aṅaa ka ọ nwere ike inye nsonaazụ na-ezighi ezi? Mee ka m mara ma m na-eji ọrụ fudge. Koodu: [mado]
4) Ndozi:
Koodu a na-enye njehie a. Ozi njehie zuru oke: [mado]. Koodu: [tapawa]. Kọwaa ihe kpatara njehie ahụ ROOT wee dozie ya. Dezie ya site na idozi nsogbu ahụ n'ezie, ọ bụghị site n'imechi njikere. gosikwa ma ndozi ahụ gbanwere mmepụta.
Ngwa ngwa adịghị ike / Ike siri ike
Ngwa ngwa adịghị ike:
Dee ajụjụ na-enye m ahịa n'otu obodo.
Aha tebụl, kọlụm, ụdị nchekwa data, omume NULL amabeghị. AI bụ ihe a na-ahụkarị, ọ ga-abụ na ọ ga-emepụta ajụjụ na-adabaghị na tebụl gị.
Mgbasa ozi siri ike:
Ọrụ gị: onye enyemaka SQL (MySQL 8). Tebụlụ: ire (id, varchar obodo, ọnụ ọgụgụ decimal, ụbọchị ụbọchị). Ọrụ: Nweta mkpokọta na nkezi ego, ọnụọgụ iwu kwa obodo maka afọ 2024; Hazie na-ebelata site na mkpokọta ego; Gosi naanị obodo nwere ihe karịrị 100 iwu (HAVING) .NULL ewepu obodo. Kọwaa ajụjụ a; M ga-eji LIMIT nwalee.
Ebe nchekwa data, schema, filter, nhazi na iwu NULL pụtara ìhè.
Mmejọ ndị nkịtị
- Na-agba ọsọ koodu na-agụghị ya. Koodu ọrụ abụghị koodu ziri ezi; Koodu nke na-emegharị kọlụm na-ezighi ezi na-agakwa na-enweghị njehie.
- Anaghị elele ọnụọgụ ahịrị ahịrị ka ejikọtara/jikọọ. Igodo na-ezighi ezi na-eji nwayọọ megharịa ahịrị wee fụkọta ọnụ.
- Anaghị enyocha ọrụ dabara adaba. AI nwere ike na-atụ aro ụzọ na-adịghị; Gosi na akwụkwọ ahụ na ị maghị ya.
- Na-echeghị banyere arụmọrụ. itinye / loop na-arụ ọrụ na obere mkpọka data na ọtụtụ nde ahịrị; vectorize.
- Gbaa ọsọ ozugbo na nchekwa data mmepụta. Karịsịa na-agba ọsọ Mmelite/Hichapụ na-enweghị Ebe ma ọ bụ ule bụ ọdachi.
NDỤMỌDỤ: Nweta àgwà nke ịgbakwunye "akara nkwado" na mpempe koodu ọ bụla ị na-enweta site na AI: ọnụ ọgụgụ ahịrị tupu na mgbe ọ gasịrị, ahịrị nlele ole na ole, na mkpokọta dị egwu site n'aka. Nyocha atọ ndị a na-ejide ọtụtụ mperi mgbagha dị jụụ.
Na nchịkọta
AI bụ onye mmekọ dị ike nke na-emepụta ngwa ngwa SQL na koodu pandas, mana ọ bụghị ikike kpuru ìsì. Nye ya atụmatụ na nzube nke ọma; Gụọ koodu ọ na-emepụta dị ka à ga-asị na i dere ya n'onwe gị; Lelee ọnụọgụ nke ahịrị, ọrụ dabara adaba na ntinye aka mgbe ejikọtara / JỌỌ; Ejila ya na-enweghị anwale ya na nchekwa data mmepụta. Mgbe ị na-emezigharị ihe, chọọ idozi nsogbu ahụ, ọ bụghị mechie ya. Koodu na-arụ ọrụ abụghị koodu ziri ezi; Naanị gị nwere ike kwe nkwa izi ezi.
Ọrụ ngwa
Họrọ ajụjụ nyocha (dịka "ntụgharị kwa ọnwa kwa ọwa") wee rịọ koodu site na AI na ma SQL na pandas. Gụọ ahịrị koodu abụọ ahụ n'ahịrị, lelee ọnụọgụ nke ahịrị ka ejikọta/jikọọ ma jiri aka nyochaa opekata mpe otu nchikota dị mkpa. Tụlee ma koodu abụọ ahụ na-arụpụta otu ihe ahụ; Ọ bụrụ na ọ dị iche, chọpụta ihe kpatara ya.
ndetu
- [ ] Enyerela m tebụl / schema na ebumnuche doro anya nye AI?
- [ ] Agụrụ m wee ghọta koodu ọ mepụtara n'ahịrị n'ahịrị?
- [ ] Ahụrụ m ọnụọgụ ahịrị ahịrị ka mjikọ/jikọọ?
- [ ] Ekwenyela m ọrụ ndị m na-amataghị site na akwụkwọ ahụ?
- [] A nwalewo m koodu na nchekwa / obere data mbụ ọ bụghị na gburugburu mmepụta?