Riba:
- Ikon ɗaukar SQL mai ƙarfi da lambar pandas da karantawa da tabbatar da layi ta layi ta hanyar ba da cikakken tsari da manufa ga hankali na wucin gadi.
- Ikon kama kurakuran shiru kamar ƙidayar layi, aikin dacewa da kayan aiki bayan haɗawa/JOIN
- Ability don magance matsalar a cikin kuskure ba tare da yin shiru ba kuma ku guje wa yin amfani da lambar ba tare da gwada shi a cikin yanayin samarwa ba
Kimiyyar bayanai tana da yarukan farko guda biyu: SQL (Harshen Tambaya mai Tsari - yaren neman bayanai daga ma'adanar bayanai) da Python (musamman, ɗakin karatu na pandas - kayan aiki na yau da kullun don sarrafa tebur da shirye-shirye). A cikin wannan rukunin, za mu koyi amfani da AI azaman abokin tarayya: samun ingantaccen SQL da lambar pandas daga gare ta tare da madaidaitan tambayoyin, karantawa da tabbatar da waccan lambar, gyara shi, kuma kada ku taɓa gudanar da shi a makance. AI yana rubuta lambar maimaitawa a cikin daƙiƙa maimakon mintuna; Amma aikin ku ne ku tabbatar da cewa lambar da ta samar tana aiwatar da madaidaicin ginshiƙi tare da madaidaicin dabaru. Lambar aiki baya nufin madaidaicin lambar.
Me yasa samar da lambar tare da AI yana da ƙarfi amma mai haɗari
AI yana ba da manyan fa'idodi guda uku a cikin tsara lambar: saurin (ya rubuta aikin rukuni na 30-line-pivot a cikin daƙiƙa), tunatarwa (tunatar da ku aikin pandas da kuka manta), da koyarwa (yana bayyana layin lambar ta layi). Amma yana ɗauke da haɗari guda uku: kuskuren tunani na shiru (lambar da ke taƙaita ginshiƙi mara kyau yana gudana ba tare da kurakurai ba), aikin da ya dace (yana ba da shawarar hanyar da ba ta wanzu), da kuma tarko (lambar da ke aiki akan ƙananan bayanai amma ta fashe a layuka miliyan 10). Don haka dokar zinare: Karanta lambar AI kamar dai ka rubuta da kanka. Kar ku gudanar da layin da ba ku gane ba.
SQL: sarrafa bayanai a tushen
SQL yana ba ku damar dawo da bayanai daga ma'ajin bayanai da sarrafa su a can; Kuna iya taƙaita miliyoyin layi ba tare da jawo su cikin Python ba. Tubalan gini na asali: KYAUTA (waɗanne ginshiƙai), INA (waɗanne layuka), RUKUNAN BY (rukuni da taƙaitawa), JOIN (haɗaɗɗen tebur), SAMU (matatar bayan rukuni). AI yana taimakawa sosai wajen rubuta hadaddun JOINs da ayyukan taga, amma tabbatar da duba abubuwa guda biyu: shine JOIN ta hanyar maɓalli daidai (launi mara kyau yana kwafin layuka) kuma shine ma'aunin tace daidai (musamman NULL hali da jeri na kwanan wata).
Tsanaki: Kar a gudanar da tambayar SQL da AI ta samar kai tsaye akan bayanan samarwa. Gwada da ƙaramin kwafi ko LIMIT farko. Kar a taɓa gudanar da tambarin KYAUTA/SHARE ba tare da tabbatar da yanayin INA ba; Ba daidai ba WHERE zai iya share duk teburin.
Python/pandas: bincike mai sassauci
pandas ita ce daidaitacciyar hanya don sarrafa tebur (DataFrame) a cikin Python. Mafi kyawun amfani da AI shine don ba shi kyakkyawan tsari da manufa. Ayyukan da aka fi amfani da su: filter, groupby, merge, pivot_table, apply. AI ya rubuta waɗannan da sauri; Abin da kuke son bincika shine ma'anar: shine haɗawa a cikin madaidaicin ginshiƙi, haɗin ya canza adadin layuka ba zato ba tsammani (koyaushe duba adadin layuka bayan haɗuwa), ayyukan sarkar suna canza asali.
ciniki
SQL
pandas
wurin bincike
Tace
INA
df[df.x > 5]
Halin NULL/NaN
tarawa
GROUP BY
df.groupby()
Shin shafi na dama?
hade
SHIGA
df.mirge()
Canjin lissafin jere
Takaitawa
AVG(), SUM()
.ma'ana(), .sum()
Wani ginshiƙi aka tattara
Tsara ta
TAMBAYA TA
iri-iri ()
Hanyar (hawa/tasowa)
cirewa
NUTSUWA
.drop_kwafi()
A cikin waɗanne ginshiƙai?
Debugging: tare da AI
Lokacin da lambar ta gaza, AI kyakkyawan abokin aikin gyara kuskure ne. Ba shi cikakken saƙon kuskure da snippet lambar da ta dace. Amma ku kiyayi tarko guda biyu. Na farko, AI na iya ba da shawarar mafita cewa "yi shiru" kuskuren (misali, ɓoye faɗakarwa) - wannan baya gyara kuskuren, yana ɓoye shi. Na biyu, AI wani lokacin shiru yana canza wani hali yayin "warware" matsala. Doka: fahimtar gyaran, warware ba bebe ba, kuma tabbatar da cewa abin da aka fitar yana nan daidai bayan gyaran.
Ana son lambar da za a iya fassarawa da kiyayewa
Lokacin siyan lamba daga AI, nemi lambar da za'a iya karantawa kuma ana iya kiyayewa, ba kawai lambar da ke "aiki ba". Lokacin da kai ko abokin aiki suka buɗe waccan lambar bayan watanni, ya kamata su iya fahimtar abin da yake yi. Don yin wannan, sanya shi ya zama al'ada don samun AI ya haɗa da abubuwa uku: sunaye masu ma'ana (orders_temiz, ba df2), gajeren sharhin layi a matakai masu mahimmanci (bayyanar dalilin da yasa, ba abin da ake yi ba), da kuma mai suna akai-akai maimakon lambar sihiri (ACCEPT_ESIGI = 0.85 maimakon 0.85 da aka binne a cikin lambar). Har ila yau, kauce wa dogayen sarƙoƙi guda ɗaya (haɗa ayyuka biyar a layi ɗaya); waɗannan suna sa yin kuskure yana da wahala. Ta hanyar tsoho, AI sau da yawa yana samar da taƙaitacciyar lambar "mai wayo"; Idan ka ce a fili "rubuta abin karantawa, mai iya fassarawa, mai iya kiyayewa", za ka sami ƙarin fitarwa mai iya kiyayewa. Wannan kuma shine tushen sake fasalin (Raka'a 10): lambar da ba a fahimta ba ita ce lambar da ba za a iya sake kunnawa cikin aminci ba.
uku mini lokuta
Harka 1 - SHIGA maimaitawa. Wani manazarci ya haɗu da umarni tare da teburin samfurin kuma ya sami jimlar juriyar sau 3 mafi girma. Dalili: kowane samfurin yana da layuka da yawa (launuka daban-daban) a cikin teburin samfurin; JOIN ya kwafi kowane oda. Lambar AI tana "aiki", amma adadin layin ya tashi daga 240 zuwa dubu 690. Darasi: Koyaushe duba adadin layukan bayan haɗuwa/JOIN.
Case 2 - Ayyukan dacewa. Ya ba da shawarar AI df.groupby('x').takaita() ga mai horarwa; Babu irin wannan hanyar a pandas (akwai .agg()). Lambar ba ta yi aiki ba, an rasa mai aikin na minti 20. Darasi: tabbatar da aikin da baku gane shi ba daga takardar; AI na iya samar da hanyoyin.
Case 3 - Rushewar Haɓaka. Ɗayan lamba yana tambayar ma'ajin bayanai a cikin kowane jere; Yana gudana akan layi 5,000, ya ɗauki sa'o'i 9 akan layi miliyan 4, kuma ya tsaya. Lokacin da AI ya ba da shawarar maganin vectorized (batch), an rage lokacin zuwa 40 seconds. Darasi: lambar da ke aiki akan ƙananan bayanai na iya faɗuwa akan manyan bayanai; Yi la'akari da inganci.
Samfura huɗu masu kwafi
1) Neman SQL tare da tsari:
Matsayinku: Mataimakin SQL (PostgreSQL). Tables: - oda (id, abokin ciniki_id, tambarin kwanan wata, adadin lamba) - abokan ciniki (id, rubutun birni) Aiki: Sami jimillar juyawa da adadin umarni kowane birni a 2024, ana jerawa ta hanyar juyawa cikin tsari mai saukowa. Bayyana yadda kuke tafiyar da biranen NULL. Zan gwada tambayar da LIMIT farko; KYAUTA/GYARA tsara.
2) Tsarin pandas tare da wuraren bincike:
Ina da DataFrames df (umarni) da df_customers (abokan ciniki). Yi lissafin matsakaicin adadin kowane birni. MUHIMMI: buga adadin layuka kafin da kuma bayan haɗuwa don in ga ko akwai kwafi. Bayyana a cikin wane shafi kuka haɗa da dalilin da yasa kuka zaɓi ciki/hagu.
3) Bayanin Code da tabbatarwa:
Yi bayanin layin lambar pandas mai zuwa ta layi: menene kowane layi yake yi, menene zato yake yi, a waɗanne yanayi zai iya ba da sakamako mara kyau? Bari in sani idan na yi amfani da aikin fudge. Code: [Paste]
4) Gyara:
Wannan lambar tana ba da wannan kuskure. Cikakken saƙon kuskure: [manna]. Code: [Paste]. Yi bayanin tushen kuskuren kuma gyara shi. Gyara ta ta hanyar warware matsalar a zahiri, ba ta hanyar yin shiru da faɗakarwa ba. Hakanan nuna ko gyara ya canza fitarwa.
Rauni mai ƙarfi / Ƙarfi mai ƙarfi
Rawanin faɗakarwa:
Rubuta tambaya da ke ba ni tallace-tallace kowane birni.
Sunayen tebur, ginshiƙai, nau'in bayanan bayanai, halayen NULL ba su da tabbas. AI na kowa ne, yana iya haifar da tambayar da ba ta dace da teburin ku ba.
Ƙarfi mai ƙarfi:
Matsayinku: Mataimakin SQL (MySQL 8). Tebur: tallace-tallace (id, varchar birni, adadin decimal, kwanan wata). Aiki: Sami jimlar da matsakaicin adadin, adadin umarni kowane birni na shekara ta 2024; Tsara raguwa ta jimlar adadin; Nuna biranen da ke da oda sama da 100 (HAVING) kawai. NULL ban da birni. Bayyana tambayar; Zan gwada da LIMIT.
Anan bayanan bayanai, tsari, tacewa, rarrabawa da tsarin NULL a bayyane suke.
Kuskuren gama gari
- Gudun code ba tare da karanta shi ba. Lambar aiki ba daidai ba ne lambar; Lambar da ke sarrafa ginshiƙi mara kyau kuma tana aiki ba tare da kurakurai ba.
- Ba a duba adadin layuka ba bayan haɗe/JOIN. Maɓallin da ba daidai ba a shiru yana kwafin layuka kuma yana ƙara jumulla.
- Rashin tabbatar da aikin dacewa. AI na iya ba da shawarar hanyoyin da ba su wanzu; Tabbatar daga takardar cewa ba ku gane ta ba.
- Ba tunani game da inganci. amfani / madauki aiki a kan ƙananan ɓarna na bayanai akan miliyoyin layuka; vectorize.
- Gudu kai tsaye akan bayanan samarwa. Musamman gudanar da UPDATE/DELETE ba tare da INA ko gwaji yana da illa ba.
Tukwici: Kasance cikin al'ada na ƙara "layin tabbatarwa" ga kowane yanki na lambar da kuka karɓa daga AI: layukan da aka riga aka yi da kuma bayan aiwatarwa, ƴan layin samfuri, da jimillar mahimmanci ta hannu. Wadannan cak guda uku suna kama mafi yawan kurakuran dabaru.
A takaice
AI abokin tarayya ne mai ƙarfi wanda ke samar da SQL da lambar pandas da sauri, amma ba iko ba ne. Ka ba shi makirci da manufar a fili; Karanta lambar da ta samar kamar dai ka rubuta da kanka; Bincika adadin layuka, ayyuka masu dacewa da kayan aiki bayan haɗawa/JOIN; Kar a gudanar da shi ba tare da gwada shi akan bayanan samarwa ba. Lokacin yin gyara, yi nufin magance matsalar, ba shiru ba. Lambar da ke aiki ba ita ce lambar daidai ba; Kai kaɗai ne za ka iya tabbatar da daidaito.
Aikin aikace-aikace
Zaɓi tambayar bincike (misali "canjin kowane wata a kowane tashoshi") kuma nemi lamba daga AI tare da duka SQL da pandas. Karanta layukan layukan biyu ta layi, duba adadin layukan bayan haɗuwa/JOIN kuma da hannu tabbatar da aƙalla jimi mai mahimmanci ɗaya. Kwatanta ko lambobin biyu suna samar da sakamako iri ɗaya; Idan daban, gano dalilin.
jerin abubuwan dubawa
- [ ] Na ba da tebur / tsari da manufa a fili ga AI?
- [ ] Shin na karanta kuma na fahimci lambar da ta samar da layi ta layi?
- [ ] Na duba adadin layukan bayan haɗe-haɗe?
- [ ] Na tabbatar da ayyukan da ban gane ba daga takardun?
- [ ] Shin na gwada lambar akan aminci/kananan bayanai da farko kuma ba cikin yanayin samarwa ba?