Girdeji:
- Dürli maglumat çeşmelerini (maglumat bazasy, API, faýl, web döwmek) we hersiniň kemçiliklerini tanamak we shema dogry düşünmek;
- Nusganyň ilaty we saýlama taraplaryny görkezýändigini ýa-da ýokdugyny bahalandyryp, gaýtalanýan nusgalary ýerine ýetirmek ukyby
- Collectionygnamak tapgyrynda maglumatlaryň syzdyrylmagyny aradan aýyrmak we her sütünde 'çak edilende bolarmy' diýen soragy bermek bilen kanuny / ahlak çäklerini berjaý etmek;
Her derňew, ýygnaýan maglumatlaryňyzyň hili ýaly gowy. Hatda dünýäniň iň ösen modeli nädogry ýygnalan, ikitaraplaýyn nusga alnan ýa-da gelejek hakda maglumatlary öz içine alýan maglumatlar bilen işlese, ygtybarly netijeleri berer. Informatika ylymlarynda bu ýörelge "zibil, zibil" (zibil, zibil) diýilýär. Bu bölümde maglumatlary ýygnamak tapgyryny öz içine alarys: çeşmesine düşünmek, nusga almak, hil soraglary bermek we ilkinji günden başlap maglumatlaryň syzmak howpy barada hüşgär bolmak. Emeli intellekt bu döwürde güýçli kömekdir; SQL talap ýazýar, API resminamasyny jemleýär, maglumat şertnamasyny taýýarlaýar. Whatöne haýsy maglumatlary ýygnaýandygyňyzy we şol maglumatlaryň size degişlidigini adam kesgitleýär.
Maglumat çeşmeleri bilen tanyşmak
Maglumatlar dürli ýerlerden gelýär we her çeşmäniň öz kemçilikleri bar. Maglumatlar bazasy (tablisalarda saklanýan, adatça SQL bilen soralýan gurluşly maglumatlar) iň köp ýaýran çeşme; Ygtybarly, ýöne onuň meýilnamasyna gowy düşünmeli. API (Programma programma interfeýsi) göni maglumatlary berýär, ýöne tizlik çäkleriniň we format üýtgemeleriniň töwekgelçiligini öz üstüne alýar. Faýllar (CSV, Excel, JSON) çeýe, ýöne gapma-garşylygy formatlamaga meýilli. Web gözlemek güýçli, ýöne kanuny we ahlak çäkleri bar; Her sahypany gyryp bolmaýar.
Üns beriň: Web gözlemek we awtomatiki maglumatlary ýygnamak üçin sahypanyň ulanyş şertlerine, robots.txt faýlyna we KVKK / GDPR-e laýyk geliň. Rugsat berilmedik maglumatlary ýygnamak kanuny jogapkärçiligi döredýär. Maglumat howpsuzlygy nukdaýnazaryndan maglumat ýygnamak gurallaryny diňe ygtyýarly ulgamlaryňyzda we goranmak / derňew maksatlary üçin ulanyň; Rugsat berilmedik girmek ýa-da döwmek gadagandyr.
Shema düşünmek: maglumatlar bilen tanyşmak
Maglumat toplumyny ýygnamazdan ozal, onuň shemasyna (sütünleriň atlary, maglumat görnüşleri, manylary we biri-biri bilen gatnaşygy) düşünmeli. AI bu ýerde "maglumat sözlügi" - her sütüniň manysyny düşündirýän tablisany döretmekde örän peýdalydyr. Emma AI-iň berýän düşündirişleri çaklamalar; Her sütüniň hakyky manysyny maglumatlary döreden topar bilen tassyklaň. Mysal üçin, "status" atly sütünde 0/1/2 bolup biler; Bularyň "garaşylýan / tassyklanan / ýatyrylandygyny" ýa-da başga bir zadyň bardygyny diňe dörediji topar bilýär.
Aşakdaky tablisada esasy çeşmeleriň görnüşleri we seresaplyklary jemlenendir:
Çeşme
güýçli nokat
duzak
AI nähili kömek edýär
SQL maglumat bazasy
Gurluşly, ygtybarly
Çylşyrymly JOIN
Talap taslamasyny ýazýar
API
janly maglumatlar
Tizlik çäkleri, görnüşiň üýtgemegi
Resminamalaryň gysgaça mazmuny, kody çekiň
CSV / Excel
Çeýe, çalt
Gabat gelmeýänligi formatlaň
Kody oka / derňäň
web döwmek
Giňişleýin
Hukuk / ahlak çäkleri
Taslamany seljermek (ygtyýarlyk içinde)
Logurnal / waka maglumatlary
jikme-jik
ägirt uly göwrüm
Süzgüç soragy
Illustration: bölek tutuşlygyna görkezýärmi?
Köplenç ähli maglumatlary däl-de, bir nusga (ilatdan saýlanan bölek) bilen işleýärsiňiz. Möhüm sorag: bu nusga ilaty görkezýärmi? Saýlaw ikitaraplaýynlygy iň köp ýaýran duzakdyr. Mysal üçin, diňe ykjam programmadan ulanyjylary alsaňyz, web ulanyjylaryny görmersiňiz we netijeleriňiz ýalňyş bolar. Tötänleýin nusga almak (her ýazgynyň saýlanmaga deň mümkinçiligi bar) köp halatlarda iň ygtybarlydyr; emma wagt seriýasyndaky maglumatlarda bölünmek tötänleýin däl-de, hronologiki taýdan amala aşyrylýar (muny 7-nji we 10-njy bölümlerde göreris).
Birinji günden başlap habarlylygy syzdyryň
Maglumatlaryň syzmagy betbagtçylyklaryň köpüsiniň çeşmesidir we adatça maglumat ýygnamak döwründe ýüze çykýar. Mysal: "ýatyryldy" diýip çaklanyňyzda, maglumatlara "ýatyryş senesi" sütünini goşsaňyz, model geljege seredýär. Ingygnamak tapgyrynda her sütün üçin bir sorag beriň: “Çaklamany amala aşyran wagtym hakykatda bu maglumatlary alarynmy?” Jogap ýok bolsa, şol sütün syzýar. Bu mowzugy 10-njy bölümde giňişleýin öwreneris; Emma habarlylyk birinji günden başlamaly.
üç sany kiçi halat
1-nji waka - wekilçilik meselesi. Bir bank diňe karz töwekgelçiligi modeli üçin tassyklanan karzlar barada maglumatlary ýygnady (18,500 ýazgy). Ret etmek maglumatlarda ýokdy. Model hakyky dünýäde ýalňyşdy, sebäbi ret edilişleriň özüni alyp barşyny hiç wagt görmedi. Sapak: nusga, karar berýän ähli ilatyňyzyň wekili bolmaly.
2-nji hadysa - Ümsüm görnüşiň üýtgemegi. Bir topar her gün bir API-den baha maglumatlary alýardy. Günleriň birinde API üpjün edijisi walýutany USD-den EUR-a üýtgetdi, emma domen ady öňküligine galdy. 12 günüň dowamynda nädogry bölümde maglumatlar ýygnaldy; 3,200 setir bozuldy. Sapak: API maglumatlarynda göwrümiň we formatyň yzygiderliligini yzygiderli barlaň.
3-nji hadysa - Ir syzmak. Analitik "hasap" bahasy üçin maglumat ýygnanda "hasaby ýapmagyň sebäbi" sütünini öz içine aldy. Bu sütün diňe müşderi gidenden soň dolduryldy. Model synag toplumynda 97% takyklyk berdi; Önümçilikde işlemedi, sebäbi çaklama wagty bu sütün boşdy. Sapak: her sütüne "çaklama wagtynda mende barmy?" Diýen soragy beriň.
Göçürip boljak dört şablon
1) Maglumat sözlügini çykarmak:
Siziň roluňyz: maglumat alymynyň kömekçisi. Aşakda tablisanyň sütün atlary we nusga (anonim) bahalary bar. Her sütün üçin, çak edilýän manylaryny, maglumat görnüşini we potensial hil töwekgelçiligini tablisada sanaň. Ynanmaýan sütünleriňizi "tassyklamak zerur" diýip belläň; ýasamak manysyny berýär. Sütünler: [şu ýere goýuň]
2) Nusga alma kody (tötänleýin, gaýtalanýan):
Panda df bar. 200,000 hatardan wekil 5% tötänleýin nusga alýan kod ýazyň. Tötänleýin_state = 42 ulanyň (köpelmek üçin). Nusganyň synp paýlanyşynyň ilata meňzeýändigini barlamak üçin kod goşuň.
3) Syzdyryjy skaner soragy:
Sütünleriň sanawyny size bererin. Maksadym "ýatyryldy" diýip çaklamak (0/1). Her sütün üçin, çaklanylýan wagtym hakykatdanam bardygyny ýa-da ýokdugyny kesgitläň we "ygtybarly / şübheli / syzmak" diýip belläň. Sebäpleriňizi bir sözlemde ýazyň. Sütünler: [sanaw]
4) SQL çekmek talapnamasynyň taslamasy:
PostgreSQL-da "sargytlar" we "müşderiler" tablisalarym bar. Müşderi şäheri bilen soňky 90 günüň sargytlaryny birleşdirýän we her şäherdäki sargytlaryň umumy mukdaryny we sanyny yzyna gaýtaryp berýän JOIN talap ýazyň. Sene süzgüçini we NULL şäherleriniň nähili işleýändigini düşündiriň. Talaby işlederin we barlaryn.
Gowşak haýyş / Güýçli haýyş
Gowşak haýyş:
Maňa bu maglumat bazasyndan gowy nusga maglumatlary çekiň.
"Gowy" düşnüksiz; Haýsy surat, haýsy döwür, haýsy ululyk, haýsy maksat düşnükli däl. AI diňe umumy, ähtimal ýalňyş talap döreder.
Güýçli haýyş:
Siziň roluňyz: SQL kömekçisi. Mende "geleşikler" tablisasy bar: sütünleriň idi, müşderi_id, senesi (wagt belgisi), mukdary (san), kanal (tekst: 'web' / 'ykjam'). Wezipe: 2024-nji ýyl üçin her kanaldan 10,000 wekil hataryny yzyna gaýtaryp bolýan (ORDER BY bilen kesgitleýji) talap ýazyň. Maksady: kanalyň deňeşdirme derňewi. Talabyňyzyň çaklamalaryny sanaň.
Bu ýerde tablisa, maksat, ululyk we gaýtalanma aýdyňdyr.
Adaty ýalňyşlyklar
- Nusganyň wekilçiligini sorag etmeýär. Ansatlyk bilen elýeterli maglumatlar takyk maglumat däl; saýlama ikitaraplaýyn netijäni ýoýýar.
- Sütün manylaryny AI-e uýgunlaşdyrmak. Çeşme topary manysyny bilýär; AI çaklamasyny tassyklamazdan ulanmaň.
- API formatyny / birlik üýtgemesini yzarlamaýan. Ümsüm üýtgeşiklik birnäçe günläp korrumpirlenen maglumatlary ýygnaýar.
- Kolleksiýa tapgyrynda syzdyrmany äsgermezlik etmek. "Çaklama wagtynda mende barmy" diýen sorag ir soralmasa, model ýalňyş üstünlik getirer.
- Rugsat berilmedik ýa-da bikanun maglumatlary ýygnamak. Robots.txt, ulanyş şertleri we KVKK bozulmagy çynlakaý töwekgelçilikdir.
Maslahat: Her täze maglumat çeşmesi üçin bir sahypalyk “maglumat kartasyny” saklaň: çeşme, çekilen senesi, hatar sany, belli araçäkler we syzmak howpy bolan sütünler. Bu kartoçka, "bu maglumatlar näme" soragyny we birnäçe aýdan soň köpelmek mümkinçiligini tygşytlaýar.
Gysgaça
Derňewiň hili, ýygnan maglumatlaryň hili bilen çäklenýär. Çeşmesini (maglumat bazasy, API, faýl, galyndy) we shemany gowy biliň; nusganyň ilatyň wekili bolandygyna göz ýetiriň; Her sütünden “çaklama wagtynda mende barmy?” Diýip sorap, birinji günden syzmagy aýyryň. AI talap we resminama işi üçin ajaýyp tizlendiriji, ýöne adamlar haýsy maglumatlary ýygnamalydygyny we wekilçiligini çözýärler. Häkimiýet, kanun we gizlinlik çäkleri hemişe birinji ýerde durýar.
Programma meselesi
Maglumat çeşmesini saýlaň (öz işiňizden ýa-da gipotetikadan). AI-den ýokardaky “maglumat sözlügini çykarmak” şablony bilen maglumat sözlüginiň taslamasyny alyň; Soňra her sütüniň syzandygyny ýa-da ýokdugyny el bilen bahalandyryň. Iň bolmanda bir şübheli / syzýan sütüni tapmaga synanyşyň we näme üçin töwekgelçilikdigini bir sözlemde ýazyň.
gözegçilik sanawy
- [] Çeşme topary bilen maglumat çeşmesini we shemany tassykladymmy?
- [] Nusganyň ilatyň wekilidigini barladymmy?
- [] Her sütüne "çaklama wagtynda bererinmi?" Diýen soragy berdimmi?
- [] Nusga almagy gaýtalap goýdummy (durnukly tohum)?
- [] Collectionygnamagyň kanuny / etiki (ygtyýar, robots.txt, KVKK) çäklerini barladymmy?