Girdeji:
- Maglumat ylmynyň alty basgançakly işini (meseläni kesgitlemek, ýygnamak, arassalamak, açyş, modellemek, aragatnaşyk) we emeli intellektiň her basgançakda işleýän ygtyýarlyklaryny wezipe töwekgelçiliginiň derejesine görä tapawutlandyrmak ukyby;
- Her emeli intellektiň çykarylyşyny çeşmä birikdirip, işledip we deňeşdirip, hünärmen süzgüçinden geçirip, barlaýan dersi ulanmak ukyby.
- Köpeltmek we gizlinlik ýörelgelerini (koda ýazmak, anonimleşdirmek) ilkinji günden başlap derňew endiklerine öwürmek
Çig, bulaşyk we köplenç “ýalan” maglumatlar her gün maglumat alymynyň stoluna düşýär. Satyş tablisasynda sene sütüni üç dürli formatda ýazylýar; müşderileriň belgileri käbir setirlerde boş; Sütüniň ady "girdeji", ýöne ol TL we USD bahalaryny öz içine alýar. Maglumat ylmynyň işi bu bulam-bujarlykdan ygtybarly karar bermek: maglumatlary ýygnamak, arassalamak, öwrenmek, model gurmak, netijäni tassyklamak we hekaýa öwürmek. Emeli intellekt (gysgaça AI ýa-da AI - tekst we kod döredip bilýän, nagyşlary tanap, jemläp we çaklap bilýän kompýuter ulgamlary) bu zynjyryň her baglanyşygyna degip biler: arassalaýyş koduny birnäçe minutda ýazmak, gözleg derňewi üçin grafikleri maslahat bermek, modeliň ölçegini düşündirmek, SQL talaplaryny düzetmek. Emma şol bir AI size hiç wagt görmedik maglumatlary üçin "korrelýasiýa 0.72" ýaly ynamly ýasama berip biler.
Bu birinji bölüm kitaphananyň girişidir. Maksady AI-ni maglumat ylmy işine nirede goýmalydygyny we nirede goýmaly däldigini anyklamak. Baş ýörelgäni başdan aýdaýyn: AI maglumat alymy däl-de, kömekçi. Haýsy maglumatlary ýygnamalydygyny, haýsy ölçegi kesgitlemelidigini, önümçilige model goýmalydygyny ýa-da etiki çäkleri nireden almalydygynyň ygtyýarly hünärmeniň ygtyýaryndadyr. Barlanmadyk AI çykyşy, gol çekilmedik derňew hasabaty ýaly töwekgelçiliklidir.
Maglumat ylmynyň iş tertibi: ahyrky karta
Maglumat taslamasyna düşünmek üçin ony alty tapgyra bölmek peýdalydyr. Bu modulyň hemmesi bu kartany yzarlaýar.
1. Meseläniň kesgitlemesi: Haýsy karary goldamak üçin näme ölçeris? Bu etap AI-e berilmeýär; Işi kesgitleýän adam.
2. Maglumat ýygnamak: Çeşmeleri kesgitlemek, maglumatlary çykarmak, nusga almak. (2-nji bölüm)
3. Maglumatlary arassalamak we öňünden işlemek: ingitirilen baha, daşky görnüşi, görnüşi öwürmek. (3-nji bölüm)
4. Gözleg-agtaryş maglumatlary derňewi (EDA - Gözleg maglumatlary derňewi, maglumatlaryň paýlanyşyny we gatnaşyklaryny "göz bilen" tanamak tapgyry): (4-nji bölüm)
5. Aýratynlyk in engineeringenerçiligi we modellemek: Üýtgeýän nesil, algoritm saýlamak, okuw, baha bermek. (5, 6, 7 bölüm)
6. Aragatnaşyk we önümçilik: Görkeziş, hekaýa, MLOps (modeli göni efirde alyp barmak we oňa gözegçilik etmek tertibi). (8, 11 bölüm)
AI bu alty basgançagyň hersinde başga ygtyýar bilen işleýär. Aşakdaky tablisada ygtyýarlygyň paýlanyşy jemlenendir; Bu modulyň iň möhüm tablisasy.
Tapgyr
AI-iň roly
Töwekgelçilik derejesi
Kim tassyklaýar
Meseläniň kesgitlemesi
beýni hüjümi boýunça hyzmatdaş
pes
Maglumat alymy + gyzyklanýan tarap
Arassalamak koduny ýazyň
Kod eskiz generatory
orta
Maglumat alymy (kody okaýar)
EDA düşündiriş
nagyş teklipçisi
orta
maglumat alymy
Aýratynlyk döretmek
Pikir we kod generatory
orta-ýokary
Syzdyrma gözegçiligi hökmanydyr
Model saýlamak / ölçeg
geňeşçisi
beýik
maglumat alymy
Önümçilige girizmek karary
kömekçi giriş
gaty beýik
Topar + iş eýesi
Etika / gizlinligi tassyklamak
gyjyndyryjy
gaty beýik
adam, elmydama
Bu diagrammadan bir sözlemi ýadyňyzda saklaň: paýlar artdygyça AI-iň roly kiçelýär we adam razylygy artýar.
Näme üçin barlamak bu işiň özenidir
AI dil modelleri ynamly görünýär, ýöne anyk bilmezligi mümkin. Tehniki dilde muňa galýusinasiýa diýilýär: bu modeliň ýok ýaly maglumaty hakykat ýaly erkin sözlemde ýasamagydyr. Maglumat ylmynda bu üç görnüşde bolýar. Birinjisi galp san: modelden hiç hili maglumat bermezden "ortaça sargyt mukdary nämedigini" sorasaňyz, maglumatlaryňyzy görmese-de size ynam bilen bir san görkezer. Ikinjisi, ýok funksiýa: model pandas.read_excel_fast () ýaly düýbünden ýok funksiýany teklip edip biler. Üçünjiden, nädogry statistik düşündiriş: model “p-value 0.04, şonuň üçin gipoteza 96% dogry” ýaly nusgawy statistiki ýalňyşlygy aňsatlyk bilen gaýtalap biler.
Barlamak düzgüni üç ädimden ybarat:
- Çeşmä baglanyşyk: Her san, nyrh we tendensiýa AI-iň ýadyndan däl-de, maglumatlaryňyzdan bolmaly. Maglumatlary ýatda saklamak üçin däl-de, maglumatlarda işleýän kod üçin AI ulanyň.
- Ylgaň we deňeşdiriň: AI tarapyndan berlen kodlaryň her bölegini özüňiz işlediň; Öndürýän her bir ölçegini garaşsyz esas bilen deňeşdiriň.
- Hünärmen süzgüji: Çykyşyň statistika we domen bilimlerine ters gelýändigini özüňiz barlaň.
Üns beriň: AI tarapyndan ýazylan derňewi işlemän we okamazdan prezentasiýa goýmak, gol çekilmedik hasabaty hödürlemek ýalydyr. Kodyň işlemegi onuň dogrydygyny aňlatmaýar; Nädogry sütüni jemleýän kod hem ýalňyşsyz işleýär.
Köpeltmek: şol bir netijäni iki gezek öndürip bilmek
Maglumat ylmynyň sessiz, ýöne tankydy ýörelgesi köpelmekdir: alty aýdan soň ýa-da başga bir kompýuterde gaýtadan analiz edeniňizde, şol bir netijäni alarsyňyz. AI bilen işlän wagtyňyz bu töwekgelçilik ýokarlanýar, sebäbi AI-e "bu grafigi ýasamaly" we el bilen oýnamaly diýseňiz, ädimler ýitýär. Düzgün: her ädim kodda we wersiýa gözegçilikde hasaba alynmalydyr (Git ýaly); Tötänlik bilen baglanyşykly ädimlerde tötänleýin tohum (tötänleýin san generatorynyň başlangyç bahasy; kesgitlenen bolsa netije gaýtalanar) kesgitlenmeli. Bu mowzugy 10-njy bölümde çuňlaşdyrarys; Häzirlikçe bu endige giriň: "El bilen basmaň, kod ýazyň."
üç sany kiçi halat
1-nji hadysa - Howpsuz tizlenme. Elektron söwda analitigi, adatça, 240 müň hatar sargyt tablisasyny arassalamak üçin ýarym gün sarp ederdi. Sütüniň atlaryny we ilkinji 5 hatary (şahsy maglumatlary bolmazdan) AI-e berdi we pandalary arassalamak koduny sorady. AI 8 sekuntda taslama taýýarlady; Analitik kod setirini setir boýunça okaýar, senäni derňemekde ýalňyşlyk düzedip, ony işledýär. Dowamlylygy: 4 sagadyň ýerine 35 minut. AI kod berdi, barlamak adamda galdy.
2-nji waka - ýasalan metrik duzagy. Tejribeli AI-den "Bu maglumatlarda tötänleýin tokaý näderejede takyk?" modelini asla öwretmezden. AI: "Takmynan 89%" -diýdi. Tejribeli muny prezentasiýa etdi; Hakyky model öwredilende takyklygy 71% boldy. Istalňyşlyk: AI-e maglumat we modeller bermezden ölçeglere garaşmak.
3-nji hadysa - Sessiz syzmak. Bir topar AI tarapyndan teklip edilýän pikiri, "maksat üýtgeýjiniň manysyny aýratynlyk hökmünde goş" ideýasyny sorag etmezden durmuşa geçirdi. Model synag toplumynda 98% ýerine ýetirdi, ýöne aýratynlyk geljekki maglumatlary syzdyrýandygy sebäpli önümçilikde ýykyldy (maglumatlaryň syzmagy, 10-njy bölüm). Istalňyşlyk: AI maslahatyny statistik taýdan süzmeýär.
Gowşak haýyş / Güýçli haýyş
Gowşak haýyş:
Bu satuw maglumatlaryny derňäň we ortaça girdejini aýdyň.
Bu talap kemçilikli: AI-e maglumat berilmedi, şonuň üçin “ortaça girdeji” diňe öwezini dolup biler. Ne sütünler, ne döwür, ne-de walýuta düşnükli.
Güýçli haýyş:
Siziň roluňyz: maglumat alymyna kömekçi. Mende DataFrame: df bar. Sütünler: - order_date (tekst, "2024-03-01" formatda) - amount_tl (onluk, käbir hatarlarda NaN) - müşderi_id (bitewi) wezipe: (1) ortaça mukdary hasaplaýan panda koduny ýazyň, (2) NaN bahalaryny nähili ulanýandygyny düşündiriň, (3) koduň çaklamalaryny sanaň. Maglumatlaryň mazmunyny düzmäň; diňe kod dörediň we netijäni barlap görerin.
Bu haýyşda shema, garaşmak we "ýasamagy gadagan etmek" aýdyňdyr. Siz henizem ylgaýarsyňyz we çykyşy barlaýarsyňyz.
Etikanyň we şahsy durmuşyň başlangyjy
Maglumat ylmy köplenç şahsy maglumatlar bilen işleýär: müşderi, hassa, işgär ýazgylary. Türkiye şäherindäki KVKK (Şahsy maglumatlary goramak kanuny) we Europeewropadaky GDPR bu maglumatlary goraýar. Hakyky adyňyzy, şahsyýetiňizi, e-poçtaňyzy ýa-da salgyňyzy köpçülige açyk AI guralyna goýmak düzgün bozmakdyr. Düzgün: paýlaşmazdan ozal maglumatlary anonimleşdiriň, diňe shema (sütün atlary, görnüşleri) we zerur bolsa gödek mysal hataryny beriň. Etika temasyny 11-nji bölümde çuňlaşdyrarys; Principleörelgäni başdan goýalyň: Maglumatlara düşünmek üçin mazmuny däl-de, gurluşyny paýlaşmak köplenç ýeterlikdir.
Adaty ýalňyşlyklar
- AI-e maglumat bermezden sanlara / ölçeglere garaşmak. Model maglumatlara girip bilmeýär; Berýän nomeri galp. Elmydama netijäni hasaplaň we işlediň.
- Iş kody dogry diýip pikir etmek. Nädogry sütüni dolandyrýan kod hem ýalňyşsyz işleýär; Mantyky okamazdan ynanma.
- Hakyky şahsy maglumatlary açyk guralda goýmak. Ady, şahsyýet belgisi, e-poçta hiç wagt paýlaşylmaýar; Diagramma ýeterlikdir.
- Basgançaklary el bilen ýerine ýetirmek we koda ýazmazlyk. Köpeldip bolmaýan analiz ygtybarly däl.
- AI-iň statistika düşündirişini soragsyz kabul etmek. AI p-baha we korrelýasiýa ýaly düşünjelerde klassiki ýalňyşlyklary gaýtalap biler.
Maslahat: AI sessiýalaryňyzyň hersine gysga "düzgün setirini" goşuň: "Maglumat mazmunyny düzmäň; diňe kod / derňew dörediň, men netijäni barlap görerin; ynamsyz ýeriňizi" anyk "görkeziň." Bu ýeke sözlem galýusinasiýa howpuny ep-esli azaldar.
Gysgaça
AI maglumat ylymynda güýçli kömekçi: arassalaýyş koduny, EDA düşündirişini, modeli maslahat bermegi we wizuallaşdyrmagy çaltlaşdyrýar. Problemöne meseläni kesgitlemek, ölçeg saýlamak, önümçilik karary we etiki çäkler adamlara degişlidir. Iş akymynyň alty basgançagy bar we töwekgelçiligiň ýokarlanmagy bilen AI-iň roly kiçelýär. Üç endik hemme zadyň esasyny düzýär: çeşmäni baglanyşdyrmak (tassyklamak), köpelmek (kodlamak) we anonimleşdirmek (gizlinlik). Bu üçüsini içerikleşdireniňizden soň, modulyň galan gurallary siziň üçin ygtybarly tizlendiriji bolýar.
Programma meselesi
Diňe özüňizde bar bolan kiçijik stoluň shemasyny düzüň (ýa-da gipotetiki): sütün atlary, görnüşleri we 2-3 sany mysal hatary (hakyky şahsy maglumatlar bolmazdan). AI-den ýokardaky "Güýçli haýyş" şablonyny ulanyp gysgaça statistika koduny soraň. Kody işlediň, çykyşy el bilen deňeşdiriň, nädogry çaklamalary barlaň we netijeleriňizi 5 ok nokadynda belläň.
gözegçilik sanawy
- [] AI-a hakyky şahsy maglumatlaryň ýerine shema we galp nusga berdimmi?
- [] Öndüren koduny setir boýunça okadym we işledimmi?
- [] Çykyşdaky her bir belgini özbaşdak barladymmy?
- [] Derňewiň her ädimini koda ýazyp, gaýtalap goýdummy?
- [] Missiýanyň töwekgelçilik derejesini kesgitledim we iň soňky karary adama berdimmi?