Girdeji:
- ML iş prosesinde (kod, maglumatlar, resminama) emeli intellektiň pes töwekgelçilik bilen wagty tygşytlaýandygyny we wezipe töwekgelçiliginiň derejesine görä ölçeg / maglumatlar / önümçilige goýmak ýaly kararlaryň adama galdyrylýandygyny tapawutlandyryp bilmek.
- Her AI çykyşyny çeşmä birikdirip, gaýtadan işledip, ölçäp we in engineeringenerçilik süzgüçinden geçirip, her AI çykyşyny barlaýan dersi ulanmak ukyby.
- Çig gizlin we şahsy maglumatlary daşarky gurallara ibermezlik, korporatiw tassyklanan gurallary ulanmak we howpsuzlyk meselelerini diňe goranyş maksatlary bilen çözmek endigi.
Maşyn öwrenmek in Engineeringenerçiliginde emeli intellekt: roly, serhetleri, tassyklamak we jogapkärçilik
Maşyn öwreniş inereneri (ML inereneri: maglumatlardan öwrenýän modelleri dizaýn edýän, taýýarlaýan we getirýän programma üpjünçiligi hünärmeni) häzirki wagtda işiniň her ädiminde başga bir emeli intellekt guraly bilen işleýär. Kodlaşdyrma kömekçisi, kod ýazylanda güýje girýär, maglumatlar öwrenilende söhbetdeşlik modeli we resminamalar taýýarlanylanda uly dil modeli (LLM: tekstlere düşünýän we öndürýän milliardlarça parametrli nerw ulgamy). Bu modul emeli intellekti hem öndürilen önüm, hem-de ML inereneriniň gündelik iş guraly hasaplaýar. Iki roly garyşdyrmazdan jogapkärçiligiň çäklerini anyk kesgitlemek arkaly işleýär.
Bu birinji bölümde esasy soraga jogap berýäris: ML in engineeringenerçiliginde emeli intellekt hakyky wagty nirede tygşytlaýar we karary adamlara nirede goýmaly? Jogap in engineeringenerçilik düzgüniniň özenidir: ýasaýan çalt, barlaýan jogapkärdir.
ML in engineeringenerçiliginde emeli intellekt nirede peýdaly?
ML taslamasy takmynan aşakdaky setirlerden geçýär: maglumatlary ýygnamak, maglumatlary arassalamak, aýratynlyk in engineeringenerçiligi (çig maglumatlary modeliň düşünip biljek sanly signallaryna terjime etmek), model okuwy, baha bermek, ýerleşdirmek (ýerleşdirmek: modeli hakyky ulanyja açmak) we gözegçilik. AI bu setirdäki her duralgada kömek edýär, ýöne ygtyýarlyk derejesi üýtgeýär.
Awardokary sylagly, pes töwekgelçilikli ýerler: kod skeletini öndürmek, maglumatlary üýtgetmek funksiýasyny taýýarlamak, gündelik habarlary düşündirmek, yz yzyny beýan etmek, synag belliklerini jemlemek, resminamalary ýazmak we README-ler, synag işini teklip etmek. Bu ýerde emeli intellektiň ýalňyşlary arzan; sebäbi çykyş eýýäm synagdan we gözden geçirilişden geçer.
Riskokary töwekgelçilikli ýerler: haýsy maglumatlaryň okuwlara girýändigini kesgitlemek, bir modeliň önümçilige girmelidigini ýa-da ýokdugyny tassyklamak, bir ölçege baha bermek "ýeterlik derejede gowy", şahsy maglumatlary gaýtadan işlemek karary, howpsuzlyk gowşaklygyny "gereksiz" diýip ýapmak. Bular pul, gizlinlik, kanuny jogapkärçilik we ulanyjy ynamyna täsir edýär. Emeli intellekt bu ýerde teklipler berýär; Karar başarnykly inerener we jogapkär topar tarapyndan kabul edilýär.
Maslahat: AI-e bir meseläni autsorsing etmezden ozal soraň: "Bu çykyş nädogry bolsa bahasy näçe we kimdir biri ýalňyşlygy aňsatlyk bilen ele alar?" Bahasy pes bolsa we ele almak aňsat bolsa, beriň. Bahasy ýokary bolsa ýa-da almak kyn bolsa, AI-ni diňe taslama üçin ulanyň we karar beriň.
Barlamak tertibi: üç ädim
ML in engineeringenerçiliginde AI önümi hiç haçan “gutarnykly iş” däl; Taslama. Her çykyşy şu üç ädim arkaly ýerine ýetiriň:
- Çeşmä birikdiriň. Eger model san, bosagany ýa-da “iň oňat tejribe” diýse, ony resmi resminamalara, kod bazasyndaky hakyky bahasyna ýa-da ölçenen ölçege esaslaň. “Modeliň ýerleşdirilmegi” (galýusinasiýa: dil modeli tarapyndan hakyky däl maglumatlaryň ynamly öndürilmegi) bu ýerde köplenç tutulýar.
- Täzeden başlaň we ölçäň. Döredilen kody işlediň, öz synag toplumyňyzda öndürýän ölçegini täzeden hasaplaň, teklip edilýän SQL talapyny kiçi nusgada tassyklaň. Işlemeýän kod, owadan görünse-de biderek.
- In engineeringener süzgüçinden geçiriň. Çykyş masştabda saklanýarmy? Gyradaky ýagdaýlar (boş maglumatlar, gaty uly giriş, ýiten meýdanlar) göz öňünde tutuldymy? Howpsuzlyk we şahsy durmuşyň eldegrilmesizligi barmy? Bu ädimi diňe meýdan bilýän adam edip biler.
Gowşak haýyş / Güýçli haýyş
Gowşak haýyş: "Maňa käbir model okuw koduny ýazyň."
Güýçli teklip: "Scikit-learn bilen ikili klassifikasiýa üçin okuw skriptini ýazyň. Giriş: data / train.parquet, maksat sütüni is_churn. Synp deňsizligi bar (polo positiveitel nyrh ~ 8%), synp_ agramy bilen işlediň. PR-AUC (takyklygy yzyna gaýtarmak egrisi astyndaky ýer) baha beriş ölçegi hökmünde ulanyň, sebäbi takyklyk 42 Fix-iň deňsiz-taýsyz kody bilen deňeşdirilýär. PR-AUC. "
Tapawut: ikinji gyssagly meselede maglumatlar hakykaty, dogry ölçeg, deňagramsyzlyk maglumatlary we gaýtalanma talaplary bar. Hut şu nukdaýnazardan çykyş barlap bolýar we ulanyp bolýar.
Gizlinlik we maglumat howpsuzlygy: inereneriň ilkinji jogapkärçiligi
ML inereneri köplenç kompaniýanyň iň duýgur maglumatlaryna degýär: müşderileriň ýazgylary, geleşik taryhy, saglyk ýa-da maliýe maglumatlary, önümçilik ulgamlarynyň ýazgylary. Emeli intellekt gurallaryna maglumat berlende üç düzgün:
- Çig şahsy we gizlin maglumatlary daşarky gurallara ibermäň. Mysal üçin, müşderileriň e-poçta habarlaryny gyssagly goýmagyň ýerine shema we gödek (sintetiki) nusgalary iberiň. Hakyky maglumatlaryň ýerine "ex: ahmet@example.com" ýaly maskaly mysal ulanyň.
- Korporatiw tassyklanan ulaglary ulanyň. Maglumatlaryň nirede işlenýändigi, saklanylýandygy, bilim üçin ulanylýandygy ýa-da ýokdugy bilen şertnama taýdan aýdyň gurallary saýlaň. Korporatiw maglumatlary şahsy hasap bilen gaýtadan işlemek kompaniýalaryň köpüsinde düzgün bozmakdyr.
- Iň pes maglumat syýasaty. Meseläni çözmek üçin zerur bolan iň az mazmuny beriň. Tutuş tablisa däl, degişli 5 sütün we shema.
Üns beriň: Dil modeline beren tekstiňizi yzyna gaýtaryp bolmaýar. Çig şahsy maglumatlary "Soňundan pozaryn" diýip pikir etmäň; Töwekgelçilik iberilen pursatynda ýüze çykdy.
Howpsuzlyk ulgamynda goragly ulanmak
ML inersenerleri köplenç howpsuzlyk ulgamlaryny gurýarlar: galplyklary ýüze çykarmak, zyýanly traffigiň klassifikasiýasy, autentifikasiýa. Bu modulyň dowamynda diňe goranyş maksatlary üçin howpsuzlyk meselelerini öz içine alýarys: hüjümi ýüze çykarmak, ulgamy berkitmek, gowşaklygy ýapmak. Rugsat berilmedik giriş, maglumatlaryň syzmagy ýa-da başga biriniň ulgamyna birugsat gatyşmak üçin emeli intellekt ulanmak bikanun we hünär etikasyna garşy. Bir gowşaklygy tapanyňyzda, dogry ýol ony jogapkärçilikli habar bermek we düzetmekdir; ulanmaň.
üç sany kiçi halat
1-nji waka - Wagt tygşytlandy. ML inereneri, adatça 40 sütünli maglumatlar toplumynyň gözleg maglumatlary derňewini (EDA) geçirmek üçin ýarym gün sarp ederdi. Emeli intellektiň shemasyny we df.describe () çykyşyny berdi we "Haýsy sütünleriň has ýokary we ýitirim derejesi bar, haýsy üýtgeşmeleri maslahat berýärsiňiz?" 20 minutdan, her elementi öz kody bilen barlap, ileri tutulýan sanawy aldy. Saklaň: hours 3 sagat, ýalňyşlyk töwekgelçiligi pes, sebäbi her talap talap edilýär.
2-nji hadysa - tutulan säwlik. Modeliň söhbetdeşlik kömekçisi: "Okuwyň takyklygy 99%, gaty gowy" -diýdi. Inerener üçünji ädimi (in engineeringener süzgüji) ulandy we düşündi: maksat sütüninde tötänleýin syzdyrylan atributlar (maglumatlaryň syzmagy: model okuwda görmeli däl maglumatlary görýär). Hakyky öndürijilik has pesdi. AI-iň "beýik" düşündirişi däl-de, inereneriň şübheleri bu işi halas etdi.
3-nji waka - Şahsy durmuşyň bozulmagynyň öňüni almak. Bir topar önümçilik säwlik ýazgylaryny daşarky modele goýup, "bu ýalňyşlygy düzediň" diýýärdi. Surnallarda müşderi şahsyýet belgileri bardy. Topar ilki bilen surnallary maskalaýan kiçijik şahsyýet ýazmagy (şahsyýet belgilerini *** düzmek) we şol ýol bilen ibermek düzgünini döretdi. Düzmek howpy ýitdi, kömek tizligi üýtgemedi.
Göçürip boljak galyplar
Wezipe: [näme etmeli, ýeke sözlem] Kontekst: [maglumat shemasy, ululygy, çäklendirmeleri; HAKYKAT şahsy maglumatlar ýok] Çäklendirmeler: [dil / kitaphana, öndürijilik, köpelmek] Metrikler: [üstünligi nädip ölçemeli] Islenýän çykyş: [kod / düşündiriş / sanaw] we näme üçin bu formatda
Bu kody barlaň. Diňe işleýändigine däl-de, eýsem aşakdakylara hem baha beriň: 1) Gyradaky ýagdaýlar (boş giriş, sütün ýok, gaty uly maglumatlar) 2) Maglumatlaryň syzmak töwekgelçiligi3) Köpeltmek (tohum, wersiýa) Her bir meselä düzediş teklip ediň. Ynanmaýan ýeriňizi "barlaň" diýip belläň. Kod: [kod]
Bu ölçegiň netijesini düşündiriň, ýöne ilki bilen soraň: bu ölçeg bu mesele üçin dogrymy? Mesele: [deňagramly / deňagramsyz klassifikasiýa, regressiýa, reýting ...] Hasabat berlen ölçeg we baha: [mes. takyklyk 0.99] Haýsy ölçegi maslahat berersiňiz we näme üçin we häzirki netijä şübhelenmek üçin haýsy alamatlary gözlemeli?
Aşakdaky soraga berjek maglumatlarymda şahsy / gizlin maglumatlaryň bardygyny barlaň. Aşakdaky tekstde maskalanmaly meýdanlary (ady, e-poçta, şahsyýet belgisi, telefon, salgy) sanaň. Tekst: [tekst]
Rol we ygtyýar tablisasy
Gözleg
Emeli intellektiň roly
Kararyň eýesi
Kod skeleti / üýtgetmek funksiýasy
taslama generatory
Inerener (syn)
EDA / maglumatlaryň gysgaça mazmuny
tizlendiriji
Inerener (ölçemek arkaly barlaýar)
Metrik düşündiriş
Teklip
inerener
Haýsy maglumatlar okuwlara girer?
Teklip
Topar + maglumat eýesi
Modeliň önümçilige goýulmagy
Barlag sanawy ýatlatmasy
Jogapkär inerener + topary
Şahsy maglumatlary gaýtadan işlemek
Hiç biri (ulanylmaýar)
Hukuk + maglumat gözegçisi
Adaty ýalňyşlyklar
- Netijäni tassyklamazdan ulanmak. Iň ýaýran we iň gymmat ýalňyşlyk. Gowy görünýän kod ýa-da ölçeg, munuň dogrydygyny aňlatmaýar.
- Çig gizlin maglumatlary guralyň içine goýmak. Iberilenden soň yzyna alyp bolmaýar.
- Nädogry ölçege bil baglamak. Deňagramsyz maglumatlaryň takyklygy we reýting meselelerinde RMSE ýaly gabat gelmeýän ölçegler ýalňyşdyr.
- Emeli intellekti karar berýän hökmünde ýalňyşdyrmak. Teklipler berýär; Jogap gol çekeniň üstüne düşýär.
- Kontektsiz haýyş. “Model ýazyň” ýaly düşnüksiz haýyşlar barlap bolmajak netijäni berýär.
Gysgaça
Emeli intellekt hem ML inereneri we gündelik köpeldiji tarapyndan öndürilen önüm. Onuň gymmaty pes töwekgelçilikli, kod-maglumat-resminama ýaly aňsat barlanylýan meselelerde iň ýokarydyr; Pul, şahsy durmuş we howpsuzlyga täsir edýän kararlar şol adamda galýar. Her çykyşy çeşmä birikdiriň, gaýtadan ölçäň, in engineeringener süzgüçinden geçiň. Gizlin maglumatlary goraň, tassyklanan ulaglary ulanyň, diňe goranyş maksatly howpsuzlykda işläň. Bu tertip indiki bölümleriň hemmesi üçin esas bolup durýar.
Programma meselesi
Öz taslamaňyzdan bir meseläni saýlaň (meselem, maglumatlary arassalamak funksiýasyny ýazmak). Ilki bilen gowşak haýyş ýazyň, soňra bu bölümdäki şablony ulanyp güýçli teklip ýazyň. Iki netijäni hem alyň, üç basgançakly barlaň (çeşmä baglanyşyk, täzeden işlemek, in engineeringener süzgüji). Haýsy haýyşyň näçe minudy we näçe düzedişi tygşytlaýandygyna üns beriň.
gözegçilik sanawy
- [] Işimiň töwekgelçilik derejesini (pes / ýokary) kesgitledim.
- [] Hakyky şahsy / gizlin maglumatlary gyssagly goýmadym; Men ony maskaladym ýa-da sintetiki nusga ulandym.
- [] Çykyşy çeşmä birikdirdim, gaýtadan işledim, in engineeringenerçilik nukdaýnazaryndan süzdüm.
- [] Dogry ölçeg saýlandygymy barladym.
- [] Özüm / topar bilen möhüm karara geldim (ony önümçilige, maglumatlary gaýtadan işlemäge), emeli intellektde goýmadym.
- [] Korporatiw tassyklanan ulagy ulandym.