Bölüm 1 / 11

Ekonometrika we statistika boýunça emeli intellekt: Rollar, serhetler, tassyklamak we gizlinlik

Girdeji:

  • Emperiki iş prosesinde (maglumatlary arassalamak, kod, wizuallaşdyrmak, düşündiriş taslamasy) emeli intellektiň hakyky wagty tygşytlaýandygyny we wezipe töwekgelçiliginiň derejesine görä model saýlamak, sebäpler baradaky talap we neşir karary ýaly hünärmenleriň nirede galýandygyny tapawutlandyryp bilmek.
  • Her bir emeli intellektiň çykarylyşyny (san, koeffisiýent, kod, düşündiriş) gaýtadan hasaplamak ädimleri, çeşmä we statistiki süzgüç bilen baglanyşdyrýan dersi ulanmak ukyby.
  • KVKK / GDPR we maglumatlary ulanmak şertnamalarynyň çäginde mikro maglumatlary we gizlin / ygtyýarly maglumatlar toplumlaryny ygtybarly gaýtadan işlemek we degişli gurallary saýlamak endigine eýe bolmak.

Şol bir soraglar ekonometrik ýa-da amaly statistika stolunda her gün gaýtalanýar: Bu maglumatlar ygtybarlymy? Bu ýiten gymmatlyklar bilen näme etmeli? Bu regressiýanyň koeffisiýenti hakykatdanam näme diýýär? Bu gatnaşyk sebäpmi ýa-da diňe korrelýasiýa? Bu p-bahanyň ähmiýeti sebäpli, ony makalada ýa-da syýasatda gysga ýazyp bilerinmi? Bu soraglaryň käbiri gaýtalanýan, kod talap edýän we köp wagt talap edýär: maglumatlary arassalamak, şol bir grafigi on gezek meýilleşdirmek, R ýa-da Python koduny düzetmek, netijeleri tablisa düzmek. Beýlekiler tapyndylaryň dogrulygyny, neşiriň dogrulygyny ýa-da syýasat kararynyň dogrulygyny gönüden-göni kesgitleýärler.

Emeli intellekt (gysgaça AI, AI - adamlar ýaly tekst we kod öndürip bilýän, nagyşlary tanap bilýän, maglumatlary jemläp we teswir ýazyp bilýän kompýuter ulgamlary; häzirki wagtda iň köp ulanylýan görnüş iri dil modelleri, ýagny ullakan tekstde tälim alýan we indiki sözi çaklamak bilen sözlem düzýän ulgamlar) bu tablisanyň ortasynda ýerleşýär. Dogry ulanylanda, maglumatlary arassalamak kodunyň birnäçe sagadyny minutlara çenli azaldýar, çylşyrymly statistiki synagyň sintaksisini ýada salýar ýa-da koeffisiýentiň düşündirişini taýýarlaýar. Nädogry ulanylanda, ynamly ýaly görünýän, ýöne düýbünden toslanyp tapylan san, ýalňyş many ýa-da sebäpsiz gatnaşyk "tapyndy" hökmünde görkezilýär.

Bu birinji bölüm programma üpjünçiligi däl. Maksady AI-ni empirik iş prosesiňize nirede goýmalydygyny we hiç haçan goýmajakdygyny anyklamakdyr. Ekonometrika hem "usul-kritiki", hem-de gytaklaýyn "karar-kritiki" ugur: gurýan modeliňiziň koeffisiýenti merkezi bankyň göterim derejesini kesgitlemek kararyna, düzgünleşdiriji syýasatyň üýtgemegine ýa-da firmanyň million dollarlyk maýa goýumy bolup biler. Baş ýörelgäni başdan aýdaýyn: Emeli intellekt gözlegçi däl-de, derňew kömekçisi. Model saýlamak, kesgitlemek strategiýasy, sebäbini tassyklamak, neşir etmek we syýasat kararlary üçin jogapkärçilik we gutarnykly tassyklamak başarnykly hünärmendir.

Empirik iş akymynyň gatlaklary we AI-iň ýeri

Empirik okuwy üç gatlaga bölmek peýdalydyr. Executionerine ýetiriş gatlagy gündelik tehniki iş: maglumatlary arassalamak kody, grafiki çyzgy, tablisany formatlamak, sintaksis düzediş. Usul gatlagy analitiki karar: haýsy model, haýsy kesgitleýiş strategiýasy, haýsy synag, haýsy çaklamany barlamak. Düşündiriş we karar gatlagy netijeleriň manysy: koeffisiýentiň aýdýanlary, sebäbimi, syýasat üçin nämäni aňladýar, neşir edilmeli. AI üç gatyň hemmesine degýär, ýöne hersinde dürli ygtyýarly. Executionerine ýetiriş gatlagynda AI çalt kod düzýär we döredýär; Düşündiriş we karar gatlagynda diňe giriş berilýär we hünärmen karar berýär.

Geliň, başdan birnäçe esasy termini kesgitläliň. Ekonometrika, ykdysady we sosial maglumatlary statistiki usullar bilen seljerýän we gatnaşyklary ölçän pudakdyr. Regressiýa, netijäniň üýtgeýäniniň (garaşly üýtgeýjiniň) bir ýa-da birnäçe düşündiriji üýtgeýjiler (garaşsyz üýtgeýjiler) bilen baglanyşygyny san taýdan modelleşdirýän usuldyr. Koeffisiýent, düşündiriş üýtgeýjisinde ortaça bir birlik üýtgemäniň netije üýtgeýjisi bilen baglanyşyklydygyny görkezýän san. P-baha, syn edilen netijäniň (ýa-da has aşa netijäniň) aslynda hiç hili täsiri bolmadyk ýagdaýynda tötänleýin ýüze çykma ähtimallygydyr. Bu düşünjeleri aşakdaky bölümlerde ýeke-ýekeden düşündireris; Häzirlikçe muny biliň: Bularyň hemmesinde AI size meýilnama, kod we düşündiriş berýär, ýöne ol ylmy karar bermeýär.

Aşakdaky tablisada missiýanyň üsti bilen AI-iň roly we töwekgelçilik derejesi jemlenendir:

Gözleg

AI-iň roly

Töwekgelçilik derejesi

Kim tassyklaýar

Maglumatlaryň arassaçylyk koduny ýazmak

kod generatory

pes

Analitigiň özi (kod synagy bilen)

Diagramma / tablisanyň taslamasy

eskiz generatory

pes

analitik

Synag / model sintaksis ýatlatmasy

Maglumat kömekçisi

pes orta

analitik

Koeffisiýent düşündirişiň taslamasy

ýazyjy

orta

ekonometrik

Model / kesgitlemek strategiýasyny saýlamak

kömekçi giriş

beýik

bilermen

Sebäp talap

Diňe garalama, hiç haçan gutarnykly söz däl

gaty beýik

Ekspert + deň syn

Neşir etmek / syýasat karary

diňe giriş

gaty beýik

Jogapkär sülçi / edara

Bu tablisadaky bir setiri ýadyňyzdan çykarmaň: töwekgelçiligiň ýokarlanmagy bilen AI-iň roly azalýar we hünärmenleriň tassyklamagy artýar.

Näme üçin "barlamak" bu işiň özenidir

Dil modelleri öz jogaplaryna ynamly ýaly görünýär, ýöne ynamsyz bolup bilerler. Tehniki dilde muňa galýusinasiýa diýilýär: bu modeliň, edil hakykat ýaly, erkin sözlemde ýok maglumaty ýasamagydyr. Ykdysadyýetçi üçin bu ölüm howply duzakdyr. Bu model size "2015-2020-nji ýyllar aralygynda Türkiýedäki işsizlik bilen inflýasiýanyň arasyndaky baglanyşyk 0,62" ýaly takyk san berip biler; Şeýle-de bolsa, ol siziň maglumatlaryňyzy hiç wagt görmedi we bu san doly düzüldi. Ora-da “Ak synag p-bahasy 0.03 boldy” diýip biler; synaglary geçirmedi. Aslynda ýok bolan argument bilen R funksiýasyny çagyryp biler. Üçüsini-de birmeňzeş gürleýär; Dogry bilen ýalňyşlygy aýyrýan ýekeje zat, bilimiňiz we barlamak endigiňizdir.

Barlamak düzgüni üç ädimden ybarat:

  1. Öz gurşawyňyzda gaýtadan hasaplaň / işlediň: AI tarapyndan R / Python-da berlen her san, gatnaşygy, synag netijesini we koeffisiýentini AI ýadyndan däl-de, öz maglumatlaryňyz bilen hasaplaň. Netijäni ýada salmazlyk üçin kod ýazmak üçin AI ulanyň. Kody işlediň, çykyş edýärsiňiz.
  2. Çeşmä baglanyşyk: Usul düzgünleri, formulalary we kesgitlemeleri üçin okuw kitaplaryna, usul makalalaryna we resmi resminamalara bil baglaň. AI-iň "bu synagyň çaklamasy" sözüni ygtybarly çeşme bilen tassyklaň.
  3. Statistik süzgüç: Çykyşyň statistiki logika ters gelýändigini ýa-da ýokdugyny hünärmen çaklamalary bilen barlaň (çaklamalar, nusga, täsir ölçegi, näbellilik). "Manyly, ýöne manysyz" netijäni ret ediň.
Üns beriň: AI tarapyndan döredilen koeffisiýenti, synagy ýa-da makala, tezis ýa-da syýasat belligini tassyklamazdan goýmak, gözden geçirilmedik netijäni çap eden ýalydyr. Diňe çykyşyň dogry bolmagy sebäpli dogry däl; Diňe san belli ýaly görünýänligi üçin hakyky däl.

Gizlinlik: mikro maglumatlar we ygtyýarly maglumatlar şahsy goralýar

Ekronometrikada mikrodata (şahsy, öý, firma ýa-da hassalyk derejesinde ýekeje ýazgy) ulanylýar. Bu maglumatlaryň köpüsi şahsy maglumatlar bolup, Türkiýedäki KVKK (Şahsy maglumatlary goramak kanuny) we Europeewropadaky GDPR bilen goralýar. Mundan başga-da, TurkStat, merkezi banklar, panel maglumatlary üpjün edijiler we täjirçilik çeşmeleri köplenç maglumatlary ulanmak şertnamasy bilen maglumatlary berýär; Bu şertnamalar maglumatlary üçünji taraplara geçirmegi gadagan edýär. Şahsyýet maglumatlary, girdeji, saglyk ýa-da kompaniýanyň syrlaryny öz içine alýan tablisany köpçülige açyk AI söhbetdeşlik guralyna goýmak hem KVKK / GDPR, hem-de şertnamanyň bozulmagy; sebäbi maglumatlar daşarky serwere gidýär we käbir gurallarda model okuwynda ulanylyp bilner.

Düzgün ýönekeý: maglumatlary öz howpsuz gurşawynda saklaň, AI-den diňe kod we usullar soraň. Iň amatly iş tertibi: AI-den derňew koduny soraň, kody öz kompýuteriňiz / kärhana serweriňizdäki hakyky maglumatlar bilen işleýärsiňiz. Eger hakykatdanam maglumatlary paýlaşmaly, anonimleşdirmeli (ID meýdanlaryny aýyrmaly), jemlemeli (şahsy däl-de, ortaça / hasaplamaly) we institusional, maglumatlary gaýtadan işlemek şertnamasy bar we maglumatlaryňyzy bilimde ulanmaly däl bolsaňyz.

üç sany kiçi halat

1-nji waka - Ygtybarly we netijeli ulanmak. Bir gözlegçi ilki bilen 40,000 hatar öý býudjet maglumatlaryny el bilen arassalamak üçin 6 sagat sarp etdi. Maglumatlary asla paýlaşman, üýtgeýän atlary we gurluşy AI-e düşündirdi we arassalaýyş koduny sorady. AI R skriptini döretdi; Gözlegçi kody öz gurşawynda işledi, setirleriň sanyny we her ädimiň jemleýji statistikasyny barlady we iki logiki ýalňyşlygy düzeddi. Dowamlylygy: 6 sagadyň ýerine 70 minut. Maglumat hiç wagt çykmady; Jogapkär gözlegçiniň üstünde galdy.

2-nji waka - Barlanmadyk san duzagy. Aspirant AI-den “Jemi içerki önümiň ösüşi bilen göni daşary ýurt maýa goýumlarynyň arasyndaky çeýeligi näme?” Diýip sorady. AI hiç hili maglumata girip bilmese-de, ynam bilen "takmynan 0.34" berdi. Talyp muny edebiýatyň gysgaça mazmunynda ýazdy; Geňeşçisi çeşme barada soranda, bu sanyň hiç hili esas ýokdugyny we bütinleý toslanyp tapylandygy ýüze çykdy. Istalňyşlyk: AI-den maglumat we çeşmeler bermezden anyk statistika garaşmak.

3-nji waka - Gizlinlik we şertnamanyň bozulmagy. Analitik, kompaniýanyň adyny we dolanyşygyny öz içine alýan ygtyýarly kompaniýa panelinden alan Excel-i köpçülige açyk AI guralyna ýükledi we "panel regressiýasyny ediň" diýdi. Maglumat üpjün edijiniň şertnamasy maglumatlaryň üçünji tarap ulgamlaryna geçirilmegini gadagan etdi; Bu waka ýerine ýetirilişiň gözden geçirilmegine sebäp boldy. Dogry ýol, kompaniýanyň atlaryny näbelli kodlar bilen çalyşmak ýa-da hiç hili maglumat paýlaşmazlyk we diňe panel regress koduny talap etmek we ony öz gurşawynda işletmekdi.

Gowşak haýyş / Güýçli haýyş

Gowşak haýyş:

Inflýasiýa bilen işsizligiň arasyndaky baglanyşygy derňäň we koeffisiýenti görkeziň.

Bu talap ýalňyş: AI-ä hiç hili maglumat berilmedi, haýsy ýurduň, haýsy döwrüň, haýsy modeliň bardygy belli däl. AI diňe düzülen koeffisiýent bilen jogap berip biler.

Güýçli haýyş:

Siziň roluňyz: ekonometrika gözlegçisine kömek edýän derňew kömekçisi. Maglumatlary siziň bilen paýlaşamok; Diňe RUNNABLE R kody isleýärin. Annualyllyk panelim bar: üýtgeýän ýurt, ýyl, işsizlik, inflýasiýa (hemme san). Wezipe: 1) işsizlik ~ inflýasiýa (plm paket) üçin kesgitli effektler paneliniň regress koduny ýazyň, 2) koddaky her ädimini düşündiriş setiri bilen düşündiriň, 3) koeffisiýentiň sebäbini däl-de, baglanyşyk hökmünde düşündirilmelidigini belläň, 4) özüňiziň ynamyňyz ýok funksiýa argumentini düzüň; Men ylgap, netijäni öz gurşawymda barlaryn.

Bu haýyşda hiç hili maglumat paýlaşylmaýar, roly, bukjalary, teswirlere garaşmagy we "ýasama" gadaganlygy aýdyňdyr. Siz henizem ylgaýarsyňyz we çykyşy barlaýarsyňyz.

Aşakdaky tablisada bu sapakda bir sözlemli düzgünler jemlenendir:

ýörelgesi

Munuň manysy näme?

AI kömekçi

Ylmy karar we jogapkärçilik hünärmene degişlidir

Kod soraň, netijäni beriň

AI san ýadyna düşenok; işledýärsiň we hasaplaýarsyň

maglumatlary saklaň

Mikro / ygtyýarly maglumatlar howpsuz gurşawy terk etmeýär

barlamak

Her mesele, kod, teswir barlanýar; galplyk ret edilýär

Adaty ýalňyşlyklar

  • Maglumat bermezden AI-den anyk statistika garaşmak. Model maglumatlara girip bilmeýär; Onuň berýän koeffisiýenti, korrelýasiýa we p-bahasy ýasama. Elmydama kody soraň we netijäni özüňiz öndüriň.
  • Galýusinator funksiýalaryna bil baglamak. AI R / Python funksiýasyny ýa-da ýok argumenti teklip edip biler. Kody işletmän we barlamazdan kabul etmäň.
  • Jemgyýetçilik guralyna mikrodata ýüklemek. KVKK / GDPR we maglumatlary ulanmak şertnamasynyň bozulmagy. Maglumatlary anonimleşdiriň ýa-da asla paýlaşmaň.
  • Takyklygy üçin ýalňyş gürlemek. Gowy ýazylan syn nädogry bolup biler. Sözlemiň owadanlygy subutnama däl.
  • Dolandyryşsyz sebäp dilini kabul etmek. YZ köplenç “X ýokarlandyrýar” diýýär; regressleriň köpüsi diňe gatnaşyklary görkezýär. Sebäp talaplaryny dizaýn bilen goraň.
Maslahat: AI bilen işleşeniňizde özüňize şu soragy beriň: "Eger emin ýa-da auditor bu çykyşy sorasa, çeşmesini we hasabyny görkezip bilerinmi?" Jogap ýok bolsa, çykyş entek ulanmaga taýyn däl.

Gysgaça

AI ekonometrika we statistika işleriniň ýerine ýetiriş gatlagynda (kod, arassalama, grafika, garalama) hakyky we köpçülikleýin tizlenmäni üpjün edýär; şeýle-de bolsa, model saýlamak, sebäpler, düşündiriş, neşir we syýasat kararlary hünärmene degişlidir. Üç esasy ders: AI-ni san ýada salmaň, kod soraň we netijäni özüňiz barlaň we barlaň; mikro / ygtyýarly maglumatlary howpsuz gurşawdan aýyrmaň; her çykyşyň statistik süzgüji. Barlanmadyk AI çykyşy, gözden geçirilmedik tapyndy ýaly töwekgelçiliklidir.

Programma meselesi

Öz (ýa-da mysal) maglumatlar toplumyna serediň. AI-den maglumat paýlaşmazdan, üýtgeýän gurluşy suratlandyryp, düşündirişli statistika we ýönekeý grafik döredýän R ýa-da Python kody soraň. Gelýän kody öz gurşawyňyzda işlediň. Soňra gözegçilik sanawyny saklaň: (1) kod ýalňyşsyz işledi, (2) garaşyşyňyz ýaly setirleriň / synlaryň sany, (3) AI-iň düşündiriş sözleriniň haýsysynyň sebäbini ulanýar we kesgitlenmeli. Bir abzasda AI-iň sizi halas eden wagty we iň bolmanda bir ýalňyşlyk barada ýazyň.

gözegçilik sanawy

  • [] AI-ni anyk statistika soramaga mejbur etmedim; Kod isledim we netijäni özüm çykardym.
  • [] Men öz gurşawymda beren her bir san we synag netijesini täzeden hasapladym.
  • [] Ulanylýan funksiýalaryň / argumentleriň hakykatdanam bardygyny barladym.
  • [] Mikro / şahsy / ygtyýarly maglumatlary jemgyýetçilik guralyna ýüklemedim.
  • [] Sebäp dilini öz içine alýan teswirleri belledim we baglanyşyk diline geçirdim.
  • [] Çykyşyň çeşmesini we hasabatyny auditora görkezip bilýärin.