Qazanclar:
- Süni intellektin köməyi ilə xam iqtisadi məlumatları (itkin müşahidələr, vahid çaşqınlığı, tezlik uyğunsuzluğu) təmizləmək və təhlil üçün hazır etmək bacarığı
- Real-nominal çevrilmə, indeksləşdirmə, artım tempi, mövsümi tənzimləmə kimi standart iqtisadi çevrilmələri kod kimi süni intellektə çap etmək və onları əl ilə yoxlamaq bacarığı
- Kəşfiyyat xarakterli məlumatların təhlili (ümumi statistika, paylama, kənar göstəricilər, korrelyasiya) və süni intellekt xülasələrini tənqidi oxumaq yolu ilə məlumatları tanımaq bacarığı
İqtisadi məlumatlar nadir hallarda təhlil üçün hazır olur. TÜİK-dən endirdiyiniz cədvəldə bəzi aylar yoxdur, bir sütun min mötərizəli mətn kimi gəlir, kurs "1.234,56" kimi türk formatındadır, bir seriya aylıq, digəri isə rüblükdür. İqtisadçının vaxtının çox hissəsi təhlilə deyil, verilənlərin təhlilə hazır olmasına sərf olunur. Burada AI real, aşağı riskli sürətləndiricidir: o, təmizləmə addımlarını təklif edir, pandaları yazır (Python-un məlumat emalı kitabxanası), standart iqtisadi transformasiyaları kodlaşdırır. Lakin bu bölmənin dəyişməz bir qaydası da var: Siz süni intellekt tərəfindən yazılan hər transformasiyanı oxuyursunuz və ən azı bir müşahidədə onu əl ilə yoxlayırsınız. Əgər real-nominal dövr yanlış əsasdadırsa, bütün təhlil sakitcə çürüyür.
Təmizləmə: hansı problemlər, onları necə həll etmək olar?
İqtisadi məlumatlarda ən çox rast gəlinən problemlər və onların məntiqi:
- Natamam müşahidə. Bir ay/rüb boşdur. Həll kontekstdən asılıdır: əgər o, həqiqətən mövcud deyilsə, boş qalır; Texniki boşluq varsa, diqqətli interpolyasiya edilir - lakin istehsal arasındakı xətt nazikdir.
- Vahidlərin və formatların qarışıqlığı. “12.345.6” mətni rəqəmə çevrilməlidir; milyon/milyard ardıcıl olmalıdır.
- Tezlik uyğunsuzluğu. Aylıq və rüblük seriyaları birləşdirmək üçün biri cəmlənir (aydan rübə qədər) — orta, ümumi və ya dövrün sonu göstəricinin xarakterindən asılıdır (səhm/axın fərqi).
- Kənar (ifrat) dəyərlər. Müşahidə vəhşicəsinə yayınsa: bu, real hadisədir (böhran, qiymət artımı), yoxsa məlumat xətası? Bu, silinmədən əvvəl başa düşülür.
- Tarixin uyğunlaşdırılması. Müxtəlif seriyaların tarix formatları və dövr tərifləri sinxronlaşdırılır.
Diqqət: Çatışmayan məlumatları doldurmaq günahsız görünür, lakin bu, iqtisadi qərardır. Böhran ayını “qonşu ayların ortası” ilə doldurmaq həmin böhranı təhlildən silmək deməkdir. Doldurmadan əvvəl "bu boşluq niyə mövcuddur?" Suala cavab verin.
Standart iqtisadi transformasiyalar
İqtisadçının gündəlik repertuarındakı transformasiyalar və onların tərifləri:
- Nominal → Real. Qiymətə təsir üçün tənzimləmə: real dəyər = nominal dəyər / qiymət indeksi × 100. Deflyatorun baza ili (tənzimləmə indeksi) nəticənin əsasını müəyyən edir.
- İndeksləmə. Seçilmiş dövrün = 100 olması üçün seriyanın ölçüsünün dəyişdirilməsi; Müxtəlif ölçülü seriyaları müqayisə etmək üçün faydalıdır.
- Artım sürəti. İllik: (bu dövr eyni dövr / keçən il − 1) × 100. Dövri və illik nisbət fərqli şeylərdir; Qarışıqlıq ümumi səhvdir.
- Mövsümi korreksiya. müntəzəm mövsümi təsirlərin təmizlənməsi (yay turizmi, tətillər); Raw seriyası və mövsümə uyğunlaşdırılmış seriyalar fərqli hekayələrdən bəhs edir.
- Hərəkətli orta. Səs-küyü yumşaltmaq və trendi görünən etmək.
- Loqarifmlər və fərqləndirmə. Artım dinamikasını və stasionarlığı araşdırmaq (zaman seriyası vahidində dərinləşəcək).
İpucu: Hər bir çevrilmə ilə sizdən "vahid və bazaya nə oldu?" soruş. Həqiqi seriyanın əsası deflyatorun əsasıdır; İndekslənmiş seriyanın əsasını seçdiyiniz dövr təşkil edir. Bunu yazmaq gələcək səhvlərin qarşısını alır.
Kəşfiyyat məlumatlarının təhlili (EDA)
Məlumatları modelə daxil etməzdən əvvəl onu tanımaq lazımdır. Kəşfiyyat xarakterli məlumatların təhlili (EDA) daxildir: ümumi statistika (orta, median, standart kənarlaşma, min-maks), paylanmanın forması, zamanla kurs, kənar göstəricilər və seriyalar arasında korrelyasiya. AI bu addımlar üçün kodu tez yaradır; Sizin işiniz çıxışı iqtisadi gözlə oxumaqdır: "Bu orta ağlabatandır? Bu korrelyasiya təsadüfdür, yoxsa məlum əlaqədir?"
Diqqət: Korrelyasiya burada səbəbiyyətin sübutu deyil, yalnız eyniləşdirmə vasitəsidir. İki seriyanın birlikdə hərəkət etməsi faktı (məsələn, dondurma satışı və boğulma - hər ikisi yayda baş verir) mütləq birinin digərinə apardığını göstərmir. Biz bu fərqi 7-ci bölmədə dərinləşdirəcəyik.
üç mini qutu
1-ci hal - Yanlış deflyator bazası. Bir analitik əmək haqqı seriyasını həyata keçirmək üçün süni intellekt yazma koduna sahib idi. Kod işlədi, nəticə ağlabatan göründü — lakin analitik HESABLAMA addımında 2020-ci ili əl ilə hesabladı və işləmədi. Problem: süni intellekt 2003=100 bazası olan deflyatordan istifadə etdi və 2015-ci ilin qiymətləri ilə əmək haqqı seriyasını istədi; Əsaslar ziddiyyət təşkil edirdi. Kod bir sətir düzəldilməsi ilə təmir edildi, bütün seriya yerinə düşdü.
2-ci hal - Səssiz həcm xətası. Bir təşkilat ixracat məlumatlarını min dollar, idxalı isə milyon dollar olaraq azaltmışdı. Süni intellekt "xarici ticarət balansı" üçün ikisini çıxardıqda, nəticə absurd kəsir oldu. EDA-da minimum-maksimum görünüş səhvi aşkar etdi: iki seriyanın miqyası sırası 1000 faktoru ilə fərqlənirdi. Vahid bərabərləşdirildikdən sonra balans düzgün idi.
3-cü hal - kənar göstəricinin silinməməsi. Bir seriyada bir ay qeyri-adi dərəcədə aşağı idi. Süni intellekt "ən kənar, təmizləyək" təklif etdi. Analitik araşdırdı: istehsal faktiki olaraq həmin ay təbii fəlakət səbəbindən dayanmışdı. Dəyər real idi; Onu silmək tarixi təhrif edərdi. Silinmə əvəzinə, qeyd edildi. Süni intellektin “aydın” tövsiyəsi kor-koranə yerinə yetirilmədi.
Dönüşüm doğrulama cədvəli
Dönüşüm
formulun mahiyyəti
əl yoxlama məntəqəsi
həyata keçirilməsi
nominal / qiymət indeksi × 100
Deflyator bazası = nəticə bazası?
illik artım
(t / t-12ay - 1)×100
Kağız üzərində bir dövr hesablayın
indeksləşdirmə
seriya/əsas dövr × 100
Baza dövrünün dəyəri 100-dür?
Aylıq→rüblük
axın: toplamaq / ehtiyat: dövrün sonu
Düzgün toplama üsulu?
hərəkətli orta
son n dövr orta
Pəncərənin uzunluğu düzgündürmü?
Dörd kopyalana bilən şablon
1) Təmizləmə planı:
Məndə bu xam məlumat var: [sütunlar və nümunə sətirlər]. Təhlil üçün hazırlamaq üçün bir təmizləmə planı hazırlayın: çatışmayan dəyər, vahid/format problemi, tarix uyğunluğu, tezliklərin uyğunlaşdırılması, mümkün kənar göstəricilər. Hər addımın nə üçün lazım olduğunu bir cümlə ilə izah edin. Hələ kod yazmayın; əvvəlcə planı təsdiq edim.
2) pandaların təmizlənməsi kodu:
Təsdiq etdiyim plana uyğun olaraq pandaların kodunu yazın. Kod şərh xətti ilə hər addımda nə etdiyini göstərsin; Dönüşümdən sonra sıraların sayını və çatışmayan dəyərləri çap edir. Heç bir müşahidəni səssizcə silməyin; Sildiyiniz hər sətri bildirin.
3) reallaşdırma (yoxlanılan):
Bu nominal seriyanı [qiymət indeksi] ilə reallaşdırın. İstifadə etdiyiniz zaman deflyatorun əsas ilini aydın şəkildə yazın; Nəticə seriyanın əsasının nə olduğunu göstərin. Hesabı bir müddət ərzində mənə addım-addım göstərin ki, onu əl ilə yoxlaya bilim.
4) Kəşfiyyat analizinin xülasəsi:
Aşağıdakı təmizlənmiş məlumatlar üçün kəşfiyyat analizi kodunu yazın: xülasə statistikası, zaman sıralarının qrafiki, kənar skan və korrelyasiya matrisi. Nəticələri şərh edərkən, tapdığınız korrelyasiyaların SƏBƏBƏLİ olmadığını aydınlaşdırın və mənə diqqət çəkən 3 məqamı qeyd edin.
Zəif məlumat / Güclü göstəriş
Zəif çağırış:
Bu məlumatları təmizləyin.
AI nəyi təmizləməyi bilmədən fərziyyələrlə hərəkət edir; Siz müşahidələri silə, vahidləri dəyişə bilərsiniz, fərq etməyəcəksiniz.
Güclü göstəriş:
Bu aylıq xarici ticarət məlumatlarında ixrac “min ABŞ dolları”, idxal isə “milyon ABŞ dolları” ilə göstərilir. İkisini "milyon ABŞ dolları" ilə bərabərləşdirin, çatışmayan ayları qeyd edin, lakin DOLDURMAYIN, tarixləri ayın sonuna uyğunlaşdırın. Hər addımda neçə cərgənin təsirləndiyini çap edin; səssizcə heç bir sıra silməyin. Sonra bir aylıq balansı əl ilə yoxlaya biləcəyim şəkildə göstərin.
Ümumi səhvlər
- Dönüşüm kodunu oxumadan işlətmək. Səhv baza/vahid bütün təhlili səssizcə pozur.
- Düşünmədən çatışmayan məlumatları doldurmaq. Böhran/fəlakət dövrünün ortalama ilə silinməsi.
- Həddindən artıq göstəriciləri avtomatik ləğv edin. Real hadisəni məlumat xətası ilə səhv salmaq.
- Mövsümi və illik artımı qarışdırır. İkisi fərqli ölçüdədir.
- Tezliklərin səhv birləşdirilməsi. Fond seriyalarının toplanması və axın kimi işlənməsi.
- EDA-dakı korrelyasiyanı səbəb əlaqəsi ilə səhv salmaq. Tanınma alətini sübut kimi səhv salmaq.
Xülasə
Məlumatların təmizlənməsi və çevrilməsi iqtisadi təhlilin görünməz, lakin həlledici 80 faizini təşkil edir. Süni intellekt bu mexaniki işi kəskin surətdə sürətləndirir; lakin hər təmizləmə addımını və hər transformasiyanı oxumaq və ən azı bir müşahidəni əl ilə yoxlamaq sizə bağlıdır. Deflyator bazası, vahid, tezlik və kənar qərarlar iqtisadi qərarlardır və onları kor-koranə süni intellektə buraxmaq olmaz. Kəşfiyyatlı analiz məlumatları təqdim edir, lakin korrelyasiya səbəb-nəticə deyil.
Tətbiq tapşırığı
Faktiki xam seriyanı endirin (məsələn, aylıq CPI və nominal əmək haqqı/gəlir seriyası). 1-ci şablonla təmizləmə planı yaradın, kodu 2-ci şablonla generasiya edin və seriyanı 3-cü şablonla reallaşdırın. Sonra kağız üzərində tək bir dövrün real dəyərini hesablayın və süni intellektin çıxışı ilə müqayisə edin. Uyğunsuzluq aşkar etsəniz, onun mənbəyini (əsas/vahid) diaqnoz edin və düzəldin və gedişatı qeyd edin.
yoxlama siyahısı
- [ ] Kod yazılmamışdan əvvəl təmizləmə planını nəzərdən keçirdim və təsdiqlədim.
- [ ] Mən bildirilən süni intellekt tərəfindən hər bir sətir silinmiş/dəyişdirilmişdir; Səssiz silmə yoxdur.
- [ ] Çatışmayan məlumatları doldurarkən siz "niyə boşdur?" sualına cavab verdim.
- [ ] Mən kənar göstəricinin real hadisə və ya məlumat xətası olduğunu araşdırdım.
- [ ] Həyata keçirərkən deflyator bazası ilə nəticə bazasının uyğun olduğunu təsdiqlədim.
- [ ] Mən ən azı bir dövrün çevrilməsini əl ilə yenidən hesabladım.
- [ ] Mən EDA-da korrelyasiyaları səbəbiyyət kimi təqdim etməmişəm.