Daromadlar:
- Xom iqtisodiy ma'lumotlarni (etishmayotgan kuzatishlar, birlik chalkashliklari, chastotalar mos kelmasligi) tozalash va sun'iy intellekt yordamida tahlilga tayyor qilish qobiliyati
- Haqiqiy nominal konvertatsiya, indeksatsiya, o'sish sur'ati, mavsumiy tuzatish kabi standart iqtisodiy o'zgarishlarni sun'iy intellektga kod sifatida chop etish va ularni qo'lda tekshirish qobiliyati
- Ma'lumotlarni tahliliy tahlil qilish (umumiy statistik ma'lumotlar, tarqatish, chet ko'rsatkichlar, korrelyatsiya) va sun'iy intellekt xulosalarini tanqidiy o'qish orqali ma'lumotlarni tanib olish qobiliyati
Iqtisodiy ma'lumotlar kamdan-kam hollarda tahlilga tayyor bo'ladi. Siz TURKSTATdan yuklab olgan jadvalda baʼzi oylar yoʻq, bitta ustun ming qavsli matn sifatida keladi, kurs “1.234,56” kabi turkcha formatda, bir qator oylik, ikkinchisi esa choraklik. Iqtisodchining ko‘p vaqti tahlilga emas, balki ma’lumotlarni tahlilga tayyor holga keltirishga sarflanadi. Bu yerda AI haqiqiy, past xavfli tezlatkichdir: u tozalash bosqichlarini taklif qiladi, pandalarni yozadi (Python maʼlumotlarini qayta ishlash kutubxonasi), standart iqtisodiy oʻzgarishlarni kodlaydi. Ammo bu birlikning o'zgarmas qoidasi ham bor: siz sun'iy intellekt tomonidan yozilgan har bir transformatsiyani o'qiysiz va uni kamida bitta kuzatishda qo'lda tekshirasiz. Haqiqiy nominal tsikl noto'g'ri asosda bo'lsa, butun tahlil jimgina buziladi.
Tozalash: qanday muammolar, ularni qanday hal qilish kerak?
Iqtisodiy ma'lumotlarda eng ko'p uchraydigan muammolar va ularning mantig'i:
- Tugallanmagan kuzatish. Bir oy/chorak bo'sh. Yechim kontekstga bog'liq: agar u aslida mavjud bo'lmasa, u bo'sh qoladi; Agar texnik bo'shliq mavjud bo'lsa, ehtiyotkorlik bilan interpolyatsiya qilinadi - lekin ishlab chiqarish orasidagi chiziq juda nozik.
- Birliklar va formatlarning chalkashligi. "12.345.6" matni raqamga aylantirilishi kerak; million/milliard izchil bo'lishi kerak.
- Chastotaning mos kelmasligi. Oylik va choraklik seriyalarni birlashtirish uchun biri yig'iladi (oylikdan chorakgacha) - bu o'rtachami, jamimi yoki davr oxiri ko'rsatkichning xususiyatiga bog'liq (aksiya / oqim farqi).
- Chek (ekstremal) qiymatlar. Agar kuzatuv vahshiylik bilan og'ishsa: bu haqiqiy voqeami (inqiroz, narxlarning oshishi) yoki ma'lumotlar xatosi? Bu o'chirishdan oldin tushuniladi.
- Sanani moslashtirish. Turli seriyalarning sana formatlari va davr ta'riflari sinxronlashtiriladi.
Diqqat: etishmayotgan ma'lumotlarni to'ldirish begunoh ko'rinadi, ammo bu iqtisodiy qaror. Inqiroz oyini "qo'shni oylarning o'rtacha ko'rsatkichi" bilan to'ldirish bu inqirozni tahlildan o'chirishni anglatadi. To'ldirishdan oldin "nega bu bo'shliq mavjud?" Savolga javob bering.
Standart iqtisodiy o'zgarishlar
Iqtisodchining kundalik repertuaridagi o'zgarishlar va ularning ta'riflari:
- Nominal → Real. Narxlar ta'sirini sozlash: haqiqiy qiymat = nominal qiymat / narx indeksi × 100. Deflyatorning bazaviy yili (sozlash indeksi) natijaning asosini aniqlaydi.
- Indekslash. Tanlangan davr = 100 bo'lishi uchun qatorni o'zgartirish; Turli o'lchamdagi seriyalarni solishtirish uchun foydalidir.
- O'sish sur'ati. Yillik: (shu davr shu davr / o'tgan yil - 1) × 100. Davriy va yillik stavka turli xil narsalar; Chalkashlik - bu keng tarqalgan xato.
- Mavsumiy tuzatish. Muntazam mavsumiy effektlarni tozalash (yozgi turizm, bayramlar); Raw seriyasi va mavsumiy tuzatilgan seriyalar turli xil voqealarni aytib beradi.
- Harakatlanuvchi o'rtacha. Shovqinni yumshatish va tendentsiyani ko'rinadigan qilish.
- Logarifmlar va farqlash. O'sish dinamikasi va statsionarlikni o'rganish (vaqt seriyasi birligida chuqurlashadi).
Maslahat: Har bir konvertatsiya bilan sizdan "birlik va bazaga nima bo'ldi?" Deb so'raladi. so'rang. Haqiqiy qatorning asosi deflyatorning asosidir; Indekslangan seriyaning asosi siz tanlagan davrdir. Buni yozib qo'yish kelajakdagi xatolarning oldini oladi.
Tadqiqot ma'lumotlarini tahlil qilish (EDA)
Modelga kiritishdan oldin ma'lumotlarni tanib olish kerak. Tadqiqot ma'lumotlarini tahlil qilish (EDA) quyidagilarni o'z ichiga oladi: umumiy statistika (o'rtacha, o'rtacha, standart og'ish, min-maks), taqsimlanish shakli, vaqt bo'yicha kurs, ketma-ketliklar va qatorlar orasidagi korrelyatsiya. AI bu qadamlar uchun kodni tezda yaratadi; Sizning vazifangiz natijani iqtisodiy ko'z bilan o'qishdir: "Bu o'rtacha mantiqiymi? Bu korrelyatsiya tasodifmi yoki ma'lum munosabatlarmi?"
Diqqat: Korrelyatsiya bu erda faqat identifikatsiyalash vositasidir, sababini isbotlash emas. Ikki seriyaning birgalikda harakatlanishi (masalan, muzqaymoq savdosi va cho'kishlar - ikkalasi ham yozda qo'zg'atilgan) biri ikkinchisiga olib kelishini ko'rsatmaydi. Biz bu farqni 7-bo'limda chuqurlashtiramiz.
uchta mini holat
1-holat - noto'g'ri deflyator bazasi. Tahlilchi ish haqi seriyasini amalga oshirish uchun sun'iy intellekt yozish kodiga ega edi. Kod ishladi, natija mantiqiy ko‘rindi — lekin tahlilchi 2020 yilni HISOBLASH bosqichida qo‘lda hisoblab chiqdi va u ishlamadi. Muammo: sun'iy intellekt 2003 = 100 bazali deflyatordan foydalangan va 2015 yil narxlari bilan ish haqi seriyasini talab qilgan; Bazalar bir-biriga zid edi. Kod bitta chiziqli tuzatish bilan ta'mirlandi, butun seriya joyiga tushdi.
2-holat - ovozsiz ovoz balandligi xatosi. Bir muassasa eksport ma'lumotlarini ming dollarga va importni million dollarga kamaytirdi. Sun'iy intellekt "tashqi savdo balansi" uchun ikkalasini olib tashlaganida, natijada bema'ni defitsit paydo bo'ldi. EDA-dagi min-max ko'rinishi xatoni aniqladi: ikkita seriyaning kattalik tartibi 1000 koeffitsient bilan farq qildi. Birlik tenglashtirilgandan so'ng balans to'g'ri bo'ldi.
3-holat - Chiqib ketishni o'chirmaslik. Seriyadagi bir oy juda kam edi. AI "chetdan tashqari, uni tozalaylik" ni taklif qildi. Tahlilchi tekshirdi: o'sha oy tabiiy ofat tufayli ishlab chiqarish haqiqatda to'xtab qolgan edi. Qiymat haqiqiy edi; Uni o'chirish tarixni buzadi. Oʻchirish oʻrniga unga izoh berilgan. AIning "aniq" tavsiyasi ko'r-ko'rona bajarilmadi.
Konvertatsiyani tekshirish jadvali
Konvertatsiya
formulaning mohiyati
qo'lda tekshirish punkti
amalga oshirish
nominal / narx indeksi × 100
Deflyator bazasi = natija bazasi?
yillik o'sish
(t / t-12 oy - 1) × 100
Qog'ozda davrni hisoblang
indekslash
seriya/asosiy davr × 100
Asosiy davr qiymati 100mi?
Oylik → choraklik
oqim: yig'ish / zaxira: davr oxiri
To'g'ri yig'ish usuli?
harakatlanuvchi o'rtacha
oxirgi n davr o'rtacha
Deraza uzunligi to'g'rimi?
To'rt nusxa ko'chirish shablonlari
1) Tozalash rejasi:
Menda bu xom ma'lumotlar bor: [ustunlar va namuna qatorlari]. Tahlilga tayyorgarlik ko'rish uchun tozalash rejasini tuzing: etishmayotgan qiymat, birlik/format muammosi, sanani moslashtirish, chastotalarni moslashtirish, mumkin bo'lgan chegaralar. Har bir qadam nima uchun zarurligini bir jumla bilan tushuntiring. Hali kod yozmang; avval rejani tasdiqlashimga ruxsat bering.
2) pandalarni tozalash kodi:
Men tasdiqlagan rejaga muvofiq pandalar kodini yozing. Kod har bir qadamda nima qilishini sharh satri bilan ko'rsatsin; U konvertatsiya qilinganidan keyin qatorlar sonini va etishmayotgan qiymatlarni chop etadi. Har qanday kuzatuvni jimgina o'chirmang; O'chirilgan har bir satr haqida xabar bering.
3) Amalga oshirish (tekshirish mumkin):
Ushbu nominal qatorni [narx indeksi] bilan amalga oshiring. Deflyatordan foydalanganda uning asosiy yilini aniq yozing; Olingan qatorning asosi nima ekanligini ko'rsating. Hisobni bir muddat davomida bosqichma-bosqich ko‘rsating, shunda uni qo‘lda tekshirishim mumkin.
4) Tekshirish tahlilining xulosasi:
Quyidagi tozalangan ma'lumotlar uchun tadqiqot tahlil kodini yozing: yig'ma statistika, vaqt seriyasining syujeti, chetni skanerlash va korrelyatsiya matritsasi. Natijalarni sharhlayotganda, siz topgan korrelyatsiyalar CAUSAL emasligini aniq ko'rsating va men uchun ajralib turadigan 3 nuqtani sanab o'ting.
Zaif taklif / Kuchli taklif
Zaif taklif:
Ushbu ma'lumotlarni tozalang.
AI nimani tozalashni bilmasdan taxminlar bilan harakat qiladi; Siz kuzatuvlarni o'chirishingiz, birliklarni o'zgartirishingiz mumkin, siz sezmaysiz.
Kuchli so'rov:
Ushbu oylik tashqi savdo maʼlumotlarida eksport “ming AQSH dollari”, import esa “million dollar”da koʻrsatilgan. Ikkalasini "million AQSH dollari"ga tenglashtiring, etishmayotgan oylarni belgilang, lekin TO'LDIRMANG, sanalarni oy oxiriga to'g'rilang. Har bir qadamda qancha qator ta'sirlanishini chop eting; hech qanday qatorni jimgina o'chiring. Keyin bir oy uchun balansni qo'lda tekshirishim mumkin bo'lgan tarzda ko'rsating.
Umumiy xatolar
- Konvertatsiya kodini o'qimasdan ishga tushirish. Noto'g'ri tayanch/birlik butun tahlilni jimgina buzadi.
- O'ylamasdan etishmayotgan ma'lumotlarni to'ldirish. Inqiroz/falokat davrini o'rtacha bilan o'chirish.
- Chiqib ketishlarni avtomatik ravishda bekor qilish. Haqiqiy hodisani ma'lumotlar xatosi bilan xato qilish.
- Mavsumiy va yillik o'sishni chalkashtirib yuborish. Ikkisi turli o'lchamlarga ega.
- Chastotalarni noto'g'ri birlashtirish. Birja seriyasini yig'ish va uni oqim sifatida qayta ishlash.
- EDA dagi korrelyatsiyani sababiy bog'liqlik uchun xato qilish. Tan olish vositasini dalil sifatida xato qilish.
qisqa bayoni; yakunida
Ma'lumotlarni tozalash va o'zgartirish iqtisodiy tahlilning ko'rinmas, ammo hal qiluvchi 80 foizidir. Sun'iy intellekt bu mexanik ishni keskin tezlashtiradi; lekin har bir tozalash bosqichini va har bir o'zgartirishni o'qib chiqish va kamida bitta kuzatishni qo'lda tekshirish sizga bog'liq. Deflyator bazasi, birligi, chastotasi va chegaraviy qarorlar iqtisodiy qarorlar bo'lib, ularni ko'r-ko'rona sun'iy intellektga topshirish mumkin emas. Tekshirish tahlili ma'lumotlarni kiritadi, ammo korrelyatsiya sabab-oqibatlilik yo'q.
Ilova vazifasi
Haqiqiy xom ashyo seriyasini yuklab oling (masalan, oylik CPI va nominal ish haqi/daromadlar seriyasi). 1-shablon bilan tozalash rejasini tuzing, kodni 2-shablon bilan yarating va 3-shablon bilan seriyani amalga oshiring. Keyin qog'ozda bitta davrning haqiqiy qiymatini hisoblang va uni sun'iy intellektning chiqishi bilan solishtiring. Agar nomuvofiqlikni topsangiz, tashxis qo'ying va uning manbasini (asosiy/birlik) tuzating va taraqqiyotga e'tibor bering.
nazorat ro'yxati
- [ ] Kod yozilishidan oldin tozalash rejasini ko'rib chiqdim va tasdiqladim.
- [ ] Sun'iy intellekt tomonidan har bir satr o'chirildi/o'zgartirildi; Ovozsiz oʻchirish yoʻq.
- [ ] Yetishmayotgan maʼlumotlarni toʻldirganda “nega u boʻsh?” deb soʻrashingiz mumkin. Men savolga javob berdim.
- [ ] Men chetga chiqish haqiqiy hodisa yoki maʼlumotlar xatosi ekanligini tekshirdim.
- [ ] Amalga oshirishda men deflyator bazasi va natija bazasi mos kelishini tasdiqladim.
- [ ] Men kamida bitta davr konvertatsiyasini qo'lda qayta hisoblab chiqdim.
- [ ] Men EDA dagi korrelyatsiyalarni sabab sifatida ko'rsatmadim.