Keuntungan:
- Keupayaan untuk membersihkan data ekonomi mentah (pemerhatian yang hilang, kekeliruan unit, ketidakpadanan kekerapan) dan menyediakannya untuk analisis dengan bantuan kecerdasan buatan
- Keupayaan untuk mencetak transformasi ekonomi standard seperti penukaran nominal sebenar, pengindeksan, kadar pertumbuhan, pelarasan bermusim sebagai kod ke dalam kecerdasan buatan dan mengesahkannya secara manual
- Keupayaan untuk mengenali data melalui analisis data penerokaan (statistik ringkasan, pengedaran, outlier, korelasi) dan membaca ringkasan kecerdasan buatan secara kritis
Data ekonomi jarang disediakan untuk analisis. Dalam jadual yang anda muat turun daripada TURKSTAT, beberapa bulan tiada, satu lajur datang sebagai teks dengan ribuan kurungan, kadar pertukaran adalah dalam format Turki seperti "1.234,56", satu siri adalah bulanan dan satu lagi adalah setiap suku tahun. Kebanyakan masa ahli ekonomi dibelanjakan bukan untuk analisis, tetapi untuk menyediakan data untuk dianalisis. Di sinilah AI adalah pemecut sebenar yang berisiko rendah: ia mencadangkan langkah pembersihan, menulis panda (perpustakaan pemprosesan data Python), mengkodifikasikan transformasi ekonomi standard. Tetapi unit ini juga mempunyai peraturan tidak berubah: Anda membaca setiap transformasi yang ditulis oleh kecerdasan buatan dan mengesahkannya secara manual dalam sekurang-kurangnya satu pemerhatian. Jika kitaran nominal sebenar berada di landasan yang salah, keseluruhan analisis akan mereput secara senyap-senyap.
Pembersihan: apa masalah, bagaimana untuk menyelesaikannya?
Masalah yang paling biasa dalam data ekonomi dan logiknya:
- Pemerhatian yang tidak lengkap. Satu bulan/suku kosong. Penyelesaian bergantung pada konteks: jika ia tidak benar-benar wujud, ia dibiarkan kosong; Jika terdapat jurang teknikal, interpolasi berhati-hati dilakukan — tetapi garis antara fabrikasi adalah tipis.
- Kekeliruan unit dan format. Teks "12.345.6" mesti ditukar kepada nombor; juta/bilion harus menjadi konsisten.
- Kekerapan tidak sepadan. Untuk menggabungkan siri bulanan dan suku tahunan, satu diagregatkan (bulanan hingga suku tahunan) — sama ada purata, jumlah atau akhir tempoh bergantung pada sifat penunjuk (pembezaan stok/aliran).
- Nilai luar biasa (melampau). Jika pemerhatian menyimpang secara liar: adakah ia peristiwa sebenar (krisis, kenaikan harga) atau ralat data? Ia difahami sebelum pemadaman.
- Penjajaran tarikh. Format tarikh dan takrifan tempoh siri berbeza disegerakkan.
Perhatian: Mengisi data yang hilang nampaknya tidak bersalah, tetapi ini adalah keputusan ekonomi. Mengisi bulan krisis dengan "purata bulan jiran" bermakna memadamkan krisis itu daripada analisis. Sebelum mengisi, tanya "mengapa jurang ini wujud?" Jawab soalan.
Transformasi ekonomi standard
Transformasi dan definisinya dalam himpunan harian seorang ahli ekonomi:
- Nominal → Nyata. Pelarasan untuk kesan harga: nilai sebenar = nilai nominal / indeks harga × 100. Tahun asas deflator (indeks pelarasan) menentukan asas hasil.
- Pengindeksan. Menskala semula siri supaya tempoh yang dipilih = 100; Ia berguna untuk membandingkan siri saiz yang berbeza.
- Kadar pertumbuhan. Tahunan: (tempoh yang sama tempoh ini / tahun lepas − 1) × 100. Kadar berkala dan tahunan adalah perkara yang berbeza; Mengelirukan adalah kesilapan biasa.
- Pembetulan bermusim. Membersihkan kesan bermusim biasa (pelancongan musim panas, cuti); Siri mentah dan siri pelarasan musim menceritakan kisah yang berbeza.
- Purata bergerak. Menghilangkan bunyi bising dan membuat trend kelihatan.
- Logaritma dan pembezaan. Untuk mengkaji dinamik pertumbuhan dan pegun (akan mendalami dalam unit siri masa).
Petua: Dengan setiap penukaran anda akan ditanya "apa yang berlaku kepada unit dan pangkalan?" bertanya. Asas siri sebenar ialah asas deflator; Asas siri yang diindeks ialah tempoh yang anda pilih. Menyimpan ini ditulis menghalang kesilapan masa depan.
Analisis data penerokaan (EDA)
Ia adalah perlu untuk mengenali data sebelum memasukkannya ke dalam model. Analisis data penerokaan (EDA) termasuk: statistik ringkasan (min, median, sisihan piawai, min-maks), bentuk taburan, kursus dari masa ke masa, outlier dan korelasi antara siri. AI cepat menjana kod untuk langkah-langkah ini; Tugas anda ialah membaca output dengan pandangan ekonomi: "Adakah purata ini munasabah? Adakah korelasi ini kebetulan atau hubungan yang diketahui?"
Awas: Korelasi hanyalah satu cara pengenalpastian di sini, bukan bukti sebab musabab. Fakta bahawa dua siri bergerak bersama-sama (cth., penjualan ais krim dan lemas—keduanya dicetuskan oleh musim panas) tidak semestinya menunjukkan bahawa satu membawa kepada yang lain. Kami akan mendalami perbezaan ini dalam unit 7.
tiga kes mini
Kes 1 — Tapak deflator tidak betul. Seorang penganalisis mempunyai kod menulis kecerdasan buatan untuk merealisasikan siri gaji. Kod itu berfungsi, hasilnya kelihatan munasabah — tetapi penganalisis mengira 2020 secara manual dalam langkah CALCULATE dan ia tidak berfungsi. Masalah: kecerdasan buatan menggunakan deflator dengan asas 2003=100 dan meminta siri upah dengan harga 2015; Pangkalan itu bercanggah. Kod telah dibaiki dengan pembetulan satu baris, keseluruhan siri jatuh ke tempatnya.
Kes 2 — Ralat kelantangan senyap. Sebuah institusi telah mengurangkan data eksport dalam ribuan dolar dan import dalam jutaan dolar. Apabila kecerdasan buatan mengeluarkan kedua-duanya untuk "imbangan perdagangan asing", hasilnya adalah defisit yang tidak masuk akal. Paparan min-maks dalam EDA mendedahkan ralat: susunan magnitud dua siri berbeza dengan faktor 1000. Sebaik sahaja unit disamakan, baki adalah betul.
Kes 3 — Tidak memadamkan outlier. Satu bulan dalam satu siri adalah sangat rendah. AI mencadangkan "outlier, mari bersihkannya". Penganalisis menyiasat: pengeluaran sebenarnya telah berhenti kerana bencana alam pada bulan itu. Nilai itu nyata; Memadamkannya akan memesongkan sejarah. Daripada pemadaman, ia diberi nota kaki. Cadangan "jelas" AI tidak diikuti secara membuta tuli.
Jadual pengesahan penukaran
Penukaran
intipati formula
pusat pemeriksaan manual
kesedaran
nominal / indeks harga × 100
Asas deflator = asas hasil?
pertumbuhan tahunan
(t / t-12bulan − 1)×100
Kira tempoh di atas kertas
pengindeksan
siri/tempoh asas × 100
Adakah nilai tempoh asas 100?
Bulanan→ suku tahunan
aliran: kumpul / stok: akhir tempoh
Kaedah pengumpulan yang betul?
purata bergerak
purata tempoh n terakhir
Adakah panjang tingkap betul?
Empat templat yang boleh disalin
1) Pelan pembersihan:
Saya mempunyai data mentah ini: [lajur dan baris sampel]. Sediakan pelan pembersihan untuk menyediakan analisis: nilai hilang, isu unit/format, penjajaran tarikh, penjajaran kekerapan, kemungkinan outlier. Terangkan dalam satu ayat mengapa setiap langkah perlu. Jangan tulis kod lagi; biar saya sahkan rancangannya dahulu.
2) kod pembersihan panda:
Tulis kod panda mengikut pelan yang saya luluskan. Biarkan kod menunjukkan apa yang dilakukan pada setiap langkah dengan baris ulasan; Ia mencetak bilangan baris dan nilai yang hilang selepas penukaran. Jangan memadam sebarang pemerhatian secara senyap; Laporkan setiap baris yang anda padamkan.
3) Realisasi (boleh disahkan):
Realisasikan siri nominal ini dengan [indeks harga]. Tulis dengan jelas tahun asas deflator apabila anda menggunakannya; Nyatakan apakah asas siri yang terhasil. Tunjukkan kepada saya akaun langkah demi langkah untuk satu tempoh supaya saya boleh mengesahkannya secara manual.
4) Ringkasan analisis penerokaan:
Tulis kod analisis penerokaan untuk data yang dibersihkan berikut: statistik ringkasan, plot siri masa, imbasan outlier dan matriks korelasi. Apabila mentafsirkan keputusan, jelaskan bahawa korelasi yang anda temui bukan SEBAB dan senaraikan 3 perkara yang menonjol kepada saya.
Gesaan lemah / Gesaan kuat
Gesaan yang lemah:
Kosongkan data ini.
AI bertindak dengan andaian tanpa mengetahui apa yang perlu dibersihkan; Anda boleh memadam pemerhatian, menukar unit, anda tidak akan perasan.
Gesaan kuat:
Dalam data perdagangan asing bulanan ini, eksport adalah dalam "ribu USD" dan import adalah dalam "juta USD". Jadikan kedua-duanya sama dengan "juta USD", tandakan bulan yang hilang tetapi JANGAN ISI, selaraskan tarikh hingga akhir bulan. Cetak bilangan baris yang terjejas pada setiap langkah; padamkan tiada baris secara senyap. Kemudian tunjukkan baki untuk sebulan dengan cara yang saya boleh semak secara manual.
Kesilapan biasa
- Menjalankan kod penukaran tanpa membacanya. Pangkalan/unit yang salah secara senyap merosakkan keseluruhan analisis.
- Mengisi data yang hilang tanpa berfikir. Memadamkan tempoh krisis/bencana dengan purata.
- Buang outlier secara automatik. Menganggap peristiwa sebenar sebagai ralat data.
- Pertumbuhan bermusim dan tahunan yang mengelirukan. Kedua-duanya adalah saiz yang berbeza.
- Menggabungkan frekuensi secara tidak betul. Mengumpul siri stok dan memprosesnya sebagai aliran.
- Menyalahkan korelasi dalam EDA sebagai kausalitas. Menganggap alat pengecaman sebagai bukti.
Secara ringkasnya
Pembersihan dan transformasi data adalah 80 peratus analisis ekonomi yang tidak kelihatan tetapi menentukan. Kecerdasan buatan mempercepatkan kerja mekanikal ini secara mendadak; tetapi terpulang kepada anda untuk membaca setiap langkah pembersihan dan setiap transformasi dan mengesahkan sekurang-kurangnya satu pemerhatian secara manual. Keputusan asas, unit, kekerapan dan outlier deflator adalah keputusan ekonomi dan tidak boleh dibiarkan secara membuta tuli kepada kecerdasan buatan. Analisis penerokaan memperkenalkan data, tetapi korelasi tidak ada sebab.
Tugasan permohonan
Muat turun siri mentah sebenar (mis. CPI bulanan dan siri upah/pendapatan nominal). Buat rancangan pembersihan dengan templat pertama, buat kod dengan templat ke-2 dan nyatakan siri dengan templat ke-3. Kemudian hitung nilai sebenar satu tempoh di atas kertas dan bandingkan dengan output kecerdasan buatan. Jika anda mendapati ketidakpadanan, diagnosis dan betulkan sumbernya (asas/unit) dan catatkan kemajuannya.
senarai semak
- [ ] Saya menyemak dan meluluskan pelan pembersihan sebelum kod ditulis.
- [ ] Saya mempunyai setiap baris dipadam/diubah oleh kecerdasan buatan yang dilaporkan; Tiada pemadaman senyap.
- [ ] Apabila mengisi data yang hilang anda mungkin bertanya "mengapa ia kosong?" Saya menjawab soalan itu.
- [ ] Saya menyiasat sama ada outlier adalah peristiwa sebenar atau ralat data.
- [ ] Dalam kesedaran, saya mengesahkan bahawa asas deflator dan asas hasil sepadan.
- [ ] Saya mengira semula secara manual penukaran sekurang-kurangnya satu tempoh.
- [ ] Saya tidak membentangkan korelasi dalam EDA sebagai penyebab.