Keuntungan:
- Kemampuan untuk membersihkan data ekonomi mentah (pengamatan yang hilang, kebingungan unit, ketidaksesuaian frekuensi) dan membuatnya siap untuk dianalisis dengan bantuan kecerdasan buatan
- Kemampuan untuk mencetak transformasi ekonomi standar seperti konversi nominal nyata, indeksasi, tingkat pertumbuhan, penyesuaian musiman sebagai kode menjadi kecerdasan buatan dan memverifikasinya secara manual
- Kemampuan untuk mengenali data melalui analisis data eksplorasi (ringkasan statistik, distribusi, outlier, korelasi) dan membaca ringkasan kecerdasan buatan secara kritis
Data ekonomi jarang sekali siap untuk dianalisis. Dalam tabel yang Anda unduh dari TURKSTAT, beberapa bulan hilang, satu kolom muncul sebagai teks dengan ribuan tanda kurung, nilai tukar dalam format Turki seperti "1.234,56", satu seri bulanan dan yang lainnya triwulanan. Sebagian besar waktu ekonom dihabiskan bukan untuk melakukan analisis, namun untuk menyiapkan data untuk dianalisis. Di sinilah AI menjadi akselerator yang nyata dan berisiko rendah: AI menyarankan langkah-langkah pembersihan, menulis pandas (perpustakaan pemrosesan data Python), mengkodifikasi transformasi ekonomi standar. Namun unit ini juga memiliki aturan yang tidak dapat diubah: Anda membaca setiap transformasi yang ditulis oleh kecerdasan buatan dan memverifikasinya secara manual setidaknya dalam satu pengamatan. Jika siklus riil-nominal berada pada pijakan yang salah, seluruh analisis secara diam-diam akan meluruh.
Pembersihan: masalah apa, bagaimana cara mengatasinya?
Masalah paling umum dalam data ekonomi dan logikanya:
- Pengamatan tidak lengkap. Satu bulan/kuartal kosong. Solusinya tergantung pada konteksnya: jika tidak benar-benar ada, maka dibiarkan kosong; Jika ada kesenjangan teknis, interpolasi hati-hati dilakukan — namun batas antara fabrikasinya tipis.
- Kebingungan unit dan format. Teks "12.345.6" harus diubah menjadi angka; juta/miliar harus menjadi konsisten.
- Ketidakcocokan frekuensi. Untuk menggabungkan rangkaian bulanan dan triwulanan, satu rangkaian dikumpulkan (bulanan ke triwulanan) — apakah itu rata-rata, total, atau akhir periode bergantung pada sifat indikatornya (perbedaan stok/aliran).
- Nilai outlier (ekstrim). Jika pengamatan sangat menyimpang: apakah itu peristiwa nyata (krisis, kenaikan harga), atau kesalahan data? Hal ini dipahami sebelum penghapusan.
- Penyelarasan tanggal. Format tanggal dan definisi periode dari seri yang berbeda disinkronkan.
Perhatian: Mengisi data yang hilang tampaknya tidak bersalah, namun ini merupakan keputusan ekonomi. Mengisi bulan krisis dengan "rata-rata bulan-bulan yang berdekatan" berarti menghapus krisis tersebut dari analisis. Sebelum mengisi, tanyakan “mengapa kesenjangan ini ada?” Jawab pertanyaannya.
Transformasi ekonomi standar
Transformasi dan definisinya dalam repertoar harian seorang ekonom:
- Nominal → Nyata. Penyesuaian terhadap dampak harga: nilai riil = nilai nominal / indeks harga × 100. Tahun dasar deflator (indeks penyesuaian) menentukan dasar hasilnya.
- Pengindeksan. Mengubah skala rangkaian sehingga periode yang dipilih = 100; Hal ini berguna untuk membandingkan serangkaian ukuran yang berbeda.
- Tingkat pertumbuhan. Tahunan: (periode yang sama pada periode ini / tahun lalu − 1) × 100. Tarif periodik dan tahunan adalah hal yang berbeda; Membingungkan adalah kesalahan umum.
- Koreksi musiman. Memurnikan pengaruh musiman yang teratur (pariwisata musim panas, hari libur); Serial mentah dan serial yang disesuaikan secara musiman menceritakan kisah yang berbeda.
- Rata-rata bergerak. Menghaluskan kebisingan dan membuat tren terlihat.
- Logaritma dan diferensiasi. Mengkaji dinamika dan stasioneritas pertumbuhan (akan diperdalam pada unit time series).
Tip: Dengan setiap konversi Anda akan ditanya "apa yang terjadi dengan satuan dan basis?" bertanya. Basis rangkaian nyata adalah basis deflator; Basis rangkaian yang diindeks adalah periode yang Anda pilih. Mencatat hal ini akan mencegah kesalahan di masa depan.
Analisis data eksplorasi (EDA)
Penting untuk mengenali data sebelum memasukkannya ke dalam model. Analisis data eksplorasi (EDA) meliputi: ringkasan statistik (mean, median, standar deviasi, min-max), bentuk distribusi, perjalanan waktu, outlier dan korelasi antar seri. AI dengan cepat membuat kode untuk langkah-langkah ini; Tugas Anda adalah membaca hasilnya dengan sudut pandang ekonomi: "Apakah rata-rata ini masuk akal? Apakah korelasi ini suatu kebetulan atau hubungan yang diketahui?"
Perhatian: Korelasi di sini hanyalah alat identifikasi, bukan bukti sebab-akibat. Fakta bahwa dua rangkaian kejadian terjadi secara bersamaan (misalnya, penjualan es krim dan kejadian tenggelam—keduanya dipicu oleh musim panas) tidak selalu menunjukkan bahwa satu rangkaian mengarah ke rangkaian lainnya. Kami akan memperdalam perbedaan ini di unit 7.
tiga kasus mini
Kasus 1 — Basis deflator salah. Seorang analis memiliki kode penulisan kecerdasan buatan untuk merealisasikan rangkaian upah. Kode berfungsi, hasilnya tampak masuk akal — tetapi analis menghitung tahun 2020 secara manual pada langkah HITUNG dan tidak berhasil. Masalah: kecerdasan buatan menggunakan deflator dengan basis 2003=100 dan meminta rangkaian upah dengan harga tahun 2015; Basisnya saling bertentangan. Kode diperbaiki dengan satu baris perbaikan, seluruh seri jatuh ke tempatnya.
Kasus 2 — Kesalahan volume senyap. Sebuah lembaga telah mengurangi data ekspor dalam ribuan dolar dan impor dalam jutaan dolar. Ketika kecerdasan buatan menghilangkan keduanya untuk “neraca perdagangan luar negeri”, hasilnya adalah defisit yang tidak masuk akal. Tampilan min-maks di EDA menunjukkan kesalahan: urutan besaran kedua rangkaian berbeda sebesar 1000 kali lipat. Setelah unit disamakan, keseimbangan menjadi benar.
Kasus 3 — Tidak menghapus outlier. Satu bulan berturut-turut sangatlah rendah. AI menyarankan "pencilan, ayo kita bersihkan". Analis menyelidiki: produksi sebenarnya terhenti karena bencana alam pada bulan itu. Nilainya nyata; Menghapusnya akan memutarbalikkan sejarah. Alih-alih dihapus, malah diberi catatan kaki. Rekomendasi AI yang “jelas” tidak diikuti begitu saja.
Tabel validasi konversi
Konversi
esensi formula
pos pemeriksaan manual
realisasi
nominal/indeks harga × 100
Basis deflator = basis hasil?
pertumbuhan tahunan
(t / t-12 bulan − 1)×100
Hitung periode di atas kertas
pengindeksan
deret/periode dasar × 100
Apakah nilai periode dasarnya 100?
Bulanan→triwulanan
aliran: kumpulkan / stok: akhir periode
Metode pengumpulan yang benar?
rata-rata bergerak
rata-rata n periode terakhir
Apakah panjang jendela sudah benar?
Empat templat yang dapat disalin
1) Rencana pembersihan:
Saya memiliki data mentah ini: [kolom dan baris sampel]. Buatlah rencana pembersihan untuk mempersiapkan analisis: nilai yang hilang, masalah unit/format, penyelarasan tanggal, penyelarasan frekuensi, kemungkinan outlier. Jelaskan dalam satu kalimat mengapa setiap langkah diperlukan. Jangan menulis kode dulu; izinkan saya mengkonfirmasi rencananya terlebih dahulu.
2) kode pembersihan panda:
Tulis kode pandas sesuai dengan rencana yang saya setujui. Biarkan kode menunjukkan apa yang dilakukannya pada setiap langkah dengan baris komentar; Ini mencetak jumlah baris dan nilai yang hilang setelah konversi. Jangan menghapus pengamatan apa pun secara diam-diam; Laporkan setiap baris yang Anda hapus.
3) Realisasi (dapat diverifikasi):
Sadarilah seri nominal ini dengan [indeks harga]. Tuliskan dengan jelas tahun dasar deflator saat digunakan; Tentukan basis dari deret yang dihasilkan. Tunjukkan akun tersebut langkah demi langkah untuk satu periode sehingga saya dapat memverifikasinya secara manual.
4) Ringkasan analisis eksplorasi:
Tulis kode analisis eksplorasi untuk data bersih berikut: statistik ringkasan, plot deret waktu, pemindaian outlier, dan matriks korelasi. Saat menafsirkan hasil, jelaskan bahwa korelasi yang Anda temukan bukanlah KAUSAL dan sebutkan 3 poin yang menonjol bagi saya.
Perintah lemah / Perintah kuat
Perintah yang lemah:
Hapus data ini.
AI bertindak berdasarkan asumsi tanpa mengetahui apa yang harus dibersihkan; Anda dapat menghapus pengamatan, mengubah unit, Anda tidak akan menyadarinya.
Perintah yang kuat:
Dalam data perdagangan luar negeri bulanan ini, ekspor dalam "ribu USD" dan impor dalam "juta USD". Samakan keduanya dalam "juta USD", tandai bulan yang hilang tapi JANGAN DIISI, sejajarkan tanggalnya dengan akhir bulan. Cetak berapa banyak baris yang terpengaruh pada setiap langkah; hapus secara diam-diam tidak ada baris. Kemudian tunjukkan saldo untuk satu bulan sedemikian rupa sehingga saya bisa memeriksanya secara manual.
Kesalahan umum
- Menjalankan kode konversi tanpa membacanya. Basis/unit yang salah secara diam-diam merusak keseluruhan analisis.
- Mengisi data yang hilang tanpa berpikir. Menghapus masa krisis/bencana dengan rata-rata.
- Secara otomatis membuang outlier. Mengira peristiwa nyata sebagai kesalahan data.
- Membingungkan pertumbuhan musiman dan tahunan. Keduanya berbeda ukuran.
- Menggabungkan frekuensi secara tidak benar. Mengumpulkan seri stok dan memprosesnya sebagai aliran.
- Salah mengira korelasi dalam EDA sebagai kausalitas. Salah mengira alat pengenalan sebagai bukti.
Singkatnya
Pembersihan dan transformasi data adalah 80 persen analisis ekonomi yang tidak terlihat namun menentukan. Kecerdasan buatan secara signifikan mempercepat pekerjaan mekanis ini; namun terserah Anda untuk membaca setiap langkah pembersihan dan setiap transformasi serta memverifikasi secara manual setidaknya satu pengamatan. Keputusan dasar, unit, frekuensi, dan outlier deflator adalah keputusan ekonomi dan tidak dapat diserahkan begitu saja kepada kecerdasan buatan. Analisis eksplorasi memperkenalkan data, namun korelasi tidak ada sebab-akibat.
Tugas aplikasi
Unduh rangkaian mentah sebenarnya (misalnya CPI bulanan dan rangkaian upah/pendapatan nominal). Buat rencana pembersihan dengan templat pertama, buat kode dengan templat kedua, dan wujudkan rangkaian dengan templat ketiga. Kemudian hitung nilai sebenarnya dari satu periode di atas kertas dan bandingkan dengan keluaran kecerdasan buatan. Jika Anda menemukan ketidakcocokan, diagnosa dan perbaiki sumbernya (dasar/unit) dan catat perkembangannya.
daftar periksa
- [ ] Saya meninjau dan menyetujui rencana pembersihan sebelum kode ditulis.
- [ ] Saya telah menghapus/mengubah setiap baris oleh kecerdasan buatan yang dilaporkan; Tidak ada penghapusan diam-diam.
- [ ] Saat mengisi data yang hilang mungkin Anda bertanya "kenapa kosong?" Saya menjawab pertanyaan itu.
- [ ] Saya menyelidiki apakah outlier itu peristiwa nyata atau kesalahan data.
- [ ] Dalam realisasinya, saya memverifikasi bahwa basis deflator dan basis hasil cocok.
- [ ] Saya menghitung ulang konversi setidaknya satu periode secara manual.
- [ ] Saya tidak menyajikan korelasi dalam EDA sebagai sebab akibat.