Lợi nhuận:
- Khả năng làm sạch dữ liệu kinh tế thô (thiếu quan sát, nhầm lẫn đơn vị, tần số không khớp) và sẵn sàng phân tích với sự trợ giúp của trí tuệ nhân tạo
- Khả năng in các chuyển đổi kinh tế tiêu chuẩn như chuyển đổi danh nghĩa thực, lập chỉ mục, tốc độ tăng trưởng, điều chỉnh theo mùa dưới dạng mã thành trí tuệ nhân tạo và xác minh chúng theo cách thủ công
- Khả năng nhận dạng dữ liệu thông qua phân tích dữ liệu thăm dò (thống kê tóm tắt, phân phối, ngoại lệ, tương quan) và đọc tóm tắt trí tuệ nhân tạo một cách nghiêm túc
Dữ liệu kinh tế hiếm khi sẵn sàng để phân tích. Trong bảng bạn đã tải xuống từ TURKSTAT, một số tháng bị thiếu, một cột xuất hiện dưới dạng văn bản với một nghìn dấu ngoặc, tỷ giá hối đoái ở định dạng tiếng Thổ Nhĩ Kỳ như "1.234,56", một cột là hàng tháng và cột kia là hàng quý. Phần lớn thời gian của nhà kinh tế không dành cho việc phân tích mà để chuẩn bị dữ liệu sẵn sàng cho việc phân tích. Đây là lúc AI trở thành một công cụ tăng tốc thực sự, ít rủi ro: nó gợi ý các bước dọn dẹp, viết gấu trúc (thư viện xử lý dữ liệu của Python), hệ thống hóa các chuyển đổi kinh tế tiêu chuẩn. Nhưng đơn vị này cũng có một quy tắc bất di bất dịch: Bạn đọc mọi phép biến đổi được viết bởi trí tuệ nhân tạo và xác minh nó theo cách thủ công trong ít nhất một lần quan sát. Nếu chu trình danh nghĩa thực đi sai hướng thì toàn bộ phân tích sẽ lặng lẽ suy sụp.
Vệ sinh: vấn đề gì, giải quyết thế nào?
Các vấn đề phổ biến nhất trong dữ liệu kinh tế và logic của chúng:
- Quan sát không đầy đủ. Một tháng/quý trống. Lời giải phụ thuộc vào ngữ cảnh: nếu nó không thực sự tồn tại thì để trống; Nếu có lỗ hổng kỹ thuật, việc nội suy cẩn thận sẽ được thực hiện - nhưng ranh giới giữa việc chế tạo rất mỏng.
- Nhầm lẫn giữa đơn vị và định dạng Văn bản "12.345.6" phải được chuyển đổi thành số; triệu/tỷ phải trở nên nhất quán.
- Tần số không phù hợp. Để kết hợp chuỗi hàng tháng và hàng quý, một chuỗi được tổng hợp (hàng tháng đến hàng quý) - cho dù đó là trung bình, tổng hay cuối kỳ tùy thuộc vào bản chất của chỉ báo (phân biệt hàng tồn kho/dòng).
- Giá trị ngoại lệ (cực đoan). Nếu một quan sát sai lệch quá mức: đó là một sự kiện có thật (khủng hoảng, tăng giá) hay lỗi dữ liệu? Nó được hiểu trước khi xóa.
- Căn chỉnh ngày. Định dạng ngày và định nghĩa thời gian của các chuỗi khác nhau được đồng bộ hóa.
Lưu ý: Việc điền dữ liệu còn thiếu có vẻ vô hại nhưng đó là một quyết định kinh tế. Việc lấp đầy tháng khủng hoảng bằng "số liệu trung bình của các tháng lân cận" có nghĩa là xóa cuộc khủng hoảng đó khỏi phân tích. Trước khi điền vào, hãy hỏi "tại sao khoảng trống này tồn tại?" Trả lời câu hỏi.
Chuyển đổi kinh tế tiêu chuẩn
Những biến đổi và định nghĩa của chúng trong công việc hàng ngày của một nhà kinh tế:
- Danh nghĩa → Thực tế. Điều chỉnh theo tác động của giá: giá trị thực = giá trị danh nghĩa / chỉ số giá × 100. Năm cơ sở của chỉ số giảm phát (chỉ số điều chỉnh) xác định cơ sở của kết quả.
- Lập chỉ mục. Thay đổi tỷ lệ chuỗi sao cho khoảng thời gian đã chọn = 100; Nó rất hữu ích để so sánh hàng loạt kích cỡ khác nhau.
- Tốc độ tăng trưởng. Hàng năm: (cùng kỳ kỳ này / năm ngoái − 1) × 100. Tỷ lệ định kỳ và hàng năm là những thứ khác nhau; Khó hiểu là một sai lầm phổ biến.
- Điều chỉnh theo mùa. Thanh lọc tác dụng theo mùa thường xuyên (du lịch hè, nghỉ lễ); Loạt phim thô và loạt phim được điều chỉnh theo mùa kể những câu chuyện khác nhau.
- Trung bình động. Làm dịu tiếng ồn và làm cho xu hướng có thể nhìn thấy được.
- Logarit và vi phân. Để kiểm tra động lực tăng trưởng và tính ổn định (sẽ đi sâu hơn trong đơn vị chuỗi thời gian).
Mẹo: Với mỗi lần chuyển đổi, bạn sẽ được hỏi "điều gì đã xảy ra với đơn vị và cơ sở?" hỏi. Cơ sở của chuỗi số thực là cơ sở của bộ giảm phát; Cơ sở của chuỗi được lập chỉ mục là khoảng thời gian bạn chọn. Việc ghi lại điều này sẽ ngăn ngừa những sai lầm trong tương lai.
Phân tích dữ liệu thăm dò (EDA)
Cần phải nhận dạng dữ liệu trước khi nhập vào mô hình. Phân tích dữ liệu thăm dò (EDA) bao gồm: số liệu thống kê tóm tắt (trung bình, trung vị, độ lệch chuẩn, tối thiểu-tối đa), hình dạng phân phối, diễn biến theo thời gian, các giá trị ngoại lệ và mối tương quan giữa các chuỗi. AI nhanh chóng tạo mã cho các bước này; Công việc của bạn là đọc kết quả bằng con mắt kinh tế: "Số trung bình này có hợp lý không? Mối tương quan này là sự trùng hợp ngẫu nhiên hay một mối quan hệ đã biết?"
Thận trọng: Ở đây mối tương quan chỉ là một phương tiện nhận dạng chứ không phải là bằng chứng về quan hệ nhân quả. Việc hai loạt phim di chuyển cùng nhau (ví dụ: doanh số bán kem và vụ chết đuối—cả hai đều được kích hoạt bởi mùa hè) không nhất thiết chỉ ra rằng chuỗi này dẫn đến chuỗi kia. Chúng ta sẽ làm sâu sắc thêm sự khác biệt này trong bài 7.
ba trường hợp nhỏ
Trường hợp 1 - Đế giảm phát không chính xác. Một nhà phân tích đã nhờ trí tuệ nhân tạo viết mã để hiện thực hóa chuỗi lương. Mã đã hoạt động, kết quả có vẻ hợp lý — nhưng nhà phân tích đã tính toán thủ công năm 2020 ở bước TÍNH TOÁN và kết quả không hoạt động. Vấn đề: trí tuệ nhân tạo đã sử dụng chỉ số giảm phát có cơ số 2003=100 và yêu cầu chuỗi lương với mức giá năm 2015; Các căn cứ đã xung đột. Mã đã được sửa chữa bằng cách sửa một dòng duy nhất, toàn bộ chuỗi đã vào đúng vị trí.
Trường hợp 2 - Lỗi âm lượng im lặng. Một cơ quan đã giảm số liệu xuất khẩu tính bằng nghìn đô và nhập khẩu tính bằng triệu đô. Khi trí tuệ nhân tạo loại bỏ cả hai để gọi "cán cân ngoại thương", kết quả là thâm hụt vô lý. Chế độ xem tối thiểu-tối đa trong EDA đã phát hiện ra lỗi: thứ tự độ lớn của hai chuỗi khác nhau theo hệ số 1000. Sau khi đơn vị được cân bằng, số dư là chính xác.
Trường hợp 3 - Không xóa ngoại lệ. Một tháng trong loạt phim là cực kỳ thấp. AI đề xuất "ngoại lệ, hãy làm sạch nó". Nhà phân tích điều tra: việc sản xuất thực sự đã bị ngừng do thiên tai vào tháng đó. Giá trị là có thật; Xóa nó sẽ bóp méo lịch sử. Thay vì xóa, nó lại được chú thích ở cuối trang. Khuyến nghị "rõ ràng" của AI không được tuân theo một cách mù quáng.
Bảng xác thực chuyển đổi
Chuyển đổi
tinh chất công thức
điểm kiểm tra thủ công
hiện thực hóa
danh nghĩa/chỉ số giá × 100
Cơ sở giảm phát = cơ sở kết quả?
tăng trưởng hàng năm
(t/t-12tháng − 1)×100
Tính chu kỳ trên giấy
lập chỉ mục
chuỗi/kỳ cơ sở × 100
Giá trị thời kỳ cơ sở có phải là 100 không?
Hàng tháng→hàng quý
Luồng: thu thập / tồn kho: cuối kỳ
Phương pháp thu thập đúng?
trung bình động
trung bình n kỳ trước
Độ dài cửa sổ có đúng không?
Bốn mẫu có thể sao chép
1) Kế hoạch vệ sinh:
Tôi có dữ liệu thô này: [cột và hàng mẫu]. Đưa ra một kế hoạch dọn dẹp để chuẩn bị cho việc phân tích: giá trị bị thiếu, vấn đề về đơn vị/định dạng, căn chỉnh ngày, căn chỉnh tần số, các ngoại lệ có thể xảy ra. Giải thích bằng một câu tại sao mỗi bước là cần thiết. Đừng viết mã vội; Hãy để tôi xác nhận kế hoạch trước.
2) mã dọn dẹp gấu trúc:
Viết mã gấu trúc theo kế hoạch tôi đã phê duyệt. Hãy để mã cho biết nó làm gì ở mỗi bước bằng một dòng nhận xét; Nó in số hàng và giá trị còn thiếu sau khi chuyển đổi. Đừng âm thầm xóa bỏ bất kỳ quan sát nào; Báo cáo mọi dòng bạn xóa.
3) Thực hiện (có thể kiểm chứng):
Hiện thực hóa chuỗi danh nghĩa này bằng [chỉ số giá]. Viết rõ năm cơ sở của bộ giảm phát khi bạn sử dụng nó; Chỉ định cơ sở của chuỗi kết quả là gì. Hiển thị cho tôi tài khoản từng bước trong một khoảng thời gian để tôi có thể xác minh tài khoản theo cách thủ công.
4) Tóm tắt phân tích thăm dò:
Viết mã phân tích thăm dò cho dữ liệu đã được làm sạch sau: thống kê tóm tắt, biểu đồ chuỗi thời gian, quét ngoại lệ và ma trận tương quan. Khi diễn giải kết quả, hãy làm rõ rằng các mối tương quan mà bạn tìm thấy không phải là NGUYÊN NHÂN và liệt kê 3 điểm nổi bật đối với tôi.
Dấu nhắc yếu / Dấu nhắc mạnh
Dấu nhắc yếu:
Xóa dữ liệu này.
AI hành động với các giả định mà không biết phải làm gì; Bạn có thể xóa quan sát, thay đổi đơn vị, bạn sẽ không để ý.
Lời nhắc mạnh mẽ:
Trong dữ liệu ngoại thương hàng tháng này, xuất khẩu tính bằng "ngàn USD" và nhập khẩu tính bằng "triệu USD". Làm cho cả hai bằng "triệu USD", đánh dấu những tháng còn thiếu nhưng KHÔNG ĐIỀN, căn chỉnh ngày cho đến cuối tháng. In bao nhiêu hàng bị ảnh hưởng ở mỗi bước; âm thầm xóa không có hàng. Sau đó hiển thị số dư trong một tháng theo cách mà tôi có thể kiểm tra theo cách thủ công.
Những lỗi thường gặp
- Chạy mã chuyển đổi mà không đọc nó. Cơ sở/đơn vị sai âm thầm làm hỏng toàn bộ phân tích.
- Điền vào dữ liệu còn thiếu mà không cần suy nghĩ. Xóa bỏ thời kỳ khủng hoảng/thảm họa bằng mức trung bình.
- Tự động loại bỏ các ngoại lệ. Nhầm một sự kiện thực tế là một lỗi dữ liệu.
- Tăng trưởng theo mùa và hàng năm khó hiểu. Hai cái này có kích thước khác nhau.
- Kết hợp tần số không chính xác Thu thập chuỗi chứng khoán và xử lý nó như một dòng chảy.
- Nhầm lẫn mối tương quan trong EDA với quan hệ nhân quả. Nhầm công cụ nhận dạng là bằng chứng.
Tóm lại
Làm sạch và chuyển đổi dữ liệu là 80% vô hình nhưng có tính quyết định trong phân tích kinh tế. Trí tuệ nhân tạo tăng tốc đáng kể công việc cơ khí này; nhưng bạn có quyền đọc từng bước dọn dẹp cũng như mọi chuyển đổi và xác minh thủ công ít nhất một quan sát. Các quyết định về cơ sở, đơn vị, tần suất và ngoại lệ của chỉ số giảm phát là các quyết định kinh tế và không thể phó mặc một cách mù quáng cho trí tuệ nhân tạo. Phân tích thăm dò đưa ra dữ liệu, nhưng không có mối tương quan nhân quả.
Nhiệm vụ ứng dụng
Tải xuống chuỗi dữ liệu thô thực tế (ví dụ: CPI hàng tháng và chuỗi tiền lương/thu nhập danh nghĩa). Tạo kế hoạch dọn dẹp với mẫu thứ 1, tạo mã bằng mẫu thứ 2 và hiện thực hóa chuỗi bằng mẫu thứ 3. Sau đó tính toán giá trị thực của một khoảng thời gian trên giấy và so sánh nó với đầu ra của trí tuệ nhân tạo. Nếu bạn tìm thấy sự không khớp, hãy chẩn đoán và sửa nguồn (cơ sở/đơn vị) của nó và ghi lại tiến trình.
danh sách kiểm tra
- [ ] Tôi đã xem xét và phê duyệt kế hoạch dọn dẹp trước khi viết mã.
- [ ] Tôi đã được trí tuệ nhân tạo báo cáo xóa/thay đổi từng dòng; Không xóa im lặng.
- [ ] Khi điền dữ liệu còn thiếu, bạn có thể hỏi "tại sao nó trống?" Tôi đã trả lời câu hỏi.
- [ ] Tôi đã điều tra xem liệu ngoại lệ đó là một sự kiện có thật hay là một lỗi dữ liệu.
- [ ] Khi nhận ra, tôi đã xác minh rằng cơ sở giảm phát và cơ sở kết quả khớp nhau.
- [ ] Tôi đã tính toán lại cách chuyển đổi của ít nhất một khoảng thời gian theo cách thủ công.
- [ ] Tôi không trình bày mối tương quan trong EDA dưới dạng quan hệ nhân quả.