Lợi nhuận:
- Khả năng hiểu các khái niệm về xu hướng, tính thời vụ, tính dừng và nghiệm đơn vị, đồng thời sử dụng trí tuệ nhân tạo với dữ liệu chính xác để lập mô hình và dự báo chuỗi thời gian.
- Khả năng diễn giải ARIMA/các mô hình theo mùa và dự báo sự không chắc chắn (khoảng tin cậy, phân tích dư) và tránh hồi quy giả
- Có thể phân biệt rằng dự đoán của trí tuệ nhân tạo dựa trên các mô hình trong quá khứ và phán đoán của chuyên gia đó sẽ xuất hiện trong các giai đoạn khủng hoảng và phá vỡ cấu trúc.
Phần lớn dữ liệu là nguồn lương thực chính của các nhà kinh tế và phân tích tài chính là chuỗi thời gian: giá trị của cùng một biến số được đo lường đều đặn theo thời gian (lạm phát hàng tháng, giá cổ phiếu hàng ngày, GDP hàng quý). Chuỗi thời gian về cơ bản khác với dữ liệu cắt ngang thông thường vì các quan sát không độc lập: giá trị của ngày hôm nay phụ thuộc vào ngày hôm qua. Sự phụ thuộc này vừa là cơ hội (chúng ta có thể dự đoán tương lai) vừa là mối nguy hiểm (sự hồi quy thông thường dễ gây hiểu lầm ở đây). Trong phần này, chúng ta sẽ xem trí tuệ nhân tạo (AI) đang tăng tốc việc lập mô hình và dự báo chuỗi thời gian như thế nào, nhưng tại sao cái bẫy nguy hiểm nhất—hồi quy giả—cần được chú ý.
Các khái niệm cơ bản
Một chuỗi thời gian thường bao gồm ba thành phần: xu hướng (xu hướng tăng/giảm dài hạn), tính thời vụ (mô hình thường xuyên lặp lại trong suốt cả năm, ví dụ: du lịch tăng vào mùa hè) và chu kỳ/nhiễu loạn (biến động còn lại). Trước khi lập mô hình, tính năng quan trọng nhất của chuỗi là tính dừng.
Chuỗi dừng là chuỗi có các đặc tính thống kê (trung bình, phương sai) không đổi theo thời gian. Một chuỗi không dừng chứa một xu hướng, phương sai của nó tăng lên hoặc nó có nghiệm đơn vị. Căn đơn vị là một cấu trúc trong đó chuỗi vĩnh viễn "ghi nhớ" các cú sốc và không trở về giá trị trung bình của nó; Một chuỗi như vậy hoạt động giống như một bước đi ngẫu nhiên. Tại sao nó quan trọng? Bởi vì hồi quy giữa hai chuỗi không cố định có thể tạo ra hệ số R bình phương cao và có ý nghĩa ngay cả khi không có mối quan hệ nào trong thực tế - điều này được gọi là hồi quy giả. Chỉ có xu hướng chung khiến hai bộ truyện có vẻ "có liên quan" với nhau.
Thận trọng: Hai chuỗi tăng trưởng (ví dụ: dân số của một quốc gia và doanh số bán kem của quốc gia khác) có thể có mối tương quan cao; vì cả hai đều tăng theo thời gian. Đây không phải là một mối quan hệ, mà là ảo tưởng về xu hướng chung. Hãy chắc chắn kiểm tra tính dừng trước khi bắt đầu hồi quy trong chuỗi thời gian.
Quy trình làm việc theo chuỗi thời gian từng bước
1. Hình dung. Hãy vẽ chuỗi: có xu hướng không, có tính thời vụ không, phương sai có thay đổi theo thời gian không, có sự phá vỡ cấu trúc (thay đổi mức độ đột ngột) không?
2. Kiểm tra tính dừng. Kiểm tra ADF (Augmented Dickey-Fuller) và kiểm tra đơn vị kiểm tra gốc/văn phòng phẩm KPSS. Cả hai bổ sung cho nhau: trong ADF giả thuyết không là "có nghiệm đơn vị", trong KPSS nó là "đứng yên". Sẽ an toàn hơn khi sử dụng cả hai cùng nhau.
3. Trì trệ. Nếu chuỗi không dừng thì nó thường sai phân (sự khác biệt của các quan sát liên tiếp; điều này loại bỏ xu hướng). Đạo hàm một lần làm cho chuỗi "tích hợp bậc nhất" (I(1)) đứng yên. Chuyển đổi nhật ký cũng hữu ích nếu phương sai tăng lên.
4. Xây dựng mô hình. Khung phổ biến nhất là ARIMA (Trung bình di chuyển tích hợp tự động hồi quy): Nó kết hợp các thành phần AR (sự phụ thuộc của chuỗi vào các giá trị trong quá khứ của chính nó), I (mức độ khác biệt), MA (ảnh hưởng của các lỗi trong quá khứ). Nếu có tính thời vụ, SARIMA được sử dụng. AI tạo mã cho các công cụ lựa chọn tự động như auto.arima; Nhưng đừng chấp nhận sự lựa chọn tự động một cách mù quáng.
5. Kiểm tra thức ăn thừa. Phần dư của một mô hình tốt phải là nhiễu trắng: không có mẫu, không có hiện tượng tự tương quan. Bài kiểm tra Ljung-Box kiểm tra điều này. Nếu vẫn còn một mẫu trong phần dư thì mô hình đó chưa hoàn chỉnh.
6. Dự đoán và thể hiện sự không chắc chắn. Dự báo không phải là một dòng duy nhất; luôn được đưa ra với khoảng tin cậy/ước tính. Phạm vi mở rộng khi đường chân trời kéo dài - đây là dấu hiệu của sự trung thực chứ không phải sai sót.
Đồng liên kết: mối quan hệ thực với chuỗi không dừng
Hai chuỗi không dừng không phải lúc nào cũng cho ra những mối quan hệ giả tạo. Nếu có sự cân bằng thực sự trong dài hạn giữa chúng (chúng chuyển động cùng nhau), thì đây được gọi là sự đồng liên kết và có thể được mô hình hóa bằng mô hình sửa lỗi (ECM). Vì vậy giải pháp không phải là “khác biệt và vứt bỏ thông tin”; là để kiểm tra sự đồng liên kết trước tiên. Sự khác biệt này giúp phân biệt hồi quy giả với mối tương quan dài hạn thực sự và là một cân nhắc về mặt lý thuyết mà AI không thể tự mình quyết định.
biểu đồ so sánh
Trạng thái
triệu chứng
cách tiếp cận đúng
loạt văn phòng phẩm
Giá trị trung bình/phương sai không đổi
VÒI TRỰC TIẾP
Với xu hướng (gốc đơn vị)
Tăng liên tục, ADF vô nghĩa
Sự khác biệt, sau đó là mô hình
Hai chuỗi không cố định
R² cao có thể là giả
Đầu tiên, thử nghiệm đồng tích hợp
theo mùa
Mô hình lặp lại hàng năm
SARIMA / sự khác biệt theo mùa
sự phá vỡ cấu trúc
Thay đổi độ dốc/độ dốc đột ngột
Kiểm tra độ vỡ, đánh giá của chuyên gia
Bốn lời nhắc có thể sao chép
1. Chẩn đoán tính dừng:
Vai trò của bạn: trợ lý chuỗi thời gian. Tôi muốn mã R, tôi không chia sẻ dữ liệu. 'chuỗi' là chuỗi thời gian hàng tháng (đối tượng ts). Nhiệm vụ: (1) vẽ đồ thị chuỗi và đồ thị tự tương quan (ACF/PACF), (2) áp dụng kiểm định ADF và KPSS, (3) giải thích cách diễn giải các kết quả cùng nhau. Tôi sẽ quyết định nhận số tiền chênh lệch; Bạn đưa ra một chẩn đoán.
2. Xây dựng mô hình (được giám sát):
Chuỗi của tôi có vẻ đứng yên ở điểm khác biệt đầu tiên. Đề xuất một mô hình với auto.arima nhưng: (1) giải thích các thứ tự (p, d, q) đã chọn và TẠI SAO chúng được chọn, (2) thêm mã để kiểm tra xem phần dư có phải là nhiễu trắng với Ljung-Box hay không, (3) nhắc nhở tôi không nên mù quáng chấp nhận lựa chọn tự động.
3. Cảnh báo hồi quy giả:
Tôi muốn thiết lập hồi quy giữa hai chuỗi thời gian của mình (X, Y) nhưng cả hai đều không có xu hướng. Viết mã quy trình làm việc để kiểm tra nguy cơ hồi quy giả: trước tiên hãy kiểm tra tính dừng của cả hai, sau đó áp dụng kiểm tra đồng tích hợp (Engle-Granger hoặc Johansen). Trước khi tôi chạy trực tiếp lm(), hãy dừng tôi lại và giải thích lý do tại sao nó nguy hiểm.
4. Dự đoán và sự không chắc chắn:
Viết mã tạo dự báo cho 12 tháng tới bằng mô hình ARIMA mà tôi đã tạo; Vẽ biểu đồ ước tính với khoảng tin cậy 80% và 95%. Thêm ghi chú bên dưới biểu đồ rằng dự đoán dựa trên các mẫu trong quá khứ và có thể trở nên không hợp lệ trong trường hợp xảy ra sự cố/khủng hoảng cấu trúc.
Dấu nhắc yếu / Dấu nhắc mạnh
Dấu nhắc yếu:
Tìm mối quan hệ của hai chuỗi này với hồi quy và dự đoán năm tiếp theo.
Tuyên bố này là một lời mời gọi bẫy hồi quy sai: nếu hồi quy được thiết lập mà không kiểm tra tính dừng, thì một "mối quan hệ" bình phương R cao nhưng vô nghĩa và một ước tính không chính đáng sẽ xuất hiện.
Lời nhắc mạnh mẽ:
Vai trò của bạn: trợ lý cẩn thận về chuỗi thời gian. Tiến hành từng bước: (1) kiểm tra tính dừng của cả chuỗi và báo cáo, (2) nếu chúng không dừng, KHÔNG thực hiện hồi quy trực tiếp, kiểm tra sự hợp nhất trước, (3) nếu bạn đưa ra dự báo, hãy nhớ thêm khoảng tin cậy và viết cảnh báo phá vỡ cấu trúc. Hãy để tôi quyết định ở mọi bước; tiến bộ tự động.
Sự khác biệt: nhu cầu mạnh mẽ đòi hỏi tính ổn định và đồng liên kết trước khi hồi quy, khiến cho ước tính không chắc chắn.
ba trường hợp nhỏ
Trường hợp 1 - Hồi quy giả. Một nhà phân tích đã tìm thấy R²=0,91, p<0,001 giữa hai chuỗi tăng trưởng (doanh thu của một ngành và mức tiêu thụ năng lượng của một quốc gia khác) và viết "mối quan hệ chặt chẽ". Khi nhà tư vấn của ông yêu cầu kiểm tra tính dừng, người ta thấy rằng cả hai đều có nghiệm đơn vị, và khi lấy hiệu của chúng thì mối quan hệ (r = 0,04) hoàn toàn biến mất. Bình phương R cao chỉ là ảo ảnh về xu hướng chung. Bài học: Hồi quy chuỗi thời gian là không đáng tin cậy nếu không kiểm tra tính dừng.
Trường hợp 2 - Niềm tin mù quáng vào mô hình tự động. Một sinh viên đã sử dụng mô hình được auto.arima chọn mà không kiểm tra nó; ông không còn nhận thấy tính thời vụ đáng kể còn sót lại trong phân tích của mình. Mô hình đã đánh giá thấp những tháng mùa hè một cách có hệ thống. Kiểm định Ljung-Box cho thấy hiện tượng tự tương quan trong phần dư. Cách đúng: là thêm thành phần theo mùa (SARIMA). Bài học: lựa chọn tự động là sự khởi đầu, không phải là lời cuối cùng; Dư lượng phải được kiểm tra.
Trường hợp 3 - Dự báo sụp đổ khi cấu trúc bị phá vỡ. Một mô hình dự đoán nhu cầu năm 2020 với dữ liệu năm 2019; khoảng tin cậy hẹp, ước tính là tự tin. Cú sốc lớn (đại dịch) năm 2020 đã thổi bay hoàn toàn dự đoán vì mô hình chỉ biết mô hình quá khứ. Bài học: dự báo chuỗi thời gian giả định rằng quá khứ sẽ giống với tương lai; Trong thời kỳ khủng hoảng/suy sụp, phán đoán của chuyên gia được đặt lên hàng đầu.
Những lỗi thường gặp
- Thiết lập hồi quy mà không kiểm tra tính dừng. Hồi quy giả tạo ra mối quan hệ R bình phương cao nhưng không đáng kể; Áp dụng ADF/KPSS trước.
- Phân biệt và bỏ qua đồng tích hợp. Nếu có một mối quan hệ thực sự lâu dài, việc mù quáng đón nhận sự khác biệt sẽ làm mất đi thông tin; Kiểm tra sự đồng tích hợp đầu tiên.
- Sử dụng mô hình tự động mà không kiểm tra nó. auto.arima là một khởi đầu tốt nhưng không đáng tin cậy nếu không kiểm tra phần dư (Ljung-Box).
- Trình bày ước tính dưới dạng một dòng. Ước tính không có khoảng tin cậy sẽ tạo ra độ chính xác sai; Luôn thể hiện sự không chắc chắn.
- Bỏ qua sự phá vỡ cấu trúc. Khủng hoảng/thay đổi chế độ làm gián đoạn mô hình quá khứ; Mô hình không thể biết được điều này, cần phải có sự đánh giá của chuyên gia.
Mẹo: Trước khi viết kết quả tìm chuỗi thời gian, hãy nhìn lại biểu đồ thô của chuỗi. Một xu hướng hoặc sự phá vỡ rõ ràng mà bạn tận mắt nhìn thấy là lời cảnh báo mạnh mẽ nhất rằng không có bài kiểm tra nào có thể khiến bạn quên.
Tóm lại
Trong phân tích chuỗi thời gian, các quan sát không độc lập; Điều này vừa mang lại khả năng dự đoán vừa tạo ra những cạm bẫy như hồi quy giả. Kiểm tra tính ổn định (ADF/KPSS) trước khi lập mô hình; kiểm tra sự đồng liên kết thay vì trực tiếp thiết lập hồi quy giữa các chuỗi không dừng; Kiểm tra phần dư của mô hình ARIMA/SARIMA cho đến khi có nhiễu trắng; Luôn trình bày ước tính với khoảng tin cậy. AI tạo mã cho tất cả các bước này, nhưng chuyên gia sẽ kiểm soát việc lựa chọn mô hình tự động, quyết định hợp nhất và giải thích sự phá vỡ cấu trúc. Dự đoán dựa trên quá khứ; Trong thời kỳ khủng hoảng, sự phán xét của con người có tiếng nói cuối cùng.
Nhiệm vụ ứng dụng
Chọn chuỗi thời gian (hàng tháng hoặc hàng quý). Trước AI, hãy yêu cầu và chạy chẩn đoán tính dừng (biểu đồ, ACF/PACF, ADF, KPSS) và phân loại chuỗi là cố định/không cố định. Hãy phân biệt nếu cần thiết, thiết lập mô hình ARIMA/SARIMA và kiểm tra phần dư bằng Ljung-Box. Đưa ra dự báo cho khoảng thời gian 6-12 và vẽ biểu đồ đó với khoảng tin cậy. Cuối cùng, hãy xem xét trong một đoạn văn rằng dự đoán của bạn có thể sai như thế nào nếu có sự phá vỡ cấu trúc trong dữ liệu của bạn.
danh sách kiểm tra
- [ ] Tôi đã vẽ sơ đồ chuỗi và xem xét trực quan các xu hướng, tính thời vụ và thời gian nghỉ.
- [ ] Tôi đã thử nghiệm tính ổn định với ADF và KPSS; Tôi đã nhận được sự khác biệt cần thiết.
- [ ] Tôi đã tránh hồi quy trực tiếp và thử nghiệm sự đồng liên kết giữa các chuỗi không dừng.
- [ ] Tôi đã kiểm tra phần dư của mô hình (Ljung-Box) và xác nhận rằng đó là nhiễu trắng.
- [ ] Tôi đã trình bày ước tính với khoảng tin cậy; Tôi đã không đưa ra nó như một dòng duy nhất.
- [ ] Tôi đã lưu ý những giới hạn của dự đoán trong trường hợp phá vỡ/khủng hoảng cấu trúc.