Добици:
- Способност разумевања концепта тренда, сезоналности, стационарности и јединичног корена и коришћења вештачке интелигенције са тачним подацима за моделирање и предвиђање временских серија.
- Способност тумачења АРИМА/сезонских модела и предвиђања неизвесности (интервал поверења, резидуална анализа) и избегавање лажне регресије
- Бити у стању да разликује да је предвиђање вештачке интелигенције засновано на прошлим обрасцима и да стручна процена долази до изражаја у периодима структуралног прекида и кризе.
Велики део података који су хлеб и путер економиста и финансијских аналитичара су временске серије: вредности исте варијабле мерене у редовним интервалима током времена (месечна инфлација, дневна цена акција, квартални БДП). Временске серије се суштински разликују од обичних података пресека јер посматрања нису независна: данашња вредност зависи од јуче. Ова зависност је и прилика (можемо предвидети будућност) и опасност (обична регресија овде лако доводи у заблуду). У овој јединици ћемо видети како вештачка интелигенција (АИ) убрзава моделирање и предвиђање временских серија, али зашто најопаснија замка - лажна регресија - захтева пажњу.
Основни појмови
Временска серија генерално садржи три компоненте: тренд (дугорочни узлазни/опадајући тренд), сезоналност (редован образац који се понавља током целе године, нпр. повећани туризам лети) и циклус/бука (преостала волатилност). Пре моделирања, најкритичнија карактеристика серије је стационарност.
Стационарни низ је низ чија статистичка својства (средња вредност, варијанса) остају константна током времена. Нестационарна серија садржи тренд, њена варијанса расте или има јединични корен. Јединични корен је структура у којој серија трајно „памти“ шокове и не враћа се на своју средњу вредност; Таква серија се понаша као случајни ход. Зашто је то важно? Зато што регресија између две нестационарне серије може произвести високе Р-квадрат и значајне коефицијенте чак и ако не постоји веза у стварности — то се назива лажна регресија. Само због заједничког тренда ове две серије изгледају као "сродне".
Опрез: Две растуће серије (нпр. становништво једне земље и продаја сладоледа у другој земљи) могу бити у великој корелацији; пошто се обојица временом повећавају. Ово није веза, већ илузија заједничког тренда. Обавезно проверите стационарност пре него што започнете регресију у временској серији.
Корак по корак ток рада временских серија
1. Визуализуј. Зацртајте серију: да ли постоји тренд, да ли постоји сезоналност, да ли се варијанса мења током времена, да ли постоји структурални прекид (изненадна промена нивоа)?
2. Тестирајте стационарност. АДФ тест (Аугментед Дицкеи-Фуллер) и КПСС тест тест јединице корен/стационарност. Ова два се међусобно допуњују: у АДФ-у нулта хипотеза је „постоји јединични корен“, у КПСС-у је „стационарна“. Сигурније је користити оба заједно.
3. Стагнирати. Ако је серија нестационарна, обично се разликује (разлика узастопних посматрања; ово уклања тренд). Једном диференцирање чини стационарну серију „интегрисаног првог реда“ (И(1)). Трансформација дневника такође помаже ако варијанса расте.
4. Направите модел. Најчешћи оквир је АРИМА (Ауторегресивни интегрисани покретни просек): комбинује компоненте АР (зависност серије од сопствених прошлих вредности), И (степен диференцијације), МА (ефекат прошлих грешака). Ако постоји сезоналност, користи се САРИМА. АИ генерише код за алате за аутоматску селекцију као што је ауто.арима; Али немојте слепо прихватати аутоматски избор.
5. Проверите да ли има остатака. Остаци доброг модела треба да буду бели шум: без шаблона, без аутокорелације. Љунг-Бок тест то тестира. Ако и даље постоји образац у остацима, модел је непотпун.
6. Предвидите и покажите неизвесност. Прогноза није једна линија; увек дати са интервалом поверења/процене. Опсег се шири како се хоризонт продужава — ово је знак искрености, а не мане.
Коинтеграција: стварни однос са нестационарним серијама
Две нестационарне серије не дају увек лажне везе. Ако постоји стварна дугорочна равнотежа између њих (крећу се заједно), то се назива коинтеграција и може се моделовати помоћу модела корекције грешака (ЕЦМ). Дакле, решење није „разлика и бацити информације“; је прво тестирати коинтеграцију. Ова разлика разликује лажну регресију од праве дугорочне корелације и представља теоријско разматрање о којем АИ не може одлучити сама.
упоредни графикон
Статус
симптом
прави приступ
стационарне серије
Константна средња вредност/варијанса
Дирецт АРЦХИНГ
Са трендом (јединични корен)
Непрекидан успон, АДФ је бесмислен
Разлика, па модел
Две нестационарне серије
Висок Р² може бити лажан
Прво, тест коинтеграције
сезонски
Годишњи образац који се понавља
САРИМА / сезонска разлика
структурални прекид
Изненадна промена нивоа/нагиба
Тест лома, стручни суд
Четири упита за копирање
1. Дијагноза стационарности:
Ваша улога: асистент временске серије. Желим Р код, не делим податке. 'серија' је месечна временска серија (тс објекат). Задатак: (1) нацртајте графике серије и аутокорелације (АЦФ/ПАЦФ), (2) примените АДФ и КПСС тестове, (3) објасните како да заједно тумачите резултате. Ја ћу донети одлуку да преузмем разлику; Ви постављате дијагнозу.
2. Изградња модела (надгледана):
Моја серија изгледа непомично на прву разлику. Предложите модел са ауто.арима, али: (1) објасните изабране (п, д, к) налоге и ЗАШТО су изабрани, (2) додајте код за тестирање да ли су остаци бели шум помоћу Љунг-Бок-а, (3) подсетите ме да не прихватам слепо аутоматски избор.
3. Лажно упозорење о регресији:
Желим да поставим регресију између моје две временске серије (Кс, И), али обе имају детренд. Напишите код тока посла који проверава ризик од лажне регресије: прво тестирајте стационарност оба, а затим примените коинтеграцијски тест (Енгле-Гренџер или Јохансен). Пре него што директно покренем лм(), заустави ме и објасни зашто је то опасно.
4. Предвиђање и неизвесност:
Напишите код који производи 12-месечну прогнозу унапред са АРИМА моделом који сам направио; Зацртајте процену са њеним интервалима поверења од 80% и 95%. Додајте напомену испод графикона да је предвиђање засновано на прошлим обрасцима и да може постати неважеће у случају структуралног прекида/кризе.
Слаби промпт / Јаки промпт
Слабо обавештење:
Пронађите однос ове две серије са регресијом и предвидите следећу годину.
Ова тврдња је позив на замку лажне регресије: ако се регресија постави без провере стационарности, појављује се висок Р-квадрат, али бесмислен „однос“ и неоправдана процена.
Снажан упит:
Ваша улога: пажљив помоћник у временским серијама. Наставите корак по корак: (1) тестирајте стационарност и серије и извештаја, (2) ако нису стационарни, НЕ радите директну регресију, прво тестирајте коинтеграцију, (3) ако направите прогнозу, обавезно додајте интервал поверења и напишите упозорење о структурном прекиду. Препусти мени одлуку на сваком кораку; аутоматски напредак.
Разлика: јака потражња захтева стационарност и коинтеграцију пре регресије, представљајући процену са неизвесношћу.
три мини кофера
Случај 1 — Лажна регресија. Аналитичар је пронашао Р²=0,91, п<0,001 између две растуће серије (промет једног сектора и потрошња енергије друге земље) и написао „снажна веза“. Када је његов консултант затражио тест стационарности, видело се да обојица имају јединичне корене, а када су узете њихове разлике, однос (р = 0,04) је потпуно нестао. Висок Р-квадрат био је само илузија уобичајеног тренда. Поука: регресија временске серије је непоуздана без тестирања стационарности.
Случај 2 — Слепо поверење у аутоматски модел. Ученик је користио модел који је изабрао ауто.арима без испитивања; више није приметио значајну сезонскост која је остала у његовој анализи. Модел је систематски потцењивао летње месеце. Љунг-Бок тест је показао аутокорелацију у резидуалима. Тачан начин: био је додати сезонску компоненту (САРИМА). Поука: аутоматски избор је почетак, а не завршна реч; Остаци се морају проверити.
Случај 3 — Предвиђени колапс при структурном прекиду. Један модел је предвидео потражњу у 2020. са подацима за 2019. годину; интервал поверења је био узак, процена је била сигурна. Велики шок (пандемија) 2020. године потпуно је уништио предвиђање јер је модел познавао само прошли образац. Поука: предвиђање временских серија претпоставља да ће прошлост бити слична будућности; У временима кризе/слома, стручно мишљење долази до изражаја.
Уобичајене грешке
- Успостављање регресије без провере стационарности. Лажна регресија производи висок Р-квадрат, али безначајан однос; Прво примените АДФ/КПСС.
- Диференцирање и прескакање коинтеграције. Ако постоји стварна дугорочна веза, слепо узимање разлике одбацује информације; Прво тестирајте коинтеграцију.
- Коришћење аутоматског модела без провере. ауто.арима је добар почетак, али непоуздан без провере резидуала (Љунг-Бок).
- Представљање процене као један ред. Процена без интервала поверења ствара лажну прецизност; Увек покажите несигурност.
- Игноришући структурални прекид. Криза/промена режима нарушава претходни образац; Модел то не може знати, потребна је стручна процена.
Савет: Пре него што напишете налаз временске серије, погледајте поново сирови графикон серије. Јасан тренд или прекид који видите својим очима је најјаче упозорење да ниједан тест не треба да вас натера да заборавите.
Укратко
У анализи временских серија, запажања нису независна; Ово истовремено даје моћ предвиђања и ствара замке као што је лажна регресија. Тестирајте стационарност (АДФ/КПСС) пре моделирања; тестирати коинтеграцију уместо директног успостављања регресије између нестационарних серија; Проверите остатке АРИМА/САРИМА модела док се не појави бели шум; Увек представите процену са интервалом поверења. АИ генерише код за све ове кораке, али стручњак контролише аутоматски избор модела, одлуку о коинтеграцији и интерпретацију структуралног прекида. Предвиђање се заснива на прошлости; У временима кризе, људска пресуда има последњу реч.
Задатак апликације
Одаберите временску серију (месечну или кварталну). Пре АИ, затражите и покрените дијагностику стационарности (граф, АЦФ/ПАЦФ, АДФ, КПСС) и класификујте серију као стационарну/нестационарну. Разликујте ако је потребно, подесите АРИМА/САРИМА модел и проверите остатке помоћу Љунг-Бок-а. Направите прогнозу за период од 6-12 унапред и зацртајте је са интервалом поверења. На крају, размотрите у параграфу како би ваше предвиђање могло бити погрешно ако је дошло до структуралног прекида у вашим подацима.
контролна листа
- [ ] Нацртао сам серију и визуелно испитао трендове, сезоналност и паузе.
- [ ] Тестирао сам стационарност са АДФ и КПСС; Добио сам потребну разлику.
- [ ] Избегао сам директну регресију и тестирао коинтеграцију између нестационарних серија.
- [ ] Проверио сам остатке модела (Љунг-Бок) и потврдио да је у питању бели шум.
- [ ] Представио сам процену са интервалом поверења; Нисам то дао као један ред.
- [ ] Приметио сам границе предвиђања у случају структуралног лома/кризе.