Добици:
- Способност чишћења сирових економских података (недостајућа запажања, конфузија јединица, неусклађеност фреквенција) и припремање за анализу уз помоћ вештачке интелигенције
- Способност штампања стандардних економских трансформација као што су реално-номинална конверзија, индексација, стопа раста, сезонско прилагођавање као код у вештачкој интелигенцији и верификација их ручно
- Способност препознавања података кроз истраживачку анализу података (збирна статистика, дистрибуција, одступања, корелација) и критичко читање сажетака вештачке интелигенције
Економски подаци ретко долазе спремни за анализу. У табели коју сте преузели са ТУРКСТАТ-а недостају неки месеци, једна колона долази као текст са хиљаду заграда, курс је у турском формату као "1.234,56", једна серија је месечна а друга тромесечна. Највише времена економиста не троши на анализу, већ на припрему података за анализу. Овде је вештачка интелигенција прави акцелератор са ниским ризиком: предлаже кораке чишћења, пише панде (Питхонова библиотека за обраду података), кодификује стандардне економске трансформације. Али ова јединица такође има непроменљиво правило: читате сваку трансформацију коју је написала вештачка интелигенција и верификујете је ручно у најмање једном посматрању. Ако је реално-номинални циклус на погрешној основи, цела анализа тихо пропада.
Чишћење: који проблеми, како их решити?
Најчешћи проблеми у економским подацима и њихова логика:
- Непотпуно посматрање. Један месец/кварт је празан. Решење зависи од контекста: ако заправо не постоји, остаје празно; Ако постоји технички јаз, врши се пажљива интерполација — али линија између израде је танка.
- Збрка јединица и формата. Текст "12.345.6" мора бити конвертован у број; милион/милијарда би требало да постану доследни.
- Неусклађеност фреквенција. Да би се комбиновале месечне и кварталне серије, једна се агрегира (од месеца до квартала) — да ли је просечна, укупна или на крају периода зависи од природе индикатора (разлика залиха/токова).
- Ванредне (екстремне) вредности. Ако запажање јако одступа: да ли је то стварни догађај (криза, повећање цена) или грешка у подацима? Разуме се пре брисања.
- Поравнање датума. Формати датума и дефиниције периода различитих серија су синхронизовани.
Пажња: Попуњавање података који недостају изгледа невино, али то је економска одлука. Попунити кризни месец „просеком суседних месеци“ значи брисати ту кризу из анализе. Пре него што попуните, питајте "зашто постоји овај јаз?" Одговори на питање.
Стандардне економске трансформације
Трансформације и њихове дефиниције у дневном репертоару економисте:
- Номинални → Реал. Прилагођавање утицаја на цену: реална вредност = номинална вредност / индекс цена × 100. Базна година дефлатора (индекса прилагођавања) одређује основу резултата.
- Индексирање. Промена величине серије тако да је изабрани период = 100; Корисно је за поређење серија различитих величина.
- Стопа раста. Годишњи: (исти период овај период / прошле године − 1) × 100. Периодична и годишња стопа су различите ствари; Збуњеност је уобичајена грешка.
- Сезонска корекција. Прочишћавање редовних сезонских ефеката (летњи туризам, летовање); Сирове серије и сезонски прилагођене серије причају различите приче.
- Покретни просек. Ублажите буку и учините тренд видљивим.
- Логаритми и разликовање. Испитати динамику раста и стационарност (продубиће се у јединици временске серије).
Савет: Са сваком конверзијом бићете упитани „шта се десило са јединицом и базом?“ питати. Основа реалног низа је основа дефлатора; Основа индексиране серије је период који одаберете. Ако ово остане записано, спречићете будуће грешке.
Истраживачка анализа података (ЕДА)
Неопходно је препознати податке пре него што их унесете у модел. Експлораторна анализа података (ЕДА) укључује: збирну статистику (средња, медијана, стандардна девијација, мин-мак), облик дистрибуције, ток током времена, одступања и корелацију између серија. АИ брзо генерише код за ове кораке; Ваш посао је да прочитате резултат економским оком: "Да ли је овај просек разуман? Да ли је ова корелација случајност или позната веза?"
Опрез: Корелација је овде само средство идентификације, а не доказ узрочности. Чињеница да се две серије померају заједно (нпр. продаја сладоледа и утапања — оба покренута летом) не значи нужно да једна води ка другој. Ову дистинкцију ћемо продубити у јединици 7.
три мини кофера
Случај 1 — Нетачна база дефлатора. Аналитичар је имао вештачку интелигенцију да напише код за реализацију серије плата. Код је функционисао, резултат је изгледао разумно — али аналитичар је ручно израчунао 2020. у кораку ИЗРАЧУНАЈ и није функционисао. Проблем: вештачка интелигенција је користила дефлатор са базом 2003=100 и захтевала серију плата са ценама из 2015. године; Основе су биле сукобљене. Код је поправљен помоћу једне линије, цела серија је дошла на своје место.
Случај 2 — Грешка тихе јачине звука. Једна институција је смањила податке о извозу у хиљадама долара и увозу у милионима долара. Када је вештачка интелигенција уклонила то двоје за „спољнотрговински биланс“, резултат је био апсурдан дефицит. Мин-мак приказ у ЕДА открио је грешку: ред величине две серије се разликовао за фактор 1000. Када је јединица изједначена, равнотежа је била тачна.
Случај 3 — Не брише се излаз. Један месец у низу био је изузетно низак. АИ је предложио "изванредан, хајде да га очистимо". Аналитичар је истражио: производња је заправо стала због природне катастрофе тог месеца. Вредност је била стварна; Брисање би искривило историју. Уместо брисања, стављено је у фусноту. „Јасна“ препорука АИ није слепо поштована.
Табела валидације конверзије
Конверзија
формула суштина
ручни контролни пункт
реализација
номинални / индекс цена × 100
База дефлатора = база исхода?
годишњи раст
(т / т-12 месеци − 1)×100
Израчунај период на папиру
индексирање
серија/базни период × 100
Да ли је вредност базног периода 100?
Месечно→ квартално
ток: прикупљање / залиха: крај периода
Тачан начин прикупљања?
покретни просек
просек последњег н периода
Да ли је дужина прозора тачна?
Четири шаблона за копирање
1) План чишћења:
Имам ове необрађене податке: [колоне и узорци редова]. Направите план чишћења да бисте се припремили за анализу: вредност која недостаје, проблем са јединицом/форматом, поравнање датума, усклађивање фреквенције, могући одступници. Објасните у једној реченици зашто је сваки корак неопходан. Немојте још писати код; да прво потврдим план.
2) код за чишћење панди:
Напишите код панде према плану који сам одобрио. Нека код покаже шта ради у сваком кораку са линијом за коментаре; Штампа број редова и вредности које недостају након конверзије. Немојте тихо брисати ниједно запажање; Пријавите сваки ред који избришете.
3) Реализација (проверљива):
Реализујте ову номиналну серију са [индексом цена]. Јасно напишите основну годину дефлатора када га користите; Наведите која је основа резултујуће серије. Покажите ми налог корак по корак за један период да бих могао да га верификујем ручно.
4) Резиме истраживачке анализе:
Напишите код за истраживачку анализу за следеће очишћене податке: збирну статистику, графикон временске серије, скенирање одступања и матрицу корелације. Када тумачите резултате, јасно дајте до знања да корелације које налазите нису УЗРОЧНЕ и наведите 3 тачке које се мени истичу.
Слаби промпт / Јаки промпт
Слабо обавештење:
Обришите ове податке.
АИ делује са претпоставкама не знајући шта да очисти; Можете обрисати запажања, променити јединице, нећете приметити.
Снажан упит:
У овим месечним спољнотрговинским подацима извоз је у „хиљаду УСД“, а увоз у „милионима УСД“. Направите два једнака у „милион УСД“, означите месеце који недостају, али НЕ ПОПУНИТЕ, поравнајте датуме са крајем месеца. Одштампајте колико је редова погођено у сваком кораку; тихо брисати ниједан ред. Затим покажите стање за један месец на начин који могу ручно да проверим.
Уобичајене грешке
- Покретање кода за конверзију без читања. Погрешна база/јединица тихо квари целу анализу.
- Попуњавање података који недостају без размишљања. Брисање периода кризе/катастрофе са просеком.
- Аутоматски одбаци ванредне вредности. Грешка стварног догађаја за грешку у подацима.
- Збуњујући сезонски и годишњи раст. Две су различите величине.
- Неправилно комбиновање фреквенција. Прикупљање серије акција и обрада као ток.
- Грешка корелација у ЕДА за узрочност. Погрешити алат за препознавање као доказ.
Укратко
Чишћење и трансформација података је невидљивих, али одлучујућих 80 одсто економске анализе. Вештачка интелигенција драматично убрзава овај механички рад; али на вама је да прочитате сваки корак чишћења и сваку трансформацију и ручно проверите бар једно запажање. Одлуке о основи, јединици, учесталости и ванредним дефлаторима су економске одлуке и не могу се слепо препустити вештачкој интелигенцији. Експлораторна анализа уводи податке, али корелација нема узрочне везе.
Задатак апликације
Преузмите стварну сирову серију (нпр. месечни ЦПИ и серија номиналних плата/прихода). Направите план чишћења са 1. шаблоном, генеришите код помоћу 2. шаблона и реализујте серију помоћу 3. шаблона. Затим израчунајте стварну вредност једног периода на папиру и упоредите је са излазом вештачке интелигенције. Ако пронађете неусклађеност, дијагностикујте и исправите њен извор (базу/јединицу) и забележите напредак.
контролна листа
- [ ] Прегледао сам и одобрио план чишћења пре него што је код написан.
- [ ] Дао сам сваки ред да је обрисана/промењена од стране вештачке интелигенције; Нема тихог брисања.
- [ ] Приликом попуњавања података који недостају можете питати "зашто је празан?" Одговорио сам на питање.
- [ ] Истражио сам да ли је одбацивање стварни догађај или грешка у подацима.
- [ ] У реализацији сам проверио да ли се база дефлатора и база исхода поклапају.
- [ ] Ручно сам поново израчунао конверзију најмање једног периода.
- [ ] Нисам представио корелације у ЕДА као узрочну везу.