Добивки:
- Способност да се исчистат необработените економски податоци (забелешки кои недостасуваат, збунетост на единицата, несовпаѓање на фреквенцијата) и да се направат подготвени за анализа со помош на вештачка интелигенција
- Способност да се печатат стандардни економски трансформации како што се реални номинални конверзии, индексирање, стапка на раст, сезонско прилагодување како код во вештачка интелигенција и рачно да се потврди
- Способност за препознавање на податоци преку истражувачка анализа на податоци (резиме статистика, дистрибуција, аутлиери, корелација) и критички читање резимеа на вештачката интелигенција
Економските податоци ретко се подготвени за анализа. Во табела што ја презедовте од ТУРКСТАТ, недостасуваат неколку месеци, една колона доаѓа како текст со илјадници загради, курсот е во турски формат како „1.234,56“, едната серија е месечна, а другата квартална. Најголем дел од времето на економистот не го троши на анализа, туку на подготвување на податоците за анализа. Ова е местото каде што вештачката интелигенција е вистински забрзувач со низок ризик: предлага чекори за чистење, пишуваат пандите (библиотеката за обработка на податоци на Python), ги кодифицира стандардните економски трансформации. Но, оваа единица има и непроменливо правило: ја читате секоја трансформација напишана од вештачката интелигенција и ја потврдувате рачно при барем едно набљудување. Ако реално-номиналниот циклус е на погрешна основа, целата анализа тивко се распаѓа.
Чистење: кои проблеми, како да ги решите?
Најчестите проблеми во економските податоци и нивната логика:
- Нецелосно набљудување. Еден месец/квартал е празен. Решението зависи од контекстот: ако всушност не постои, се остава празно; Ако има технички јаз, се прави внимателна интерполација - но линијата помеѓу изработката е тенка.
- Конфузија на единици и формати. Текстот „12.345.6“ мора да се претвори во број; милион/милијарда треба да станат конзистентни.
- Несовпаѓање на фреквенцијата. За да се комбинираат месечни и квартални серии, една се собира (месечна до квартална) - дали е просечна, вкупна или крај на периодот зависи од природата на индикаторот (разлика залиха/проток).
- Надворешни (екстремни) вредности. Ако опсервацијата многу отстапува: дали е тоа вистински настан (криза, покачување на цената) или грешка во податоците? Се разбира пред бришење.
- Порамнување на датумот. Форматите на датуми и дефинициите за периоди на различни серии се синхронизирани.
Внимание: Пополнувањето на податоците што недостасуваат изгледа невино, но тоа е економска одлука. Пополнувањето на кризниот месец со „просекот на соседните месеци“ значи бришење на таа криза од анализата. Пред да пополните, прашајте "зошто постои оваа празнина?" Одговорете на прашањето.
Стандардни економски трансформации
Трансформациите и нивните дефиниции во дневниот репертоар на еден економист:
- Номинално → Реално. Прилагодување за влијанието на цената: реална вредност = номинална вредност / индекс на цена × 100. Основната година на дефлаторот (индексот за прилагодување) ја одредува основата на резултатот.
- Индексирање. Рескалирање на серија така што избраниот период = 100; Корисно е за споредување на серии со различни големини.
- Стапка на раст. Годишна: (ист период овој период / минатата година − 1) × 100. Периодична и годишна стапка се различни работи; Збунувачки е честа грешка.
- Сезонска корекција. Прочистување на редовните сезонски ефекти (летен туризам, одмори); Суровата серија и сезонската приспособена серија раскажуваат различни приказни.
- Движечки просек. Измазнување на бучавата и правење на трендот видлив.
- Логаритми и диференцијација. Да се испита динамиката на раст и стационарноста (ќе се продлабочи во единицата за временски серии).
Совет: Со секоја конверзија ќе ве прашаат „што се случи со единицата и базата?“ прашај. Основата на реалната серија е основата на дефлаторот; Основата на индексираната серија е периодот што го избирате. Одржувањето на ова запишано спречува идни грешки.
Истражувачка анализа на податоци (ЕДА)
Потребно е да се препознаат податоците пред да се внесат во моделот. Истражувачката анализа на податоци (ЕДА) вклучува: збирна статистика (средна, медијана, стандардна девијација, мин-макс), форма на дистрибуција, тек со текот на времето, оддалеченост и корелација помеѓу сериите. AI брзо го генерира кодот за овие чекори; Ваша задача е да го читате резултатот со економско око: "Дали е овој просек разумен? Дали оваа корелација е случајност или позната врска?"
Внимание: корелацијата овде е само средство за идентификација, а не доказ за каузалноста. Фактот дека две серии се движат заедно (на пример, продажба на сладолед и давење - и двете предизвикани од летото) не мора да укажуваат на тоа дека едната води кон другата. Оваа разлика ќе ја продлабочиме во единицата 7.
три мини футроли
Случај 1 - Неправилна основа за дефлатор. Еден аналитичар имал код за пишување на вештачката интелигенција за да ја реализира серијата на плати. Кодот функционираше, резултатот изгледаше разумно - но аналитичарот рачно ја пресмета 2020 година во чекорот ПРЕСМЕТАЈ и не функционираше. Проблем: вештачката интелигенција го користела дефлаторот со основа 2003=100 и ја побарала серијата на плати со цени од 2015 година; Основите беа конфликтни. Кодот беше поправен со поправка на една линија, целата серија дојде на своето место.
Случај 2 - Грешка во тивка јачина на звук. Една институција ги намалила податоците за извозот во илјади долари, а увозот во милиони долари. Кога вештачката интелигенција ги отстрани двете за „надворешно трговскиот биланс“, резултатот беше апсурден дефицит. Приказот min-max во EDA ја откри грешката: редоследот на големината на двете серии се разликуваше за фактор 1000. Откако единицата беше изедначена, билансот беше точен.
Случај 3 - Не бришење на оддалеченоста. Еден месец во серија беше невообичаено низок. Вештачката интелигенција предложи „надвор, ајде да го исчистиме“. Аналитичарот истражуваше: производството всушност беше запрено поради природна катастрофа тој месец. Вредноста беше реална; Неговото бришење би ја искривило историјата. Наместо бришење, беше фуснотиран. „Јасната“ препорака на вештачката интелигенција не беше следена слепо.
Табела за валидација на конверзија
Конверзија
формула суштина
рачен контролен пункт
реализација
номинален / индекс на цени × 100
Основа на дефлатор = база на исход?
годишен раст
(t / t-12месец − 1)×100
Пресметајте период на хартија
индексирање
серија/основен период × 100
Дали вредноста на основниот период е 100?
Месечно→ квартално
тек: собира / залиха: крај на периодот
Правилен начин на собирање?
подвижен просек
просек од последниот n период
Дали е точна должината на прозорецот?
Четири шаблони за копирање
1) План за чистење:
Ги имам овие необработени податоци: [колони и примероци од редови]. Дојдете со план за чистење за да се подготвите за анализа: вредност што недостасува, проблем со единица/формат, усогласување на датумот, усогласување на фреквенцијата, можни оддалечени. Објаснете во една реченица зошто секој чекор е неопходен. Сè уште не пишувајте код; прво да го потврдам планот.
2) код за чистење на пандите:
Напишете го кодот на пандите според планот што го одобрив. Нека кодот покажува што прави на секој чекор со линија за коментари; Го печати бројот на редови и вредностите што недостасуваат по конверзијата. Немојте тивко да бришете никакво набљудување; Пријавете ја секоја линија што ја бришете.
3) Реализација (проверливо):
Реализирајте ја оваа номинална серија со [индекс на цени]. Јасно напишете ја основната година на дефлаторот кога го користите; Наведете која е основата на добиената серија. Покажете ми ја сметката чекор по чекор за еден период за да можам рачно да ја потврдам.
4) Резиме на истражувачка анализа:
Напишете код за истражувачка анализа за следните исчистени податоци: збирна статистика, график на временски серии, скенирање на оддалеченост и матрица на корелација. Кога ги толкувате резултатите, разјаснете дека корелациите што ги наоѓате не се КАУЗАЛНИ и наведете 3 точки што ми се издвојуваат.
Слаб промпт / Силен промпт
Слаба навестување:
Исчистете ги овие податоци.
ВИ делува со претпоставки без да знае што да исчисти; Можете да избришете набљудувања, да менувате единици, нема да забележите.
Моќен потсетник:
Во овие месечни податоци за надворешнотрговската размена, извозот е во „илјада долари“, а увозот во „милиони долари“. Направете ги двете еднакви во „милион УСД“, означете ги месеците што недостасуваат, но НЕ ПОПОЛНУВАЈТЕ, порамнете ги датумите до крајот на месецот. Отпечатете колку редови се засегнати на секој чекор; тивко бришете ниту еден ред. Потоа покажете го билансот за еден месец на начин што можам рачно да го проверам.
Вообичаени грешки
- Вклучување на кодот за конверзија без да го прочитате. Погрешната база/единица тивко ја корумпира целата анализа.
- Пополнување на исчезнатите податоци без размислување. Бришење на периодот на криза/катастрофа со просекот.
- Автоматски отфрлете ги оддалечените. Грешка на вистински настан за грешка во податоците.
- Збунувачки сезонски и годишен раст. Двете се различни големини.
- Неправилно комбинирање на фреквенции. Собирање на сериите на акции и нивна обработка како тек.
- Погрешување на корелацијата во EDA за каузалност. Грешка на алатката за препознавање како доказ.
Сумирано
Чистењето и трансформацијата на податоците се невидливите, но одлучувачки 80 проценти од економската анализа. Вештачката интелигенција драматично ја забрзува оваа механичка работа; но на вас зависи да го прочитате секој чекор на чистење и секоја трансформација и рачно да потврдите барем едно набљудување. Основата на дефлаторот, единицата, фреквенцијата и пониските одлуки се економски одлуки и не можат слепо да се препуштат на вештачката интелигенција. Истражувачката анализа воведува податоци, но корелацијата нема причинско-последична врска.
Задача за апликација
Преземете вистинска необработена серија (на пр., месечен CPI и серии за номинална плата/приход). Направете план за чистење со првиот шаблон, генерирајте го кодот со вториот шаблон и реализирајте ја серијата со третиот шаблон. Потоа пресметајте ја вистинската вредност на еден период на хартија и споредете ја со излезот од вештачката интелигенција. Ако најдете несовпаѓање, дијагностицирајте и поправете го неговиот извор (основа/единица) и забележете го напредокот.
листа за проверка
- [ ] Го разгледав и одобрив планот за чистење пред да се напише кодот.
- [ ] Ми беше избришана/променета секоја линија од вештачката интелигенција пријавена; Нема тивко бришење.
- [ ] Кога ги пополнувате податоците што недостасуваат, може да прашате "зошто е празно?" Јас одговорив на прашањето.
- [ ] Истражував дали оддалеченоста е вистински настан или грешка во податоците.
- [ ] При реализацијата, потврдив дека основата на дефлаторот и основата на исходот се совпаѓаат.
- [ ] Рачно повторно ја пресметав конверзијата на најмалку една точка.
- [ ] Не ги прикажав корелациите во ЕДА како причинска врска.