Табыстар:
- Жасанды интеллект көмегімен өңделмеген экономикалық деректерді тазалау мүмкіндігі (жетпеген бақылаулар, бірлік шатасуы, жиіліктің сәйкессіздігі) және оларды талдауға дайын ету
- Нақты номиналды түрлендіру, индекстеу, өсу қарқыны, маусымдық түзету сияқты стандартты экономикалық түрлендірулерді жасанды интеллектке код ретінде басып шығару және оларды қолмен тексеру мүмкіндігі
- Деректерді зерттеу арқылы талдау (жиынтық статистика, тарату, шектен шығулар, корреляция) және жасанды интеллект қорытындыларын сыни тұрғыдан оқу мүмкіндігі
Экономикалық деректер сирек талдауға дайын болады. ТҮРКІСТАН-дан жүктеп алған кестеде кейбір айлар жоқ, бір баған мәтін ретінде мың жақшамен келеді, валюта бағамы түрік форматында «1.234,56», бір сериясы айлық, екіншісі тоқсан сайынғы. Экономист уақытының көп бөлігі талдауға емес, деректерді талдауға дайын етуге жұмсалады. Дәл осы жерде AI нақты, төмен тәуекелді үдеткіш болып табылады: ол тазалау қадамдарын ұсынады, пандаларды жазады (Python деректерін өңдеу кітапханасы), стандартты экономикалық трансформацияларды кодификациялайды. Бірақ бұл құрылғының да өзгермейтін ережесі бар: сіз жасанды интеллект арқылы жазылған әрбір түрлендіруді оқисыз және оны кем дегенде бір бақылауда қолмен тексересіз. Егер нақты номиналды цикл дұрыс емес негізде болса, бүкіл талдау тыныш ыдырайды.
Тазалау: қандай проблемалар, оларды қалай шешуге болады?
Экономикалық деректерде жиі кездесетін мәселелер және олардың логикасы:
- Толық емес бақылау. Бір ай/тоқсан бос. Шешім контекстке байланысты: егер ол іс жүзінде жоқ болса, ол бос қалдырылады; Техникалық алшақтық болса, мұқият интерполяция жасалады, бірақ өндіріс арасындағы сызық жұқа.
- Бірліктер мен форматтардың шатастырылуы. «12.345.6» мәтіні санға ауыстырылуы керек; миллион/миллиард сәйкес болуы керек.
- Жиілік сәйкессіздігі. Ай сайынғы және тоқсандық қатарларды біріктіру үшін бірі жинақталады (айлық-тоқсандық) — орташа, жалпы немесе кезең соңы көрсеткіш сипатына байланысты (қор/ағым айырмашылығы).
- Шектен тыс (экстремалды) мәндер. Егер бақылау қатты ауытқыса: бұл нақты оқиға ма (дағдарыс, бағаның өсуі) немесе деректер қатесі? Бұл жоюға дейін түсініледі.
- Күнді туралау. Әртүрлі сериялардың күн пішімдері мен кезең анықтамалары синхрондалады.
Назар аударыңыз: жетіспейтін деректерді толтыру кінәсіз болып көрінеді, бірақ бұл экономикалық шешім. Дағдарыс айын «көрші айлардың орташа көрсеткішімен» толтыру бұл дағдарысты талдаудан алып тастауды білдіреді. Толтырмас бұрын «неліктен бұл олқылық бар?» деп сұраңыз. Сұраққа жауап беріңіз.
Стандартты экономикалық трансформациялар
Экономисттің күнделікті репертуарындағы трансформациялар және олардың анықтамалары:
- Номиналды → Нақты. Баға әсерін түзету: нақты құн = номиналды құн / баға индексі × 100. Дефлятордың базалық жылы (түзететін индекс) нәтиженің негізін анықтайды.
- Индекстеу. Таңдалған кезең = 100 болатындай қатарды қайта масштабтау; Бұл әртүрлі өлшемдегі қатарларды салыстыру үшін пайдалы.
- Өсу қарқыны. Жылдық: (осы кезеңнің дәл сол кезеңі / өткен жылдың − 1) × 100. Мерзімді және жылдық мөлшерлеме әртүрлі нәрселер; Шатастыру - кең таралған қате.
- Маусымдық түзету. Тұрақты маусымдық әсерлерді тазарту (жазғы туризм, мерекелер); Шикі сериялар мен маусымдық түзетілген сериялар әртүрлі оқиғаларды айтады.
- Жылжымалы орташа. Шуды тегістеу және трендті көрінетін ету.
- Логарифмдер және дифференциалдау. Өсу динамикасы мен стационарлылығын зерттеу (уақыттық қатарлар бірлігінде тереңдетіледі).
Кеңес: Әр түрлендіру кезінде сізден «бірлік пен базаға не болды?» Деп сұралады. сұраңыз. Нақты қатардың негізі дефлятордың негізі болып табылады; Индекстелген қатардың негізі сіз таңдаған кезең болып табылады. Осыны жазып алу болашақ қателіктердің алдын алады.
Зерттеу деректерін талдау (EDA)
Модельге енгізбес бұрын деректерді тану қажет. Барлау деректерін талдау (EDA) мыналарды қамтиды: жиынтық статистика (орташа, медиана, стандартты ауытқу, мин-макс), таралу пішіні, уақыт бойынша барысы, ауытқулар және қатарлар арасындағы корреляция. AI осы қадамдар үшін кодты жылдам жасайды; Сіздің жұмысыңыз нәтижені экономикалық көзбен оқу болып табылады: "Бұл орташа ақылға қонымды ма? Бұл корреляция кездейсоқтық па немесе белгілі байланыс па?"
Абайлаңыз: Корреляция бұл жерде тек сәйкестендіру құралы болып табылады, себепті байланыстың дәлелі емес. Екі серияның бірге қозғалуы фактісі (мысалы, балмұздақ сату және суға бату - екеуі де жазда туындаған) міндетті түрде біреуі екіншісіне апаратынын көрсетпейді. Біз бұл айырмашылықты 7-бөлімде тереңдетеміз.
үш шағын іс
1-жағдай — дұрыс емес дефлятор негізі. Аналитикте жалақы сериясын жүзеге асыру үшін жасанды интеллект жазу коды болды. Код жұмыс істеді, нәтиже ақылға қонымды болды, бірақ талдаушы 2020 жылды ЕСЕПТЕУ қадамында қолмен есептеді және ол жұмыс істемеді. Мәселе: жасанды интеллект 2003=100 базасы бар дефляторды қолданды және 2015 жылғы бағамен жалақы сериясын сұрады; Негіздер қарама-қайшы болды. Код бір жолды түзету арқылы жөнделді, бүкіл серия орнына түсті.
2-жағдай — Дыбыссыз дыбыс қатесі. Бір мекеме экспорт деректерін мың долларға, ал импортты миллион долларға қысқартты. Жасанды интеллект «сыртқы сауда балансы» үшін екеуін алып тастағанда, нәтиже абсурдтық тапшылық болды. EDA ішіндегі min-max көрінісі қатені анықтады: екі қатардың шамасының реті 1000 факторға ерекшеленді. Бірлік теңестірілгеннен кейін теңгерім дұрыс болды.
3-жағдай - Шектеулі мәнді жоймау. Сериядағы бір ай өте төмен болды. AI «шығыс, оны тазалап көрейік» деп ұсынды. Сарапшы зерттеді: өндіріс сол айда болған табиғи апат салдарынан іс жүзінде тоқтап қалды. Мән нақты болды; Оны жою тарихты бұрмалайды. Жоюдың орнына оған сілтеме қойылды. AI-ның «айқын» ұсынысы соқыр орындалмады.
Түрлендіруді тексеру кестесі
Түрлендіру
формуланың мәні
қолмен бақылау пункті
жүзеге асыру
номиналды / баға индексі × 100
Дефляторлық база = нәтиже базасы?
жылдық өсім
(t / t-12ай − 1)×100
Қағаздағы кезеңді есептеңіз
индекстеу
серия/негізгі кезең × 100
Негізгі кезең мәні 100 ме?
Ай сайын→тоқсан сайын
ағын: жинау / қор: кезең соңы
Дұрыс жинау әдісі?
жылжымалы орташа
соңғы n кезеңнің орташа мәні
Терезенің ұзындығы дұрыс па?
Көшірілетін төрт үлгі
1) Тазалау жоспары:
Менде бұл бастапқы деректер бар: [бағандар мен үлгі жолдар]. Талдауға дайындалу үшін тазалау жоспарын жасаңыз: жетіспейтін мән, бірлік/пішім мәселесі, күнді туралау, жиілікті туралау, ықтимал ауытқулар. Әрбір қадамның не үшін қажет екенін бір сөйлеммен түсіндіріңіз. Кодты әлі жазбаңыз; алдымен жоспарды бекітуге рұқсат етіңіз.
2) пандаларды тазалау коды:
Мен бекіткен жоспар бойынша панда кодын жазыңыз. Код түсініктеме жолымен әр қадамда не істейтінін көрсетсін; Ол түрлендіруден кейін жолдар санын және жетіспейтін мәндерді басып шығарады. Кез келген бақылауды үнсіз өшірмеңіз; Сіз жойған әрбір жолды хабарлаңыз.
3) іске асыру (тексерілетін):
Осы номиналды қатарды [баға индексі] арқылы жүзеге асырыңыз. Дефляторды пайдаланған кезде оның негізгі жылын анық жазыңыз; Алынған қатардың негізі не екенін көрсетіңіз. Мен оны қолмен растауым үшін бір кезеңге есептік жазбаны кезең-кезеңімен көрсетіңіз.
4) Барлау талдауының қысқаша мазмұны:
Келесі тазартылған деректер үшін барлау талдау кодын жазыңыз: жиынтық статистика, уақыт қатарының сызбасы, шектен шығуды сканерлеу және корреляциялық матрица. Нәтижелерді интерпретациялағанда, сіз тапқан корреляцияның СЕБЕП-СЕБЕПТІ емес екенін түсіндіріңіз және маған ерекшеленетін 3 тармақты көрсетіңіз.
Әлсіз шақыру / Күшті шақыру
Әлсіз шақыру:
Бұл деректерді өшіріңіз.
AI не тазалау керектігін білмей, болжамдармен әрекет етеді; Сіз бақылауларды жоя аласыз, бірліктерді өзгерте аласыз, сіз байқамайсыз.
Күшті шақыру:
Бұл ай сайынғы сыртқы сауда деректерінде экспорт «мың АҚШ долларымен», ал импорт «миллион доллармен» көрсетілген. Екеуін «миллион АҚШ долларына» тең етіңіз, жетіспейтін айларды белгілеңіз, бірақ ТОЛТЫРАМАҢЫЗ, күндерді айдың соңына туралаңыз. Әр қадамда қанша жолға әсер ететінін басып шығарыңыз; ешбір жолды үнсіз жою. Содан кейін бір айдағы теңгерімді қолмен тексере алатындай етіп көрсетіңіз.
Жалпы қателер
- Түрлендіру кодын оқымай іске қосу. Қате негіз/бірлік бүкіл талдауды үнсіз бұзады.
- Ойланбай жетіспейтін деректерді толтыру. Дағдарыс/апат кезеңін орташа мәнмен өшіру.
- Шектеулерді автоматты түрде алып тастаңыз. Деректер қатесі үшін нақты оқиғаны қателесу.
- Маусымдық және жылдық өсуді шатастыру. Екеуі әртүрлі өлшемдер.
- Жиіліктерді қате біріктіру. Қор қатарын жинау және оны ағын ретінде өңдеу.
- EDA-дағы корреляцияны себептілік үшін қателесу. Дәлел ретінде тану құралын қателесу.
Қысқаша
Деректерді тазалау және түрлендіру экономикалық талдаудың көрінбейтін, бірақ шешуші 80 пайызы болып табылады. Жасанды интеллект бұл механикалық жұмысты күрт жылдамдатады; бірақ әрбір тазалау қадамын және әрбір түрлендіруді оқып, кем дегенде бір бақылауды қолмен тексеру сізге байланысты. Дефляторлық база, бірлік, жиілік және шектен тыс шешімдер экономикалық шешімдер болып табылады және оларды жасанды интеллектке соқыр түрде қалдыруға болмайды. Барлау талдау мәліметтерді енгізеді, бірақ корреляция себепті байланыс жоқ.
Қолданбалы тапсырма
Нақты шикізат сериясын жүктеп алыңыз (мысалы, ай сайынғы ТБИ және номиналды жалақы/табыс сериясы). 1-ші үлгімен тазалау жоспарын жасаңыз, кодты 2-ші үлгімен жасаңыз және серияны 3-ші үлгімен орындаңыз. Содан кейін қағаздағы бір кезеңнің нақты мәнін есептеп, оны жасанды интеллекттің нәтижесімен салыстырыңыз. Сәйкессіздікті тапсаңыз, оның көзін (негіз/бірлік) диагностикалаңыз және түзетіңіз және орындалу барысын белгілеңіз.
бақылау парағы
- [ ] Код жазылмас бұрын тазалау жоспарын қарап шықтым және бекіттім.
- [ ] Жасанды интеллект хабарлаған әрбір жолды жойдым/өзгерттім; Үнсіз жою жоқ.
- [ ] Жетіспейтін деректерді толтырған кезде сіз "неге бос?" деп сұрауыңыз мүмкін. деген сұраққа жауап бердім.
- [ ] Мен шектен шыққан мән нақты оқиға немесе деректер қатесі екенін зерттедім.
- [ ] Іске асыру барысында мен дефлятор негізі мен нәтиже базасы сәйкес келетінін тексердім.
- [ ] Мен кемінде бір кезеңнің түрлендіруін қолмен қайта есептедім.
- [ ] Мен EDA-дағы корреляцияны себептілік ретінде көрсетпедім.