бирдиги 3 / 11

Маалыматтарды тазалоо, трансформациялоо жана изилдөө анализи (Python/pandas колдоосу менен)

Пайдалар:

  • Жасалма интеллекттин жардамы менен чийки экономикалык маалыматтарды тазалоо (жетпеген байкоолор, бирдиктердин башаламандыгы, жыштыктын дал келбестиги) жана аны талдоо үчүн даярдоо мүмкүнчүлүгү
  • Жасалма интеллектке код катары реалдуу номиналдык конверсия, индекстөө, өсүү темпи, сезондук коррекциялоо сыяктуу стандарттуу экономикалык трансформацияларды басып чыгаруу жана аларды кол менен текшерүү мүмкүнчүлүгү
  • Чалгындоочу маалыматтарды талдоо (жыйналма статистика, бөлүштүрүү, четтөөлөр, корреляция) жана жасалма интеллекттин кыскача баяндамалары аркылуу маалыматтарды таануу жөндөмү

Экономикалык маалыматтар сейрек талдоо үчүн даяр болот. Түркстандан жүктөп алган таблицада кээ бир айлар жок, бир тилке миң кашаа менен текст түрүндө келет, валюта курсу түрк форматында "1.234,56", бир сериясы ай сайын, экинчиси квартал сайын. Экономисттин убактысынын көбү анализге эмес, маалыматтарды анализге даярдоого жумшалат. Бул жерде AI чыныгы, азыраак тобокелдикти тездетүүчү: ал тазалоо кадамдарын сунуштайт, пандаларды (Python'дун маалыматтарды иштетүү китепканасын) жазат, стандарттуу экономикалык трансформацияларды кодификациялайт. Бирок бул бирдиктин да өзгөрүлгүс эрежеси бар: сиз жасалма интеллект жазган ар бир трансформацияны окуп, жок дегенде бир байкоодо кол менен текшересиз. Эгерде чыныгы номиналдык цикл туура эмес негизде болсо, анда бүт анализ акырындык менен бузулат.

Тазалоо: кандай көйгөйлөр, аларды кантип чечүү керек?

Экономикалык маалыматтарда кеңири таралган көйгөйлөр жана алардын логикасы:

  • Толук эмес байкоо. Бир ай/чейрек бош. Чечим контекстке жараша болот: эгерде ал чындыгында жок болсо, анда ал бош калтырылат; Эгерде техникалык боштук бар болсо, кылдат интерполяция жасалат, бирок өндүрүштүн ортосундагы сызык жука.
  • Бирдиктердин жана форматтардын чаташуусу. "12.345.6" тексти санга айландырылууга тийиш; миллион/миллиард ырааттуу болушу керек.
  • Жыштыктын дал келбеши. Айлык жана кварталдык катарларды бириктирүү үчүн бири (айдан кварталга чейин) бириктирилет — орточобу, жалпыбы же мезгилдин аягы көрсөткүчтүн мүнөзүнө жараша болот (запас/агымдын айырмасы).
  • Ашыкча (экстремалдуу) баалуулуктар. Эгерде байкоо кескин түрдө четтеп кетсе: бул чыныгы окуябы (кризис, баалардын көтөрүлүшү) же маалымат катасыбы? Бул жок кылуу алдында түшүнүлөт.
  • Датаны тегиздөө. Дата форматтары жана ар кандай сериялардын мезгил аныктамалары шайкештештирилет.
Көңүл буруңуз: Жетишпеген маалыматтарды толтуруу күнөөсүз көрүнөт, бирок бул экономикалык чечим. Кризистик айды "коңшу айлардын орточо көрсөткүчү" менен толтуруу бул кризисти анализден алып салуу дегенди билдирет. Толтуруунун алдында "эмне үчүн бул боштук бар?" Суроого жооп бер.

Стандарттык экономикалык кайра куруулар

Экономисттин күнүмдүк репертуарындагы трансформациялар жана алардын аныктамалары:

  • Номиналдуу → Реал. Баанын таасирин жөнгө салуу: реалдуу нарк = номиналдык нарк / баа индекси × 100. Дефлятордун базалык жылы (түзөтүүчү индекс) натыйжанын негизин аныктайт.
  • Индекстөө. Тандалган мезгил = 100 болгудай катардын масштабын өзгөртүү; Бул ар кандай өлчөмдөгү серияларды салыштыруу үчүн пайдалуу.
  • Өсүү темпи. Жылдык: (ушул мезгилдин ушул мезгили / өткөн жылдын − 1) × 100. Мезгилдик жана жылдык көрсөткүч ар башка нерселер; Чаташтыруу - бул кеңири таралган ката.
  • Сезондук коррекция. Үзгүлтүксүз сезондук эффекттерди тазалоо (жайкы туризм, майрам); чийки сериясы жана сезондук жөнгө салуу сериясы ар кандай окуяларды айтып берет.
  • Кыймылдуу орточо. Ызы-чууну басаңдатуу жана трендди көрүнөө кылуу.
  • Логарифмдер жана дифференциялоо. Өсүү динамикасын жана стационардуулугун изилдөө (убакыт катарларынын бирдигинде тереңдейт).
Кеңеш: Ар бир конверсияда сизден "бирдикке жана базага эмне болду?" сура. Реалдуу катардын негизи дефлятордун негизи; Индекстелген катардын негизи сиз тандаган мезгил болуп саналат. Муну жазуу келечектеги каталардын алдын алат.

Чалгындоо маалыматтарды талдоо (EDA)

Бул моделге киргизүү алдында маалыматтарды таануу зарыл. Изилдөөчү маалыматтарды талдоо (EDA) төмөнкүлөрдү камтыйт: жыйынды статистика (орто, медиана, стандарттык четтөө, мин-макс), бөлүштүрүүнүн формасы, убакыттын өтүшү, четтөөлөр жана катарлардын ортосундагы корреляция. AI бул кадамдардын кодун тез жаратат; Сиздин милдетиңиз экономикалык көз менен чыгашаны окуу: "Бул орточо акылга сыярлыкпы? Бул корреляция кокустукпу же белгилүү мамилеби?"

Эскертүү: Корреляция бул жерде себептүүлүктүн далили эмес, идентификациянын каражаты гана. Эки сериянын чогуу кыймылдашы (мисалы, балмуздак сатуу жана сууга чөгүп кетүү - экөө тең жай мезгилинде пайда болгон) бири экинчисине алып барарын билдирбейт. Биз бул айырмачылыкты 7-бөлүмдө тереңдетебиз.

үч мини учурлар

1-жагдай — Туура эмес дефлятордук база. Бир аналитик эмгек акы сериясын ишке ашыруу үчүн жасалма интеллект жазуу коду болгон. Код иштеди, натыйжа акылга сыярлык көрүндү — бирок аналитик 2020-жылды Эсептөө кадамында кол менен эсептеп чыкты жана ал иштеген жок. Маселе: жасалма интеллект 2003=100 базасы менен дефляторду колдонду жана 2015-жылдагы баалар менен эмгек акынын сериясын сурады; Базалар карама-каршы болгон. Код бир линияны оңдоо менен оңдолуп, бүт сериясы ордуна келди.

2-жагдай — Үнсүз үн катасы. Бир мекеме экспорттун маалыматтарын миң долларга, импортту миллион долларга кыскарткан. Жасалма интеллект "тышкы соода балансы" үчүн экөөнү алып салганда, натыйжада абсурддуу тартыштык пайда болду. EDAдагы мин-макстык көрүнүш катаны аныктады: эки катардын чоңдук тартиби 1000 эсеге айырмаланды. Бирдик теңдештирилгенден кийин баланс туура болду.

3-жагдай - Чектөөлөрдү жок кылбоо. Сериядагы бир ай өтө аз болду. AI "чет, аны тазалайлы" деп сунуштады. Талдоочу иликтеген: өндүрүш иш жүзүндө ошол айда болгон табигый кырсыктан улам токтоп калган. Наркы реалдуу болгон; Аны жок кылуу тарыхты бурмалайт. Өчүрүүнүн ордуна, шилтеме берилген. AIнын "айкын" сунушу сокур түрдө аткарылган жок.

Конверсияны текшерүү таблицасы

Конверсия

формуланын маңызы

кол менен текшерүү пункту

ишке ашыруу

номиналдык / баа индекси × 100

Дефлятор базасы = натыйжа базасы?

жылдык өсүш

(t/t-12ай - 1)×100

Кагаздагы мезгилди эсептеңиз

индекстөө

серия/базалык мезгил × 100

Базалык мезгилдин мааниси 100бү?

Ай сайын→ квартал сайын

агым: чогултуу / запас: мезгилдин аягы

Туура чогултуу ыкмасы?

кыймылдуу орточо

акыркы n мезгил орточо

Терезенин узундугу туурабы?

Көчүрүү үчүн төрт шаблон

1) Тазалоо планы:

Менде бул чийки маалыматтар бар: [мамычалар жана үлгү саптары]. Анализге даярдануу үчүн тазалоо планын түзүңүз: жетишпеген маани, бирдик/формат маселеси, датаны тегиздөө, жыштыктарды тегиздөө, мүмкүн болуучу чектен чыгуулар. Ар бир кадам эмне үчүн зарыл экенин бир сүйлөм менен түшүндүрүңүз. Кодду азырынча жазбаңыз; биринчи планды ырастайм.

2) пандаларды тазалоо коду:

Мен бекиткен планга ылайык панда кодун жаз. Код комментарий сызыгы менен ар бир кадамда эмне кылаарын көрсөтсүн; Ал конверсиядан кийин саптардын санын жана жетишпеген маанилерди басып чыгарат. Эч кандай байкоону унчукпай өчүрбө; Сиз жок кылган ар бир сапты кабарлаңыз.

3) ишке ашыруу (текшерилүүчү):

Бул номиналдык катарды [баанын индекси] менен ишке ашырыңыз. Дефляторду колдонгондо анын негизги жылын так жазыңыз; Натыйжадагы катардын негизи эмне экенин көрсөтүңүз. Мен аны кол менен текшеришим үчүн, мага бир мезгил үчүн эсепти этап-этабы менен көрсөтүңүз.

4) Изилдөөчү анализдин корутундусу:

Төмөнкү тазаланган маалыматтар үчүн чалгындоо анализинин кодун жазыңыз: кыскача статистика, убакыт серияларынын графиги, четтөөлөрдү сканерлөө жана корреляция матрицасы. Натыйжаларды чечмелөөдө, сиз тапкан корреляциянын СЕБЕПТҮҮ эмес экенин ачык айтыңыз жана мага өзгөчө 3 пунктту тизмектеңиз.

Алсыз тездик / Күчтүү тездик

Алсыз билдирүү:

Бул дайындарды тазалаңыз.

AI эмнени тазалоону билбей туруп, божомолдор менен иш-аракет кылат; Сиз байкоолорду өчүрө аласыз, бирдиктерди өзгөртө аласыз, сиз байкабай каласыз.

Күчтүү билдирүү:

Бул айлык тышкы соода маалыматтарында экспорт «миң доллар» менен, импорт «миллион доллар» менен көрсөтүлгөн. Экөөнү "миллион долларга" теңдеңиз, жетишпеген айларды белгилеңиз, бирок ТОЛТУРА БЕРБЕңиз, даталарды айдын аягына тууралаңыз. Ар бир кадамда канча сап таасир эткенин басып чыгарыңыз; унчукпай эч кандай саптарды жок кылуу. Андан кийин мен кол менен текшере ала тургандай бир айдагы балансты көрсөтүңүз.

Жалпы каталар

  • Конверсия кодун окубастан иштетүү. Туура эмес база/бирдик бүт анализди унчукпай бузат.
  • Жетишпеген маалыматтарды ойлонбостон толтуруу. Орточо көрсөткүч менен кризисти/кырсык мезгилин өчүрүү.
  • Чектөөлөрдү автоматтык түрдө жокко чыгаруу. Чыныгы окуяны маалымат катасы менен жаңылыштыруу.
  • Сезондук жана жылдык өсүштү чаташтырбоо. Экөөнүн өлчөмү ар башка.
  • Жыштыктарды туура эмес айкалыштыруу. Запастык катарларды чогултуу жана аны агым катары иштетүү.
  • EDAдагы корреляцияны себептүүлүк үчүн жаңылыштыруу. Таануу куралын далил катары жаңылыштык.

Кыскача айтканда

Маалыматтарды тазалоо жана трансформациялоо экономикалык анализдин көрүнбөгөн, бирок чечүүчү 80 пайызы. Жасалма интеллект бул механикалык ишти кескин ылдамдатат; бирок ар бир тазалоо кадамын жана ар бир трансформацияны окуп, жок дегенде бир байкоону кол менен текшерүү сизге көз каранды. Дефлятордук база, бирдик, жыштык жана чектен чыгуу чечимдери экономикалык чечимдер болуп саналат жана аларды жасалма интеллектке сокур түрдө калтырууга болбойт. Изилдөөчү талдоо маалыматтарды киргизет, бирок корреляция себептүүлүк жок.

Колдонмо тапшырмасы

Чыныгы чийки серияны жүктөп алыңыз (мисалы, ай сайынгы КБИ жана номиналдуу эмгек акы/киреше сериясы). 1-шаблон менен тазалоо планын түзүңүз, кодду 2-шаблон менен түзүңүз жана 3-шаблон менен катарды ишке ашырыңыз. Андан кийин кагаз бетинде бир мезгилдин чыныгы баасын эсептеп, аны жасалма интеллекттин натыйжасы менен салыштырыңыз. Эгерде сиз дал келбөөчүлүктү тапсаңыз, анын булагын (базалык/бирдик) диагностикалап, оңдоңуз жана прогрессти белгилеңиз.

текшерүү тизмеси

  • [ ] Мен код жазылганга чейин тазалоо планын карап чыктым жана бекиттим.
  • [ ] Жасалма интеллект билдирилген ар бир сапты өчүрүп/өзгөрткөм; Үнсүз өчүрүү жок.
  • [ ] Жетишпеген маалыматтарды толтурууда сиз "эмне үчүн ал бош?" деген суроого жооп бердим.
  • [ ] Мен четтөөлөр реалдуу окуябы же маалымат катасыбы, аны иликтедим.
  • [ ] Ишке ашырууда мен дефлятор базасы менен жыйынтык базасы дал келерин текшердим.
  • [ ] Мен кол менен жок дегенде бир мезгилдин конверсиясын кайра эсептеп чыктым.
  • [ ] Мен EDAдагы корреляцияны себеп катары көрсөткөн эмесмин.