سود:
- امکان پاکسازی داده های اقتصادی خام (مشاهدات از دست رفته، سردرگمی واحدها، عدم تطابق فرکانس) و آماده سازی آن برای تجزیه و تحلیل با کمک هوش مصنوعی
- امکان چاپ تبدیل های اقتصادی استاندارد مانند تبدیل اسمی واقعی، نمایه سازی، نرخ رشد، تنظیم فصلی به عنوان کد در هوش مصنوعی و تایید آنها به صورت دستی
- توانایی تشخیص داده ها از طریق تجزیه و تحلیل داده های اکتشافی (آمار خلاصه، توزیع، پرت، همبستگی) و خواندن انتقادی خلاصه های هوش مصنوعی
داده های اقتصادی به ندرت برای تجزیه و تحلیل آماده می شوند. در جدولی که از TURKSTAT دانلود کرده اید، چند ماه وجود ندارد، یک ستون به صورت متن با هزار کروشه آمده است، نرخ ارز به صورت ترکی مانند "1.234،56" است، یک سری ماهانه و دیگری فصلی است. بیشتر وقت اقتصاددان صرف تجزیه و تحلیل نمی شود، بلکه صرف آماده کردن داده ها برای تجزیه و تحلیل می شود. اینجاست که هوش مصنوعی یک شتابدهنده واقعی و کم خطر است: مراحل پاکسازی را پیشنهاد میکند، پانداها (کتابخانه پردازش دادههای پایتون) مینویسد، تحولات اقتصادی استاندارد را تدوین میکند. اما این واحد یک قانون تغییر ناپذیر نیز دارد: شما هر تبدیل نوشته شده توسط هوش مصنوعی را می خوانید و حداقل در یک مشاهده آن را به صورت دستی تأیید می کنید. اگر چرخه اسمی واقعی روی پایه اشتباه باشد، کل تحلیل بی سر و صدا از بین می رود.
تمیز کردن: چه مشکلاتی، چگونه آنها را حل کنیم؟
رایج ترین مشکلات در داده های اقتصادی و منطق آنها:
- مشاهده ناقص یک ماه / ربع خالی است. راه حل بستگی به زمینه دارد: اگر واقعاً وجود نداشته باشد، خالی می ماند. اگر شکاف فنی وجود داشته باشد، درون یابی دقیق انجام می شود - اما خط بین ساخت نازک است.
- سردرگمی واحدها و فرمت ها متن "12.345.6" باید به عدد تبدیل شود. میلیون/میلیارد باید سازگار شود.
- عدم تطابق فرکانس برای ترکیب یک سری ماهانه و سه ماهه، یک سری (ماهانه تا سه ماهه) جمع می شود - میانگین، کل یا پایان دوره به ماهیت شاخص (تمایز موجودی/جریان) بستگی دارد.
- مقادیر پرت (افراطی). اگر یک مشاهده به شدت منحرف شود: آیا این یک رویداد واقعی (بحران، افزایش قیمت) است یا یک خطای داده؟ قبل از حذف قابل درک است.
- تراز تاریخ. قالبهای تاریخ و تعاریف دورههای سریهای مختلف همگامسازی شدهاند.
توجه: پر کردن داده های گمشده بی گناه به نظر می رسد، اما یک تصمیم اقتصادی است. پر کردن یک ماه بحرانی با "میانگین ماه های همسایه" به معنای حذف آن بحران از تجزیه و تحلیل است. قبل از پر کردن، بپرسید "چرا این شکاف وجود دارد؟" به سوال پاسخ دهید.
تحولات اقتصادی استاندارد
تحولات و تعاریف آنها در کارنامه روزانه یک اقتصاددان:
- اسمی → واقعی. تنظیم برای تأثیر قیمت: ارزش واقعی = ارزش اسمی / شاخص قیمت × 100. سال پایه کاهش دهنده (شاخص تنظیم کننده) مبنای نتیجه را تعیین می کند.
- نمایه سازی مقیاس مجدد یک سری به طوری که یک دوره انتخاب شده = 100; برای مقایسه سری هایی با اندازه های مختلف مفید است.
- نرخ رشد. سالانه: (همان دوره این دوره / سال گذشته − 1) × 100. نرخ دوره ای و سالانه چیزهای مختلفی هستند. گیج کردن یک اشتباه رایج است.
- اصلاح فصلی پاکسازی اثرات فصلی منظم (گردشگری تابستانی، تعطیلات). سریال های خام و سریال های فصلی داستان های متفاوتی را روایت می کنند.
- میانگین متحرک. صاف کردن سر و صدا و قابل مشاهده کردن روند.
- لگاریتم و تفاوت برای بررسی پویایی رشد و ایستایی (در واحد سری زمانی عمیق تر خواهد شد).
نکته: با هر تبدیل از شما سوال می شود که "چه اتفاقی برای واحد و پایه افتاده است؟" بپرسید پایه سری واقعی پایه بادگیر است. پایه سری نمایه شده دوره ای است که انتخاب می کنید. مکتوب نگه داشتن این مطلب از اشتباهات بعدی جلوگیری می کند.
تجزیه و تحلیل داده های اکتشافی (EDA)
تشخیص داده ها قبل از وارد کردن به مدل ضروری است. تجزیه و تحلیل داده های اکتشافی (EDA) شامل: آمار خلاصه (میانگین، میانه، انحراف استاندارد، حداقل حداکثر)، شکل توزیع، دوره در طول زمان، نقاط پرت و همبستگی بین سری ها است. هوش مصنوعی به سرعت کد این مراحل را تولید می کند. وظیفه شما این است که خروجی را با دید اقتصادی بخوانید: "آیا این میانگین معقول است؟ آیا این همبستگی یک تصادف است یا یک رابطه شناخته شده؟"
احتیاط: در اینجا همبستگی فقط وسیله ای برای شناسایی است، نه اثبات علیت. این واقعیت که دو سری با هم حرکت می کنند (مثلاً فروش بستنی و غرق شدن - هر دو در تابستان شروع می شوند) لزوماً نشان نمی دهد که یکی به دیگری منجر می شود. ما این تمایز را در واحد 7 عمیق تر خواهیم کرد.
سه کیف کوچک
مورد 1 - پایه بادکن نادرست. یک تحلیلگر هوش مصنوعی کد نوشت تا سری دستمزد را بفهمد. کد کار می کرد، نتیجه معقول به نظر می رسید - اما تحلیلگر به صورت دستی سال 2020 را در مرحله CALCULATE محاسبه کرد و کار نکرد. مشکل: هوش مصنوعی از بادگیر با پایه 100=2003 استفاده کرد و سری دستمزد را با قیمت های 2015 درخواست کرد. پایگاه ها متضاد بودند. کد با یک خط ثابت تعمیر شد، کل سری در جای خود قرار گرفت.
مورد 2 - خطای صدای بی صدا. یک موسسه آمار صادرات را به هزار دلار و واردات را به میلیون دلار کاهش داده بود. وقتی هوش مصنوعی این دو را برای «تراز تجارت خارجی» حذف کرد، نتیجه یک کسری پوچ بود. نمای min-max در EDA خطا را نشان داد: ترتیب بزرگی دو سری با ضریب 1000 متفاوت بود. هنگامی که واحد برابر شد، تعادل صحیح بود.
مورد 3 - عدم حذف نقطه پرت. یک ماه در یک سریال فوق العاده کم بود. هوش مصنوعی پیشنهاد کرد "بیشتر، بیایید آن را تمیز کنیم". این تحلیلگر بررسی کرد: تولید در واقع به دلیل یک فاجعه طبیعی در آن ماه متوقف شده بود. ارزش واقعی بود. حذف آن تاریخ را تحریف می کند. به جای حذف پاورقی گذاشته شد. توصیه «روشن» هوش مصنوعی کورکورانه دنبال نشد.
جدول اعتبار سنجی تبدیل
تبدیل
جوهر فرمول
ایست بازرسی دستی
تحقق
اسمی / شاخص قیمت × 100
Deflator base = outcome base?
رشد سالانه
(t / t-12 ماه - 1) × 100
یک دوره را روی کاغذ محاسبه کنید
نمایه سازی
سری/دوره پایه × 100
آیا ارزش دوره پایه 100 است؟
ماهانه → فصلنامه
جریان: جمع آوری / موجودی: پایان دوره
روش جمع آوری صحیح؟
میانگین متحرک
میانگین دوره n گذشته
آیا طول پنجره درست است؟
چهار قالب قابل کپی
1) طرح نظافت:
من این داده های خام را دارم: [ستون ها و ردیف های نمونه]. یک طرح تمیز کردن برای آماده شدن برای تجزیه و تحلیل تهیه کنید: مقدار گمشده، مشکل واحد/فرمت، هم ترازی تاریخ، هم ترازی فرکانس، نقاط دورافتاده احتمالی. در یک جمله توضیح دهید که چرا هر مرحله لازم است. هنوز کد ننویسید. اجازه دهید ابتدا طرح را تایید کنم.
2) کد پاکسازی پانداها:
کد پانداها را طبق طرحی که من تایید کردم بنویسید. اجازه دهید کد نشان دهد که در هر مرحله با یک خط نظر چه کاری انجام می دهد. تعداد سطرها و مقادیر از دست رفته را پس از تبدیل چاپ می کند. هیچ مشاهده ای را در سکوت پاک نکنید. هر خطی را که حذف می کنید گزارش دهید.
3) تحقق (قابل تأیید):
این سری اسمی را با [شاخص قیمت] محقق کنید. هنگام استفاده از بادگیر، سال پایه را به وضوح بنویسید. مشخص کنید که پایه سری حاصل چیست. حساب را برای یک دوره گام به گام به من نشان دهید تا بتوانم آن را به صورت دستی تأیید کنم.
4) خلاصه تحلیل اکتشافی:
کد تحلیل اکتشافی را برای داده های پاک شده زیر بنویسید: آمار خلاصه، نمودار سری زمانی، اسکن پرت و ماتریس همبستگی. When interpreting the results, make it clear that the correlations you find are not CAUSAL and list 3 points that stand out to me.
اعلان ضعیف / اعلان قوی
اعلان ضعیف:
این داده ها را پاک کنید.
هوش مصنوعی بدون اینکه بداند چه چیزی را تمیز کند، با فرضیات عمل می کند. می توانید مشاهدات را حذف کنید، واحدها را تغییر دهید، متوجه نخواهید شد.
اعلان قدرتمند:
در این آمار ماهانه تجارت خارجی، صادرات به «هزار دلار» و واردات به «میلیون دلار» است. این دو را در «میلیون دلار» برابر کنید، ماههای از دست رفته را علامت بزنید اما پر نکنید، تاریخها را با پایان ماه تراز کنید. چاپ چند ردیف در هر مرحله. بدون صدا هیچ ردیفی را حذف نکنید. سپس موجودی را برای یک ماه به گونه ای نشان دهید که بتوانم به صورت دستی بررسی کنم.
اشتباهات رایج
- اجرای کد تبدیل بدون خواندن آن. پایگاه/واحد اشتباه بی سر و صدا کل تحلیل را خراب می کند.
- پر کردن اطلاعات از دست رفته بدون فکر پاک کردن دوره بحران/فاجعه با میانگین.
- به طور خودکار موارد پرت را کنار بگذارید. اشتباه گرفتن یک رویداد واقعی با خطای داده
- رشد فصلی و سالانه گیج کننده. این دو اندازه متفاوت هستند.
- ترکیب نادرست فرکانس ها جمع آوری سری سهام و پردازش آن به صورت جریان.
- اشتباه گرفتن همبستگی در EDA با علیت. اشتباه گرفتن ابزار تشخیص به عنوان مدرک
به طور خلاصه
پاکسازی و تبدیل داده ها 80 درصد نامرئی اما تعیین کننده تحلیل اقتصادی است. هوش مصنوعی به طور چشمگیری سرعت این کار مکانیکی را افزایش می دهد. اما این به شما بستگی دارد که هر مرحله پاکسازی و هر تغییر و تحول را بخوانید و حداقل یک مشاهده را به صورت دستی تأیید کنید. تصمیمات پایه، واحد، فرکانس و دورتر از بادکنک، تصمیمات اقتصادی هستند و نمی توان کورکورانه آن را به هوش مصنوعی واگذار کرد. تجزیه و تحلیل اکتشافی داده ها را معرفی می کند، اما همبستگی وجود ندارد علیت.
وظیفه کاربردی
یک سریال خام واقعی (مانند CPI ماهانه و مجموعه دستمزد/درآمد اسمی) را دانلود کنید. با قالب 1 یک طرح تمیز ایجاد کنید، کد را با قالب دوم تولید کنید و سری را با الگوی 3 درک کنید. سپس مقدار واقعی یک دوره را روی کاغذ محاسبه کرده و با خروجی هوش مصنوعی مقایسه کنید. اگر ناهماهنگی پیدا کردید، منبع آن (پایه/واحد) را تشخیص داده و تصحیح کنید و پیشرفت را یادداشت کنید.
چک لیست
- [ ] من طرح پاکسازی را قبل از نوشتن کد بررسی و تأیید کردم.
- [ ] هر خطی که توسط هوش مصنوعی گزارش شده حذف/تغییر شده بود. بدون حذف بی صدا
- [ ] هنگام پر کردن داده های از دست رفته ممکن است بپرسید "چرا خالی است؟" من به سوال پاسخ دادم.
- [ ] من بررسی کردم که آیا نقطه پرت یک رویداد واقعی است یا یک خطای داده.
- [ ] در تحقق، من تأیید کردم که پایه کاهش دهنده و پایه نتیجه مطابقت دارند.
- [ ] من به صورت دستی تبدیل حداقل یک دوره را دوباره محاسبه کردم.
- [ ] من همبستگی را در EDA به عنوان علت ارائه نکردم.