Κέρδη:
- Δυνατότητα καθαρισμού ακατέργαστων οικονομικών δεδομένων (παρατηρήσεις που λείπουν, σύγχυση μονάδων, αναντιστοιχία συχνότητας) και ετοιμότητα για ανάλυση με τη βοήθεια τεχνητής νοημοσύνης
- Δυνατότητα εκτύπωσης τυπικών οικονομικών μετασχηματισμών όπως πραγματική ονομαστική μετατροπή, τιμαριθμική αναπροσαρμογή, ρυθμός ανάπτυξης, εποχιακή προσαρμογή ως κώδικα σε τεχνητή νοημοσύνη και χειροκίνητη επαλήθευση τους
- Ικανότητα αναγνώρισης δεδομένων μέσω διερευνητικής ανάλυσης δεδομένων (συνοπτικά στατιστικά στοιχεία, διανομή, ακραίες τιμές, συσχέτιση) και κριτική ανάγνωση περιλήψεων τεχνητής νοημοσύνης
Τα οικονομικά δεδομένα σπάνια είναι έτοιμα για ανάλυση. Σε έναν πίνακα που κατεβάσατε από την TURKSTAT, λείπουν κάποιοι μήνες, η μία στήλη έρχεται ως κείμενο με χιλιάδες αγκύλες, η ισοτιμία είναι σε τουρκική μορφή όπως "1.234,56", η μία σειρά είναι μηνιαία και η άλλη τριμηνιαία. Το μεγαλύτερο μέρος του χρόνου του οικονομολόγου δεν ξοδεύεται στην ανάλυση, αλλά στην προετοιμασία των δεδομένων για ανάλυση. Εδώ η τεχνητή νοημοσύνη είναι ένας πραγματικός επιταχυντής χαμηλού κινδύνου: προτείνει βήματα καθαρισμού, γράφει τα pandas (βιβλιοθήκη επεξεργασίας δεδομένων της Python), κωδικοποιεί τυπικούς οικονομικούς μετασχηματισμούς. Αλλά αυτή η ενότητα έχει επίσης έναν αμετάβλητο κανόνα: Διαβάζετε κάθε μετασχηματισμό που γράφτηκε από την τεχνητή νοημοσύνη και τον επαληθεύετε χειροκίνητα σε τουλάχιστον μία παρατήρηση. Εάν ο πραγματικός-ονομαστικός κύκλος βρίσκεται σε λάθος βάση, ολόκληρη η ανάλυση αποσυντίθεται αθόρυβα.
Καθαρισμός: ποια προβλήματα, πώς να τα λύσετε;
Τα πιο συνηθισμένα προβλήματα στα οικονομικά δεδομένα και η λογική τους:
- Ημιτελής παρατήρηση. Ένας μήνας/τρίμηνο είναι άδειος. Η λύση εξαρτάται από το πλαίσιο: αν δεν υπάρχει στην πραγματικότητα, μένει κενό. Εάν υπάρχει τεχνικό κενό, γίνεται προσεκτική παρεμβολή — αλλά η γραμμή μεταξύ της κατασκευής είναι λεπτή.
- Σύγχυση μονάδων και μορφών. Το κείμενο "12.345.6" πρέπει να μετατραπεί σε αριθμό. εκατομμύριο/δισεκατομμύριο πρέπει να γίνει συνεπής.
- Αναντιστοιχία συχνότητας. Για να συνδυάσετε μια μηνιαία και τριμηνιαία σειρά, συγκεντρώνεται μία (μηνιαία έως τριμηνιαία) — αν είναι μέση, συνολική ή τέλος περιόδου εξαρτάται από τη φύση του δείκτη (διάκριση αποθεμάτων/ροών).
- Ακραίες (ακραίες) τιμές. Εάν μια παρατήρηση αποκλίνει πολύ: είναι πραγματικό γεγονός (κρίση, αύξηση τιμών) ή σφάλμα δεδομένων; Εννοείται πριν από τη διαγραφή.
- Στοίχιση ημερομηνίας. Οι μορφές ημερομηνίας και οι ορισμοί περιόδου διαφορετικών σειρών συγχρονίζονται.
Προσοχή: Η συμπλήρωση στοιχείων που λείπουν φαίνεται αθώα, αλλά είναι μια οικονομική απόφαση. Η συμπλήρωση ενός μήνα κρίσης με τον "μέσο όρο γειτονικών μηνών" σημαίνει διαγραφή αυτής της κρίσης από την ανάλυση. Πριν συμπληρώσετε, ρωτήστε "γιατί υπάρχει αυτό το κενό;" Απαντήστε στην ερώτηση.
Τυπικοί οικονομικοί μετασχηματισμοί
Οι μετασχηματισμοί και οι ορισμοί τους στο καθημερινό ρεπερτόριο ενός οικονομολόγου:
- Ονομαστική → Πραγματική. Προσαρμογή για τον αντίκτυπο της τιμής: πραγματική αξία = ονομαστική αξία / δείκτης τιμής × 100. Το έτος βάσης του αποπληθωριστή (δείκτης προσαρμογής) καθορίζει τη βάση του αποτελέσματος.
- Ευρετηρίαση. Επανακλιμάκωση μιας σειράς έτσι ώστε μια επιλεγμένη περίοδος = 100; Είναι χρήσιμο για τη σύγκριση σειρών διαφορετικών μεγεθών.
- Ρυθμός ανάπτυξης. Ετήσιο: (ίδια περίοδος αυτή την περίοδο / πέρυσι − 1) × 100. Το περιοδικό και το ετήσιο επιτόκιο είναι διαφορετικά πράγματα. Η σύγχυση είναι ένα κοινό λάθος.
- Εποχιακή διόρθωση. Καθαρισμός τακτικών εποχιακών επιπτώσεων (θερινός τουρισμός, διακοπές). Η ακατέργαστη σειρά και η εποχιακά προσαρμοσμένη σειρά αφηγούνται διαφορετικές ιστορίες.
- Κινητός μέσος όρος. Εξομαλύνει τον θόρυβο και κάνει ορατή την τάση.
- Λογάριθμοι και διαφοροποιήσεις. Να εξετάσει τη δυναμική της ανάπτυξης και τη σταθερότητα (θα εμβαθύνει στη μονάδα χρονοσειρών).
Συμβουλή: Με κάθε μετατροπή θα ερωτηθείτε "τι έγινε με τη μονάδα και τη βάση;" παρακαλώ. Η βάση της πραγματικής σειράς είναι η βάση του αποπληθωριστή. Η βάση της ευρετηριασμένης σειράς είναι η περίοδος που επιλέγετε. Η διατήρηση αυτού του εγγράφου αποτρέπει μελλοντικά λάθη.
Διερευνητική ανάλυση δεδομένων (EDA)
Είναι απαραίτητο να αναγνωρίσετε τα δεδομένα πριν τα εισαγάγετε στο μοντέλο. Η διερευνητική ανάλυση δεδομένων (EDA) περιλαμβάνει: συνοπτικά στατιστικά στοιχεία (μέσος όρος, διάμεσος, τυπική απόκλιση, ελάχ.-μέγιστο), σχήμα κατανομής, πορεία με την πάροδο του χρόνου, ακραίες τιμές και συσχέτιση μεταξύ σειρών. Το AI δημιουργεί γρήγορα τον κώδικα για αυτά τα βήματα. Η δουλειά σας είναι να διαβάζετε το αποτέλεσμα με μια οικονομική ματιά: "Είναι λογικός αυτός ο μέσος όρος; Είναι αυτή η συσχέτιση μια σύμπτωση ή μια γνωστή σχέση;"
Προσοχή: Η συσχέτιση είναι μόνο ένα μέσο αναγνώρισης εδώ, όχι απόδειξη της αιτιώδους συνάφειας. Το γεγονός ότι δύο σειρές κινούνται μαζί (π.χ. πωλήσεις παγωτού και πνιγμοί—και οι δύο πυροδοτούνται από το καλοκαίρι) δεν υποδηλώνει απαραίτητα ότι η μία οδηγεί στην άλλη. Θα εμβαθύνουμε αυτή τη διάκριση στην ενότητα 7.
τρεις μίνι θήκες
Περίπτωση 1 — Λανθασμένη βάση ξεφουσκωτή. Ένας αναλυτής είχε την τεχνητή νοημοσύνη να γράψει τον κώδικα για να πραγματοποιήσει τη σειρά μισθών. Ο κώδικας λειτούργησε, το αποτέλεσμα φαινόταν λογικό — αλλά ο αναλυτής υπολόγισε με μη αυτόματο τρόπο το 2020 στο βήμα CALCULATE και δεν λειτούργησε. Πρόβλημα: η τεχνητή νοημοσύνη χρησιμοποίησε τον αποπληθωριστή με βάση 2003=100 και ζήτησε τη σειρά μισθών με τιμές 2015. Οι βάσεις ήταν αντικρουόμενες. Ο κωδικός επισκευάστηκε με μια επιδιόρθωση μιας γραμμής, ολόκληρη η σειρά μπήκε στη θέση του.
Περίπτωση 2 — Σφάλμα αθόρυβης έντασης. Ένα ίδρυμα είχε μειώσει τα δεδομένα εξαγωγών σε χιλιάδες δολάρια και τις εισαγωγές σε εκατομμύρια δολάρια. Όταν η τεχνητή νοημοσύνη αφαίρεσε τα δύο για το "εξωτερικό εμπορικό ισοζύγιο", το αποτέλεσμα ήταν ένα παράλογο έλλειμμα. Η προβολή ελάχιστων-μέγιστων στο EDA αποκάλυψε το σφάλμα: η τάξη μεγέθους των δύο σειρών διέφερε κατά 1000. Μόλις η μονάδα εξισώθηκε, η ισορροπία ήταν σωστή.
Περίπτωση 3 — Μη διαγραφή της ακραίας τιμής. Ένας μήνας σε μια σειρά ήταν εξαιρετικά χαμηλός. Η AI πρότεινε "εκτός, ας το καθαρίσουμε". Ο αναλυτής διερεύνησε: η παραγωγή είχε πράγματι σταματήσει λόγω φυσικής καταστροφής εκείνο τον μήνα. Η τιμή ήταν πραγματική. Η διαγραφή του θα αλλοιώσει την ιστορία. Αντί διαγραφής, υποσημειώθηκε. Η «σαφή» σύσταση του AI δεν ακολουθήθηκε τυφλά.
Πίνακας επικύρωσης μετατροπής
Μετατροπή
φόρμουλα ουσία
χειροκίνητο σημείο ελέγχου
πραγματοποίηση
ονομαστική / δείκτης τιμής × 100
Βάση αποπληθωριστή = βάση αποτελέσματος;
ετήσια ανάπτυξη
(t / t-12μήνες − 1)×100
Υπολογίστε μια περίοδο σε χαρτί
ευρετηρίαση
σειρά/βασική περίοδος × 100
Είναι η τιμή της βασικής περιόδου 100;
Μηνιαία→τριμηνιαία
ροή: συλλογή / απόθεμα: τέλος περιόδου
Σωστή μέθοδος συλλογής;
κινούμενος μέσος όρος
μέσος όρος της τελευταίας n περιόδου
Είναι σωστό το μήκος του παραθύρου;
Τέσσερα πρότυπα με δυνατότητα αντιγραφής
1) Σχέδιο καθαρισμού:
Έχω αυτά τα πρωτογενή δεδομένα: [στήλες και δείγματα σειρών]. Δημιουργήστε ένα σχέδιο καθαρισμού για να προετοιμαστείτε για ανάλυση: τιμή που λείπει, πρόβλημα μονάδας/μορφής, ευθυγράμμιση ημερομηνίας, ευθυγράμμιση συχνότητας, πιθανές ακραίες τιμές. Εξηγήστε με μία πρόταση γιατί είναι απαραίτητο κάθε βήμα. Μην γράψετε ακόμα κώδικα. επιτρέψτε μου να επιβεβαιώσω πρώτα το σχέδιο.
2) Κωδικός καθαρισμού panda:
Γράψτε τον κωδικό pandas σύμφωνα με το σχέδιο που ενέκρινα. Αφήστε τον κώδικα να υποδεικνύει τι κάνει σε κάθε βήμα με μια γραμμή σχολίων. Εκτυπώνει τον αριθμό των σειρών και τις τιμές που λείπουν μετά τη μετατροπή. Μην σβήνετε σιωπηλά καμία παρατήρηση. Αναφέρετε κάθε γραμμή που διαγράφετε.
3) Πραγματοποίηση (επαληθεύσιμη):
Πραγματοποιήστε αυτήν την ονομαστική σειρά με [δείκτης τιμών]. Γράψτε καθαρά το έτος βάσης του αποπληθωριστή όταν τον χρησιμοποιείτε. Προσδιορίστε ποια είναι η βάση της σειράς που προκύπτει. Δείξτε μου τον λογαριασμό βήμα προς βήμα για μία μόνο περίοδο, ώστε να μπορώ να τον επαληθεύσω μη αυτόματα.
4) Περίληψη διερευνητικής ανάλυσης:
Γράψτε τον κώδικα διερευνητικής ανάλυσης για τα ακόλουθα καθαρισμένα δεδομένα: συνοπτικά στατιστικά στοιχεία, γραφική παράσταση χρονοσειρών, σάρωση ακραίων τιμών και πίνακα συσχέτισης. Κατά την ερμηνεία των αποτελεσμάτων, ξεκαθαρίστε ότι οι συσχετίσεις που βρίσκετε δεν είναι ΑΙΤΙΑΤΕΣ και αναφέρετε 3 σημεία που μου ξεχωρίζουν.
Αδύναμη προτροπή / Ισχυρή προτροπή
Αδύναμη προτροπή:
Διαγράψτε αυτά τα δεδομένα.
Το AI ενεργεί με υποθέσεις χωρίς να ξέρει τι να καθαρίσει. Μπορείτε να διαγράψετε παρατηρήσεις, να αλλάξετε μονάδες, δεν θα παρατηρήσετε.
Ισχυρή προτροπή:
Σε αυτά τα μηνιαία στοιχεία εξωτερικού εμπορίου, οι εξαγωγές είναι σε "χιλιάδες USD" και οι εισαγωγές σε "εκατομμύρια USD". Κάντε τα δύο ίσα σε "εκατομμύρια USD", σημειώστε τους μήνες που λείπουν αλλά ΜΗ ΣΥΜΠΛΗΡΩΣΕΤΕ, ευθυγραμμίστε τις ημερομηνίες με το τέλος του μήνα. Εκτυπώστε πόσες σειρές επηρεάζονται σε κάθε βήμα. διαγράψτε σιωπηλά καμία σειρά. Στη συνέχεια, εμφανίστε το υπόλοιπο για έναν μόνο μήνα με τρόπο που μπορώ να ελέγξω χειροκίνητα.
Συνήθη λάθη
- Εκτέλεση του κώδικα μετατροπής χωρίς να τον διαβάσετε. Η λάθος βάση/μονάδα αλλοιώνει σιωπηλά ολόκληρη την ανάλυση.
- Συμπλήρωση στοιχείων που λείπουν χωρίς σκέψη. Διαγραφή της περιόδου κρίσης/καταστροφής με τον μέσο όρο.
- Αυτόματη απόρριψη ακραίων τιμών. Παρεξήγηση ενός πραγματικού συμβάντος με ένα σφάλμα δεδομένων.
- Συγχέοντας την εποχιακή και την ετήσια ανάπτυξη. Τα δύο είναι διαφορετικά μεγέθη.
- Λανθασμένος συνδυασμός συχνοτήτων. Συλλογή της σειράς αποθεμάτων και επεξεργασία τους ως ροή.
- Παρεξήγηση της συσχέτισης στο EDA για αιτιότητα. Παρεξήγηση του εργαλείου αναγνώρισης ως αποδεικτικό στοιχείο.
Συνοπτικά
Ο καθαρισμός και ο μετασχηματισμός δεδομένων είναι το αόρατο αλλά αποφασιστικό 80% της οικονομικής ανάλυσης. Η τεχνητή νοημοσύνη επιταχύνει δραματικά αυτό το μηχανικό έργο. αλλά εξαρτάται από εσάς να διαβάσετε κάθε βήμα εκκαθάρισης και κάθε μετασχηματισμό και να επαληθεύσετε χειροκίνητα τουλάχιστον μία παρατήρηση. Η βάση, η μονάδα, η συχνότητα και οι ακραίες αποφάσεις είναι οικονομικές αποφάσεις και δεν μπορούν να αφεθούν τυφλά στην τεχνητή νοημοσύνη. Η διερευνητική ανάλυση εισάγει δεδομένα, αλλά η συσχέτιση δεν υπάρχει αιτιότητα.
Εργασία εφαρμογής
Κατεβάστε μια πραγματική ακατέργαστη σειρά (π.χ. μηνιαίο ΔΤΚ και μια σειρά ονομαστικού μισθού/εισοδήματος). Δημιουργήστε ένα σχέδιο καθαρισμού με το 1ο πρότυπο, δημιουργήστε τον κώδικα με το 2ο πρότυπο και πραγματοποιήστε τη σειρά με το 3ο πρότυπο. Στη συνέχεια, υπολογίστε την πραγματική αξία μιας μεμονωμένης περιόδου σε χαρτί και συγκρίνετε τη με την παραγωγή της τεχνητής νοημοσύνης. Εάν διαπιστώσετε αναντιστοιχία, διαγνώστε και διορθώστε την πηγή της (βάση/μονάδα) και σημειώστε την πρόοδο.
λίστα ελέγχου
- [ ] Εξέτασα και ενέκρινα το σχέδιο εκκαθάρισης πριν γραφτεί ο κώδικας.
- [ ] Είχα διαγραφεί/αλλαγεί κάθε γραμμή από την τεχνητή νοημοσύνη που αναφέρθηκε. Χωρίς αθόρυβη διαγραφή.
- [ ] Όταν συμπληρώνετε δεδομένα που λείπουν, μπορείτε να ρωτήσετε "γιατί είναι κενό;" Απάντησα στην ερώτηση.
- [ ] Διερεύνησα εάν η ακραία τιμή ήταν πραγματικό συμβάν ή σφάλμα δεδομένων.
- [ ] Κατά την πραγματοποίηση, επαλήθευσα ότι η βάση του αποπληθωριστή και η βάση του αποτελέσματος ταιριάζουν.
- [ ] Υπολογίστηκα ξανά χειροκίνητα τη μετατροπή τουλάχιστον μιας περιόδου.
- [ ] Δεν παρουσίασα συσχετίσεις στο EDA ως αιτιότητα.