Κέρδη:
- Κατανοήστε τον κίνδυνο δειγματοληψίας και τη λογική των δοκιμών πλήρους πληθυσμού (δοκιμές 100%) και να είστε σε θέση να χρησιμοποιείτε τεχνητή νοημοσύνη για προετοιμασία δεδομένων, σύνταξη κανόνων και ερμηνεία αποτελεσμάτων.
- Δυνατότητα σχεδίασης και υλοποίησης δοκιμών αντιστοίχισης, πληρότητας και ακρίβειας σε μεγάλα σύνολα δεδομένων με υποστήριξη τεχνητής νοημοσύνης
- Ικανότητα κατανόησης ότι η λίστα εξαιρέσεων στο τεστ πλήρους πληθυσμού δεν είναι αποτέλεσμα, αλλά μια αρχή που θα εξετάσει ο ελεγκτής και ότι η τελική αξιολόγηση ανήκει στον ελεγκτή.
Ένας από τους πιο θεμελιώδεις περιορισμούς του ελεγκτικού επαγγέλματος ήταν ότι ο ελεγκτής έπρεπε να εργαστεί με τη δειγματοληψία για πολλά χρόνια. Δεν μπορείτε να ελέγξετε μη αυτόματα τα 180.000 τιμολόγια που εκδίδει μια επιχείρηση σε ένα χρόνο. Έτσι, επιλέγετε μερικές εκατοντάδες εγγραφές χρησιμοποιώντας μια στατιστική ή κριτική μέθοδο, τις δοκιμάζετε και γενικεύετε το αποτέλεσμα σε ολόκληρο τον πληθυσμό. Η δειγματοληψία είναι μια ισχυρή και νόμιμη τεχνική, αλλά ενέχει έναν εγγενή κίνδυνο: δειγματοληπτικό κίνδυνο — το δείγμα που επιλέγετε μπορεί να μην είναι αντιπροσωπευτικό του πληθυσμού και το πραγματικό σφάλμα σε αυτό μπορεί να μην βρίσκεται ακριβώς εκεί που ψάχνετε.
Η ανάλυση δεδομένων και η τεχνητή νοημοσύνη αλλάζουν αυτήν την εικόνα: μπορείτε πλέον να δοκιμάσετε ολόκληρο τον πληθυσμό, δηλαδή 100%. Αυτό ονομάζεται πλήρης πληθυσμιακή δοκιμή. Αφιερώνουμε αυτή την ενότητα στην κατανόηση της μετάβασης από το «δείγμα στο σύνολο», τη δύναμη που φέρνει και τις νέες ευθύνες που πολλοί άνθρωποι παραβλέπουν. Επειδή η πλήρης πληθυσμιακή δοκιμή δεν διευκολύνει την επιθεώρηση. Αλλάζει τη φύση του τεστ και επιβαρύνει τον εξεταστή.
Διαφορά μεταξύ δειγματοληψίας και πλήρους πληθυσμιακής δοκιμής
Στην κλασική δειγματοληψία, η λογική είναι: «Επιτρέψτε μου να δοκιμάσω διεξοδικά μια μικρή αλλά αντιπροσωπευτική ομάδα και να ερμηνεύσω το αποτέλεσμα ως σύνολο». Στο τεστ πλήρους πληθυσμού, η λογική αντιστρέφεται: «Επιτρέψτε μου να σαρώσω το σύνολο σύμφωνα με ορισμένους κανόνες, να βρω τις εξαιρέσεις που δεν εμπίπτουν στον κανόνα και να τις εξετάσω διεξοδικά». Στην πρώτη προσέγγιση, ο κίνδυνος είναι «η επιλογή του λάθος δείγματος». Στο δεύτερο, ο κίνδυνος είναι «να γράψεις λάθος κανόνα» και «να δουλέψεις με ελλιπή/λανθασμένα δεδομένα».
Ο παρακάτω πίνακας συγκρίνει τις δύο προσεγγίσεις:
Μέγεθος
δειγματοληψία
Πλήρης πληθυσμιακή δοκιμή (100%)
Πεδίο εφαρμογής
μέρος του πληθυσμού
ολόκληρο τον πληθυσμό
Κύριος κίνδυνος
Κίνδυνος δειγματοληψίας (σφάλμα αναπαράστασης)
Σφάλμα κανόνα + σφάλμα ακεραιότητας δεδομένων
εξόδου
Περιορισμένος αριθμός αποτελεσμάτων δοκιμών
Κατάλογος εξαιρέσεων που δεν συμμορφώνονται με τον κανόνα
Το βάρος του ελεγκτή
επιλογή + δοκιμή
Σχεδιασμός κανόνων + αξιολόγηση εξαίρεσης
Ο ρόλος της AI
Βοήθεια με την επιλογή δείγματος
Προετοιμασία δεδομένων, εγγραφή κανόνων, σήμανση εξαίρεσης
Σημείωση: ο πλήρης πληθυσμιακός έλεγχος δεν σημαίνει "Έλεγξα τα πάντα, δουλειά έγινε". Αντίθετα, συνήθως σου δίνει περισσότερα στοιχεία για εξέταση. Όταν εκτελείτε και τα 180.000 τιμολόγια μέσω ενός κανόνα έγκρισης ημερομηνίας-ποσού, θα βρείτε ίσως 900 εξαιρέσεις. Κάθε ένα από αυτά είναι μια ερώτηση. όχι απάντηση. Εδώ μπαίνει στο παιχνίδι το ελεγκτικό δικαστικό σώμα.
Πληρότητα δεδομένων: η αόρατη βάση των δοκιμών
Η μεγαλύτερη παγίδα των δοκιμών ολόκληρου του πληθυσμού είναι ότι η ποιότητα του τεστ εξαρτάται από την ποιότητα των δεδομένων. Το "δοκίμασα το 100% των δεδομένων" έχει νόημα μόνο εάν τα δεδομένα που έχετε είναι στην πραγματικότητα το 100% του πληθυσμού. Εάν ένα φίλτρο ήταν λανθασμένο κατά την ανάσυρση δεδομένων από το σύστημα, ορισμένες εγγραφές παραλείπονταν ή η στήλη ποσού μεταφέρθηκε με δεκαδικό σφάλμα, η "πλήρης" δοκιμή σας θα εκτελεστεί στην πραγματικότητα σε ελλιπή ή κατεστραμμένα δεδομένα. Ως εκ τούτου, η επιβεβαίωση της πληρότητας και της ακρίβειας των δεδομένων είναι το πρώτο και απαραίτητο βήμα στην πλήρη πληθυσμιακή δοκιμή.
Πρακτικοί έλεγχοι για επαλήθευση πληρότητας:
- Συμφωνία αριθμού εγγραφών: Ο αριθμός των σειρών στο σύνολο δεδομένων που τραβήξατε ταιριάζει με τον συνολικό αριθμό εγγραφών στο σύστημα;
- Συμφωνία ποσού: Συμφωνείται το συνολικό ποσό στο σύνολο δεδομένων με το σχετικό σύνολο λογαριασμού στο δοκιμαστικό υπόλοιπο/θυγατρική;
- Εύρος ημερομηνιών: Οι πρώτες και οι τελευταίες ημέρες της περιόδου περιλαμβάνονται στα δεδομένα. Λείπει μήνας/ημέρα;
- Σάρωση κενού και κακού χώρου: Υπάρχουν κενά ή ανούσιες τιμές στα απαιτούμενα πεδία (ημερομηνία, ποσό, κωδικός λογαριασμού);
Η τεχνητή νοημοσύνη βοηθά με όλους αυτούς τους ελέγχους: ανιχνεύει δεδομένα, λαμβάνει σύνολα, μετράει κενούς χώρους, αναφέρει εύρος ημερομηνιών. Αλλά ο ελεγκτής είναι αυτός που αποφασίζει εάν η συμφωνία «κρατεί», διερευνά τη διαφορά και επιβεβαιώνει ότι τα δεδομένα είναι κατάλληλα για τον σκοπό του ελέγχου.
Προσοχή: Μην γράφετε "Έλεγξα όλα τα δεδομένα" στο φύλλο εργασίας χωρίς να επαληθεύσετε την πληρότητα των δεδομένων. Μια πλήρης πληθυσμιακή δοκιμή για δεδομένα που λείπουν παρέχει φαινομενικά πλήρη αλλά παραπλανητική βεβαιότητα.
Πλήρης πληθυσμιακή δοκιμή με AI: βήμα προς βήμα
- Προετοιμάστε τα δεδομένα με ασφάλεια. Ανωνυμοποιήστε προσωπικά/ιδιωτικά πεδία ή αντικαταστήστε τα με σύμβολα κράτησης θέσης. Εάν είναι δυνατόν, χρησιμοποιήστε ένα εταιρικό όχημα με σύμβαση.
- Επιβεβαιώστε την πληρότητα. Συμβιβάστε τον αριθμό των εγγραφών και το ποσό.
- Καθορίστε με σαφήνεια τον κανόνα δοκιμής. Τι μετράει ως «εξαίρεση»; (Για παράδειγμα: μη εγκεκριμένο τιμολόγιο, τιμολόγιο που εκδόθηκε το Σαββατοκύριακο, μεγάλη στρογγυλή πληρωμή, εισόδημα που καταγράφηκε μετά την ημερομηνία λήξης.)
- Εφαρμόστε τον κανόνα με AI. Το AI εφαρμόζει τον κανόνα στα δεδομένα και παράγει μια λίστα εξαιρέσεων. Γράψτε τον κανόνα ξεκάθαρα ώστε να μπορεί να ελεγχθεί.
- Δώστε προτεραιότητα και ελέγξτε τις εξαιρέσεις. Διερευνήστε κάθε εξαίρεση με στοιχεία. αντιμετώπιση ψευδώς θετικών, αιτιολογήστε τα πραγματικά ευρήματα.
- Τεκμηριώστε το αποτέλεσμα. Συνδέστε τον κανόνα, τον αριθμό των εξαιρέσεων, τα στοιχεία που εξετάστηκαν και το συμπέρασμα με το φύλλο εργασίας.
τρεις μίνι θήκες
Περίπτωση 1 — Δοκιμή κοπής. Ένας ελεγκτής ήθελε να δοκιμάσει την περικοπή εσόδων στο τέλος του έτους. Πήρε 42.000 τιμολόγια πωλήσεων ως τον πλήρη πληθυσμό και ζήτησε από την τεχνητή νοημοσύνη να επιβάλει «τα αρχεία καταλόγου με ημερομηνίες τιμολογίων έως την 31η Δεκεμβρίου, αλλά ημερομηνίες αποστολής/παράδοσης την ή μετά την 1η Ιανουαρίου». Ο YZ σημείωσε 118 ρεκόρ. Ο ελεγκτής εξέτασε τα εξής: 96 ήταν νόμιμες συναλλαγές χωρίς χρονικές διαφορές (παράδοση αυθημερόν), 22 ήταν στην πραγματικότητα έσοδα για το επόμενο έτος και καταγράφηκαν την προηγούμενη περίοδο. Αυτά τα 22 στοιχεία αναφέρθηκαν επειδή έδειξαν ένα μοτίβο, αν και κάτω από τη σημασία. Το AI έκανε 118 ερωτήσεις. Ο ελεγκτής βρήκε 22 απαντήσεις.
Περίπτωση 2 — Όταν παραλείπεται η πληρότητα. Ένα μέλος της ομάδας είπε ότι έκανε πλήρη πληθυσμιακό έλεγχο σε 180.000 τιμολόγια. Δεν υπήρχαν εξαιρέσεις και ανακουφίστηκε. Ο υπεύθυνος συνέκρινε το συνολικό ποσό του συνόλου δεδομένων με το δοκιμαστικό υπόλοιπο: δεδομένα 155 εκατομμύρια TL, δοκιμαστικό υπόλοιπο 210 εκατομμύρια TL. Αποδεικνύεται ότι ενώ τα δεδομένα αντλούνταν από το σύστημα, ένας κλάδος φιλτραρίστηκε και έμεινε έξω. Το «πλήρες» τεστ στην πραγματικότητα έχασε το ένα τέταρτο των δεδομένων. Η δοκιμή ολοκληρώθηκε με τα σωστά δεδομένα. Μάθημα: δεν υπάρχει πλήρης πληθυσμιακή δοκιμή χωρίς επιβεβαίωση πληρότητας.
Περίπτωση 3 — Σφάλμα κανόνων. Ένας ελεγκτής ζήτησε από την τεχνητή νοημοσύνη να γράψει τον κανόνα "Κατάλογος μη εγκεκριμένων πληρωμών άνω των 50.000 TL", αλλά δεν συνειδητοποίησε ότι το πεδίο "έγκριση" διατηρήθηκε σε δύο διαφορετικές στήλες στο σύστημα (ηλεκτρονική έγκριση και μη αυτόματη έγκριση). Το AI σημείωσε 300 πληρωμές ως "απορριφθείσες" επειδή εξέτασε μόνο μία. Κατά την εξέταση, διαπιστώθηκε ότι τα περισσότερα από αυτά εγκρίθηκαν στην άλλη στήλη. Ο λάθος κανόνας παρήγαγε εκατοντάδες ψευδώς θετικά αποτελέσματα. Ο ελεγκτής διόρθωσε τον κανόνα για να συμπεριλάβει και τις δύο στήλες. Μάθημα: ο ελεγκτής επαληθεύει ότι ο κανόνας συμμορφώνεται με τα δεδομένα και την επιχειρηματική διαδικασία.
Αδύναμη προτροπή / Ισχυρή προτροπή
Αδύναμη προτροπή:
Βρείτε προβληματικές εγγραφές σε αυτά τα δεδομένα τιμολογίου.
Πρόβλημα: Δεν υπάρχει ορισμός του "προβληματικού". Το AI δεν ξέρει τι να θεωρήσει εξαίρεση. Λειτουργεί είτε με τυχαία σήματα είτε με κριτήριο που έχει φτιάξει. Δεν είναι επαναλήψιμο και ελεγχόμενο.
Ισχυρή προτροπή:
Ο ρόλος σας: είστε βοηθός ανάλυσης δεδομένων σε έναν ανεξάρτητο ελεγκτή. Η κρίση είναι δική μου. Θα εφαρμόσετε τον κανόνα και θα δημιουργήσετε μια λίστα εξαιρέσεων. Πλαίσιο: Παρακάτω είναι ανώνυμα δεδομένα τιμολογίων πωλήσεων (στήλες: όχι_τιμολόγιο, ημερομηνία_τιμολογίου, ημερομηνία_παράδοσης, ποσό, κατάσταση_ έγκρισης, υποκατάστημα). Τέλος έτους: 31.12. ΒΗΜΑ 1 - Πληρότητα: Δώστε τον συνολικό αριθμό εγγραφών και το συνολικό ποσό, ώστε να μπορώ να το συγκρίνω με το δοκιμαστικό υπόλοιπο. Αναφέρετε εάν υπάρχει κενός/έλλειπτος χώρος. ΒΗΜΑ 2 - Κανόνας δοκιμής κοπής: Καταχωρίστε τις εγγραφές με ημερομηνία_τιμολόγησης <= 31.12 ΚΑΙ παράδοση_ημερομηνία >= 01.01 ως "εξαίρεση αποκοπής". ΒΗΜΑ 3 - Γράψτε τον κανόνα σε απλό κείμενο (ποια συνθήκη εφαρμόσατε), ώστε να μπορεί να ελεγχθεί. Κανόνες: δεν τον αλλάζω. Υποβάλετε τις εγγραφές που επισημαίνετε ως "εξαιρέσεις για έλεγχο". Μην πείτε «σφάλμα/εύρεση». Μην φτιάχνετε αυτό που δεν μπορείτε να συμπεράνετε από τα δεδομένα.
Αυτό το αίτημα είναι ισχυρό γιατί πρώτα επιβεβαιώνει την πληρότητα, ορίζει με σαφήνεια τον κανόνα εξαίρεσης, απαιτεί το απλό κείμενο του κανόνα (ακουστικότητα) και τοποθετεί το αποτέλεσμα ως "εξαίρεση".
Συνήθη λάθη
- Παράβλεψη επαλήθευσης πληρότητας. Πραγματοποίηση «πλήρους» ελέγχου σε ελλιπή/κατεστραμμένα δεδομένα και παροχή ψευδούς διασφάλισης.
- Λάθος την εξαίρεση ως εύρημα. Καταμέτρηση σφαλμάτων χωρίς επαλήθευση της εγγραφής που επισημαίνεται από το AI. αποφεύγοντας την εξάλειψη των ψευδών θετικών.
- Χωρίς έλεγχο του κανόνα. Δημιουργία εκατοντάδων ψευδών σημαιών χωρίς να ελεγχθεί εάν ο κανόνας συμμορφώνεται με τα δεδομένα και την επιχειρηματική διαδικασία.
- Γράφοντας αόριστους κανόνες. Λήψη ανεπανάληπτων αποτελεσμάτων με απροσδιόριστες προτροπές όπως "εύρεση προβληματικών εγγραφών".
- Το να είσαι ικανοποιημένος με ένα μόνο ξεκίνημα. Δεν γίνεται ερώτημα για τον κανόνα ή τα δεδομένα εάν ο αριθμός των εξαιρέσεων είναι πολύ διαφορετικός από τον αναμενόμενο.
Συμβουλή: Ανησυχείτε εάν ο αριθμός των εξαιρέσεων είναι πολύ μικρός (κοντά στο μηδέν) ή πολύ μεγάλος. Το μηδέν συνήθως σημαίνει "κανόνας που γράφτηκε λανθασμένα" ή "Λείπουν δεδομένα". Ένας εξαιρετικά μεγάλος αριθμός υποδηλώνει ότι ο κανόνας είναι πολύ ευρύς. Ένας καλός ελεγκτής υποψιάζεται τόσο «χωρίς εξαιρέσεις» και «όλα είναι εξαιρέσεις».
Συνοπτικά
Η πλήρης δοκιμή πληθυσμού είναι ένα τεράστιο άλμα προς τα εμπρός στον έλεγχο: εξαλείφει τον κίνδυνο δειγματοληψίας, εξετάζοντας το 100% των δεδομένων. Αλλά δεν είναι δωρεάν. Φέρνει δύο νέες ευθύνες: (1) την επαλήθευση της πληρότητας και της ακρίβειας των δεδομένων, (2) την αξιολόγηση μεμονωμένων εξαιρέσεων που προκύπτουν. Η τεχνητή νοημοσύνη προετοιμάζει τα δεδομένα, εφαρμόζει τον κανόνα, επισημαίνει την εξαίρεση και μειώνει τις ώρες σάρωσης σε δευτερόλεπτα. Όμως η ακρίβεια του κανόνα, η πληρότητα των δεδομένων και η αξιολόγηση των εξαιρέσεων ανήκουν στον ελεγκτή. Η εξαίρεση δεν είναι αποτέλεσμα, είναι αρχή.
Εργασία εφαρμογής
Εξετάστε ένα υπάρχον (ή υποθετικό) σύνολο δεδομένων συναλλαγών. Πρώτα ορίστε δύο ελέγχους πληρότητας (αριθμός εγγραφών και συμφωνία ποσού). Στη συνέχεια, γράψτε έναν σαφή κανόνα εξαίρεσης για σκοπούς ελέγχου (π.χ. τιμολόγια που εκδόθηκαν το Σαββατοκύριακο ή εξαιρέσεις περικοπών). Με το ισχυρό μοτίβο προτροπής παραπάνω, ζητήστε από το AI να εκτελέσει πρώτα την πληρότητα και μετά τον κανόνα. Οι πρώτες 10 από τις εξαιρέσεις που εμφανίζονται είναι "πραγματικά ευρήματα ή ψευδώς θετικά;" Εξασκηθείτε στην ταξινόμηση ως εξής και σημειώστε ποια στοιχεία θα αναζητήσετε για το καθένα.
λίστα ελέγχου
- [ ] Ανωνυμοποίησα τα δεδομένα και οδήγησα με ασφάλεια.
- [ ] Επιβεβαίωσα την πληρότητα των δεδομένων συμφωνώντας τον αριθμό των εγγραφών και το ποσό.
- [ ] Έκανα σάρωση για ελεύθερο/κακό χώρο.
- [ ] Όρισα τον κανόνα εξαίρεσης με σαφή, επαναλαμβανόμενο τρόπο.
- [ ] Έλαβα το απλό κείμενο του κανόνα από το AI και επαλήθευσα τη συμμόρφωσή του με τα δεδομένα και την επιχειρηματική διαδικασία.
- [ ] Αμφισβήτησα το εύλογο του αριθμού των εξαιρέσεων (πολύ λίγες / όχι πάρα πολλές).
- [ ] Αντιμετώπισα κάθε εξαίρεση ως ζήτημα προς εξέταση, όχι ως εύρημα. Εξάλειψα τα ψευδώς θετικά.