Κέρδη:
- Δυνατότητα μέτρησης και αναφοράς αβεβαιότητας με σύνολο, ανάλυση ευαισθησίας, διασταυρούμενη επικύρωση και τυφλή δοκιμή
- Δυνατότητα αποτροπής διαρροής δεδομένων διαχωρίζοντάς τα σε βάση φρεατίου/πεδίου και διασφάλιση ότι η αναφερόμενη ακρίβεια αντικατοπτρίζει την πραγματική γενίκευση.
- Δυνατότητα βαθμονόμησης της βαθμολογίας εμπιστοσύνης τεχνητής νοημοσύνης με το διάγραμμα αξιοπιστίας και εφαρμογής της πειθαρχίας της μη χρησιμοποίησης μιας μη βαθμονομημένης βαθμολογίας ως πιθανότητα
Υπάρχει ένα επαναλαμβανόμενο θέμα σε κάθε ενότητα αυτής της ενότητας: δεν υπάρχουν "σίγουρες απαντήσεις" στη γεωφυσική, μόνο μοντέλα που περιορίζονται από την αβεβαιότητα. Αυτή η ενότητα μετατρέπει αυτό το θέμα σε πειθαρχία. Η αβεβαιότητα μοντέλου είναι η ύπαρξη διαφορετικών μοντέλων υπόγειας που μπορούν να εξηγήσουν τα ίδια δεδομένα και κάθε μοντέλο φέρει ένα διάστημα εμπιστοσύνης. Η επικύρωση είναι ο έλεγχος με ανεξάρτητες αποδείξεις εάν ένα μοντέλο ή έξοδος τεχνητής νοημοσύνης είναι πραγματικά έγκυρη. Η βαθμονόμηση είναι να διασφαλιστεί ότι οι τιμές εμπιστοσύνης/πιθανότητας που δίνονται από ένα μοντέλο ταιριάζουν με τα πραγματικά αποτελέσματα. Σε αυτή την ενότητα, θα εξετάσουμε πώς η τεχνητή νοημοσύνη (AI) μπορεί να μετρήσει και να κρύψει την αβεβαιότητα. και θα δούμε γιατί ένα σταθερό πλαίσιο επαλήθευσης-βαθμονόμησης καθιστά την τεχνητή νοημοσύνη αξιόπιστη.
Πηγές αβεβαιότητας
Η γεωφυσική αβεβαιότητα προέρχεται από διάφορα επίπεδα:
- Αβεβαιότητα δεδομένων: Θόρυβος μέτρησης, περιορισμένη κάλυψη, σφάλμα βαθμονόμησης.
- Αβεβαιότητα μοντέλου (πολυσημία): Τοποθέτηση περισσότερων της μιας υπόγειων κατασκευών στα ίδια δεδομένα.
- Αβεβαιότητα μεθόδου/παραμέτρου: Οι επιλογές επεξεργασίας, αντιστροφής και τακτοποίησης αλλάζουν το αποτέλεσμα.
- Ειδική αβεβαιότητα για την τεχνητή νοημοσύνη: Η ικανότητα του μοντέλου να διατηρεί αυτοπεποίθηση αλλά να αποτυγχάνει όταν κινείται εκτός της κατανομής της εκπαίδευσης (μετατόπιση διανομής).
Η δουλειά ενός καλού γεωφυσικού δεν είναι να εξαλείψει αυτή την αβεβαιότητα, αλλά να τη μετρήσει, να την επικοινωνήσει και να την περιορίσει. Η τεχνητή νοημοσύνη μπορεί να το κάνει αυτό εύκολο (δημιουργώντας πολλαπλά σενάρια), αλλά μπορεί επίσης να το κρύψει εύκολα δημιουργώντας μια μόνο σίγουρη απάντηση.
Τρόποι μέτρησης της αβεβαιότητας
Μερικά πρακτικά εργαλεία:
- Σύνολο: Πολλαπλές εκτελέσεις με διαφορετικές εκκινήσεις, παραμέτρους ή μοντέλα. Η διάδοση των αποτελεσμάτων δίνει αβεβαιότητα.
- Ανάλυση ευαισθησίας: Αλλαγή εισόδου (παράμετρος, υποσύνολο δεδομένων) και προβολή του πόσο αλλάζει το αποτέλεσμα.
- Cross-validation: Διαίρεση των δεδομένων σε κομμάτια, εκπαίδευση με το ένα μέρος και δοκιμή με το άλλο. Μετρά τη δύναμη γενίκευσης.
- Τυφλό τεστ: Δοκιμή του μοντέλου με ανεξάρτητο πηγάδι/πεδίο που δεν έχει δει ποτέ στην εκπαίδευση.
- Πιθανοτική έξοδος: Παροχή του αποτελέσματος ως διάστημα κατανομής/σιγουριάς, όχι μεμονωμένης τιμής.
Συμβουλή: Όταν η τεχνητή νοημοσύνη δίνει ένα αποτέλεσμα, ρωτήστε πάντα: "Τι και πόσο πρέπει να μετακινήσω στην είσοδο για να αλλάξω αυτό το αποτέλεσμα;" Εάν το αποτέλεσμα αντιστραφεί με μια μικρή αλλαγή παραμέτρου, αυτό το αποτέλεσμα είναι εύθραυστο και η αβεβαιότητα υψηλή.
Βαθμονόμηση: ισχύει η βαθμολογία εμπιστοσύνης;
Τα μοντέλα τεχνητής νοημοσύνης συχνά δίνουν μια σιγουριά/πιθανότητα («90% σφάλμα»). Αλλά αυτός ο αριθμός είναι παραπλανητικός εάν δεν είναι βαθμονομημένος: το μοντέλο έχει πραγματικά δίκιο ίσως στο 60% των περιπτώσεων που λέει ότι είναι "90%". Η βαθμονόμηση είναι η ευθυγράμμιση αυτού του αριθμού με τον πραγματικό ρυθμό αποτελέσματος. Στην πράξη, σχεδιάζεται ένα διάγραμμα αξιοπιστίας: ένα καλά βαθμονομημένο μοντέλο έχει πραγματικά 90% σωστό όταν λέει "90%". Στη γεωφυσική, είναι απαραίτητο να βαθμονομήσετε τη βαθμολογία εμπιστοσύνης AI με ανεξάρτητα δεδομένα προτού γίνει η βάση για μια απόφαση.
Προσοχή: Η υψηλή ακρίβεια δεν είναι το ίδιο με την καλή βαθμονόμηση. Ένα μοντέλο μπορεί να είναι γενικά ακριβές αλλά με υπερβολική αυτοπεποίθηση. Το σημαντικό στις κρίσιμες αποφάσεις είναι ότι είναι πραγματικά αξιόπιστο όταν λέει "95%". Μην αντιμετωπίζετε μια μη βαθμονομημένη βαθμολογία εμπιστοσύνης ως πιθανότητα.
Χρυσοί κανόνες επαλήθευσης
Για ισχυρή επαλήθευση: (1) Ανεξαρτησία — τα δεδομένα δοκιμής δεν πρέπει να παρεμβαίνουν καθόλου στη διαδικασία εκπαίδευσης/συντονισμού (διαρροή δεδομένων — διογκώνει το αποτέλεσμα). (2) Τυφλή δοκιμή — πεδίο/πηγάδι που δεν βλέπει το μοντέλο. (3) Φυσική συνέπεια — το αποτέλεσμα δεν πρέπει να έρχεται σε αντίθεση με τη φυσική και τη γεωλογία. (4) Αναπαραγωγιμότητα — το ίδιο αποτέλεσμα με την ίδια είσοδο και μπορεί να παραχθεί από κάποιον άλλο. (5) Τεκμηρίωση — καταγραφή των δεδομένων, της παραμέτρου και της έκδοσης του μοντέλου που χρησιμοποιήθηκε.
τρεις μίνι θήκες
Περίπτωση 1 — Λάθος διαρροής δεδομένων. Μια ομάδα ανέφερε ότι ο ταξινομητής προσώπων απέδωσε 94% ακρίβεια. Η έρευνα έδειξε ότι γειτονικά δείγματα από το ίδιο πηγάδι συμμετείχαν τόσο στην εκπαίδευση όσο και στη δοκιμή (διαρροή δεδομένων). Όταν αναλύθηκε ανά καλά, η ακρίβεια έπεσε στο 71% — αυτή ήταν η πραγματική γενίκευση. Η διαρροή έκανε το μοντέλο να φαίνεται καλύτερο από ό,τι ήταν στην πραγματικότητα.
Περίπτωση 2 — Μοντέλο με υπερβολική αυτοπεποίθηση. Ένας ανιχνευτής σφαλμάτων έδωσε "95% εμπιστοσύνη" στα σημάδια του. Το διάγραμμα αξιοπιστίας έδειξε ότι οι ενδείξεις "95%" ήταν στην πραγματικότητα 70% ακριβείς. Μόλις βαθμονομήθηκε το μοντέλο, οι βαθμολογίες εμπιστοσύνης έγιναν ρεαλιστικές και οι σχολιαστές προσάρμοσαν σωστά πόσο θα εμπιστεύονταν κάθε ζώδιο.
Περίπτωση 3 — Εύθραυστη αναστροφή. Ένα μοντέλο βαρύτητας φαινόταν πολύ πειστικό. Η ανάλυση ευαισθησίας έδειξε ότι η κύρια δομή εξαφανίστηκε όταν το βάρος κανονικοποίησης άλλαξε κατά 20%: η δομή δεν προήλθε από τα δεδομένα, αλλά από την επιλογή παραμέτρων. Η ομάδα επισήμανε τη δομή ως "χαμηλή εμπιστοσύνη" και ζήτησε πρόσθετα δεδομένα.
Τέσσερα πρότυπα με δυνατότητα αντιγραφής
1) Σχέδιο μέτρησης αβεβαιότητας:
Ο ρόλος σας: σύμβουλος γεωφυσικής αβεβαιότητας. Έχω ένα αποτέλεσμα [αναστροφή / ταξινόμηση / πρόβλεψη]. Ποιες μεθόδους (σύνολο, ευαισθησία, διασταυρούμενη επικύρωση, τυφλό) εφαρμόζω για τη μέτρηση της αβεβαιότητας και με ποια σειρά; Εξηγήστε τι μου λέει ο καθένας και πώς να αναφέρω το αποτέλεσμα.
2) Έλεγχος βαθμονόμησης:
Το μοντέλο AI μου δίνει βαθμολογία εμπιστοσύνης/πιθανότητας. Πώς μπορώ να ελέγξω εάν αυτή η βαθμολογία είναι βαθμονομημένη; Πώς μπορώ να κατασκευάσω ένα διάγραμμα αξιοπιστίας, να αναγνωρίσω την "υπερβολική εμπιστοσύνη" ή την "υπερεπιφυλακτικότητα" και να ευθυγραμμίσω τη βαθμολογία με το πραγματικό ποσοστό έκβασης;
3) Έλεγχος διαρροής δεδομένων:
Εκπαίδευσα έναν γεωφυσικό ταξινομητή. Πώς μπορώ να βρω και να αποτρέψω τον κίνδυνο διαρροής δεδομένων (τα ίδια δείγματα πηγαδιού/πεδίου εισέρχονται τόσο στην εκπαίδευση όσο και στις δοκιμές); Πώς μπορώ να ρυθμίσω τον διαχωρισμό κατά πηγάδι/χωράφι; Πώς μπορώ να ξέρω εάν η αναφερόμενη ακρίβεια αντικατοπτρίζει την πραγματική γενίκευση;
4) Αποτελέσματα δοκιμής ευθραυστότητας:
Έχω ένα αποτέλεσμα αναστροφής/μοντέλου. Θέλω να καταλάβω πόσο εύθραυστο είναι αυτό το αποτέλεσμα. Αλλάζοντας ποιες παραμέτρους και πόσο αλλάζει η κύρια δομή; Πώς μπορώ να διακρίνω αν η δομή προέρχεται από δεδομένα ή από παραμέτρους/προϋπόθεση; Δώστε ένα πρωτόκολλο ευαισθησίας.
Αδύναμη προτροπή / Ισχυρή προτροπή
Αδύναμη προτροπή:
Δείτε αν το μοντέλο μου έχει υψηλή ακρίβεια.
Ένας ενιαίος αριθμός αλήθειας. Η διαρροή κρύβει βαθμονόμηση και γενίκευση, δίνοντας ψευδή εμπιστοσύνη.
Ισχυρή προτροπή:
Ο ρόλος σας: ειδικός επικύρωσης μοντέλου. Είσοδος: [ο ταξινομητής δημιουργεί N καλά, βαθμολογίες εμπιστοσύνης]. Καθήκον: (1) προτείνει ορθή κατανομή κατά της διαρροής δεδομένων. (2) εγκαταστήστε τυφλή δοκιμή πηγαδιών. (3) βαθμονομήστε τη βαθμολογία εμπιστοσύνης με το διάγραμμα αξιοπιστίας. (4) ελέγξτε πόσο ευαίσθητο είναι το αποτέλεσμα στην παράμετρο. Αναγωγή σε έναν ενιαίο αριθμό αλήθειας. Αναφέρετε τη γενίκευση, τη βαθμονόμηση και την ευθραυστότητα ξεχωριστά.
Το αίτημα διαρροής, τυφλών δοκιμών, βαθμονόμησης και ευαισθησίας καθιστούν την επαλήθευση ειλικρινή.
Εργαλεία αβεβαιότητας
όχημα
Τι μετράει;
Κύριος κίνδυνος
εξόδου
σύνολο
Διάδοση μοντέλου
Κόστος λογαριασμού
Εύρος/κατανομή
Ευαισθησία
Εφέ παραμέτρων
Χαμένη εισαγωγή
Ευθραυστότητα
διασταυρούμενη επικύρωση
γενίκευση
διαρροή δεδομένων
ρεαλιστική ακρίβεια
τυφλό τεστ
ανεξάρτητη επιτυχία
Ανεπαρκές σετ δοκιμής
εμπιστοσύνη
Βαθμονόμηση
εμπιστευτείτε την πραγματικότητα
υπερβολική αυτοπεποίθηση
ευθυγραμμισμένη πιθανότητα
Συνήθη λάθη
- Δεν παρατηρείτε διαρροή δεδομένων. Διογκώνει τη δικαιοσύνη. Διαχωρίζεται κατά πηγάδι/χωράφι.
- Χρησιμοποιώντας το σκορ εμπιστοσύνης χωρίς να το βαθμονομήσετε. Το "90%" μπορεί στην πραγματικότητα να μην είναι 90%.
- Βασιζόμενος στον μοναδικό αριθμό αλήθειας. Η γενίκευση και η βαθμονόμηση είναι δύο διαφορετικά πράγματα.
- Δεν δοκιμάζεται η ευπάθεια. Η δομή που χάνεται από την παράμετρο δεν είναι πραγματική πληροφορία.
- Χωρίς αναφορά αβεβαιότητας. Η παρουσίαση του αποτελέσματος χωρίς διάστημα εμπιστοσύνης είναι παραπλανητική.
Συνοπτικά
Η αβεβαιότητα είναι το αναπόφευκτο γεγονός της γεωφυσικής. η δουλειά είναι να το μετρήσεις, να το κοινοποιήσεις και να το περιορίσεις. Η τεχνητή νοημοσύνη το διευκολύνει με συνόλου, ευαισθησία και πιθανολογικά αποτελέσματα, αλλά μπορεί επίσης να το συγκαλύψει με μια μόνο σίγουρη απάντηση. Ένα συμπαγές πλαίσιο. αποτροπή διαρροής δεδομένων, μέτρηση γενίκευσης με τυφλή δοκιμή, βαθμονόμηση του δείκτη εμπιστοσύνης και δοκιμή της ευθραυστότητας του αποτελέσματος. Η μη βαθμονομημένη εμπιστοσύνη, η μη επαληθευμένη ειλικρίνεια και η κρυφή αβεβαιότητα είναι οι τρεις πιο επικίνδυνες ψευδαισθήσεις. Η αξιόπιστη γεωφυσική είναι η γεωφυσική που δείχνει ειλικρινά την αβεβαιότητά της.
Εργασία εφαρμογής
Επιλέξτε ένα γεωφυσικό αποτέλεσμα AI (ταξινόμηση, αντιστροφή ή πρόβλεψη). Σχεδιάστε τα βήματα δοκιμής συνόλου/ευαισθησίας/τυφλών με το πρότυπο "Σχέδιο μέτρησης αβεβαιότητας". Στη συνέχεια, δοκιμάστε τη διάκριση δοκιμής τρένου με το πρότυπο «Έλεγχος διαρροής δεδομένων». Εάν το μοντέλο δίνει βαθμολογία εμπιστοσύνης, αξιολογήστε εάν η βαθμολογία είναι ρεαλιστική με το πρότυπο "Έλεγχος βαθμονόμησης" και γράψτε το αποτέλεσμά σας με ένα διάστημα εμπιστοσύνης.
λίστα ελέγχου
- [ ] Μέτρησα την αβεβαιότητα με σύνολο/ευαισθησία.
- [ ] Απέτρεψα τη διαρροή δεδομένων διαχωρίζοντάς τα σε βάση πηγαδιού/πεδίου.
- [ ] Δοκίμασα τη γενίκευση με τυφλό τεστ.
- [ ] Βαθμονόμησα το σκορ εμπιστοσύνης και έλεγξα τον ρεαλισμό του.
- [ ] Ανέφερα το αποτέλεσμα με ένα διάστημα εμπιστοσύνης, όχι με μία τιμή.