Κέρδη:
- Δυνατότητα επεξήγησης των βημάτων καθαρισμού, κωδικοποίησης και ανάλυσης δεδομένων ηλεκτρονικού μητρώου υγείας (EHR) με τεχνητή νοημοσύνη.
- Ικανότητα αναγνώρισης κινδύνων κλινικών δεδομένων όπως ελλείποντα δεδομένα, μεροληψία, ανισορροπία τάξης και χρονική διαρροή
- Δυνατότητα επικύρωσης προγνωστικών αποτελεσμάτων μοντέλων μέσω βαθμονόμησης, απόδοσης υποομάδας και κλινικής χρησιμότητας
Η μνήμη των σύγχρονων νοσοκομείων είναι ο ηλεκτρονικός φάκελος υγείας (EHR): μια ψηφιακή συλλογή διαγνώσεων, εργαστηριακών αποτελεσμάτων, φαρμάκων, διαδικασιών, σημειώσεων νοσηλευτών και παρατηρήσεων γιατρών. Αυτά τα δεδομένα είναι ταυτόχρονα θησαυρός και ναρκοπέδιο για την τεχνητή νοημοσύνη. Θησαυρός γιατί περιέχει εκατομμύρια άρρωστα ετήσια πρότυπα. ναρκοπέδιο επειδή τα κλινικά δεδομένα είναι αποδιοργανωμένα, ελλιπή, μεροληπτικά και γεμάτα χρονικές παγίδες. Αυτή η μονάδα περιλαμβάνει τον καθαρισμό, την κωδικοποίηση και την ανάλυση δεδομένων EHR με τεχνητή νοημοσύνη. τα πιο ύπουλα σφάλματα (χρονική διαρροή, προκατάληψη, ανισορροπία τάξης). και θα δούμε πώς επικυρώνονται τα αποτελέσματα του προγνωστικού μοντέλου.
Ας θυμίσουμε από την αρχή: ένα μοντέλο κινδύνου μπορεί να λέει «αυτός ο ασθενής έχει μεγάλη πιθανότητα επανεισδοχής». αλλά αυτό είναι ένα αποτέλεσμα υποστήριξης απόφασης, όχι μια απόφαση διάγνωσης ή θεραπείας. Το AI δεν κάνει διάγνωση. Η απόφαση εναπόκειται στον ιατρό και την κλινική ομάδα.
Βήματα για την εργασία με δεδομένα EHR
Βήμα 1 — Αφαίρεση και συγχώνευση. Τα δεδομένα προέρχονται από διαφορετικά συστήματα (εργαστήριο, φαρμακείο, ακτινολογία). συνδυάζεται με την ταυτότητα ασθενούς. Σε αυτό το στάδιο, η εμπιστευτικότητα είναι η ύψιστη προτεραιότητα (βλ. Ενότητα 10).
Βήμα 2 — Καθαρισμός. Οι τιμές που λείπουν, οι ασυνέπειες της μονάδας (σύγχυση mg/dL και mmol/L), οι διπλές εγγραφές και οι απίθανες τιμές (ηλικία 200, αρτηριακή πίεση 0) εξαλείφονται. Η τεχνητή νοημοσύνη είναι ισχυρή εδώ στην επισήμανση ακραίων στοιχείων και στη δομή ελεύθερου κειμένου.
Βήμα 3 — Κωδικοποίηση και τυποποίηση. Οι διαγνώσεις αντιστοιχίζονται σε τυπικούς κώδικες όπως το ICD (Διεθνής Ταξινόμηση Νοσημάτων) και τα φάρμακα αντιστοιχίζονται σε τυπικά λεξικά. Η εξαγωγή δομημένων πληροφοριών από σημειώσεις ελεύθερου κειμένου ονομάζεται επεξεργασία φυσικής γλώσσας (NLP). Το AI είναι πολύτιμο εδώ, αλλά η παραγωγή του απαιτεί επικύρωση.
Βήμα 4 — Μηχανική χαρακτηριστικών. Οι εισροές μοντέλων παράγονται από ακατέργαστα δεδομένα: τελευταία εργαστηριακή τιμή, τάση, αριθμός φαρμάκων, βαθμολογία συννοσηρότητας κ.λπ.
Βήμα 5 — Μοντελοποίηση και αξιολόγηση. Το μοντέλο πρόβλεψης είναι κατασκευασμένο και - το πιο κρίσιμο μέρος - αξιολογείται με προσεκτικό τρόπο, χωρίς διαρροές.
Τα τρία πιο ύπουλα λάθη
Χρονική διαρροή. Τοποθέτηση πληροφοριών στο χαρακτηριστικό που δεν υπάρχει ακόμη τη στιγμή της πρόβλεψης. Για παράδειγμα, χρησιμοποιώντας διάγνωση εξιτηρίου ή εργαστηριακό έλεγχο της τελευταίας ημέρας για την εκτίμηση του κινδύνου θανάτου κατά την εισαγωγή. Το μοντέλο φαίνεται τέλειο στο εργαστήριο, αλλά καταρρέει σε πραγματική χρήση επειδή έχει δει το «μέλλον».
Προκατάληψη. Τα δεδομένα αντικατοπτρίζουν προηγούμενες κλινικές αποφάσεις. Εάν αυτές οι αποφάσεις είναι ήδη άνισες, το μοντέλο το μαθαίνει και το ενισχύει. Για παράδειγμα, εάν μια συγκεκριμένη ομάδα έχει παραγγελθεί ιστορικά λιγότερα για δοκιμές, το μοντέλο μπορεί να πιστεύει ότι η ασθένεια είναι «χαμηλότερη» σε αυτήν την ομάδα.
Ταξική ανισορροπία. Εάν το συμβάν ενδιαφέροντος (π.χ. μια σπάνια επιπλοκή) είναι το 1% των δεδομένων, ένα μοντέλο που λέει πάντα "κανένα συμβάν" θα φαινόταν 99% ακριβές, αλλά θα ήταν άχρηστο. Αντί για ακρίβεια, απαιτούνται ευαισθησία, ακρίβεια και μετρήσεις που βασίζονται σε συμβάντα.
Αξιολόγηση: Η διάκριση δεν είναι αρκετή, η βαθμονόμηση είναι απαραίτητη
Υπάρχουν δύο διαφορετικές ερωτήσεις. Διάκριση (τυπική μέτρηση της AUC): κατατάσσει το μοντέλο σωστά τους ασθενείς με βάση τον κίνδυνο; Βαθμονόμηση: οι πιθανότητες που δίνει το μοντέλο ταιριάζουν με τις πραγματικές συχνότητες; Έχουν όντως κάποιο συμβάν περίπου το 20% των ασθενών που λένε «20% κίνδυνος»; Δεδομένου ότι οι αποφάσεις λαμβάνονται με βάση τα κατώτατα όρια στην κλινική, ένα μοντέλο με καλή κατάταξη αλλά κακώς βαθμονομημένο θα οδηγήσει σε εσφαλμένες αποφάσεις κατωφλίου. Επιπλέον, η απόδοση της υποομάδας (ηλικία, φύλο, εθνικότητα, νοσοκομείο) θα πρέπει να αναφέρεται χωριστά και θα πρέπει να τεθεί το ερώτημα της κλινικής χρησιμότητας (η χρήση αυτού του μοντέλου παράγει πραγματικά καλύτερα αποτελέσματα;).
Three Mini Cases: By the Numbers
Περίπτωση 1 — Η επιτυχία διογκώνεται από τη διαρροή. Ένα μοντέλο επανεισδοχής απέδωσε AUC 0,92 σε εσωτερικούς ελέγχους. φαινόταν υπέροχο. Η ανασκόπηση διαπίστωσε ότι τα χαρακτηριστικά περιελάμβαναν "ραντεβού με εξωτερικό ιατρείο μετά το εξιτήριο". Αυτές οι πληροφορίες δεν ήταν διαθέσιμες τη στιγμή της πρόβλεψης. Μόλις καθαρίστηκε η διαρροή, η AUC έπεσε στο 0,71 — μια ρεαλιστική και χρησιμοποιήσιμη τιμή.
Περίπτωση 2 — Μετατόπιση βαθμονόμησης. Ενώ η βαθμολογία έγκαιρης προειδοποίησης σήψης ήταν καλά βαθμονομημένη στο νοσοκομείο όπου αναπτύχθηκε, το προφίλ του ασθενούς έδειξε το διπλάσιο του πραγματικού ποσοστού συμβάντων για την ίδια βαθμολογία σε διαφορετικό νοσοκομείο. Το σκορ κατατάχθηκε σωστά, αλλά οι πιθανότητες ήταν λάθος. το όριο δεν μπορούσε να χρησιμοποιηθεί χωρίς επαναβαθμονόμηση.
Περίπτωση 3 — Εξοικονόμηση χρόνου με το NLP. Μια ερευνητική ομάδα εξήγαγε χειροκίνητα το ιστορικό καπνίσματος από 12.000 σημειώσεις ασθενών. Περίπου 2 λεπτά ανά νότα, 400 ώρες συνολικά. Η εξαγωγή με τη βοήθεια NLP μείωσε αυτό σε μερικές ώρες. Η ομάδα έλεγξε μόνο ένα τυχαία επιλεγμένο δείγμα επικύρωσης που το μοντέλο άφησε «ασαφές». Κρίσιμη ήταν η σχολαστική εξέταση του δείγματος επικύρωσης.
Αδύναμη προτροπή / Ισχυρή προτροπή
Αδύναμη προτροπή:
Δημιουργήστε ένα μοντέλο κινδύνου από αυτά τα δεδομένα ασθενών και αναφέρετε τα αποτελέσματα.[data]
Ισχυρή προτροπή:
Ο ρόλος σας: Είστε βοηθός ανάλυσης κλινικών δεδομένων (ΔΕΝ ΑΠΟΦΑΣΙΖΕΤΕ). Κριτική ΣΧΕΔΙΟ μοντέλου πρόβλεψης για την ακόλουθη λίστα ανώνυμων μεταβλητών:- Σημειώστε εάν κάθε μεταβλητή υπάρχει τη στιγμή της πρόβλεψης (κίνδυνος χρονικής διαρροής).- Καταγράψτε την ανισορροπία της κατηγορίας και τις πιθανές πηγές μεροληψίας.- Προτείνετε διάκριση + βαθμονόμηση + υποομάδα + κλινική χρησιμότητα για αξιολόγηση. - Δηλώστε ότι η απόφαση ανήκει στην κλινική ομάδα. Ανώνυμες μεταβλητές και στόχος:[λίστα]
Τέσσερα αντιγράψιμα πρότυπα
1) Έλεγχος διαρροής:
Ταξινομήστε την παρακάτω λίστα χαρακτηριστικών ως "διαθέσιμα τη στιγμή της πρόβλεψης" / "μελλοντικές πληροφορίες (διαρροή)" και αιτιολογήστε την. Στόχος και στιγμή πρόβλεψης: [ορισμός]. Χαρακτηριστικά: [λίστα]
2) Αναφορά ποιότητας δεδομένων:
Ελέγξτε για ποσοστό τιμής που λείπει, τιμές που λείπουν, ασυνέπεια μονάδων και διπλότυπη εγγραφή για αυτόν τον ανώνυμο πίνακα. Εμφανίζεται ένας συνοπτικός πίνακας ποιότητας. Πίνακας: [δεδομένα]
3) Σχέδιο επαλήθευσης συμπερασμάτων NLP:
Γράψτε ένα σχέδιο επικύρωσης για ένα βήμα NLP που εξάγει [μεταβλητή] από σχολιασμούς ελεύθερου κειμένου: τυχαίο μέγεθος δείγματος, επισήμανση χρυσού προτύπου, μέτρηση προσαρμογής, ανάλυση σφαλμάτων.
4) Πλαίσιο αξιολόγησης:
Γράψτε ένα σχέδιο πλαισίου αξιολόγησης για αυτό το κλινικό μοντέλο: διάκριση (AUC), καμπύλη βαθμονόμησης, απόδοση υποομάδας, ανάλυση καμπύλης απόφασης. Μοντέλο: [περιγραφή]
Ρόλος μοντέλου: Ανά τύπο εργασίας
Τύπος εργασίας
συνεισφορά AI
κρισιμότητα
επαλήθευση
Καθαρισμός δεδομένων / ακραίες τιμές
ψηλά
χαμηλά
επιτόπιος έλεγχος
Εξαγωγή NLP από σημειώσεις
ψηλά
μεσαίο
Δείγμα επικύρωσης
Βαθμολογία κινδύνου/πρόβλεψης
μεσαίο
ψηλά
Βαθμονόμηση + υποομάδα
Σχεδιασμός πόρων/ικανότητας
μεσαίο
μεσαίο
Έγκριση επιχειρηματικής μονάδας
Απόφαση θεραπείας
περιορισμένη
πολύ ψηλά
Πλήρης έγκριση γιατρού
Συμβουλή: Εάν η AUC ενός κλινικού μοντέλου είναι απροσδόκητα υψηλή (π.χ. πάνω από 0,95), ψάξτε για προσωρινή διαρροή πριν τον εορτασμό. Στον πραγματικό κόσμο, τέτοιες υψηλές τιμές είναι συνήθως σημάδι διαρροής πληροφοριών.
Προσοχή: Το μοντέλο μπορεί να μάθει και να ενισχύσει τις ανισότητες στα ιστορικά δεδομένα. Η υψηλή συνολική ακρίβεια μπορεί να συνεπάγεται συστηματική βλάβη σε ορισμένες ομάδες ασθενών. Η απόδοση θα πρέπει πάντα να αναφέρεται σε υποομάδες.
Συνήθη λάθη
- Δεν παρατηρείτε προσωρινή διαρροή. Η γνώση του μέλλοντος παράγει ψευδή επιτυχία στο εργαστήριο.
- Να είστε ικανοποιημένοι με την ακρίβεια. Η ακρίβεια είναι παραπλανητική με μη ισορροπημένα δεδομένα. Απαιτείται ευαισθησία και βαθμονόμηση.
- Δεν αναφέρονται υποομάδες. Η συνολική μέτρηση κρύβει προκατάληψη και ανισότητα.
- Παράλειψη βαθμονόμησης. Ακόμη και ένα καλό μοντέλο κατάταξης μπορεί να κάνει λάθη στις αποφάσεις του κατωφλίου.
- Αφήνοντας την απόφαση στο μοντέλο. Η έξοδος είναι υποστήριξη. Η απόφαση θεραπείας εναπόκειται στην κλινική ομάδα.
Συνοπτικά
- Τα δεδομένα EHR είναι ισχυρά αλλά αποσπασματικά, ελλιπή και μεροληπτικά. Ο καθαρισμός και η κωδικοποίηση είναι κρίσιμα βήματα.
- Η χρονική διαρροή είναι το πιο ύπουλο σφάλμα. Η μελλοντική γνώση παράγει ψευδή επιτυχία στο εργαστήριο.
- Η ανισορροπία της τάξης και η προκατάληψη καθιστούν τη μέτρηση της ακρίβειας παραπλανητική.
- Η αξιολόγηση θα πρέπει να περιλαμβάνει τη διάκριση, τη βαθμονόμηση, την υποομάδα και την κλινική χρησιμότητα.
- Τα προγνωστικά αποτελέσματα είναι υποστήριξη. Οι αποφάσεις διάγνωσης και θεραπείας ανήκουν στην κλινική ομάδα.
Εργασία εφαρμογής
Κατασκευάστε έναν στόχο πρόβλεψης και μια λίστα με δέκα μεταβλητές (συμπεριλάβετε σκόπιμα μια μεταβλητή "προοπτική", π.χ. διάγνωση απαλλαγής). Χρησιμοποιήστε την ισχυρή προτροπή για να ελέγξετε το μοντέλο για διαρροές και να δείτε εάν καταγράφει αυτήν τη μεταβλητή. Στη συνέχεια, γράψτε ένα πλαίσιο αξιολόγησης για αυτό το μοντέλο σε τρία στοιχεία, συμπεριλαμβανομένης της διάκρισης, της βαθμονόμησης και της υποομάδας.
λίστα ελέγχου
- [ ] Κατανοώ τα βήματα εξαγωγής, καθαρισμού, κωδικοποίησης και μοντελοποίησης της εργασίας με δεδομένα EHR.
- [ ] Μπορώ να αναγνωρίσω τη χρονική διαρροή και να επιθεωρήσω τη λίστα ακινήτων.
- [ ] Συνειδητοποίησα πώς η ταξική ανισορροπία και η προκατάληψη παραπλανούν την ακρίβεια.
- [ ] Γνωρίζω τη διαφορά μεταξύ της διάκρισης και της βαθμονόμησης και την αναγκαιότητα και των δύο.
- [ ] Μπορώ να τοποθετήσω το προγνωστικό αποτέλεσμα ως υποστήριξη και όχι ως απόφαση.