Κέρδη:
- Δυνατότητα καθορισμού δεικτών ποιότητας και απόδοσης (SKS, κλινική ποιότητα, ασφάλεια ασθενών) και σχεδιασμός ενός ουσιαστικού ταμπλό με υποστήριξη τεχνητής νοημοσύνης
- Δυνατότητα χρήσης τεχνητής νοημοσύνης για την παραγωγή ερμηνείας δεικτών, επεξήγησης διακύμανσης και εκτελεστικού σχεδίου περίληψης
- Κατανόηση ότι είναι ευθύνη του διαχειριστή να επαληθεύσει την ποιότητα και την αιτιότητα των δεδομένων πίσω από τον δείκτη και να αναγνωρίσει τον κίνδυνο του παιχνιδιού.
"Δεν μπορείς να διαχειριστείς αυτό που δεν μπορείς να μετρήσεις" είναι σχεδόν ένας νόμος στη διαχείριση της υγειονομικής περίθαλψης. Αλλά η μέτρηση στην υγειονομική περίθαλψη έχει επίσης μια σκοτεινή πλευρά: εάν μετρήσετε τον λάθος δείκτη, επιβραβεύετε τη λάθος συμπεριφορά και υπονομεύετε την ασφάλεια των ασθενών. Σε αυτή την ενότητα, θα μάθουμε πώς να ορίζουμε KPI (Βασικοί δείκτες απόδοσης), να τους συλλέγουμε σε έναν πίνακα εργαλείων (ταμπλό) και να χρησιμοποιούμε την τεχνητή νοημοσύνη για να ερμηνεύσουμε αυτούς τους δείκτες. Το όριο είναι ξεκάθαρο από την αρχή: Η τεχνητή νοημοσύνη υπολογίζει τον δείκτη και παράγει ένα προσχέδιο ερμηνείας. Αλλά είναι στο χέρι του διαχειριστή να ελέγξει την ακρίβεια των δεδομένων, την αιτιότητα και τον κίνδυνο του παιχνιδιού.
Ποιος θα ήταν ένας καλός δείκτης;
Το κλασικό πλαίσιο για τη μέτρηση της ποιότητας στην υγεία χωρίζει τους δείκτες σε τρεις τύπους. Ο δείκτης δομής μετρά πόρους και υποδομές (όπως αριθμός νοσηλευτών ανά κρεβάτι). Ένας δείκτης διαδικασίας μετρά τον τρόπο με τον οποίο γίνεται η εργασία (όπως ο ρυθμός με τον οποίο χορηγείται έγκαιρα η αντιβιοτική προφύλαξη). Ο δείκτης έκβασης μετρά τι συμβαίνει στον ασθενή (όπως ποσοστό μόλυνσης, θνησιμότητα). Το όνομα του πλαισίου ποιότητας στην Türkiye είναι SKS (Πρότυπα Ποιότητας Υγείας) και ορίζει πολλούς υποχρεωτικούς δείκτες. Είναι σημαντικό να παρακολουθείτε αυτούς τους τρεις τύπους μαζί: αν κοιτάξετε απλώς τη δομή, λέει "έχουμε αρκετούς πόρους", αλλά δεν σημαίνει ότι η δουλειά γίνεται καλά. Αν κοιτάξετε απλώς τη διαδικασία, λέει "ακολουθήσαμε τους κανόνες", αλλά δεν αποδεικνύει ότι είναι καλό για τον ασθενή. Η πραγματική εικόνα της ποιότητας προκύπτει όταν διαβάζονται και τα τρία μαζί.
Ένας καλός KPI έχει πολλά χαρακτηριστικά: είναι σαφώς καθορισμένος (όλοι μετρούν το ίδιο πράγμα), μετρήσιμος, σημαντικός για τον οργανισμό, έγκαιρος και δύσκολος στον χειρισμό του. Ο μεγαλύτερος κίνδυνος είναι ο τελευταίος. Όταν ένας δείκτης συνδέεται με έναν στόχο, οι άνθρωποι βρίσκουν μερικές φορές έναν τρόπο να βελτιώσουν τον δείκτη και όχι την πραγματική απόδοση. Αυτό ονομάζεται εκτροπή στόχου ή gaming. Συνοψίζεται από τον περίφημο νόμο του Goodhart: «Όταν ένα κριτήριο γίνεται στόχος, παύει να είναι καλό κριτήριο». Για παράδειγμα: όταν ο δείκτης "επείγουσας ώρας αναμονής" δημιουργεί πίεση, οι ασθενείς μπορούν να διατηρηθούν στην κατάσταση "ανοιχτή εγγραφή αλλά δεν φαίνεται" και η ένδειξη μπορεί να γίνει τεχνητά καλή.
Για να διαβάσετε σωστά έναν δείκτη, είναι απαραίτητο να αναζητήσετε μαζί τις απαντήσεις σε τρεις ερωτήσεις. Πρώτον, από πού προέρχονται τα δεδομένα: ο δείκτης υπολογίζεται χειροκίνητα ή αυτόματα; Είναι αξιόπιστη η πηγή; Ποια είναι η πιθανότητα απώλειας/λανθασμένης εγγραφής κατά τη σύνδεση; Δεύτερον, έχει αλλάξει ο ορισμός: εάν ο «χρόνος αναμονής» μετράται από την εγγραφή σε εξέταση τον περασμένο μήνα και από τη διαλογή σε εξέταση αυτόν τον μήνα, οι δύο αριθμοί δεν είναι συγκρίσιμοι. Τρίτον, με ποιον δείκτη κινήθηκε: ένας αριθμός που βελτιώνεται μόνος του μπορεί να έχει διαταράξει τον δείκτη ισορροπίας δίπλα του. Το να λαμβάνεις μια απόφαση κοιτάζοντας έναν δείκτη χωρίς να θέτεις αυτές τις τρεις ερωτήσεις είναι σαν να κοιτάς μια μόνο ακτινογραφία και να θεραπεύεις έναν ασθενή. Η εικόνα χωρίς πλαίσιο είναι παραπλανητική. Η τεχνητή νοημοσύνη δεν μπορεί να κάνει αυτές τις τρεις ερωτήσεις για εσάς. Γιατί μόνο ο διευθυντής που γνωρίζει τον οργανισμό ξέρει από πού προέρχονται τα δεδομένα, πότε άλλαξε ο ορισμός και την αλήθεια επί τόπου. Η δουλειά του AI είναι να υπολογίσει τον δείκτη και να απαριθμήσει πιθανές εξηγήσεις. Εναπόκειται σε εσάς να επαληθεύσετε ποια από αυτές τις δηλώσεις είναι αληθινή.
Βήμα προς βήμα: ταμπλό και σχολιασμός με AI
- Επιλέξτε δείκτες. Παρατηρήστε την ισορροπία δομής/διεργασίας/αποτελέσματος. Φροντίστε να συμπεριλάβετε δείκτες ασφάλειας ασθενών.
- Διευκρινίστε τους ορισμούς. Ο αριθμητής/παρονομαστής, η πηγή και η περίοδος κάθε δείκτη πρέπει να γράφονται.
- Δώστε δεδομένα ανώνυμα. Απλά αριθμοί? Δεν υπάρχει ταυτότητα ασθενούς.
- Ζητήστε προσχέδιο σχολίου από AI. Συνοψίστε τις αποκλίσεις, τις τάσεις και τις πιθανές εξηγήσεις.
- Αιτιώδης συνάφεια και έλεγχος δεδομένων. Για κάθε "βελτίωση/επιδείνωση": έχει αλλάξει η ποιότητα των δεδομένων, έχει αλλάξει ο ορισμός, είναι πραγματικό ή είναι gaming;
- Διαβάστε με σχετικούς δείκτες. Ένας δείκτης δεν αξιολογείται ποτέ μεμονωμένα. Εξετάζεται με ζεύγη (όπως LOS–επανεισδοχή, αναμονή–παιχνίδι).
Προσοχή: Η τεχνητή νοημοσύνη μπορεί μηχανικά να χαρακτηρίσει μια ξαφνική αλλαγή σε έναν δείκτη ως "καλή" ή "κακή". Μερικές φορές μια ξαφνική πτώση δεν είναι βελτίωση αλλά διακοπή της εισαγωγής δεδομένων ή αλλαγή ορισμού. Είναι δουλειά σας να επαληθεύσετε την αιτιότητα του σχολίου.
τρεις μίνι θήκες
Περίπτωση 1 — Επιτάχυνση της σύνοψης. Κάθε μήνα, ένας υπάλληλος ποιότητας ερμήνευε χειροκίνητα 18 δείκτες και έγραφε μια περίληψη 4 σελίδων. Αυτό κράτησε 3 ώρες. Ο Anonymous παρέδωσε τον πίνακα ελέγχου (απλώς αριθμούς) στην AI και ζήτησε ένα προσχέδιο εκτελεστικής περίληψης. Το AI εξήγαγε αποκλίσεις και πιθανές εξηγήσεις. ο θεματοφύλακας συνέκρινε κάθε αριθμό με το πρόχειρό του, διόρθωσε δύο λανθασμένα συμπεράσματα και ξαναδούλεψε τις αιτιολογικές προτάσεις. Η διάρκεια μειώθηκε από 3 ώρες σε 45 λεπτά. Δεν είναι ο ποιοτικός φόρτος εργασίας, είναι η προετοιμασία πριν από την AI που έχει μειωθεί.
Περίπτωση 2 — Ψεύτικη ανάκτηση. Σε μια διαφημιστική πινακίδα, ο "επείγων μέσος χρόνος αναμονής" μειώθηκε από 48 λεπτά σε 22 σε έναν μήνα. Το AI ερμήνευσε αυτό ως «σημαντική βελτίωση». Ο διευθυντής έγινε ύποπτος και ερεύνησε τη βασική αιτία: το σύστημα εγγραφής είχε ενημερωθεί εκείνον τον μήνα και η "ώρα έναρξης των εξετάσεων" ορίστηκε διαφορετικά. Άρα το πραγματικό κράτημα δεν είχε πέσει. μόνο η μέτρηση είχε αλλάξει. Η ρευστή ερμηνεία του AI ήταν παραπλανητική. Ο έλεγχος δεδομένων του διαχειριστή έπιασε την παγίδα.
Περίπτωση 3 — Αλίευση παιχνιδιού. Σε ένα νοσοκομείο, το «ποσοστό ραντεβού για έλεγχο στα εξωτερικά ιατρεία εντός 30 ημερών» τέθηκε ως στόχος και γρήγορα αυξήθηκε στο 98 τοις εκατό. Η ομάδα ποιότητας ζήτησε από την τεχνητή νοημοσύνη να διασταυρώσει αυτόν τον δείκτη με τους σχετικούς δείκτες (ποσοστό check-in, ικανοποίηση ασθενών). Αποδείχθηκε ότι έγιναν ραντεβού, αλλά τα περισσότερα από αυτά δεν παρευρέθηκαν. Ο δείκτης είναι καλός, η πραγματική κατάσταση δεν έχει αλλάξει. Ο δείκτης επαναπροσδιορίστηκε ως «πραγματικός έλεγχος» και όχι ως «δομένος».
Τέσσερα πρότυπα με δυνατότητα αντιγραφής
1) Προσχέδιο σχολίου δείκτη:
Ο ρόλος σας: βοηθός του υπεύθυνου ποιότητας. Παρακάτω είναι ο ανώνυμος μηνιαίος πίνακας εργαλείων (μόνο αριθμοί): όνομα δείκτη, αυτόν τον μήνα, τον προηγούμενο μήνα, στόχο. Εργασία: υποδεικνύετε την απόκλιση από τον στόχο και τον τελευταίο μήνα σε κάθε δείκτη, σημειώστε τις 3 πιο αξιοσημείωτες αποκλίσεις και προτείνετε ΠΙΘΑΝΕΣ εξηγήσεις. Παρουσιάστε εξηγήσεις ως απόλυτο γεγονός. Γράψτε το ως υπόθεση.
2) Ερώτημα αιτίου/δεδομένων:
Ο "άμεσος χρόνος αναμονής" μειώθηκε από 48 σε 22 λεπτά αυτόν τον μήνα. Καταγράψτε τους πιθανούς λόγους αυτής της πτώσης σε τρεις επικεφαλίδες: (1) πραγματική βελτίωση, (2) αλλαγή δεδομένων/μετρήσεων, (3) παραμόρφωση στόχου (παιχνίδι). Πείτε μου πώς να ελέγξω για το καθένα. ΜΗΝ ΑΠΟΦΑΣΙΖΕΙΣ ποια? εμφάνιση διαδρομής ελέγχου.
3) Συσχετιζόμενο ζεύγος δεικτών:
Για κάθε κύριο δείκτη στον πίνακα εργαλείων μου, προτείνετε έναν "δείκτη ισορροπίας/ζεύγους" που καθιστά επικίνδυνη την ερμηνεία του και μόνο (π.χ. επανεισδοχή για LOS). Εξηγήστε με μία πρόταση γιατί πρέπει να διαβάζονται μαζί. Δώστε το σε έναν πίνακα.
4) Περίληψη του συμβουλίου:
Σχεδιάστε μια περίληψη 1 σελίδας για τον πίνακα από τα ακόλουθα ανώνυμα δεδομένα δεικτών: 3 καλά νέα, 3 τομείς προσοχής, 3 προτάσεις δράσης. Χρησιμοποιήστε απλή, διαχειριστική γλώσσα. Επισημάνετε την πηγή κάθε αριθμού ως [VERIFY] για να μπορώ να το επιβεβαιώσω.
Αδύναμη προτροπή / Ισχυρή προτροπή
Αδύναμη προτροπή:
Ερμηνεύστε τους δείκτες μας, πείτε μας αν είναι καλοί ή κακοί.
Δεν υπάρχει ορισμός, στόχος, κανένα πλαίσιο. Η τεχνητή νοημοσύνη παράγει μηχανικές και παραπλανητικές ετικέτες.
Ισχυρή προτροπή:
Παρακάτω είναι το ανώνυμο γράφημα δεικτών (αυτόν τον μήνα/τον τελευταίο μήνα/στόχο). Ερμηνεύστε κάθε απόκλιση σε σχέση με τον στόχο, αλλά πριν πείτε "καλό/κακό", αναφέρετε επίσης πιθανή αλλαγή δεδομένων/ορισμού και δυνατότητα παιχνιδιού. Διαβάστε το LOS, διαβάστε το χρόνο αναμονής με την ένδειξη gaming. Μην κάνετε τελικές κρίσεις. Σημειώστε τα σημεία προς έλεγχο.
Τύπος ένδειξης
παράδειγμα
Κίνδυνος μοναχικού σχολίου
δομή
Αναλογία νοσοκόμα/κρεβάτι
Δεν εγγυάται την ποιότητα
Διαδικασία
Ποσοστό κατά τη στιγμή της προφύλαξης
Δεν εμφανίζει αποτέλεσμα
Συμπέρασμα
ποσοστό μόλυνσης
Πτητικό σε μικρό δείγμα
αποτελεσματικότητα
χρόνος αναμονής
Ανοιχτό στο Gaming
Συνήθη λάθη
- Κοιτάζοντας έναν δείκτη. Κάθε κύριος δείκτης θα πρέπει να διαβάζεται με έναν δείκτη ισορροπίας.
- Θεωρώντας αμέσως την ξαφνική αλλαγή ως καλή/κακή. Μπορεί να υπάρχουν αλλαγές δεδομένων ή ορισμού.
- Αγνοώντας το Gaming. Ο δείκτης που εξαρτάται από το στόχο μπορεί να χειριστεί.
- Παρεξήγηση της ερμηνείας του AI ως αιτιότητας. Το AI βλέπει τη σχέση, όχι την αιτία.
- Δεν αμφισβητείται η ποιότητα των δεδομένων. Οι καλοί δείκτες δεν μπορούν να προέρχονται από κακά δεδομένα.
Συμβουλή: Προσθέστε έναν μικρό "δείκτη ισορροπίας" στον πίνακα εργαλείων σας δίπλα σε κάθε κύριο δείκτη και ζητήστε πάντα το σχόλιο AI με αυτό το ζευγάρι. Ένας αριθμός που λάμπει μόνος του συχνά κρύβει το αμυδρό του ζευγάρι.
Συνοπτικά
Οι δείκτες ποιότητας μετρούν την υγεία του οργανισμού, αλλά η λάθος μέτρηση γεννά λανθασμένη συμπεριφορά. Η τεχνητή νοημοσύνη είναι ένα ισχυρό βοήθημα για τον υπολογισμό δεικτών, τη σύνοψη των αποκλίσεων και την παραγωγή ενός σχεδίου περίληψης διαχείρισης. Αλλά η τεχνητή νοημοσύνη βλέπει σχέσεις, δεν μπορεί να δημιουργήσει αιτιότητα. Η ξαφνική αλλαγή μπορεί να είναι αλλαγή δεδομένων/ορισμού ή παιχνίδι. Διαβάστε κάθε δείκτη με ζεύγος υπολοίπου, ποιότητα δεδομένων ερωτήματος, επαληθεύστε την αιτιότητα. Η τελική έγκριση του σχολίου και της απόφασης ανήκει στον διαχειριστή.
Εργασία εφαρμογής
Λάβετε 5-6 ανώνυμους δείκτες (αυτόν τον μήνα/τον τελευταίο μήνα/στόχο) από τον οργανισμό σας. Ζητήστε σχόλια από το AI με το πρότυπο "Πρόχειρο σχολίου δείκτη". Επιλέξτε την ένδειξη που αλλάζει περισσότερο και εξάγετε τρεις πιθανές εξηγήσεις (γεγονός/δεδομένα/παιχνίδι) με το πρότυπο «Αιτιολογία/ερώτημα δεδομένων» και σημειώστε πώς θα ελέγχατε το καθένα σε 5 σημεία.
λίστα ελέγχου
- [ ] Έχω διευκρινίσει τον ορισμό των δεικτών (αριθμητής/παρονομαστής/πηγή);
- [ ] Παρείχα δεδομένα ανώνυμα;
- [ ] Διαβάζω κάθε κύριο δείκτη με το ζεύγος ισορροπίας;
- [ ] Έχω ελέγξει τη δυνατότητα δεδομένων/ορισμού/παιχνιδιών σε περίπτωση ξαφνικών αλλαγών;
- [ ] Εγώ, ως διαχειριστής, ενέκρινα το τελικό σχόλιο και απόφαση;