Jednostka 6 / 11

Wskaźniki jakości i monitorowanie wydajności: KPI i dashboardy

Zyski:

  • Możliwość zdefiniowania wskaźników jakości i wydajności (SKS, jakość kliniczna, bezpieczeństwo pacjenta) oraz zaprojektowania zrozumiałego dashboardu ze wsparciem sztucznej inteligencji
  • Umiejętność wykorzystania sztucznej inteligencji do tworzenia interpretacji wskaźników, wyjaśniania wariancji i projektu streszczenia
  • Zrozumienie, że obowiązkiem menedżera jest weryfikacja jakości danych i związku przyczynowego leżącego u podstaw wskaźnika oraz rozpoznanie ryzyka związanego z grami.

„Nie można zarządzać tym, czego nie da się zmierzyć” – to niemalże prawo w zarządzaniu opieką zdrowotną. Pomiary w opiece zdrowotnej mają jednak także ciemną stronę: jeśli zmierzysz niewłaściwy wskaźnik, nagradzasz niewłaściwe zachowanie i zagrażasz bezpieczeństwu pacjentów. W tym module nauczymy się definiować KPI (Key Performance Indicators), gromadzić je na dashboardzie (dashboardzie) i wykorzystywać sztuczną inteligencję do interpretacji tych wskaźników. Granica jest jasna od początku: AI oblicza wskaźnik i tworzy projekt interpretacji; Jednak to menedżer musi sprawdzić dokładność danych, związek przyczynowy i ryzyko związane z grą.

Co byłoby dobrym wskaźnikiem?

Klasyczne ramy pomiaru jakości zdrowia dzielą wskaźniki na trzy typy. Wskaźnik struktury mierzy zasoby i infrastrukturę (np. liczbę pielęgniarek na łóżko). Wskaźnik procesu mierzy sposób wykonania pracy (np. tempo terminowego stosowania profilaktyki antybiotykowej). Wskaźnik wyniku mierzy, co dzieje się z pacjentem (np. częstość infekcji, śmiertelność). Ramy jakości w Turcji nazywają się SKS (Standardy jakości zdrowia) i definiują wiele obowiązkowych wskaźników. Ważne jest, aby śledzić te trzy typy łącznie: jeśli spojrzysz tylko na strukturę, pojawi się informacja „mamy wystarczające zasoby”, ale nie oznacza to, że praca jest wykonywana dobrze; Jeśli spojrzeć na sam proces, widać, że „przestrzegaliśmy zasad”, ale nie dowodzi to, że jest to dobre dla pacjenta. Prawdziwy obraz jakości wyłania się, gdy wszystkie trzy elementy zostaną odczytane łącznie.

Dobry KPI ma kilka cech: jest jasno zdefiniowany (wszyscy mierzą to samo), mierzalny, znaczący dla organizacji, terminowy i trudny do manipulacji. Największym niebezpieczeństwem jest to ostatnie. Kiedy wskaźnik jest powiązany z celem, ludzie czasami znajdują sposób na poprawę wskaźnika, a nie faktycznej wydajności. Nazywa się to odwracaniem celu lub grą; Streszcza to słynne prawo Goodharta: „Kiedy kryterium staje się celem, przestaje być dobrym kryterium”. Na przykład: gdy wskaźnik „pilnego czasu oczekiwania” powoduje presję, pacjentów można utrzymać w stanie „rejestracja otwarta, ale niewidoczni”, a wskaźnik można sztucznie ulepszyć.

Aby poprawnie odczytać wskaźnik, należy szukać odpowiedzi na trzy pytania łącznie. Po pierwsze, skąd pochodzą dane: czy wskaźnik jest obliczany ręcznie, czy automatycznie; Czy źródło jest wiarygodne? Jakie jest prawdopodobieństwo braku/nieprawidłowej rejestracji przy logowaniu? Po drugie, czy zmieniła się definicja: jeśli mierzy się „czas oczekiwania” od rejestracji do badania w zeszłym miesiącu i od selekcji do badania w tym miesiącu, to te dwie liczby nie są porównywalne. Po trzecie, z jakim wskaźnikiem się przesunął: liczba, która sama się poprawia, mogła zakłócić znajdujący się obok wskaźnik równowagi. Podejmowanie decyzji na podstawie wskaźnika bez zadawania tych trzech pytań jest jak patrzenie na pojedyncze prześwietlenie i leczenie pacjenta; Obraz bez kontekstu wprowadza w błąd. Sztuczna inteligencja nie może zadać ci tych trzech pytań; Ponieważ tylko menedżer, który zna organizację, wie, skąd pochodzą dane, kiedy zmieniła się definicja i jaka jest prawda w terenie. Zadaniem sztucznej inteligencji jest obliczenie wskaźnika i sporządzenie listy możliwych wyjaśnień; Do Ciebie należy sprawdzenie, które z tych stwierdzeń jest prawdziwe.

Krok po kroku: dashboard i komentarz z AI

  1. Wybierz wskaźniki. Obserwuj równowagę struktury/procesu/wyniku; Należy uwzględnić wskaźniki bezpieczeństwa pacjenta.
  2. Wyjaśnij definicje. Należy zapisać licznik/mianownik, źródło i okres każdego wskaźnika.
  3. Podaj dane anonimowo. Tylko liczby; Nie ma identyfikatora pacjenta.
  4. Poproś AI o komentarz do wersji roboczej. Podsumuj odchylenia, trendy i możliwe wyjaśnienia.
  5. Przyczynowość i kontrola danych. W przypadku każdej „poprawy/pogorszenia”: czy zmieniła się jakość danych, czy zmieniła się definicja, czy dane są prawdziwe, czy są to gry?
  6. Przeczytaj z powiązanymi wskaźnikami. Wskaźnika nigdy nie ocenia się oddzielnie; Rozpatruje się to w parach (takich jak LOS – ponowne przyjęcie, oczekiwanie – gra).
Uwaga: sztuczna inteligencja może mechanicznie oznaczyć nagłą zmianę wskaźnika jako „dobrą” lub „złą”. Czasami nagły spadek nie oznacza poprawy, ale zaprzestanie wprowadzania danych lub zmianę definicji. Twoim zadaniem jest sprawdzenie związku przyczynowego komentarza.

trzy mini etui

Przypadek 1 – Przyspieszenie podsumowania wykonawczego. Co miesiąc specjalista ds. jakości ręcznie interpretował 18 wskaźników i pisał 4-stronicowe podsumowanie; Zajęło to 3 godziny. Anonimowy przekazał AI pulpit nawigacyjny (same liczby) i poprosił o projekt streszczenia. AI wyodrębniła odchylenia i możliwe wyjaśnienia; opiekun porównał każdą liczbę ze swojego notesu, poprawił dwa błędne wnioski i przerobił zdania przyczynowe. Czas trwania skrócono z 3 godzin do 45 minut; Nie chodzi o obciążenie pracą związane z jakością, ale o skrócenie przygotowań przed AI.

Przypadek 2 – Fałszywe odzyskanie. Na jednym billboardzie „średni czas oczekiwania na pilną przesyłkę” spadł z 48 do 22 minut w ciągu jednego miesiąca. Sztuczna inteligencja zinterpretowała to jako „znaczną poprawę”. Kierownik nabrał podejrzeń i zbadał przyczynę: w tym miesiącu zaktualizowano system rejestracji i inaczej zdefiniowano „godzinę rozpoczęcia egzaminu”. Zatem prawdziwa siła nie upadła; zmienił się tylko pomiar. Płynna interpretacja AI była myląca; Kontrola danych administratora złapała pułapkę.

Przypadek 3 — Łapanie gier. W jednym ze szpitali jako docelowy przyjęto „odsetek wizyt kontrolnych w poradni ambulatoryjnej w ciągu 30 dni”, który szybko wzrósł do 98%. Zespół ds. jakości poprosił sztuczną inteligencję o porównanie tego wskaźnika z powiązanymi wskaźnikami (wskaźnik rejestracji, zadowolenie pacjentów). Okazało się, że wizyty były umówione, ale na większość z nich nie przyszła; Wskaźnik jest dobry, stan faktyczny nie uległ zmianie. Wskaźnik został ponownie zdefiniowany jako „faktyczna kontrola”, a nie „dana”.

Cztery szablony do kopiowania

1) Projekt komentarza do wskaźnika:

Twoja rola: asystent menedżera ds. jakości. Poniżej znajduje się anonimowy miesięczny pulpit nawigacyjny (tylko liczby): nazwa wskaźnika, bieżący miesiąc, ostatni miesiąc, cel. Zadanie: wskaż odchylenie od celu i ostatniego miesiąca w każdym wskaźniku, zaznacz 3 najbardziej zauważalne odchylenia i zasugeruj MOŻLIWE wyjaśnienia. Przedstaw wyjaśnienia jako absolutny fakt; Zapisz to jako hipotezę.

2) Zapytanie o przyczynę/dane:

„Natychmiastowy czas oczekiwania” spadł w tym miesiącu z 48 do 22 minut. Wymień możliwe przyczyny tego spadku w trzech kategoriach: (1) rzeczywista poprawa, (2) zmiana danych/pomiarów, (3) zniekształcenie celu (gra). Powiedz mi, jak sprawdzić każdy z nich. NIE DECYDUJ który; pokaż ścieżkę kontrolną.

3) Powiązana para wskaźników:

Dla każdego głównego wskaźnika na mojej desce rozdzielczej zasugeruj „wskaźnik salda/pary”, co sprawia, że interpretacja go sama w sobie jest niebezpieczna (np. ponowne przyjęcie do LOS). Wyjaśnij w jednym zdaniu, dlaczego należy je czytać łącznie. Podaj to w tabeli.

4) Podsumowanie Zarządu:

Przygotuj 1-stronicowe podsumowanie dla zarządu na podstawie następujących anonimowych danych wskaźników: 3 dobre wiadomości, 3 obszary uwagi, 3 sugestie działań. Używaj prostego, menedżerskiego języka. Oznacz źródło każdego numeru jako [WERYFIKUJ], abym mógł to potwierdzić.

Słaba zachęta/silna zachęta

Słaba zachęta:

Zinterpretuj nasze wskaźniki, powiedz nam, czy są dobre, czy złe.

Nie ma definicji, celu, kontekstu; Sztuczna inteligencja tworzy mechaniczne i wprowadzające w błąd etykiety.

Potężny monit:

Poniżej znajduje się anonimowy wykres wskaźników (bieżący/ostatni miesiąc/cel). Zinterpretuj każde odchylenie w stosunku do celu, ale zanim powiesz „dobry/zły”, wspomnij także o możliwej zmianie danych/definicji i możliwościach gry. Przeczytaj LOS, przeczytaj czas oczekiwania ze wskaźnikiem gry. Nie dokonuj ostatecznych osądów; Zaznacz punkty do sprawdzenia.

Typ wskaźnika

przykład

Ryzyko pojedynczego komentarza

struktura

Stosunek pielęgniarki do łóżka

Nie gwarantuje jakości

Proces

Częstość w czasie profilaktyki

Nie pokazuje wyniku

Wniosek

wskaźnik infekcji

Lotny w małej próbce

wydajność

czas oczekiwania

Otwarty na gry

Typowe błędy

  • Patrząc na jeden wskaźnik. Każdy główny wskaźnik należy czytać za pomocą wskaźnika równowagi.
  • Natychmiast uznaj nagłą zmianę za dobrą/złą. Mogą nastąpić zmiany danych lub definicji.
  • Ignorowanie gier. Można manipulować wskaźnikiem zależnym od celu.
  • Mylenie interpretacji AI z przyczynowością. AI widzi związek, a nie przyczynę.
  • Nie kwestionuję jakości danych. Dobre wskaźniki nie mogą wynikać ze złych danych.
Wskazówka: Dodaj mały „wskaźnik równowagi” do swojego pulpitu nawigacyjnego obok każdego głównego wskaźnika i zawsze proś o komentarz AI do tej pary. Liczba, która świeci sama, często ukrywa swoją słabą parę.

Podsumowując

Wskaźniki jakości mierzą kondycję organizacji, ale błędny pomiar powoduje niewłaściwe zachowanie. Sztuczna inteligencja jest potężną pomocą w obliczaniu wskaźników, podsumowywaniu rozbieżności i tworzeniu projektu podsumowania zarządzania. Ale sztuczna inteligencja widzi zależności, nie może ustalić przyczynowości; Nagła zmiana może oznaczać zmianę danych/definicji lub grę. Przeczytaj każdy wskaźnik za pomocą pary bilansowej, zapytaj o jakość danych, zweryfikuj przyczynowość. Ostateczna akceptacja komentarza i decyzji należy do administratora.

Zadanie aplikacji

Zdobądź 5-6 anonimowych wskaźników (w tym miesiącu/ostatnim miesiącu/celu) od swojej organizacji. Poproś AI o komentarze za pomocą szablonu „Wersja komentarza do wskaźnika”. Wybierz wskaźnik, który zmienia się najbardziej i wyodrębnij trzy możliwe wyjaśnienia (fakt/dane/gra) za pomocą szablonu „Przyczynowość/zapytanie o dane” i zapisz, jak sprawdziłbyś każde z nich w 5 punktach.

lista kontrolna

  • [ ] Czy wyjaśniłem definicję wskaźników (licznik/mianownik/źródło)?
  • [ ] Czy przekazałem dane anonimowo?
  • [ ] Czy odczytuję każdy główny wskaźnik za pomocą pary bilansowej?
  • [ ] Czy sprawdziłem możliwość danych/definicji/gry w przypadku nagłych zmian?
  • [ ] Czy jako administrator zaakceptowałem ostateczną uwagę i decyzję?