Dobici:
- Sposobnost definiranja pokazatelja kvalitete i učinka (SKS, klinička kvaliteta, sigurnost pacijenata) i dizajn smislene nadzorne ploče s podrškom za umjetnu inteligenciju
- Sposobnost korištenja umjetne inteligencije za izradu interpretacije pokazatelja, objašnjenja varijance i nacrta izvršnog sažetka
- Razumijevanje da je upraviteljeva odgovornost provjeriti kvalitetu podataka i uzročnost koja stoji iza pokazatelja te prepoznati rizik igranja.
„Ne možete upravljati onim što ne možete mjeriti“ gotovo je zakon u zdravstvenom menadžmentu. No mjerenje u zdravstvu ima i tamnu stranu: ako mjerite pogrešan pokazatelj, nagrađujete pogrešno ponašanje i ugrožavate sigurnost pacijenata. U ovoj cjelini naučit ćemo kako definirati KPI (Key Performance Indicators), prikupiti ih na nadzornoj ploči (dashboard) i koristiti umjetnu inteligenciju za tumačenje tih pokazatelja. Granica je jasna od početka: AI izračunava pokazatelj i proizvodi nacrt tumačenja; Ali na upravitelju je da provjeri točnost podataka, uzročnost i rizik igranja.
Što bi bio dobar pokazatelj?
Klasični okvir za mjerenje kvalitete u zdravstvu dijeli indikatore u tri vrste. Indikator strukture mjeri resurse i infrastrukturu (kao što je broj medicinskih sestara po krevetu). Indikator procesa mjeri kako se posao obavlja (kao što je stopa kojom se antibiotska profilaksa daje na vrijeme). Pokazatelj ishoda mjeri što se događa s pacijentom (kao što je stopa infekcije, smrtnost). Naziv okvira kvalitete u Turskoj je SKS (Standardi zdravstvene kvalitete) i definira mnoge obvezne pokazatelje. Važno je pratiti ove tri vrste zajedno: ako samo pogledate strukturu, kaže se "imamo dovoljno resursa", ali ne znači da se posao dobro obavlja; Ako samo pogledate proces, kaže se "poštivali smo pravila", ali to ne dokazuje da je dobro za pacijenta. Prava slika kvalitete nastaje kada se sva tri čitaju zajedno.
Dobar KPI ima nekoliko kvaliteta: jasno je definiran (svi mjere isto), mjerljiv, značajan za organizaciju, pravovremen i njime je teško manipulirati. Najveća opasnost je posljednja. Kada je pokazatelj vezan za cilj, ljudi ponekad nađu način da poboljšaju pokazatelj, a ne stvarnu izvedbu. To se zove ciljna diverzija ili igranje; Sažeto je poznatim Goodhartovim zakonom: "Kada kriterij postane cilj, on prestaje biti dobar kriterij." Na primjer: kada indikator "hitno vrijeme čekanja" stvara pritisak, pacijenti se mogu držati u statusu "snimanje otvoreno, ali nije viđeno" i indikator se može umjetno poboljšati.
Da bi se pokazatelj ispravno očitao, potrebno je zajedno potražiti odgovore na tri pitanja. Prvo, odakle dolaze podaci: je li pokazatelj izračunat ručno ili automatski; Je li izvor pouzdan? Koja je vjerojatnost da registracija nedostaje/netočna pri prijavi? Drugo, je li se promijenila definicija: ako se “vrijeme čekanja” mjeri od registracije do pregleda prošlog mjeseca i od trijaže do pregleda ovog mjeseca, te dvije brojke nisu usporedive. Treće, s kojim indikatorom se pomaknuo: broj koji se sam poboljšava možda je poremetio indikator ravnoteže pored njega. Donošenje odluke gledanjem indikatora bez postavljanja ova tri pitanja je kao gledanje jedne rendgenske snimke i liječenje pacijenta; Slika bez konteksta dovodi u zabludu. Umjetna inteligencija ne može postaviti ova tri pitanja umjesto vas; Jer samo menadžer koji poznaje organizaciju zna odakle dolaze podaci, kada se promijenila definicija i istina na terenu. Posao umjetne inteligencije je izračunati indikator i navesti moguća objašnjenja; Na vama je da provjerite koja je od ovih tvrdnji točna.
Korak po korak: nadzorna ploča i komentar s AI
- Odaberite indikatore. Promatrajte ravnotežu strukture/procesa/rezultata; Obavezno uključite pokazatelje sigurnosti pacijenata.
- Pojasnite definicije. Treba napisati brojnik/nazivnik, izvor i razdoblje svakog pokazatelja.
- Dajte podatke anonimno. Samo brojke; Ne postoji ID pacijenta.
- Zatražite nacrt komentara od AI-ja. Sažmite odstupanja, trendove i moguća objašnjenja.
- Uzročnost i kontrola podataka. Za svako "poboljšanje/pogoršanje": je li se kvaliteta podataka promijenila, je li se promijenila definicija, je li stvarno ili se igra?
- Čitajte s povezanim indikatorima. Pokazatelj se nikada ne ocjenjuje izolirano; Promatra se s parovima (kao što su LOS–ponovni prijem, čekanje–igranje).
Oprez: AI može mehanički označiti iznenadnu promjenu indikatora kao "dobru" ili "lošu". Ponekad nagli pad nije poboljšanje nego prestanak unosa podataka ili promjena definicije. Vaš je posao provjeriti uzročnost komentara.
tri mini kućišta
Slučaj 1 — Ubrzavanje izvršnog sažetka. Svaki mjesec službenik za kvalitetu ručno je tumačio 18 pokazatelja i napisao sažetak na 4 stranice; Ovo je trajalo 3 sata. Anonymous je predao nadzornu ploču (samo brojke) AI-u i zatražio nacrt izvršnog sažetka. AI izdvojila odstupanja i moguća objašnjenja; čuvar je usporedio svaki broj sa svojim međuspremnikom, ispravio dva pogrešna zaključka i preradio uzročne rečenice. Trajanje se smanjilo s 3 sata na 45 minuta; Nije stvar u kvalitetnom opterećenju, nego u pre-AI pripremi koja se skratila.
Slučaj 2 — Lažni oporavak. Na jednom jumbo plakatu "hitno prosječno vrijeme čekanja" palo je sa 48 minuta na 22 u jednom mjesecu. AI je to protumačio kao "značajno poboljšanje". Voditelj je postao sumnjičav i istražio je glavni uzrok: sustav registracije ažuriran je tog mjeseca, a "vrijeme početka ispita" definirano je drugačije. Dakle, pravo držanje nije palo; promijenilo se samo mjerenje. AI-jeva tečna interpretacija bila je pogrešna; Administratorska kontrola podataka uhvatila je zamku.
Slučaj 3 — Hvatanje igre. U jednoj je bolnici "stopa zakazanih ambulantnih pregleda unutar 30 dana" postavljena kao cilj i brzo je povećana na 98 posto. Tim za kvalitetu zatražio je od umjetne inteligencije da uporedi ovaj pokazatelj s povezanim pokazateljima (stopa prijavljivanja, zadovoljstvo pacijenata). Ispostavilo se da su termini bili zakazani, ali na većinu nisu došli; Pokazatelj je dobar, stvarno stanje se nije promijenilo. Pokazatelj je redefiniran kao "stvarna kontrola", a ne kao "dana".
Četiri predloška za kopiranje
1) Nacrt komentara indikatora:
Vaša uloga: pomoćnik voditelja kvalitete. Ispod je anonimna mjesečna nadzorna ploča (samo brojevi): naziv pokazatelja, ovaj mjesec, prošli mjesec, cilj. Zadatak: naznačite odstupanje od cilja i prošlog mjeseca u svakom pokazatelju, označite 3 najznačajnija odstupanja i predložite MOGUĆA objašnjenja. Predstavite objašnjenja kao apsolutnu činjenicu; Napiši to kao hipotezu.
2) Uzročnost/upit podataka:
"Neposredno vrijeme čekanja" ovog je mjeseca palo s 48 na 22 minute. Navedite moguće razloge ovog pada pod tri naslova: (1) stvarno poboljšanje, (2) promjena podataka/mjerenja, (3) izobličenje cilja (igranje). Reci mi kako provjeriti za svaku od njih. NE ODLUČUJTE koji; pokazati kontrolni put.
3) Pridruženi par indikatora:
Za svaki glavni indikator na mojoj kontrolnoj ploči predložite "indikator ravnoteže/para" što njegovo tumačenje čini opasnim (npr. ponovni prijem za LOS). U jednoj rečenici objasni zašto ih treba čitati zajedno. Dajte to u tablici.
4) Sažetak odbora:
Nacrtajte sažetak od 1 stranice za ploču iz sljedećih anonimnih podataka indikatora: 3 dobre vijesti, 3 područja pažnje, 3 prijedloga za djelovanje. Koristite jednostavan, menadžerski jezik. Označite izvor svakog broja kao [VERIFY] kako bih ga mogao potvrditi.
Slab upit / Jak upit
Slab upit:
Protumačite naše pokazatelje, recite nam jesu li dobri ili loši.
Nema definicije, nema cilja, nema konteksta; AI proizvodi mehaničke i pogrešne oznake.
Snažan upit:
Ispod je grafikon anonimnog indikatora (ovaj mjesec/prošli mjesec/cilj). Protumačite svako odstupanje u odnosu na cilj, ali prije nego kažete "dobro/loše", također spomenite moguću promjenu podataka/definicije i mogućnost igranja. Pročitajte LOS, očitajte vrijeme čekanja s indikatorom igre. Nemojte donositi konačne sudove; Označite točke za provjeru.
Vrsta indikatora
primjer
Rizik od usamljenog komentara
struktura
Omjer medicinska sestra/krevet
Ne jamči kvalitetu
Proces
Stopa u vrijeme profilakse
Ne pokazuje rezultat
Zaključak
stopa infekcije
Hlapljivo u malom uzorku
učinkovitost
vrijeme čekanja
Otvoreno za igranje
Uobičajene greške
- Gledajući jedan pokazatelj. Svaki glavni pokazatelj treba čitati s indikatorom ravnoteže.
- Iznenadnu promjenu odmah smatrati dobrom/lošom. Moguće je promjene podataka ili definicija.
- Ignoriranje igranja. Indikator ovisan o cilju može se manipulirati.
- Zamjena AI interpretacije za uzročnost. AI vidi odnos, a ne uzrok.
- Ne dovodi u pitanje kvalitetu podataka. Dobri pokazatelji ne mogu proizaći iz loših podataka.
Savjet: Dodajte mali "indikator ravnoteže" na svoju kontrolnu ploču pored svakog glavnog indikatora i uvijek tražite AI komentar s ovim parom. Broj koji sija sam često skriva svoj mutni par.
Ukratko
Pokazatelji kvalitete mjere zdravlje organizacije, ali pogrešno mjerenje rađa pogrešno ponašanje. AI je snažna pomoć u izračunavanju pokazatelja, sažimanju odstupanja i izradi nacrta sažetka upravljanja. Ali AI vidi odnose, ne može uspostaviti uzročnost; Iznenadna promjena može biti promjena podataka/definicije ili igrica. Pročitajte svaki pokazatelj s parom ravnoteže, postavite upit o kvaliteti podataka, provjerite uzročnost. Konačno odobrenje komentara i odluke je na administratoru.
Zadatak aplikacije
Dobijte 5-6 anonimnih pokazatelja (ovaj mjesec/prošli mjesec/cilj) od vaše organizacije. Zatražite komentare od umjetne inteligencije s predloškom "Nacrt komentara indikatora". Odaberite indikator koji se najviše mijenja i izdvojite tri moguća objašnjenja (činjenica/podatak/igranje) pomoću predloška "Uzročnost/upit podataka" i zapišite kako biste provjerili svako u 5 točaka.
popis za provjeru
- [ ] Jesam li pojasnio definiciju pokazatelja (brojnik/nazivnik/izvor)?
- [ ] Jesam li dao podatke anonimno?
- [ ] Čitam li svaki glavni indikator s bilančnim parom?
- [ ] Jesam li provjerio mogućnost podataka/definicije/igranja u slučaju iznenadnih promjena?
- [ ] Jesam li kao administrator odobrio konačni komentar i odluku?