Dobici:
- Sposobnost definiranja indikatora kvalitete i učinka (SKS, klinički kvalitet, sigurnost pacijenata) i dizajniranja smislene kontrolne ploče s podrškom za umjetnu inteligenciju
- Sposobnost korištenja AI za izradu interpretacije indikatora, objašnjenja varijanse i nacrta sažetka
- Razumijevanje da je odgovornost menadžera da provjeri kvalitet podataka i uzročnost iza indikatora i da prepozna rizik od igara.
"Ne možete upravljati onim što ne možete izmjeriti" gotovo je zakon u menadžmentu zdravstvene zaštite. Ali mjerenje u zdravstvu ima i mračnu stranu: ako izmjerite pogrešan pokazatelj, nagrađujete pogrešno ponašanje i potkopavate sigurnost pacijenata. U ovoj cjelini naučit ćemo kako definirati KPI (ključne pokazatelje učinka), prikupiti ih na kontrolnoj tabli (dashboard) i koristiti umjetnu inteligenciju za tumačenje ovih indikatora. Ograničenje je jasno od početka: AI izračunava indikator i proizvodi nacrt tumačenja; Ali na menadžeru je da provjeri tačnost podataka, uzročnost i rizik od igranja igara.
Šta bi bio dobar pokazatelj?
Klasični okvir za mjerenje kvaliteta u zdravlju dijeli indikatore u tri tipa. Indikator strukture mjeri resurse i infrastrukturu (kao što je broj medicinskih sestara po krevetu). Indikator procesa mjeri način na koji se posao obavlja (kao što je stopa kojom se antibiotska profilaksa daje na vrijeme). Indikator ishoda mjeri šta se dešava pacijentu (kao što je stopa infekcije, smrtnost). Naziv okvira kvaliteta u Turskoj je SKS (Standardi kvaliteta zdravlja) i definiše mnoge obavezne indikatore. Važno je pratiti ove tri vrste zajedno: ako samo pogledate strukturu, ona kaže „imamo dovoljno resursa“, ali ne znači da se posao obavlja dobro; Ako samo pogledate proces, on kaže "poštivali smo pravila", ali to ne dokazuje da je to dobro za pacijenta. Prava slika kvaliteta nastaje kada se sva tri pročitaju zajedno.
Dobar KPI ima nekoliko kvaliteta: jasno je definisan (svi mjere isto), mjerljiv, značajan za organizaciju, pravovremen i težak za manipulisanje. Najveća opasnost je posljednja. Kada je indikator vezan za cilj, ljudi ponekad pronađu način da poboljšaju indikator, a ne stvarni učinak. Ovo se zove skretanje mete ili igranje; To je sažeto u čuvenom Goodhartovom zakonu: "Kada kriterijum postane cilj, on prestaje da bude dobar kriterijum." Na primjer: kada indikator "hitno vrijeme čekanja" stvara pritisak, pacijenti se mogu držati u statusu "snimanje otvoren, ali nije viđen" i indikator se može umjetno popraviti.
Da biste ispravno pročitali indikator, potrebno je zajedno potražiti odgovore na tri pitanja. Prvo, odakle dolaze podaci: da li se indikator izračunava ručno ili automatski; Da li je izvor pouzdan? Kolika je vjerovatnoća da nedostaje/pogrešna registracija prilikom prijave? Drugo, da li je promijenjena definicija: ako se “vrijeme čekanja” mjeri od registracije do pregleda prošlog mjeseca, i od trijaže do pregleda ovog mjeseca, ta dva broja nisu uporediva. Treće, sa kojim indikatorom se pomerio: broj koji se sam popravlja možda je poremetio indikator ravnoteže pored njega. Donošenje odluke gledajući indikator bez postavljanja ova tri pitanja je kao da gledate jedan rendgenski snimak i liječite pacijenta; Slika bez konteksta je obmanjujuća. Umjetna inteligencija ne može postaviti ova tri pitanja umjesto vas; Jer samo menadžer koji poznaje organizaciju zna odakle dolaze podaci, kada se definicija promijenila i istina na terenu. Posao AI je da izračuna indikator i navede moguća objašnjenja; Na vama je da provjerite koja je od ovih izjava tačna.
Korak po korak: kontrolna tabla i komentari sa AI
- Odaberite indikatore. Posmatrajte ravnotežu strukture/procesa/rezultata; Obavezno uključite indikatore sigurnosti pacijenata.
- Pojasnite definicije. Treba napisati brojilac/imenik, izvor i period svakog indikatora.
- Dajte podatke anonimno. Samo brojevi; Ne postoji ID pacijenta.
- Zatražite nacrt komentara od AI. Sumirajte odstupanja, trendove i moguća objašnjenja.
- Uzroci i kontrola podataka. Za svako "poboljšanje/pogoršanje": da li se kvalitet podataka promijenio, da li se promijenila definicija, da li je to stvarno ili igra?
- Čitajte sa povezanim indikatorima. Indikator se nikada ne vrednuje izolovano; Gleda se u parovima (kao što je LOS–ponovni prijem, čekanje–igranje).
Oprez: AI može mehanički označiti iznenadnu promjenu indikatora kao "dobru" ili "lošu". Ponekad nagli pad nije poboljšanje, već prestanak unosa podataka ili promjena definicije. Vaš je posao da provjerite uzročnost komentara.
tri mini kofera
Slučaj 1 — Ubrzavanje izvršnog sažetka. Svakog mjeseca, službenik za kvalitet je ručno tumačio 18 indikatora i pisao sažetak od 4 stranice; Ovo je trajalo 3 sata. Anonymous je dao kontrolnu tablu (samo brojeve) AI i zatražio nacrt izvršnog sažetka. AI izvukla odstupanja i moguća objašnjenja; čuvar je uporedio svaki broj sa svojim međuspremnikom, ispravio dva pogrešna zaključka i preradio uzročne rečenice. Trajanje se smanjilo sa 3 sata na 45 minuta; Nije u pitanju kvalitet posla, već priprema pre-AI koja se skratila.
Slučaj 2 — Lažni oporavak. Na jednom bilbordu "hitno prosječno vrijeme čekanja" palo je sa 48 minuta na 22 u jednom mjesecu. AI je ovo protumačila kao "značajno poboljšanje". Menadžer je postao sumnjičav i istražio osnovni uzrok: sistem registracije je ažuriran tog mjeseca, a "vrijeme početka ispita" je drugačije definisano. Dakle, prava moć nije pala; samo se mjerenje promijenilo. Fluidna interpretacija AI bila je pogrešna; Administratorska kontrola podataka uhvatila je zamku.
Slučaj 3 — Catching Gaming. U jednoj bolnici, "stopa zakazivanja ambulantnih pregleda u roku od 30 dana" postavljena je kao cilj i brzo je porasla na 98 posto. Tim za kvalitet je zamolio AI da unakrsno pročita ovaj indikator sa povezanim indikatorima (stopa prijavljivanja, zadovoljstvo pacijenata). Ispostavilo se da su zakazani termini, ali većina njih nije bila prisutna; Pokazatelj je dobar, stvarna situacija se nije promijenila. Indikator je redefinisan kao "stvarna kontrola", a ne "dato".
Četiri šablona za kopiranje
1) Nacrt komentara indikatora:
Vaša uloga: pomoćnik menadžera kvaliteta. Ispod je anonimna mjesečna kontrolna tabla (samo brojevi): naziv indikatora, ovaj mjesec, prošli mjesec, cilj. Zadatak: naznačite odstupanje od cilja i prošlog mjeseca u svakom indikatoru, označite 3 najprimjetnija odstupanja i predložite MOGUĆA objašnjenja. Objašnjenja predstavite kao apsolutnu činjenicu; Napišite to kao hipotezu.
2) Uzročna veza/upit za podatke:
"Vrijeme trenutnog čekanja" palo je sa 48 na 22 minuta ovog mjeseca. Navedite moguće razloge za ovaj pad pod tri naslova: (1) stvarno poboljšanje, (2) promjena podataka/mjera, (3) izobličenje cilja (igre). Reci mi kako da provjerim svaki od njih. NE ODLUČUJ koji; prikaži kontrolnu putanju.
3) Povezani indikatorski par:
Za svaki glavni indikator na mojoj kontrolnoj tabli, predložite "indikator ravnoteže/para" koji čini njegovo tumačenje samim opasnim (npr. ponovni prijem za LOS). Objasnite u jednoj rečenici zašto ih treba čitati zajedno. Dajte to u tabelu.
4) Rezime odbora:
Nacrtajte sažetak od 1 stranice za ploču iz sljedećih anonimnih podataka indikatora: 3 dobre vijesti, 3 područja pažnje, 3 prijedloga za akciju. Koristite običan, menadžerski jezik. Označite izvor svakog broja kao [VERIFY] da mogu potvrditi.
Slaba prompt / Jaka prompt
Slab upit:
Protumačite naše pokazatelje, recite nam da li su dobri ili loši.
Nema definicije, nema cilja, nema konteksta; AI proizvodi mehaničke i obmanjujuće etikete.
Snažan upit:
Ispod je anonimni grafikon indikatora (ovaj mjesec/prošli mjesec/cilj). Protumačite svako odstupanje u odnosu na cilj, ali prije nego što kažete "dobro/loše", također navedite moguću promjenu podataka/definicije i mogućnost igranja. Očitajte LOS, očitajte vrijeme čekanja pomoću indikatora igre. Nemojte donositi konačne presude; Označite tačke za provjeru.
Tip indikatora
primjer
Rizik od usamljenog komentara
strukturu
Odnos medicinska sestra/krevet
Ne garantuje kvalitet
Proces
Stopa u vrijeme profilakse
Ne pokazuje rezultat
Zaključak
stopa infekcije
Isparljiv u malom uzorku
efikasnost
vrijeme čekanja
Otvoreno za igre
Uobičajene greške
- Gledajući jedan indikator. Svaki glavni indikator treba čitati sa indikatorom ravnoteže.
- Odmah smatrati iznenadnu promjenu dobrom/lošom. Može doći do promjena podataka ili definicija.
- Ignoriranje igranja. Indikatorom koji zavisi od cilja može se manipulisati.
- Mijenjanje AI interpretacije za uzročnost. AI vidi odnos, a ne uzrok.
- Ne dovodi u pitanje kvalitet podataka. Dobri pokazatelji ne mogu proizaći iz loših podataka.
Savjet: Dodajte mali "indikator ravnoteže" na svoju kontrolnu ploču pored svakog glavnog indikatora i uvijek tražite komentar AI za ovaj par. Broj koji sija sam često skriva svoj prigušeni par.
Ukratko
Indikatori kvaliteta mjere zdravlje organizacije, ali pogrešno mjerenje rađa pogrešno ponašanje. AI je moćna pomoć u izračunavanju indikatora, sumiranju varijacija i izradi nacrta sažetka upravljanja. Ali AI vidi odnose, ne može uspostaviti uzročnost; Iznenadna promjena može biti promjena podataka/definicije ili igra. Pročitajte svaki indikator sa balansnim parom, zatražite kvalitet podataka, provjerite uzročnost. Konačno odobrenje komentara i odluke je na administratoru.
Zadatak aplikacije
Nabavite 5-6 anonimnih indikatora (ovaj mjesec/prošli mjesec/cilj) od vaše organizacije. Zatražite komentare od AI pomoću šablona „Nacrt komentara indikatora“. Odaberite indikator koji se najviše mijenja i izdvojite tri moguća objašnjenja (činjenica/podaci/igra) sa šablonom "Uzročno-posljedično/upit za podatke" i zapišite kako biste provjerili svako u 5 bodova.
kontrolna lista
- [ ] Da li sam pojasnio definiciju indikatora (brojilac/imenik/izvor)?
- [ ] Jesam li dao podatke anonimno?
- [ ] Da li čitam svaki glavni indikator sa balansnim parom?
- [ ] Da li sam provjerio mogućnost podataka/definicije/igranja u slučaju naglih promjena?
- [ ] Da li sam ja, kao administrator, odobrio konačni komentar i odluku?