Dobički:
- Sposobnost definiranja indikatorjev kakovosti in uspešnosti (SKS, klinična kakovost, varnost pacientov) in oblikovanja smiselne nadzorne plošče s podporo za umetno inteligenco
- Sposobnost uporabe umetne inteligence za pripravo interpretacije kazalnika, razlage variance in osnutka povzetka
- Razumevanje, da je odgovornost upravitelja, da preveri kakovost podatkov in vzročnost v ozadju indikatorja ter prepozna tveganje igranja.
»Ne moreš upravljati s tem, česar ne moreš izmeriti« je skorajda zakon v zdravstvenem managementu. Vendar ima merjenje v zdravstvu tudi temno stran: če merite napačen kazalnik, nagrajujete napačno vedenje in spodkopavate varnost pacientov. V tej enoti se bomo naučili definirati KPI (Key Performance Indicators), jih zbrati na nadzorni plošči (nadzorni plošči) in uporabiti umetno inteligenco za interpretacijo teh kazalnikov. Omejitev je jasna že od začetka: AI izračuna indikator in izdela osnutek razlage; Na upravljavcu pa je, da preveri točnost podatkov, vzročnost in tveganje igranja.
Kaj bi bil dober pokazatelj?
Klasični okvir za merjenje kakovosti v zdravstvu deli indikatorje na tri vrste. Kazalnik strukture meri vire in infrastrukturo (kot je število medicinskih sester na posteljo). Indikator procesa meri, kako je delo opravljeno (na primer hitrost pravočasne antibiotične profilakse). Kazalnik izida meri, kaj se zgodi z bolnikom (kot je stopnja okužbe, umrljivost). Ime okvira kakovosti v Turčiji je SKS (zdravstveni standardi kakovosti) in opredeljuje številne obvezne kazalnike. Pomembno je slediti tem trem vrstam skupaj: če samo pogledate strukturo, piše "imamo dovolj sredstev", vendar ne pomeni, da je delo dobro opravljeno; Če samo pogledate postopek, piše "upoštevali smo pravila", vendar to ne dokazuje, da je dobro za bolnika. Prava slika kakovosti se pokaže, ko vse tri beremo skupaj.
Dober KPI ima več lastnosti: je jasno definiran (vsi merijo enako), merljiv, pomemben za organizacijo, pravočasen in z njim je težko manipulirati. Največja nevarnost je zadnja. Ko je indikator vezan na cilj, ljudje včasih najdejo način za izboljšanje indikatorja, ne pa dejanske uspešnosti. To se imenuje ciljna preusmeritev ali igranje; Povzema ga znameniti Goodhartov zakon: "Ko kriterij postane cilj, preneha biti dober kriterij." Na primer: ko indikator "nujne čakalne dobe" ustvarja pritisk, lahko bolniki ostanejo v statusu "posnetek odprt, vendar ni viden" in indikator se lahko umetno izboljša.
Za pravilno branje indikatorja je treba skupaj poiskati odgovore na tri vprašanja. Prvič, od kod prihajajo podatki: ali je kazalnik izračunan ročno ali samodejno; Ali je vir zanesljiv? Kakšna je verjetnost manjkajoče/napačne registracije ob prijavi? Drugič, ali se je definicija spremenila: če se »čakalna doba« meri od registracije do pregleda prejšnji mesec in od triaže do pregleda ta mesec, številki nista primerljivi. Tretjič, s katerim indikatorjem se je premaknilo: številka, ki se izboljša sama, je morda zmotila kazalnik ravnovesja poleg nje. Sprejemanje odločitve z opazovanjem indikatorja, ne da bi postavili ta tri vprašanja, je kot gledanje enega rentgenskega posnetka in zdravljenje bolnika; Slika brez konteksta je zavajajoča. Umetna inteligenca teh treh vprašanj ne more zastaviti namesto vas; Ker le manager, ki pozna organizacijo, ve, od kod prihajajo podatki, kdaj se je spremenila definicija in resnica na terenu. Naloga umetne inteligence je izračunati indikator in našteti možne razlage; Na vas je, da preverite, katera od teh trditev drži.
Korak za korakom: nadzorna plošča in komentar z AI
- Izberite indikatorje. Upoštevajte ravnovesje struktura/proces/rezultat; Ne pozabite vključiti indikatorjev varnosti pacientov.
- Pojasnite definicije. Za vsak indikator je treba zapisati števec/imenovalec, vir in obdobje.
- Podatke dajte anonimno. Samo številke; ID bolnika ni.
- Zahtevajte osnutek komentarja od AI. Povzemite odstopanja, trende in možne razlage.
- Vzročna zveza in nadzor podatkov. Za vsako "izboljšanje/poslabšanje": ali se je kakovost podatkov spremenila, ali se je spremenila definicija, ali je resnično ali gre za igro?
- Preberite s povezanimi indikatorji. Indikator se nikoli ne ocenjuje ločeno; Pregleduje se s pari (kot je LOS–ponovni sprejem, čakanje–igranje).
Pozor: AI lahko mehansko označi nenadno spremembo indikatorja kot "dobro" ali "slabo". Včasih nenaden padec ni izboljšanje, temveč prenehanje vnosa podatkov ali sprememba definicije. Vaša naloga je, da preverite vzročnost komentarja.
trije mini kovčki
1. primer – pospešitev izvedbenega povzetka. Vsak mesec je uradnik za kakovost ročno interpretiral 18 indikatorjev in napisal 4-stranski povzetek; To je trajalo 3 ure. Anonymous je AI predal nadzorno ploščo (samo številke) in zahteval osnutek povzetka. AI izlušči odstopanja in možne razlage; skrbnik je vsako številko primerjal s svojim odložiščem, popravil dve napačni sklepi in predelal vzročne stavke. Trajanje se je zmanjšalo s 3 ur na 45 minut; Ni kakovostna delovna obremenitev, skrajšala se je priprava pred AI.
Primer 2 – Lažna izterjava. Na enem oglasnem panoju se je "nujna povprečna čakalna doba" zmanjšala z 48 minut na 22 v enem mesecu. Umetna inteligenca je to razlagala kot "pomembno izboljšanje". Vodja je postal sumničav in je raziskal temeljni vzrok: sistem registracije je bil tisti mesec posodobljen in "čas začetka izpita" je bil definiran drugače. Pravi oprijem torej ni padel; spremenila se je le meritev. Tekoča razlaga AI je bila zavajajoča; Upravljavčev nadzor podatkov je ujel past.
Primer 3 – lovljenje iger. V eni bolnišnici je bila kot cilj določena "stopnja naročanja na ambulantne preglede v 30 dneh" in se je hitro povečala na 98 odstotkov. Skupina za kakovost je pozvala AI, naj navzkrižno prebere ta indikator s povezanimi indikatorji (stopnja prijav, zadovoljstvo pacientov). Izkazalo se je, da so bili dogovorjeni, vendar jih večina ni bila udeležena; Kazalnik je dober, dejansko stanje se ni spremenilo. Kazalnik je bil na novo opredeljen kot "dejanski nadzor" namesto "dan".
Štiri predloge za kopiranje
1) Osnutek komentarja kazalnika:
Vaša vloga: pomočnik vodje kakovosti. Spodaj je anonimna mesečna nadzorna plošča (samo številke): ime kazalnika, ta mesec, prejšnji mesec, cilj. Naloga: navedite odstopanje od cilja in prejšnji mesec pri vsakem kazalniku, označite 3 najbolj opazna odstopanja in predlagajte MOŽNE razlage. Pojasnila predstavite kot absolutna dejstva; Zapiši kot hipotezo.
2) Vzročna zveza/povpraševanje po podatkih:
Ta mesec se je "takojšnja čakalna doba" zmanjšala z 48 na 22 minut. Navedite možne razloge za ta padec pod tremi naslovi: (1) dejansko izboljšanje, (2) sprememba podatkov/meritev, (3) izkrivljanje cilja (igre). Povejte mi, kako naj preverim vsakega posebej. NE ODLOČAJTE se kateri; pokaži nadzorno pot.
3) Povezan par indikatorjev:
Za vsak glavni indikator na moji nadzorni plošči predlagajte "indikator ravnovesja/para", zaradi česar je razlaga samega nevarna (npr. ponovni sprejem za LOS). V enem stavku razloži, zakaj ju je treba brati skupaj. Daj v tabelo.
4) Povzetek odbora:
Naredite 1-stranski povzetek za tablo iz naslednjih anonimnih indikatorskih podatkov: 3 dobre novice, 3 področja pozornosti, 3 predlogi za ukrepanje. Uporabljajte preprost, vodstveni jezik. Označite vir vsake številke kot [VERIFY], da ga lahko potrdim.
Šibek poziv/močan poziv
Šibek poziv:
Interpretirajte naše indikatorje, povejte nam, ali so dobri ali slabi.
Ni definicije, ni cilja, ni konteksta; AI proizvaja mehanske in zavajajoče oznake.
Močan poziv:
Spodaj je grafikon anonimnega indikatorja (ta mesec/prejšnji mesec/cilj). Interpretirajte vsako odstopanje glede na cilj, vendar preden rečete "dobro/slabo", omenite tudi morebitno spremembo podatkov/definicije in možnost igranja. Preberite LOS, preberite čakalno dobo z indikatorjem iger. Ne dajajte dokončnih sodb; Označite točke za preverjanje.
Vrsta indikatorja
primer
Tveganje samotnega komentarja
struktura
Razmerje medicinska sestra/postelja
Ne zagotavlja kakovosti
Proces
Stopnja v času profilakse
Ne pokaže rezultata
Zaključek
stopnja okužbe
Hlapljivo v majhnem vzorcu
učinkovitost
čakalna doba
Odprto za igranje
Pogoste napake
- Če pogledamo en indikator. Vsak glavni kazalnik je treba brati z indikatorjem ravnovesja.
- Nenadno spremembo takoj obravnavati kot dobro/slabo. Lahko pride do sprememb podatkov ali definicij.
- Ignoriranje iger. Indikator, odvisen od cilja, je mogoče manipulirati.
- Zamenjanje razlage AI za vzročnost. AI vidi razmerje, ne vzroka.
- Brez dvoma o kakovosti podatkov. Dobri kazalniki ne morejo izhajati iz slabih podatkov.
Namig: Dodajte majhen "indikator ravnovesja" na nadzorno ploščo poleg vsakega glavnega indikatorja in vedno prosite za komentar AI za ta par. Številka, ki sveti sama, pogosto skriva svoj temni par.
Če povzamem
Kazalniki kakovosti merijo zdravje organizacije, vendar napačne meritve povzročajo napačno vedenje. AI je močan pripomoček pri izračunu kazalnikov, povzemanju odstopanj in izdelavi osnutka povzetka upravljanja. Toda AI vidi razmerja, ne more vzpostaviti vzročnosti; Nenadna sprememba je lahko sprememba podatkov/definicije ali igranje iger. Preberite vsak indikator z bilančnim parom, poizvedite o kakovosti podatkov, preverite vzročnost. Končno odobritev komentarja in odločitve ima skrbnik.
Aplikacijska naloga
Pridobite 5-6 anonimnih indikatorjev (ta mesec/prejšnji mesec/cilj) od vaše organizacije. Zahtevajte komentarje od umetne inteligence s predlogo »Osnutek komentarja kazalnika«. Izberite indikator, ki se najbolj spreminja in s predlogo "Causation/data query" izluščite tri možne razlage (fact/data/gaming) in v 5 točkah zapišite, kako bi vsako preverili.
kontrolni seznam
- [ ] Ali sem pojasnil definicijo indikatorjev (števec/imenovalec/vir)?
- [ ] Ali sem podatke posredoval anonimno?
- [ ] Ali berem vsak glavni indikator z bilančnim parom?
- [ ] Ali sem preveril možnost podatkov/definicije/igre v primeru nenadnih sprememb?
- [ ] Ali sem kot administrator odobril končni komentar in odločitev?