Eining 6 / 11

Gæðavísar og árangurseftirlit: KPI og mælaborð

Hagnaður:

  • Geta til að skilgreina gæða- og frammistöðuvísa (SKS, klínísk gæði, öryggi sjúklinga) og hanna þroskandi mælaborð með stuðningi við gervigreind
  • Geta til að nota gervigreind til að búa til túlkun vísbendinga, fráviksskýringar og drög að samantekt
  • Skilningur á því að það er á ábyrgð stjórnanda að sannreyna gagnagæði og orsakasamhengi á bak við vísirinn og viðurkenna hættuna á leikjum.

„Þú getur ekki stjórnað því sem þú getur ekki mælt“ er nánast lögmál í heilbrigðisstjórnun. En mælingar í heilbrigðisþjónustu hafa líka dökka hlið: ef þú mælir rangan mælikvarða umbunarðu ranga hegðun og grefur undan öryggi sjúklinga. Í þessari einingu munum við læra hvernig á að skilgreina KPI (Key Performance Indicators), safna þeim á mælaborð (mælaborð) og nota gervigreind til að túlka þessa vísbendingar. Mörkin eru skýr frá upphafi: AI reiknar vísirinn og framleiðir túlkunardrög; En það er undir stjórnandanum komið að athuga nákvæmni gagna, orsakasamhengi og áhættu á leikjum.

Hvað væri góð vísbending?

Klassískur rammi til að mæla gæði í heilsu skiptir vísbendingum í þrjár tegundir. Byggingarvísirinn mælir úrræði og innviði (svo sem fjölda hjúkrunarfræðinga á hverju rúmi). Ferlisvísir mælir hvernig unnið er (eins og hversu hratt sýklalyfjavörn er gefin á réttum tíma). Útkomavísirinn mælir hvað gerist hjá sjúklingnum (svo sem sýkingartíðni, dánartíðni). Heiti gæðarammans í Türkiye er SKS (Health Quality Standards) og það skilgreinir marga lögboðna vísbendingar. Það er mikilvægt að rekja þessar þrjár gerðir saman: ef þú lítur bara á uppbygginguna segir það "við höfum nóg fjármagn" en þýðir ekki að verkið sé vel unnið; Ef þú skoðar bara ferlið þá stendur "við fylgdum reglunum" en það sannar ekki að það sé gott fyrir sjúklinginn. Raunveruleg mynd af gæðum kemur fram þegar allir þrír eru lesnir saman.

Gott KPI hefur nokkra eiginleika: það er skýrt skilgreint (allir mæla það sama), mælanlegt, þýðingarmikið fyrir stofnunina, tímabært og erfitt að meðhöndla það. Stærsta hættan er sú síðasta. Þegar vísir er bundinn við markmið finnur fólk stundum leið til að bæta vísirinn, ekki raunverulegan árangur. Þetta er kallað target divertion eða gaming; Það er dregið saman með hinu fræga Goodhart lögmáli: "Þegar viðmið verður að markmiði hættir það að vera gott viðmið." Til dæmis: þegar „brýn biðtími“ vísirinn skapar þrýsting, er hægt að halda sjúklingum í stöðunni „upptaka opin en ekki sést“ og hægt er að gera vísirinn tilbúna góðan.

Til að lesa vísbendingu rétt er nauðsynlegt að leita að svörum við þremur spurningum saman. Í fyrsta lagi hvaðan koma gögnin: er vísirinn reiknaður handvirkt eða sjálfkrafa; Is the source reliable? Hverjar eru líkurnar á að skráning vanti/röng við innskráningu? Í öðru lagi, hefur skilgreiningin breyst: Ef „biðtími“ er mældur frá skráningu til prófs í síðasta mánuði og frá þrígang til prófs í þessum mánuði, eru þessar tvær tölur ekki sambærilegar. Í þriðja lagi, með hvaða vísi hreyfðist það: tala sem batnar ein og sér gæti hafa truflað jafnvægisvísirinn við hliðina á henni. Að taka ákvörðun með því að skoða vísir án þess að spyrja þessara þriggja spurninga er eins og að horfa á eina röntgenmynd og meðhöndla sjúkling; Mynd án samhengis er villandi. Gervigreind getur ekki spurt þessara þriggja spurninga fyrir þig; Vegna þess að aðeins stjórnandinn sem þekkir stofnunina veit hvaðan gögnin koma, hvenær skilgreiningin breyttist og sannleikurinn á vettvangi. Hlutverk gervigreindar er að reikna vísirinn og skrá mögulegar skýringar; Það er undir þér komið að sannreyna hver þessara fullyrðinga er sönn.

Skref fyrir skref: mælaborð og athugasemdir með gervigreind

  1. Select indicators. Fylgstu með uppbyggingu / ferli / niðurstöðu jafnvægi; Vertu viss um að hafa öryggisvísa fyrir sjúklinga.
  2. Skýrðu skilgreiningar. Skrifa skal telja/nefnara, uppruna og tímabil hvers vísis.
  3. Give data anonymously. Just numbers; Það er engin sjúklingaskírteini.
  4. Óska eftir drögum að athugasemd frá AI. Taktu saman frávik, þróun og mögulegar skýringar.
  5. Orsakasamband og gagnaeftirlit. Fyrir hverja „umbót/versnun“: hefur gagnagæðin breyst, hefur skilgreiningin breyst, er hún raunveruleg eða er það leikjaspilun?
  6. Lesið með tilheyrandi vísbendingum. Vísir er aldrei metinn í einangrun; Það er skoðað með pörum (eins og LOS–endurinnlögn, bið–leikur).
Varúð: gervigreind getur vélrænt merkt skyndilega breytingu á vísi sem „gott“ eða „slæmt“. Stundum er skyndilegt fall ekki framför heldur stöðvun gagnafærslu eða breyting á skilgreiningu. Það er þitt hlutverk að sannreyna orsakasamhengi athugasemdarinnar.

þrjú smámál

Mál 1 — Flýta yfirliti. Í hverjum mánuði handtúlkaði gæðafulltrúi 18 vísbendingar og skrifaði 4 blaðsíðna samantekt; This took 3 hours. Anonymous afhenti gervigreindinni mælaborðið (bara tölur) og bað um drög að yfirliti. AI dró út frávik og mögulegar skýringar; forráðamaður bar saman hverja tölu við klemmuspjaldið sitt, leiðrétti tvær rangar ályktanir og endurgerði orsakasetningarnar. Lengdin minnkaði úr 3 klukkustundum í 45 mínútur; Það er ekki gæðavinnuálagið, það er undirbúningur fyrir gervigreind sem hefur styst.

Mál 2 - Fölsuð bati. Á einu auglýsingaskilti lækkaði „brýn meðalbiðtími“ úr 48 mínútum í 22 á einum mánuði. Gervigreindin túlkaði þetta sem „veruleg framför“. Stjórnandinn fór að tortryggja og rannsakaði ástæðuna: skráningarkerfið hafði verið uppfært þann mánuðinn og „upphafstími prófs“ var skilgreindur öðruvísi. Þannig að hið raunverulega tak var ekki fallið; aðeins mælingin hafði breyst. Vökvatúlkun gervigreindarinnar var villandi; Gagnastýring stjórnandans náði gildrunni.

Tilfelli 3 - Smitandi spilamennska. Á einu sjúkrahúsi var „hlutfall heimsókna á göngudeildir innan 30 daga“ sett sem markmið og jókst það fljótt í 98 prósent. Gæðateymið bað gervigreind að krosslesa þennan vísi með tilheyrandi vísbendingum (innritunartíðni, ánægja sjúklinga). Í ljós kom að pantað var en flestar þeirra voru ekki mættar; Vísirinn er góður, raunverulegt ástand hefur ekki breyst. Vísirinn var endurskilgreindur sem „raunveruleg stjórn“ frekar en „gefin“.

Fjögur afritanleg sniðmát

1) Drög að athugasemdum vísis:

Hlutverk þitt: aðstoðarmaður gæðastjóra.Hér fyrir neðan er nafnlaust mánaðarlegt mælaborð (aðeins tölur): nafn vísis, þennan mánuð, síðasta mánuð, markmið. Verkefni: tilgreinið frávik frá markmiði og síðasta mánuði í hverjum vísi, merktu við 3 athyglisverðustu frávikin og stingdu upp á MÖGULEGAR skýringar. Settu fram skýringar sem algera staðreynd; Skrifaðu það sem tilgátu.

2) Causation/data query:

„Biðtími strax“ lækkaði úr 48 í 22 mínútur í þessum mánuði. Skráðu mögulegar ástæður fyrir þessari lækkun undir þremur fyrirsögnum: (1) raunveruleg framför, (2) breyting á gögnum/mælingum, (3) röskun á marki (spilun). Segðu mér hvernig á að athuga fyrir hvern og einn. EKKI ÁKVEÐA hvern; sýna stjórnunarleið.

3) Tengd vísir par:

Fyrir hvern aðalvísir á mælaborðinu mínu, stingdu upp á "jafnvægi/parvísir" sem gerir túlkun hans eina og sér hættulega (t.d. endurupptöku fyrir LOS). Útskýrðu í einni setningu hvers vegna ætti að lesa þær saman. Gefðu það í töflu.

4) Samantekt stjórnar:

Gerðu drög að 1 síðu samantekt fyrir stjórnina úr eftirfarandi nafnlausu gögnum: 3 góðar fréttir, 3 athyglisverð svæði, 3 tillögur að aðgerðum. Notaðu venjulegt stjórnunarmál. Merktu uppruna hvers númers sem [VERIFY] svo ég geti staðfest það.

Veik kvaðning / Sterk kvaðning

Veik kvaðning:

Túlkaðu vísbendingar okkar, segðu okkur hvort þeir séu góðir eða slæmir.

Það er engin skilgreining, ekkert markmið, ekkert samhengi; AI framleiðir vélræn og villandi merki.

Öflug tilvitnun:

Hér að neðan er nafnlaus vísirkort (þessi mánuður/síðasti mánuður/markmið). Túlkaðu hvert frávik miðað við markmiðið, en áður en þú segir „gott/slæmt“ skaltu einnig nefna hugsanlegar breytingar á gögnum/skilgreiningu og leikmöguleika. Lestu LOS, lestu biðtímann með leikjavísinum. Ekki fella endanlega dóma; Merktu við þá punkta sem á að athuga.

Vísir gerð

dæmi

Hætta á eintómri athugasemd

uppbyggingu

Hlutfall hjúkrunarfræðings/rúms

Ábyrgist ekki gæði

Ferli

Hlutfall við fyrirbyggjandi meðferð

Sýnir ekki niðurstöðu

Niðurstaða

sýkingartíðni

Rokgjarnt í litlu sýni

skilvirkni

biðtíma

Opið fyrir gaming

Algeng mistök

  • Horft á einn vísir. Lesa skal hverja aðalvísa með jafnvægisvísi.
  • Er strax að íhuga skyndilegar breytingar sem góðar/slæmar. Það geta verið breytingar á gögnum eða skilgreiningum.
  • Hunsa gaming. Hægt er að vinna með markháða vísirinn.
  • Misskilja AI túlkunina fyrir orsakasamhengi. AI sér sambandið, ekki orsökina.
  • Ekki efast um gæði gagna. Góðar vísbendingar geta ekki komið frá slæmum gögnum.
Ábending: Bættu litlum „jafnvægisvísi“ við mælaborðið þitt við hlið hvers aðalvísis og biðjið alltaf um gervigreindarskýringar með þessu pari. Tala sem skín ein og sér felur oft dauft par sitt.

Í stuttu máli

Gæðavísar mæla heilsu stofnunarinnar en röng mæling elur af sér ranga hegðun. AI er öflugt hjálpartæki við að reikna út vísbendingar, draga saman frávik og búa til drög að stjórnunaryfirliti. En gervigreind sér tengsl, hún getur ekki staðfest orsakasamhengi; Skyndileg breyting getur verið breyting á gögnum/skilgreiningum eða leikjaspilun. Lestu hvern vísi með jafnvægispari, leitaðu að gæðum gagna, staðfestu orsakasamhengi. Endanlegt samþykki umsagnar og ákvörðunar liggur hjá umsjónarmanni.

Umsóknarverkefni

Fáðu 5-6 nafnlausa vísbendingar (þennan mánuð/síðasta mánuð/markmið) frá fyrirtækinu þínu. Biðjið um athugasemdir frá gervigreindinni með sniðmátinu „Indicator comment draft“. Veldu vísirinn sem breytir mestum og dragðu út þrjár mögulegar skýringar (staðreynd/gögn/spilun) með „Orsakasamhengi/gagnafyrirspurn“ sniðmátinu og skrifaðu niður hvernig þú myndir athuga hverja í 5 punktum.

gátlisti

  • [ ] Hef ég skýrt skilgreiningu á vísbendingum (teljari/nefnari/heimild)?
  • [ ] Afhenti ég gögn nafnlaust?
  • [ ] Les ég hvern aðalvísir með jafnvægisparinu?
  • [ ] Hef ég athugað möguleika á gögnum/skilgreiningu/leikjum ef skyndilegar breytingar verða?
  • [ ] Samþykkti ég, sem umsjónarmaður, endanlega athugasemd og ákvörðun?