Guadagni:
- Possibilità di suddividere in temi i sondaggi sulla soddisfazione dei pazienti e i feedback a testo libero ed eseguire l'analisi del sentiment con il supporto dell'intelligenza artificiale
- Capacità di produrre approfondimenti attuabili e bozze di miglioramento da testi di reclami e suggerimenti
- Capacità di individuare insidie come errori di campionamento, errori automatici dei tag di sentiment e protezione della privacy prima dell'interpretazione
I pazienti non vengono solo per migliorare; Inoltre sperimentano e ricordano come sono stati trattati, quanto tempo hanno aspettato e a chi potevano raccontare i loro problemi. La soddisfazione del paziente è sia una responsabilità etica che una dimensione della prestazione che influisce sulla reputazione dell’istituzione e, in alcuni casi, sul suo rimborso. Ma i dati sulla soddisfazione spesso si presentano in due forme: sondaggi misurati in stelle/valutazioni e recensioni in formato libero. Ci vuole tempo per leggere centinaia di commenti gratuiti uno per uno. È qui che l’intelligenza artificiale è potente: separa centinaia di testi in temi, estrae il tono emotivo e riassume le lamentele e gli elogi più importanti. In questa unità vedremo come farlo, ma soprattutto, come evitare errori di lettura. Confine: l'intelligenza artificiale riassume il testo ed estrae i temi; ma l’etichetta automatica delle emozioni può essere fallibile, il campione può essere distorto: la generalizzazione e la decisione appartengono al manager.
Concetti base di text mining
Alcuni termini: il text mining è il processo di estrazione automatica di schemi e significato dai testi scritti. L’analisi del sentiment è la classificazione automatica del tono positivo/negativo/neutro di un testo. L'estrazione di temi/argomenti è il raggruppamento di più commenti in argomenti comuni (pulizia, attesa, comunicazione, prezzo). L'NPS (Net Promoter Score) è un indicatore di fidelizzazione basato sulla domanda "Ci consiglieresti?" È utile pensare ai dati sulla soddisfazione in due dimensioni separate: la dimensione quantitativa (giudizi, NPS) dà la risposta alla domanda "quanto"; La dimensione qualitativa (commenti liberi) porta la risposta alla domanda "perché". Entrambi sarebbero incompleti separatamente; Se letti insieme, si vede sia la portata del problema che la sua fonte.
Questi veicoli hanno un lato potente ma pericoloso. L’analisi del sentiment si imbatte nelle sottigliezze del linguaggio. La frase "Ottimo, ho aspettato ancora 3 ore" può sembrare positiva se guardata parola per parola perché contiene "ottimo"; Tuttavia, è ironico. "Non era male" contiene negazione. I suffissi e gli idiomi in turco rendono tutto questo ancora più difficile. Il secondo pericolo è rappresentato dai bias di campionamento: il sondaggio viene generalmente compilato da persone che sono molto soddisfatte o molto arrabbiate; La maggioranza silenziosa al centro è invisibile. Pertanto, il quadro che disegna l’IA è l’opinione degli “autori”, non di “tutti i pazienti”.
Il vero valore di questi strumenti non è nel numero, ma nella direzione. Una valutazione in stelle ti dice "soddisfazione 3,8" ma non ti dice cosa correggere; il testo libero ti dice esattamente cosa ti preoccupa. Il compito dell'intelligenza artificiale è quello di distillare questa narrativa cruda in titoli gestibili: non puoi leggere 600 commenti, ma puoi trasformare in azione la frase "il 30% dei commenti menziona confusione di routing". Ma questa riduzione comporta anche una perdita: un avvertimento di sicurezza sorprendente, singolare ma importante da parte di un singolo paziente può andare perso nel “piccolo tema del 2%”. Pertanto, oltre alla sintesi quantitativa, è necessario vagliare ulteriormente i singoli commenti che segnalano sicurezza o reclami gravi; Il numero mostra il quadro generale e il singolo commento mostra l'eccezione critica.
Passo dopo passo: analisi del feedback con l'intelligenza artificiale
- Anonimizza. Rimuovere identificatori come nome, nome del medico, numero di stanza dai commenti.
- Dividilo per tema. Chiedi all'IA di raggruppare i commenti in argomenti comuni; Sei tu a determinare il numero di titoli.
- Elimina il tono emotivo ma verificalo. Ottieni il tasso positivo/negativo per ciascun tema; Quindi leggi tu stesso i commenti di esempio.
- Approfondimento sull'azione. Scegli il tema più frequente e scottante; Viene elaborata una proposta concreta di miglioramento.
- Controllo del campione. Quante persone lo hanno scritto, chi lo ha scritto, è rappresentativo? Effettua la generalizzazione secondo questo limite.
- Decisione manageriale. La decisione di miglioramento e la definizione delle priorità appartengono al manager; L’intelligenza artificiale prepara solo insight.
Attenzione: un numero come "78% positivo" fornito dall'intelligenza artificiale potrebbe aver interpretato male l'ironia e la negazione. Assicurati di leggere tu stesso alcune recensioni grezze per ciascun tema e controlla se il tag corrisponde alla realtà.
tre mini custodie
Caso 1: tema nascosto. Un ospedale ha accumulato 640 commenti gratuiti al mese; nessuno poteva leggerlo tutto. L'unità per i diritti dei pazienti ha fornito i commenti anonimi a YZ e li ha assegnati al tema. Il più grande tema negativo non era il "tempo di attesa" come previsto, ma la "confusione del percorso" (i pazienti non riuscivano a capire a quale piano andare). Con una semplice sistemazione della segnaletica e del personale di orientamento, questo tema è diminuito significativamente in due mesi. L'intelligenza artificiale ha reso visibile il tema nascosto; La soluzione apparteneva alla squadra.
Caso 2 – Trappola dell’ironia. Un'unità era soddisfatta del riassunto dell'intelligenza artificiale "82% positivo" e ha detto al management che "la soddisfazione è alta". Il responsabile della qualità ha letto i commenti campione: frasi ironiche come "Fantastico, sono arrivato 2 ore dopo l'orario dell'appuntamento" sono state considerate positive. Il tasso di positività effettivo era inferiore. Il conduttore ha calibrato il tag AI leggendo manualmente diverse decine di commenti e ha corretto la presentazione.
Caso 3: bias di campionamento. In un ambulatorio, solo 45 persone hanno risposto al sondaggio online e la maggior parte si è espressa in modo molto negativo. Un manager è stato preso dal panico dicendo che "il policlinico è fallito". L'analista ha ricordato che queste 45 persone rappresentavano una fetta piccola e parziale dei 3.200 pazienti di quel mese e che le persone arrabbiate hanno risposto di più al sondaggio. Invece del panico, è stato lanciato un exit poll rappresentativo; Il quadro reale era molto più equilibrato.
Quattro modelli copiabili
1) Estrazione del tema:
Il tuo ruolo: assistente dell'analista dell'esperienza del paziente. Di seguito sono riportati i commenti anonimi dei pazienti freelance (senza nome/nome del medico). Compito: dividere i commenti in 6-8 temi comuni (ad esempio attesa, comunicazione, pulizia, rinvio, compenso). Indica quanti commenti hai avuto per ciascun tema e fornisci 2 citazioni di esempio. Non inventare i commenti; Usa semplicemente quello che ti do.
2) Sentiment + avviso di convalida:
Sottrai il rapporto positivo/negativo/neutro per ciascun tema. MA sottolinea che ironia, negazione ed espressioni sarcastiche possono fuorviare il tag emozionale ed elenca separatamente i 5 commenti di cui non sei sicuro come "controllati manualmente". Presentazione come percentuale esatta; dare ca.
3) Intuizione orientata all'azione:
Scegli il tema più frequente e più negativo. Per questo tema: uno schema della possibile causa principale, 3 miglioramenti che possono essere implementati a breve termine e l'impatto/costo stimato di ciascuno. Dichiara che si tratta di un suggerimento e che la decisione spetta al manager.
4) Nota di controllo del campione:
In questa analisi, il numero totale di risposte [N] è il numero di pazienti in quel periodo [M]. Scrivimi una nota di avvertimento sulla rappresentatività del campione: se il tasso di risposta è basso o i pazienti arrabbiati sono sovrarappresentati, spiega i rischi di generalizzare i risultati in 4 punti.
Prompt debole / Prompt forte
Suggerimento debole:
Dimmi se questi commenti sono buoni o cattivi, quale percentuale è soddisfatta.
Nessun tema, nessuna verifica, nessun avviso di esempio; Restituisce una singola percentuale fuorviante.
Suggerimento potente:
Di seguito sono riportati [N] commenti anonimi dei pazienti, numero di pazienti in quel momento [M]. Separare i commenti per tema, dare un tono emotivo approssimativo per ogni tema ma segnare se sono incerti per ironia/negazione. Elaborare un suggerimento per migliorare il tema più scottante e aggiungere una nota di avvertimento sulla rappresentatività del campione.
passo
Contributo dell'intelligenza artificiale
controllo umano
Separazione tematica
Raggruppa centinaia di commenti
I titoli hanno un significato?
etichetta emotiva
Produce un tono veloce
Controllo dell'ironia/negazione
intuizione
Progetto di miglioramento
Applicabilità, costo
generalizzazione
Fornisce un riepilogo
Il campione è rappresentativo?
Errori comuni
- Accettare l'etichetta emotiva così com'è. L'ironia e la negazione sono fuorvianti; Leggi gli esempi.
- Generalizzazione da campione piccolo/distorto. 45 commenti arrabbiati non rappresentano tutti i pazienti.
- Bypassare l'anonimizzazione. I commenti possono includere il nome del medico/paziente; rimuoverlo.
- Concentrandosi solo sugli aspetti negativi. I temi positivi indicano anche ciò che proteggerai.
- Confondere l'intuizione con la decisione. La decisione e la priorità per il miglioramento appartengono al manager.
Suggerimento: alla fine di ogni analisi, leggi tu stesso 15-20 commenti grezzi casuali e confrontali con il tag dell'IA. Questa abitudine di “calibrazione” di 10 minuti cattura le trappole dell’ironia e della negazione e ti insegna quanto fidarti del brief dell’IA.
In sintesi
I dati sulla soddisfazione del paziente sono disponibili sia nei punteggi che nel testo libero e l’intelligenza artificiale è molto potente nel suddividere centinaia di commenti in temi e nel riassumerli. Ma l’etichetta automatica delle emozioni pecca di ironia e negazione; Il campionamento delle indagini è spesso parziale. Pertanto, i risultati dell’intelligenza artificiale non possono essere generalizzati senza verifica con interpretazioni grezze e dimensioni del campione. Viene mantenuto l'anonimato, viene preparata la visione approfondita; Ma la decisione e la priorità per il miglioramento appartengono sempre al manager.
Compito dell'applicazione
Ottieni un set di commenti anonimi (20-30 commenti, reali o ipotetici). Chiedi all'IA il tema e il tono con i modelli "Inferenza tematica" e "Emozione + avviso di convalida". Quindi leggi tu stesso almeno 10 commenti grezzi e confrontali con il tag dell'IA; Annota quanti di essi ritieni da ridire a causa dell'ironia/negazione e della rappresentatività del campione in 5 item.
lista di controllo
- [ ] Ho reso anonimi i commenti (nessun nome del paziente/medico)?
- [ ] Ho calibrato il sentiment tag con commenti grezzi?
- [ ] Ho considerato la dimensione del campione e i bias?
- [ ] Ho cercato temi sia positivi che negativi?
- [ ] Ho lasciato la decisione e la priorità di miglioramento al manager?