Guadagni:
- Capacità di spiegare come vengono stabiliti i flussi di lavoro di rilevamento, segmentazione e prioritizzazione supportati dall'intelligenza artificiale nelle immagini radiologiche
- Capacità di separare gli output del modello (mappa termica, probabilità, misurazione) dalla decisione del radiologo e posizionarli in un ruolo di supporto
- Capacità di convalidare gli output del modello di immagine con sensibilità/specificità, carico di falsi positivi e contesto clinico
La radiologia è l’area di applicazione più matura dell’intelligenza artificiale nell’ingegneria biomedica. I raggi X (raggi X), la tomografia computerizzata (CT; CT in inglese, combinando sezioni di raggi X prese da diverse angolazioni) e la risonanza magnetica (MR; MRI in inglese, imaging di tessuti con un forte campo magnetico e onde radio) producono milioni di immagini ogni giorno. Ci vogliono anni di esperienza affinché un radiologo interpreti queste immagini. L'intelligenza artificiale contribuisce a questo processo con il rilevamento (attirando l'attenzione su un risultato), la segmentazione (disegnando i confini di una struttura; segmentazione in inglese) e la definizione delle priorità (mettendo i casi urgenti all'inizio della coda; triage in inglese). In questa unità vedremo come vengono impostati questi flussi di lavoro e, cosa più importante, come l'output viene posizionato come input, piuttosto che come sostituto, della decisione del radiologo.
In qualità di ingegnere, il tuo compito è spesso quello di sviluppare il modello, integrarlo, convalidarlo e monitorarne le prestazioni con il team clinico. Il radiologo fa la diagnosi. L’intelligenza artificiale non diagnostica; attira l'attenzione, misura, ordina.
Fasi del flusso di lavoro dell'IA radiologica
Passaggio 1: dati e preelaborazione. Le immagini vengono fornite come DICOM (Digital Imaging and Communications in Medicine; formato standard di file e comunicazione per immagini mediche). Preelaborazione; Questi includono la creazione di finestre (regolazione del contrasto dell'immagine), ricampionamento (ridimensionamento delle sezioni a dimensioni standard) e riduzione del rumore. Questo passaggio è sicuro e adatto all'automazione.
Passaggio 2: rilevamento e segmentazione. Il modello segna l'area corrispondente a un nodulo polmonare, una frattura o un'emorragia. L'output è solitamente sotto forma di un punteggio di probabilità e di una mappa termica (uno strato che mostra per colore le aree in cui si concentra l'attenzione del modello). Nella segmentazione, il modello disegna i confini dei pixel di un organo o di una lesione; Viene utilizzato per la misurazione del volume.
Passaggio 3: stabilire le priorità. Se viene riscontrato un dato urgente (ad es. emorragia cerebrale), il caso viene portato avanti nella lista di lavoro. Lo scopo qui non è cambiare il radiologo, ma garantire che il caso critico venga visto prima.
Fase 4 – Valutazione del radiologo. I risultati del modello vengono presentati al radiologo come livello di raccomandazione. Il radiologo accetta, rifiuta o cambia. Il rapporto finale e la diagnosi appartengono al radiologo.
Fase 5: verifica e monitoraggio. Una volta che il modello è sul campo, le sue prestazioni vengono costantemente monitorate; I tassi di falsi positivi e falsi negativi vengono monitorati separatamente tra diversi dispositivi e gruppi di pazienti.
Sensibilità, specificità e carico di falsi positivi
Esistono due metriche di base per la valutazione del modello di immagine. La sensibilità è il tasso di rilevamento di coloro che sono veramente malati: un'elevata sensibilità significa meno risultati mancati. La specificità è la velocità con cui eliminiamo accuratamente le persone veramente sane: un’elevata specificità significa meno falsi allarmi. C'è un equilibrio tra questi due; Se si abbassa la soglia e si rilevano più risultati, i falsi allarmi aumentano.
Un concetto critico in clinica è il peso dei falsi positivi: se il modello dice "sospetto" troppo spesso, il radiologo deve ogni volta escludere questi segnali e dopo un po' non prende sul serio gli avvisi (alert fatigue). Pertanto, non dovrebbe essere valutata solo la sensibilità di un modello, ma anche il numero di falsi positivi nel flusso di lavoro effettivo.
Tre mini custodie: i numeri
Caso 1: tempo risparmiato grazie alla definizione delle priorità. In un ospedale è stato implementato un modello di priorità del sanguinamento nelle TC cerebrali. Il tempo medio necessario per la prima visita dei casi di sanguinamento da parte del radiologo è diminuito da 28 minuti a 8 minuti. Tuttavia, il modello non è riuscito a catturare una piccola emorragia subaracnoidea mancata; pertanto tutti i casi sono stati nuovamente sottoposti a lettura completa da parte del radiologo. Il modello ha accelerato l'ordinamento, ma non ha eliminato la lettura.
Caso 2 – Onere falso positivo. Un modello di rilevamento di noduli polmonari ha prodotto una media di 6 segni “sospetti” per paziente se utilizzato con una soglia bassa per aumentare la sensibilità al 94%; La maggior parte di questi erano sezioni vascolari e focolai benigni. Nel giro di due settimane, i radiologi iniziarono a ignorare i segnali. Quando la soglia fu riaggiustata e il numero di segni ridotto a 1,5 per paziente, il modello tornò ad essere utile.
Caso 3 – Spostamento di campo. Un modello di rilevamento delle fratture ha ottenuto una sensibilità del 91% su macchine a raggi X digitali presso l'ospedale A, ma è scesa al 72% presso l'ospedale B utilizzando dispositivi portatili di un diverso produttore. La qualità dell'immagine e il posizionamento erano diversi. Il modello non può essere considerato affidabile senza essere ulteriormente validato su ciascun dispositivo e popolazione in cui verrà utilizzato.
Prompt debole / Prompt forte
Nota: le istruzioni seguenti servono per configurare un report testuale o un flusso di lavoro, non per interpretare l'immagine stessa. La diagnosi per immagini è il lavoro di un software clinico e di un radiologo convalidati.
Suggerimento debole:
Guarda questo referto radiografico e dimmi se il paziente è malato.[report]
Suggerimento potente:
Il tuo ruolo: sei un assistente del flusso di lavoro in radiologia (NON SEI DIAGNOSI). Strutturare il testo del referto radiologico anonimo come segue: - Tabella dei reperti, delle misurazioni e delle sedi anatomiche. - Mantenere le dichiarazioni vaghe/negative ("non possono essere escluse") così come sono, senza renderle definitive. - Non aggiungere risultati che non siano presenti nel testo. - Raccogliere le frasi di "raccomandazione/follow-up" in una sezione separata. - Alla fine, elenca 3 punti che il radiologo dovrebbe confermare. Segnalazione anonima: [testo]
Il potente modello di prompt mantiene il modello lontano dall'interpretazione e si concentra sulla configurazione; È auspicabile mantenere l'ambiguità, perché nel linguaggio della radiologia la differenza tra “non può essere escluso” e “è disponibile” è cruciale.
Quattro modelli copiabili
1) Configurazione del rapporto:
Dividere il seguente referto radiologico anonimo nelle seguenti intestazioni: Indicazione, Tecnica, Risultati, Conclusione, Raccomandazione. Attieniti al testo, non aggiungere commenti. Rapporto: [testo]
2) Verifica della coerenza della misura:
Elenca tutte le misurazioni numeriche (mm, cm, HU) in questo rapporto e contrassegna i valori contrastanti o non fisiologici. Rapporto: [testo]
3) Piano di valutazione del modello:
Scrivere una bozza di piano di valutazione per un modello di rilevamento delle immagini: sensibilità, specificità, falsi positivi/paziente, analisi di sottogruppi (dispositivo, età), set di validazione esterna. Contrassegnare separatamente i punti di approvazione clinica.
4) Nota di triage falsa positiva:
Classificare il seguente elenco di uscite di rilevamento come "priorità alta/bassa per il radiologo"; Scrivi la motivazione di ogni lezione. Dichiara di lasciare la decisione al radiologo.Elenco: [output]
Ruolo del modello: per tipo di risultato
Tipo di ricerca
Contributo dell'IA
criticità
verifica
Priorità al sanguinamento urgente
alto
molto alto
Lettura completa del radiologo
Rilevazione di noduli polmonari
alto
alto
Soglia + protocollo di tracciamento
Età/misurazione ossea
alto
medio
Controllo esperto
Segmentazione del volume dell'organo
alto
medio
Verifica manuale del campione
Configurazione del report (testo)
alto
basso
Conferma del radiologo
Suggerimento: non fare mai affidamento su un'unica percentuale di precisione quando si valuta un modello di visualizzazione. Chiedere insieme sensibilità, specificità, carico di falsi positivi e prestazioni del sottogruppo; "Su quale dispositivo e gruppo di pazienti hai testato il modello?" la domanda rivela la maggior parte dei problemi.
Attenzione: la mappa termica non garantisce il "perché" il modello ha deciso in un certo modo; Mostra semplicemente dove è focalizzata la tua attenzione. A volte il modello dà la risposta giusta per il motivo sbagliato (ad esempio, guardando un indicatore nell'immagine). Anche l'output di spiegabilità richiede la convalida.
Errori comuni
- Basandosi su un'unica metrica. Un'elevata precisione complessiva può mascherare una bassa sensibilità in un sottogruppo critico.
- Non misurare il carico falso positivo. Il modello che produce troppi segnali crea affaticamento da stimolo e viene abbandonato.
- Verifica il modello su un unico dispositivo e utilizzalo ovunque. La deriva del campo è la causa più comune di fallimento dell'intelligenza artificiale delle immagini.
- Scambiando la mappa termica per una prova. La mappa dell'attenzione non è una spiegazione; La risposta giusta potrebbe basarsi sul motivo sbagliato.
- Eliminare il radiologo. Il modello dà priorità e segnala; La diagnosi e il referto appartengono al radiologo.
In sintesi
- IA radiologica; Produce valore attraverso il rilevamento, la segmentazione e la definizione delle priorità e non sostituisce la diagnosi.
- Esiste un equilibrio tra sensibilità e specificità; Il carico di falsi positivi è una metrica critica in clinica.
- I modelli devono essere sottoposti a validazione esterna (spostamento di dominio) su ciascun dispositivo e popolazione in cui verranno utilizzati.
- Le mappe di calore mostrano attenzione ma non garantiscono spiegazione; non può essere preso come prova.
- La diagnosi finale e il referto spettano al radiologo; L'intelligenza artificiale è un livello di supporto.
Compito dell'applicazione
Scegli uno scenario di rilevamento delle immagini esistente (o ipotetico). Scrivi un quadro di valutazione per questo modello: specifica quali metriche (sensibilità, specificità, falsi positivi/paziente), quali sottogruppi (dispositivo, età, sesso) e quale set di validazione esterna utilizzerai. Quindi contrassegnare il punto esatto del flusso di lavoro in cui il radiologo ha preso una decisione e spiegare in un paragrafo come l'output del modello è stato inserito in tale decisione.
lista di controllo
- [ ] Posso distinguere i ruoli di rilevamento, segmentazione e definizione delle priorità dell'IA radiologica.
- [ ] Posso valutare insieme sensibilità, specificità e carico di falsi positivi.
- [] So cos'è il field shifting e perché è necessaria la convalida esterna.
- [ ] Mi sono reso conto che la mappa termica non è una spiegazione ed è necessaria una verifica.
- [ ] Posso posizionare l'output del modello come input per la decisione del radiologo, piuttosto che come sua sostituzione.