Комплексный рабочий процесс, управление качеством и самоаудит — Искусственный интеллект в радиологии и медицинской визуализации

Прибыль:

Возможность разработать сквозной рабочий процесс, который показывает, где и с каким одобрением искусственный интеллект вступает в игру во всей цепочке, от предварительной съемки до подписания отчета.
Возможность наладить мониторинг производительности, петлю обратной связи и регулярный самоаудит в процессах, поддерживаемых искусственным интеллектом.
Способность обеспечить устойчивое использование искусственного интеллекта в блоке визуализации с соблюдением принципов управления, ответственности и постоянного совершенствования.

В предыдущих десяти модулях мы рассмотрели элементы искусственного интеллекта в радиологии: сортировку, структурированную отчетность, автоматизацию измерений, интеграцию PACS, метрики, инструменты для конкретных модальностей, качество изображений, отслеживание и конфиденциальность. В этом заключительном блоке мы объединим части и создадим сквозной рабочий процесс: целостную карту, которая показывает, где и с каким одобрением искусственный интеллект вступает в игру в цепочке, которую проходит аудит от момента запроса до подписанного отчета. Затем мы рассмотрим две вещи, которые делают этот поток устойчивым: управление качеством (мониторинг производительности, петля обратной связи) и саморегулирование (регулярный анализ, управление).

Основной принцип: безопасное использование изображений на базе искусственного интеллекта — это не однократная установка; Это живой процесс, который требует постоянного мониторинга производительности, обратной связи, анализа шаблонов ошибок и регулярного самоконтроля. На каждом этапе ответственность, подпись и окончательное решение остаются за врачом-рентгенологом.

Сквозной поток: где находится ИИ, который подтверждает

Давайте проследим за процессом аудита, включая моменты, когда в игру вступает ИИ, и одобрение человека на каждом этапе.

Запрос и указание: Врач просит провести обследование. ИИ может рекомендовать пригодность показаний и выбор протокола; Техник/рентгенолог одобряет. (Блок 8)
Съемка и качество: модальность создает изображение. Оптимизация дозы искусственного интеллекта, шумоподавление и маркировка артефактов; Техник принимает решение о качестве и при необходимости переснимает. (Блок 8)
Сортировка: изображение попадает в PACS. ИИ определяет приоритетность событий, критичных по времени; Радиолог по-прежнему читает каждое исследование. (Блок 2)
Чтение и обнаружение: Читает рентгенолог. CAD отмечает как второй глаз; Радиолог оценивает, что отмечено, а что нет. (блок 6, 7)
Измерение и последующее наблюдение: ИИ измеряет и сравнивает с предыдущим обследованием; Рентгенолог проверяет соответствие. (блоки 4, 9)
Отчетность: ИИ создает структурированный черновик; Радиолог сопоставляет каждое предложение с изображением и подписывает его. (Блок 3)
Уведомление о критическом обнаружении: ИИ напоминает о критическом обнаружении; Радиолог подтверждает, сообщает врачу и завершает замкнутый цикл. (блок 2, 6)
Архивирование и запись трассировки: выходные данные AI сохраняются в виде отдельного слоя; Оригинал не изменяется, запись трассировки сохраняется. (Блок 5)

Этап

Роль ИИ

человеческое одобрение

Подключенный блок

Запрос/протокол

Предложение

Техник + радиолог

Выстрел/качество

Доза, шумоподавление, артефакт

техник

сортировка

флаг приоритета

Радиолог (все еще читает)

Чтение/обнаружение

CAD второй глаз

Радиолог (диагност)

6, 7

Измерение/отслеживание

Расчет, сравнение

Радиолог (корректирует)

4, 9

Отчетность

проект

Врач-рентгенолог (подпись)

критическое открытие

напоминание

Врач-рентгенолог (передает, подтверждает)

2, 6

архив

отдельный слой

Система + запись трека

Эта таблица представляет собой краткое изложение модуля: по мере роста риска роль ИИ сокращается, согласие людей растет; Ни в одной строке ИИ не берет на себя чтение, диагностику или подпись.

Отчетность о критических результатах: замкнутый цикл

Критический результат (большое кровотечение, массивная эмболия, напряженный пневмоторакс) не считается сообщенным просто путем записи его в отчете. Коммуникация по замкнутому контуру означает подтверждение того, что информация доходит и принимается непосредственно лечащим врачом. ИИ может вспомнить важные выводы или даже составить проект уведомления; Однако ответственность рентгенолога состоит в том, чтобы подтвердить результат, сообщить о нем соответствующему врачу, задокументировать сообщение и замкнуть цикл. Автоматизированное оповещение не заменяет человеческое общение.

Внимание: появление предупреждения о критическом обнаружении ИИ в рабочем списке не означает, что уведомление было отправлено. Уведомление завершается только тогда, когда радиолог подтвердит обнаружение, дойдет до лечащего врача и получит информацию. Задача человека — замкнуть замкнутый контур.

Управление качеством и самоконтроль

Процесс, основанный на искусственном интеллекте, может со временем выйти из строя: модель обновляется, устройство меняется, популяция меняется, уровень ложных срабатываний увеличивается. Поэтому производительность необходимо постоянно контролировать.

Мониторинг эффективности: сбор ложноположительных/отрицательных образцов; Отслеживайте показатели сортировки и процент истинно положительных результатов.
Цикл обратной связи. Систематически собирайте отзывы рентгенологов типа «этот флаг был неправильным/пропустил этот» и делитесь ими с производителем.
Анализ ошибок: анализ пропущенных результатов и ложных тревог на регулярных собраниях; Определите первопричину (модель, протокол, человек).
Отслеживание изменений распределения: повторяйте локальную проверку при изменении устройства/протокола/популяции.
Управление: кто какую модель, какую версию и в каком контексте использует; Кто несет ответственность - это должно быть зафиксировано в письменном виде.

три мини-кейса

Случай 1 — петля обратной связи работает. По данным мониторинга одно подразделение видит, что уровень ложноположительных результатов пневмоторакса в модели сортировки за несколько месяцев увеличился до 75%. Радиологи собирают отзывы, согласовывают порог с производителем; этот показатель падает до 45%, а усталость от тревоги снижается. Без мониторинга модель незаметно стала бы ненадежной.

Случай 2 — Не удалось найти анализ первопричин. При осмотре через месяц отмечаются два пропущенных небольших узла. Анализ показывает, что происходит и на портативных графах, и на устройстве, на котором модель не обучалась (дрейф распределения). Устройство сужает область применения модели на портативных рентгенограммах и предупреждает радиологов. Ошибка была использована для исправления системы, а не для обвинения одного человека.

Случай 3. Критическое обнаружение является замкнутым. ИИ предупреждает о сильном кровотечении на КТ головного мозга. Радиолог подтверждает за 90 секунд, вызывает нейрохирурга, проверяет получение информации и документирует общение (время, личность, содержание). Замкнутый цикл завершен. ИИ напомнил; Радиолог сделал уведомление и подтверждение. Если бы было оставлено автоматическое оповещение, не было бы никакой уверенности в том, что врач получил информацию.

Слабая подсказка / Сильная подсказка

Слабая подсказка:

Настройте рабочий процесс с искусственным интеллектом в радиологии, автоматизируйте все.

«Автоматизировать все» опасно в критически важной области безопасности; Игнорирует человеческие контрольно-пропускные пункты и безопасные значения по умолчанию.

Мощная подсказка:

Ваша роль: МАСШТАБНЫЙ консультант радиологического отделения по комплексному проектированию рабочих процессов с использованием ИИ. Принятие решений; составить план и контрольный список. Укажите, куда добавляется ИИ в цепочке запрос→захват→сортировка→чтение→измерение→отчетность→критическое обнаружение→архив и указывайте одобрение человека на КАЖДОМ шаге. Также предложите показатели для мониторинга производительности, обратной связи и самоконтроля. Принцип: по мере увеличения риска роль ИИ становится меньше, одобрение человека растёт; диагноз/подпись/справка у врача-рентгенолога. Контекст единицы: [записать]

Сильная воля сосредоточена на точках человеческого одобрения, контроле и самоконтроле.

Копируемые шаблоны подсказок

ШАБЛОН ПРОЕКТА КОМПЛЕКСНОГО ПОТОКА Ваша роль: ПОМОЩНИК-консультант. Для цепочки запрос→изображение→сортировка→чтение→измерение→отчетность→критический вывод→архив создайте таблицу, в которой указана роль ИИ и одобрения человека на каждом этапе. Отметьте уровень риска и не позволяйте ИИ принимать критически важные для безопасности решения. Контекст единицы: [записать]

ШАБЛОН МОНИТОРИНГА ПРОИЗВОДИТЕЛЬНОСТИ предоставит вам данные сортировки/CAD за период. Рассчитайте уровень ложноположительных результатов, количество пропущенных результатов и процент истинно положительных результатов; предупреждать об усталости сигнализации и дрейфе распределения; Порекомендуйте, при каком пороге следует пересмотреть производителя/модель. Решение находится в учреждении. Данные: [записать]

ШАБЛОН ОБЗОРА ОСНОВНЫХ ПРИЧИНЯ сообщу вам случай пропущенного обнаружения/ложной тревоги. Определите первопричину: модель (обучение/объем), протокол/устройство (дрейф распределения), человек (систематическая ошибка автоматизации/усталость сигналов тревоги). Выдвигайте предложения, направленные на исправление системы, а не на обвинение. Событие: [написать]

ШАБЛОН ЗАМКНУТОГО КОНТРОЛЯ КРИТИЧЕСКОГО ВЫВОДА Создайте контрольный список с обратной связью для уведомления о критическом выводе: подтверждение обнаружения, идентификация правильного врача, прямая передача, подтверждение получения информации, документирование связи (время/человек/содержание). Напомните нам, что автоматические оповещения не заменяют уведомления. Контекст: [написать]

Распространенные ошибки

«Автоматизация всего». Критически важные для безопасности решения требуют одобрения человека; Полная автоматизация опасна.
Установил один раз и не смотрел. Модель со временем разрушается; Постоянный контроль за производительностью обязателен.
Использование ошибки, чтобы обвинить человека. Анализ первопричин должен быть сосредоточен на исправлении системы.
Оставьте критический вывод на усмотрение автоматического предупреждения. Замкнутый контур замыкается рентгенологом; Передача и подтверждение – это человеческая работа.
Не излагать управление в письменной форме. Кто, какая модель, какая версия, какая область применения, кто несет ответственность — должно быть задокументировано.

Совет: регулярно задавайте в своем подразделении такой вопрос: «Если бы мы сегодня отключили ИИ, продолжили бы мы работать безопасно?» Ответ всегда должен быть «да». ИИ ускоряет чтение, но никогда не заменит чтение, распознавание и подписание.

В итоге

Искусственный интеллект участвует во многих точках цепочки от момента заказа до подписания отчета в радиологии: рекомендации протокола, качество, сортировка, обнаружение, измерение, последующее наблюдение, отчетность и напоминание о критических результатах. Целостный принцип – это краткое изложение всего модуля: по мере роста риска роль ИИ сокращается, человеческое согласие растет; Ни на каком этапе ИИ не берет на себя чтение, диагностику, подпись или отчеты о критических выводах. Что делает этот поток устойчивым, так это признание того, что безопасное использование — это живой процесс, а не одноразовая установка: мониторинг производительности, цикл обратной связи, проверка ошибок, отслеживание отклонений в распределении и письменное управление. Сообщая о критическом результате, рентгенолог замыкает замкнутый контур. Под всем стоит неизменный приговор: решение принадлежит человеку.

Задача приложения

Нарисуйте сквозную схему рабочего процесса ИИ для вашего подразделения (или примерной организации): запишите роль ИИ, одобрение человека и уровень риска на каждом этапе. Затем определите три показателя (коэффициент ложноположительных результатов, пропущенные результаты, процент истинно положительных результатов) и пороговые значения действий, которые вы будете отслеживать с помощью шаблона «Отслеживание эффективности». Выберите сценарий критического поиска и напишите шаги, используя шаблон «Замкнутый цикл критического поиска». Наконец: «Будем ли мы работать безопасно, если сегодня отключим ИИ?» Ответьте на вопрос честно за свое подразделение и отметьте недостатки.

контрольный список

[ ] Я определил человеческую проверку каждой точки ИИ в сквозном потоке.
[ ] Я не делегировал ИИ никаких важных для безопасности решений (диагностика/подпись/уведомление).
[ ] Я определил критерии мониторинга производительности и пороговые значения действий.
[ ] Я настроил обратную связь и процесс проверки ошибок.
[ ] Я запланировал повторить локальную проверку для смены распределения.
[ ] Я позаботился о том, чтобы радиолог закрыл замкнутый контур при уведомлении о критическом обнаружении.
[ ] «Будем ли мы работать безопасно, если отключим ИИ?» Я могу ответить утвердительно на этот вопрос.

Модульный экзамен

1. Искусственный интеллект радиологической сортировки пометил КТ головного мозга как «низкий приоритет» и переместил ее в конец рабочего списка. Что должен сделать радиолог для этого обследования?

А) Тем не менее полностью читает и сообщает об аудите; сортировка только меняет порядок, но не исключает чтение ✔
Б) Искусственный интеллект обычно закрывает исследование, не читая его, поскольку говорит, что оно имеет низкий приоритет.
В) Автоматически переносит обследование на следующий день
D) Он смотрит только на область, отмеченную искусственным интеллектом, и прерывает отчет.

Описание. Triage AI меняет только порядок чтения; Он не может исключить какой-либо экзамен из чтения. «Низкий приоритет» не является диагнозом и может быть ложноотрицательным. Каждое обследование должно быть полностью прочитано и составлено рентгенологом; Это не заменяет чтение сигнала приоритета.

2. Какая комбинация рисков заключается в том, что ИИ пропускает реальную патологию (например, небольшой пневмоторакс) и рентгенолог полагается на нее и неадекватно исследует изображение?

А) Только ложноположительные результаты и тревожная усталость
Б) Ложноотрицательный результат и предвзятость автоматизации (чрезмерная зависимость от ИИ) ✔
В) Только плохое качество изображения
D) Только ошибка заголовка DICOM

Пояснение: Это ложноотрицательный результат, если модель не достигает результата; Предвзятость автоматизации — это когда радиолог чрезмерно доверяет искусственному интеллекту и ослабляет собственное обследование. Когда эти два явления объединяются, смысл существования человеческого наблюдения исчезает, и результаты могут быть полностью упущены. Поэтому следует читать и области, не отмеченные искусственным интеллектом.

3. ИИ добавил предложение «аденома правого надпочечника» в черновой вариант отчета о КТ грудной клетки, которому не было эквивалента на изображении. Что должен сделать рентгенолог?

А) Считает приговор достоверным и подписывает его непосредственно.
Б) Поскольку он не уверен, он переписывает весь отчет искусственному интеллекту и подписывает его.
В) Сопоставляет предложение с изображением; Если положения нет, он его удаляет и подписывает проект как проверенный ✔
D) Оставляет предложение, но пишет в конце «добавлен искусственный интеллект».

Пояснение: Языковые модели могут легко соответствовать находке, которой нет на изображении; это называется галлюцинация. Радиолог должен сопоставить каждое предложение в отчете с изображением, удалить все ненужные фразы и никогда не подписывать проект, не проверив его. Проект отчета – это начало, а не доказательство.

4. Специалист загружает изображение DICOM с именем пациента и номером протокола без анонимизации в общедоступный инструмент искусственного интеллекта. В чем здесь главная проблема?

А) Разрешение изображения недостаточно для искусственного интеллекта
Б) Искусственный интеллект не может читать формат DICOM.
В) Комментировать нельзя, поскольку изображение черно-белое.
D) Идентификационные данные в заголовке DICOM и встроенные в изображение передаются без анонимизации; Это нарушение КВКК ✔

Описание. Файлы DICOM содержат как информацию, такую как имя пациента, личность, дату рождения в заголовке, так и иногда идентификационные данные, встроенные в изображение (записанные). Загрузка их во внешний инструмент без их анонимизации является раскрытием конфиденциальных данных о состоянии здоровья и нарушением KVKK. Сначала необходимо очистить заголовок и внедренные данные.

5. Какой наиболее важный этап проверки при сравнении автоматического измерения узелков в легких (например, 8 мм), выполненного с помощью ИИ, с ручным измерением (5 мм) при предыдущем исследовании?

А) Убедитесь, что измерения сравниваются с использованием одного и того же метода, плоскости и единообразия сегментации, и оцените расхождение рентгенологом ✔
Б) Предполагая, что новые измерения всегда точны и сообщают о росте
В) Взятие среднего значения двух измерений и составление отчета о них.
Г) Полностью игнорировать измерения и писать только визуальные впечатления

Пояснение: Измерение является приблизительным и зависит от границы сегментации, выбора среза, протокола и метода измерения. Когда автоматические и ручные измерения выполняются разными методами, может возникнуть ложное впечатление «роста». Прежде чем принять решение об увеличении, необходимо провести сравнение с использованием того же метода, в одной плоскости и с постоянными границами, а любое несоответствие должно быть оценено рентгенологом.

6. Каково золотое правило в отношении исходного изображения DICOM при добавлении результатов AI в PACS?

А) Маркировка искусственного интеллекта должна быть постоянно написана поверх исходного изображения.
Б) Выход AI добавляется как отдельная серия/слой; исходное диагностическое изображение не изменяется и запись трассировки сохраняется ✔
В) Исходное изображение вообще не следует хранить, следует хранить только обработанную версию
D) Выходные данные AI должны быть встроены в виде текста в заголовок пациента.

Описание. AI-разметки, метрики и основные моменты следует хранить как отдельную серию, слой или объект структурированного отчета; Исходное диагностическое изображение никогда не следует изменять. Таким образом, рентгенолог всегда может видеть необработанные данные, запись трассировки сохраняется, а выходные данные AI остаются отличимыми от оригинала.

7. ИИ маммографии работает с высокой «чувствительностью», но низкой «специфичностью». Что это означает на практике?

А) Модель почти не дает результатов
Б) Модель никогда не дает ложных срабатываний.
В) Модель отражает большинство истинных результатов, но может давать множество ложноположительных результатов, что приводит к ненужным отзывам ✔
Г) Модель отмечает только случаи, по которым можно поставить окончательный диагноз.

Пояснение: Высокая чувствительность означает получение большинства истинных положительных результатов (небольшое количество ложных отрицательных результатов). Низкая специфичность означает частое выявление здоровых случаев, что означает получение большого количества ложноположительных результатов. Это уменьшает утечку, но увеличивает бремя ненужного отзыва и расследования; Выбор порога является клиническим балансом и определяется интерпретацией радиолога.

8. Модель ИИ обучается на устройстве конкретного производителя и конкретной популяции пациентов. Каков наилучший подход перед использованием на другом устройстве и в вашем учреждении?

А) Предполагая, что модель будет везде обеспечивать одинаковую производительность
Б) Обязательные все проверки без тестирования модели.
В) Считать безопасным только в том случае, если пользовательский интерфейс на турецком языке.
D) Выполните локальную проверку и проверьте производительность на своем собственном устройстве и среди населения, а также проверьте уровень одобрения/доказательства ✔

Пояснение: Производительность может снизиться при удалении от распределения данных, на котором обучалась модель; Это называется сдвигом распределения. Перед использованием в новом устройстве, протоколе или популяции необходимо провести локальную валидацию (проверку производительности на ваших собственных данных), а также проверить одобрение регулирующих органов и уровень доказательности.

9. Каково наиболее важное преимущество структурированной отчетности в плане безопасности по сравнению с отчетами в виде произвольного текста?

А) Благодаря стандартным заголовкам и обязательным полям снижается риск пропуска результатов и двусмысленности, а также обеспечивается последовательность ✔
Б) Делает отчеты короче
В) Радиологу не нужно смотреть на изображение.
D) Позволяет искусственному интеллекту отправлять отчет без одобрения радиолога.

Описание. В структурированных отчетах используются стандартные заголовки, обязательные поля и общий глоссарий; Это снижает риск отсутствия результатов, пропущенных полей и недоразумений, обеспечивает согласованность действий врачей и облегчает искусственному интеллекту заполнение полей и проверку согласованности. Свободный текст более гибок, но несет в себе больший риск упущений и двусмысленности.

10. Алгоритм улучшения изображения (суперразрешения) может «очистить» КТ с низкой дозой, добавив при этом тонкую структуру, которой на самом деле нет. Что это вам напоминает?

А) Улучшенное изображение всегда надежнее
Б) Улучшение может добавить искусственные детали или удалить фактические результаты; В случае сомнений необработанное изображение следует вернуть и поставить под сомнение диагностическую достоверность ✔
В) После шумоподавления доза автоматически уменьшается.
Г) Улучшение меняет только цвет, совершенно не влияет на контент

Пояснение: Хотя алгоритмы улучшения изображения уменьшают шум, они могут добавлять искусственные детали или стирать мелкие детали. Это напоминание о том, что диагностическая достоверность расширенного изображения может быть ограничена, и в случае сомнений необходимо вернуться к необработанному/исходному изображению и, при необходимости, провести повторную оценку с использованием соответствующего протокола. Эстетический внешний вид не означает точность диагностики.

11. Как правильно вести себя при анонимизации истории пациента для отправки в общедоступный инструмент искусственного интеллекта?

А) Достаточно удалить только фамилию и оставить имя и номер протокола
Б) Удаление всей клинической информации, чтобы ИИ не видел контекста.
В) Удалить идентификационную, протокольную, контактную и институциональную информацию и оставить только клинически необходимую анонимную информацию ✔
Г) Анонимизация не является необходимой; автомобиль уже в безопасности

Пояснение: имя, идентификационный номер TR, номер протокола/файла, контактную информацию и информацию об учреждении следует удалить; Следует оставить только клинически необходимую информацию (возрастная группа, пол, соответствующий анамнез). Правильный подход — вместо «Айше Йылмаз, протокол 2024-114523» написать «62-летняя женщина, имеющая в анамнезе рак молочной железы».

12. ИИ не отметил никаких результатов на КТ-ангиограмме тромбоэмболии легочной артерии (ЛЭ) (отрицательный ИИ). Какова правильная интерпретация этого для рентгенолога?

А) Эмболии точно нет, отчет можно быстро закрыть как отрицательный
Б) обследование следует повторить
В) Нет необходимости обращаться к врачу, поскольку искусственный интеллект говорит отрицательно.
Г) Отрицательный ИИ не является гарантией; Радиолог читает все изображение со своей оценкой, модель могла пропустить результат ✔

Пояснение: Отрицательный результат AI не означает, что эмболия исключена; модель могла пропустить результат (ложноотрицательный результат). Радиолог должен прочитать все изображение на основании собственного клинического суждения, включая области, не отмеченные ИИ. Отрицательный ИИ – это не гарантия диагноза, а максимум вспомогательный сигнал.

13. ИИ сгенерировал предупреждение о критическом обнаружении (например, массивном внутричерепном кровоизлиянии). Кто несет ответственность за замкнутую отчетность о критических результатах?

А) В обязанности рентгенолога входит подтверждение результата, сообщение о нем клиницисту, документирование сообщения и завершение замкнутого цикла ✔
Б) Уведомление полностью автоматическое, рентгенолог не играет никакой роли
В) Ответственность переходит к производителю искусственного интеллекта.
Г) Поскольку предупреждение находится в рабочем списке, дополнительная связь не требуется.

Описание: Предупреждение ИИ является напоминанием; В обязанности рентгенолога входит подтверждение критического результата, сообщение о нем непосредственно лечащему врачу, документирование сообщения и завершение замкнутого цикла (подтверждение получения информации). Автоматизированное оповещение не заменяет человеческое общение и подтверждение.

14. Каков наилучший подход к управлению, обеспечивающий устойчивое и безопасное использование искусственного интеллекта в установке визуализации?

А) Установите один раз и никогда больше не проверяйте
Б) Регулярно контролируйте работу, устанавливайте цикл обратной связи и самоконтроля, просматривайте примеры ошибок и сохраняйте окончательное решение вместе с радиологом ✔
В) Делегирование всех решений модели и сокращение количества врачей-рентгенологов
D) Никогда не записывайте результаты искусственного интеллекта и не оставляйте следов.

Описание: Безопасное использование — это не одноразовая установка; Это требует регулярного мониторинга эффективности, сбора отзывов рентгенологов, проверки ложноотрицательных/положительных образцов, мониторинга обновлений модели и дрейфа распределения, а также регулярного самоконтроля. Ответственность, подпись и окончательное решение всегда остаются за рентгенологом.