Прибыль:
- Способность объяснить, как рабочие процессы обнаружения, сегментации и приоритезации, поддерживаемые искусственным интеллектом, устанавливаются на радиологических изображениях.
- Способность отделить выходные данные модели (тепловая карта, вероятность, измерение) от решения радиолога и позиционировать их в качестве вспомогательной роли.
- Возможность проверки результатов модели изображения с учетом чувствительности/специфичности, ложноположительной нагрузки и клинического контекста.
Радиология — наиболее развитая область применения искусственного интеллекта в биомедицинской инженерии. Рентген (X-ray), компьютерная томография (CT; CT по-английски, объединяющая рентгеновские срезы, сделанные под разными углами) и магнитный резонанс (MR; MRI по-английски, визуализация тканей сильным магнитным полем и радиоволнами) ежедневно дают миллионы изображений. Рентгенологу требуются годы опыта, чтобы интерпретировать эти изображения. Искусственный интеллект способствует этому процессу путем обнаружения (привлечение внимания к находке), сегментации (рисование границ структуры; сегментация на английском языке) и определения приоритетов (помещение срочных дел в начало очереди; сортировка на английском языке). В этом разделе мы увидим, как настраиваются эти рабочие процессы и, что наиболее важно, как выходные данные позиционируются как входные данные, а не как замена решения радиолога.
Ваша работа как инженера часто заключается в разработке модели, ее интеграции, проверке и контроле ее эффективности вместе с клинической командой. Диагноз ставит рентгенолог. ИИ не ставит диагноз; обращает внимание, меряет, сортирует.
Этапы рабочего процесса радиологического ИИ
Шаг 1 — Данные и предварительная обработка. Изображения поступают в формате DICOM (цифровая визуализация и коммуникации в медицине; стандартный формат файлов и передачи данных для медицинских изображений). предварительная обработка; К ним относятся оконная обработка (регулировка контрастности изображения), повторная выборка (изменение размера фрагментов до стандартного размера) и шумоподавление. Этот шаг безопасен и подходит для автоматизации.
Шаг 2 — Обнаружение и сегментация. Рисунок отмечает область, соответствующую узлу легкого, перелому или кровоизлиянию. Выходные данные обычно представляют собой оценку вероятности и тепловую карту (слой, который показывает цветом области, на которых сосредоточено внимание модели). При сегментации модель рисует границы пикселей органа или поражения; Используется для измерения объема.
Шаг 3 — Расставьте приоритеты. Если обнаружен неотложный результат (например, кровоизлияние в мозг), случай переносится в рабочий список. Целью здесь является не смена радиолога, а обеспечение того, чтобы критический случай был осмотрен раньше.
Шаг 4 — Оценка рентгенолога. Результаты модели представляются рентгенологу в виде уровня рекомендаций. Радиолог принимает, отвергает или меняет. Окончательное заключение и диагноз принадлежит рентгенологу.
Шаг 5 — Проверка и мониторинг. Как только модель оказывается в поле, ее работоспособность постоянно контролируется; Частота ложноположительных и ложноотрицательных результатов отслеживается отдельно для разных устройств и групп пациентов.
Чувствительность, специфичность и бремя ложноположительных результатов
Существует две основные метрики для оценки модели изображения. Чувствительность – это скорость выявления тех, кто действительно болен: высокая чувствительность означает меньшее количество пропущенных результатов. Специфичность — это скорость, с которой мы точно исключаем действительно здоровых людей: высокая специфичность означает меньше ложных тревог. Между этими двумя существует баланс; Если вы снизите порог и обнаружите больше результатов, количество ложных тревог увеличится.
Критической концепцией в клинике является бремя ложных срабатываний: если модель слишком часто говорит «подозрительно», рентгенологу приходится каждый раз исключать эти флаги и через некоторое время не воспринимать предупреждения всерьез (усталость от оповещений). Поэтому следует оценивать не только чувствительность модели, но и количество ложных срабатываний в реальном рабочем процессе.
Три мини-кейса: в цифрах
Случай 1. Время, сэкономленное за счет расстановки приоритетов. Модель определения приоритетности кровотечений при КТ головного мозга была реализована в больнице. Среднее время первого осмотра рентгенологом в случаях кровотечения сократилось с 28 минут до 8 минут. Однако модель не смогла уловить пропущенное небольшое субарахноидальное кровоизлияние; поэтому во всех случаях снова было проведено полное обследование рентгенолога. Модель ускорила сортировку, но не исключила чтение.
Случай 2 — Ложноположительная нагрузка. Модель обнаружения узлов в легких давала в среднем 6 «подозрительных» признаков на одного пациента при использовании низкого порога для повышения чувствительности до 94%; Большинство из них представляли собой сосудистые участки и доброкачественные очаги. Через две недели рентгенологи начали игнорировать признаки. Когда порог был скорректирован и количество оценок сократилось до 1,5 на пациента, модель снова стала полезной.
Случай 3 — Сдвиг поля. Модель обнаружения переломов показала чувствительность 91% на цифровых рентгеновских аппаратах в больнице А, но упала до 72% в больнице Б при использовании портативных устройств другого производителя. Качество изображения и позиционирование были разными. Модель нельзя считать надежной без дальнейшей проверки на каждом устройстве и популяции, в которой она будет использоваться.
Слабая подсказка/Сильная подсказка
Примечание. Приведенные ниже подсказки предназначены для настройки текстового отчета или рабочего процесса, а не для интерпретации самого изображения. Диагностика изображений — это работа проверенного клинического программного обеспечения и радиолога.
Слабая подсказка:
Посмотрите на этот рентгеновский отчет и скажите мне, болен ли пациент.[отчет]
Мощная подсказка:
Ваша роль: Вы ассистент радиолога (ВЫ НЕ ДИАГНОЗ). Текст анонимного радиологического отчета структурируйте следующим образом: - Составьте таблицу результатов, измерений и анатомических расположений. - Оставляйте расплывчатые/негативные утверждения («нельзя исключить») как есть, не делайте их окончательными. - Не добавляйте никаких выводов, которых нет в тексте. - Соберите «рекомендательные/последующие» предложения в отдельный раздел. - В конце перечислите 3 пункта, которые должен подтвердить рентгенолог. Анонимный отчет: [текст]
Мощная модель подсказок удерживает модель от интерпретации и фокусируется на конфигурации; Желательно сохранять двусмысленность, поскольку на языке радиологии разница между «нельзя исключить» и «доступно» имеет решающее значение.
Четыре копируемых шаблона
1) Конфигурация отчета:
Разделите следующий анонимный радиологический отчет на следующие заголовки: Показания, Методика, Результаты, Заключение, Рекомендации. Придерживайтесь текста, не добавляйте комментарии. Отчет: [текст]
2) Проверка последовательности измерений:
Перечислите все числовые измерения (мм, см, HU) в этом отчете и отметьте противоречивые или нефизиологические значения. Отчет: [текст]
3) План оценки модели:
Напишите проект плана оценки модели обнаружения изображений: чувствительность, специфичность, ложноположительный результат/пациент, анализ подгруппы (устройство, возраст), набор внешних проверок. Отметьте точки клинического одобрения отдельно.
4) Ложноположительное заключение о сортировке:
Классифицируйте следующий список результатов обнаружения как «высокий/низкий приоритет рентгенолога»; Напишите обоснование каждого занятия. Заявите, что вы оставляете решение за рентгенологом. Список: [выходные данные]
Роль модели: по типу обнаружения
Тип поиска
Вклад ИИ
критичность
проверка
Приоритизация неотложных кровотечений
высокий
очень высокий
Радиолог полное чтение
Обнаружение узлов в легких
высокий
высокий
Порог + протокол отслеживания
Костный возраст/измерение
высокий
средний
Экспертный контроль
Сегментация объема органов
высокий
средний
Ручная выборочная проверка
Конфигурация отчета (текст)
высокий
низкий
Подтверждение рентгенолога
Совет: Никогда не полагайтесь на один процент точности при оценке модели дисплея. Попросите вместе оценить чувствительность, специфичность, ложноположительную нагрузку и эффективность подгруппы; «На каком устройстве и группе пациентов вы тестировали модель?» вопрос выявляет большинство проблем.
Внимание: тепловая карта не гарантирует, «почему» модель решила именно так; Это просто показывает, на чем сосредоточено ваше внимание. Иногда модель дает правильный ответ по неправильной причине (например, посмотрев на маркер на изображении). Результаты объяснимости также требуют проверки.
Распространенные ошибки
- Опираясь на одну метрику. Высокая общая точность может маскировать низкую чувствительность в критической подгруппе.
- Не измерять ложноположительную нагрузку. Модель, которая выдает слишком много сигналов, вызывает усталость от стимулов, и от нее отказываются.
- Проверьте модель на одном устройстве и используйте ее где угодно. Дрейф поля — наиболее распространенная причина сбоя в работе искусственного интеллекта изображений.
- Принимаем тепловую карту за доказательства. Карта внимания не является объяснением; Правильный ответ может быть основан на неправильной причине.
- Увольнение радиолога. Модель расставляет приоритеты и помечает; Диагноз и заключение принадлежат рентгенологу.
В итоге
- радиологический ИИ; Оно приносит пользу посредством выявления, сегментации и определения приоритетов и не заменяет диагностику.
- Существует баланс между чувствительностью и специфичностью; Ложноположительная нагрузка является критическим показателем в клинике.
- Модели должны пройти внешнюю валидацию (сдвиг домена) на каждом устройстве и популяции, в которой они будут использоваться.
- Тепловые карты привлекают внимание, но не гарантируют объяснения; не могут быть приняты в качестве доказательства.
- Окончательный диагноз и заключение принадлежат рентгенологу; ИИ — это уровень поддержки.
Задача приложения
Выберите существующий (или гипотетический) сценарий обнаружения изображений. Напишите структуру оценки для этой модели: укажите, какие показатели (чувствительность, специфичность, ложноположительный результат/пациент), какие подгруппы (устройство, возраст, пол) и какой набор внешних проверок вы будете использовать. Затем отметьте точный момент рабочего процесса, где рентгенолог принял решение, и объясните в абзаце, как результаты модели были учтены в этом решении.
контрольный список
- [ ] Я могу различать роли радиологического ИИ в обнаружении, сегментации и определении приоритетов.
- [ ] Я могу оценить чувствительность, специфичность и ложноположительную нагрузку вместе.
- [ ] Я знаю, что такое смещение полей и почему требуется внешняя проверка.
- [ ] Я понял, что тепловая карта не является пояснением и требуется проверка.
- [ ] Я могу позиционировать выходные данные модели как входные данные для принятия решения рентгенологом, а не как их замену.