Прибыль:
- Способность использовать искусственный интеллект как инструмент для быстрого просмотра обширной литературы и обобщения терминов и понятий.
- Каждая цитата, исследование и рисунок должны быть подтверждены реальной статьей и действующим руководством, исключая риск сфабрикованных источников.
- Способность критически читать аннотацию, оценивать уровень доказательности (метаанализ, РКИ, серии случаев) и конфликт интересов.
Современная медицина основана на фактических данных: решения должны основываться на самых последних и убедительных научных данных. Но каждый год публикуются миллионы статей; Врач не может прочитать их все. Искусственный интеллект (ИИ) здесь является мощным инструментом сканирования и обобщения: быстрое обобщение темы, объяснение терминов, сравнение противоположных точек зрения, изложение основного вывода статьи в несколько предложений. Но именно здесь проявляется самая опасная слабость ИИ в медицинской литературе: ИИ может создавать (галлюцинировать) несуществующие статьи, авторов и номера DOI. В этом модуле вы узнаете, как использовать ИИ в качестве ускорителя при обзоре литературы и как проверять каждый источник. Эмпирическое правило: ИИ рекомендует ресурсы; Вы подтверждаете источник из реальной базы.
Знание иерархии доказательств
Не все исследования имеют одинаковый вес. Сила доказательств рассматривается как пирамида. На вершине находятся систематические обзоры и метаанализ (исследования, которые объединяют и статистически объединяют множество исследований). Под ним подразумевается рандомизированное контролируемое исследование (РКИ; наиболее надежный тип эксперимента, в котором пациенты делятся на случайные группы). Затем идут когортные исследования и исследования «случай-контроль», затем серии случаев и отчеты о случаях, а внизу располагаются мнения экспертов и исследования на животных/лабораториях.
ИИ часто не указывает этот уровень при подведении итогов претензии. Предложение «Это лечение эффективно» может быть основано на метаанализе или одной небольшой серии случаев. Разница между ними полностью меняет ваше клиническое суждение. Поэтому вопрос о том, на каком уровне доказательств основано каждое утверждение, является первым шагом в чтении краткого обзора ИИ.
Подсказка: спросите ИИ: «На каком уровне доказательств основано это утверждение?» просить. Но также проверьте ответ; ИИ также может неверно определить уровень доказательств. Окончательная оценка производится путем прочтения первоисточника и текущего руководства.
Шаг за шагом: обзор литературы «Безопасно с искусственным интеллектом»
- Уточните вопрос. Схема PICO работает: Пациент/Население, Вмешательство, Сравнение, Результат.
- Запросите у AI краткое изложение концепций и терминов. Чтобы разобраться в теме и найти правильные условия поиска.
- Ищите каждый ресурс, предоставленный ИИ, в реальной базе данных. PubMed, Cochrane, действующие сайты с рекомендациями.
- Прочтите существующую статью из первоисточника. Краткое содержание ИИ и фактический вывод статьи совпадают?
- Учитывайте уровень доказательств и конфликт интересов. Кто это финансировал, сколько человек было в выборке, значим ли результат?
- Сравните с текущими рекомендациями. Будьте осторожны, если отдельное исследование противоречит руководству.
три мини-кейса
Случай 1 — Искусственный источник. Житель запрашивает у ИИ 5 ресурсов на лечение редкого васкулита. AI очень хорошо отформатирован, дает 5 цитат с DOI. Ассистент ищет их все в PubMed: 3 вообще не существуют, 1 на другую тему, только 1 настоящий. Если бы подтверждение не было сделано, в презентацию семинара были бы включены 4 неправильных источника.
Случай 2. Уровень путаницы в доказательствах. Врач читает из сводки AI, что новая добавка «эффективна». Когда он обращается к первоисточнику, он видит, что утверждение основано на неконтролируемом, поддерживаемом производителем исследовании с участием 24 человек. В нынешних рекомендациях говорится, что четких доказательств нет. Врач оценивает рекомендации согласно руководству, а не по результатам одного исследования.
Случай 3 — Правильное и быстрое использование. Врач получает концептуальное резюме от ИИ, чтобы понять текущие изменения в диагностических критериях заболевания; Короче говоря, он находит правильные условия поиска и достигает соответствующего раздела текущего руководства. 40-минутный звонок сокращается до 10 минут. ИИ лидировал; Текст руководства принял решение.
Таблица проверки источника
предоставлено ИИ
путь проверки
Риск
Название статьи/автор
Поисковая база данных (PubMed)
Может быть подделка
номер DOI
Решить через doi.org
Может быть недействительным/сфабрикованным
Числовой результат (%, HR)
Прочитайте заключение статьи
Можно перевести неправильно
«Гид подсказывает»
Открыть официальный текст текущего руководства
Возможно, оно устарело
Уровень доказательности
Посмотреть тип исследования из первоисточника
Можно ошибочно отнести
Четыре копируемых шаблона
Задание: Структурируйте следующий клинический вопрос в рамках PICO и предоставьте концептуальное РЕЗЮМЕ для моего понимания темы. НЕ выдумывайте источник; подскажите, по каким терминам и в каких базах данных мне следует искать. Вопрос: [...]
Задание: Перечислите КАЖДОЕ медицинское заявление в сводке AI ниже и для каждого: - на каком уровне доказательств оно будет основано (метаанализ/РКИ/серия случаев)? - отметьте «должно быть проверено на основе первоисточника». Источник фабрикация; отмечайте только те точки, которые необходимо проверить.Резюме: [...]
Задача: обобщить основные выводы этой статьи (текст ниже), упростив размер выборки, основную конечную точку и ограничения. Не добавляйте свои собственные знания; полагаться исключительно на предоставленный текст.Текст: [...]
Задача: Составьте контрольный список для СРАВНЕНИЯ следующей претензии с текущим руководством: какое руководство, какой раздел, какой класс рекомендаций, существует ли конфликт интересов? Не придумывайте текст руководства; дайте контрольно-пропускные пункты. Претензия: [...]
Слабая подсказка / Сильная подсказка
Слабый: «Как лучше всего лечить эту болезнь, дайте источник».
Сильный: «Структурируйте вопрос о превосходстве лечения Y над Z в случае
В мощной подсказке ИИ не может сопоставлять ресурсы, и его задача ограничивается сканированием и направлением.
Распространенные ошибки
- Принятие сфабрикованного источника за настоящий. Каждую цитату следует искать в базе данных.
- Игнорирование уровня доказательности. Метаанализ и представление случая не имеют одинакового веса.
- Подмена AI аннотации к статье. Резюме может быть неверно цитировано; Первоисточник читается.
- Сохранение одиночной работы над руководством. Руководство учитывает совокупность доказательств.
- Обход конфликта интересов. Кто его финансирует, может повлиять на результат.
Доступные (RAG) транспортные средства и их ограничения
В последние годы широкое распространение получили медицинские инструменты, использующие «генерацию доступа» (RAG на английском языке; метод, при котором модель цитирует реальную базу документов при генерации ответов). Эти инструменты более надежны, чем модель, написанная простым языком, поскольку они связывают ответ с реальным источником и показывают цитирование. Тем не менее, этому нельзя доверять слепо. Остаются два риска: во-первых, пул ресурсов, сканируемый инструментом, может быть устаревшим или неполным; Во-вторых, модель может неверно интерпретировать цитируемый источник (настоящая статья, но ее вывод искажен). Другими словами, тот факт, что он «цитирует источник», не освобождает вас от чтения этого источника.
Правильное использование — рассматривать цитату, на которую указывают эти инструменты, не как ярлык, а как начало проверки: откройте цитируемую статью, посмотрите, действительно ли она содержит этот вывод, сравните ее с текущим руководством. Доступные инструменты уменьшают, но не устраняют бремя проверки.
Совет: даже инструмент искусственного интеллекта, «цитирующий» может давать неверные итоги. Всегда сверяйте приведенную цитату с первоисточником; Наличие цитаты не является гарантией ее правильного цитирования.
В итоге
ИИ привносит огромную скорость в медицинскую литературу: обобщает понятия, объясняет термины, задает направление поиска. Но он может сфабриковать источники и неверно определить уровень доказательств. Найдите каждую статью в актуальной базе данных, прочтите ее из первоисточника, оцените уровень доказательности и конфликта интересов, сравните с текущими рекомендациями. Краткое описание AI — это начало; Основанием для вашего решения о доказательствах всегда является проверенный первоисточник и руководство.
Задача приложения
Выберите текущий клинический вопрос, который вас интересует. Запросите сводку PICO и 5 ресурсов от AI. Сколько из этих 5 источников на самом деле есть на PubMed? Сколько из них имеют тот же результат, что сказал ИИ? Обратите внимание на уровень доказательности каждого из них и сравните его с текущими рекомендациями по той же теме. Если это оказался сфабрикованный источник, напишите, как вы это заметили.
контрольный список
- [ ] Я структурировал вопрос с помощью PICO.
- [ ] Я получил от AI краткое описание концепции и направление поиска.
- [ ] Я просмотрел реальную базу данных для каждого источника.
- [ ] Я читаю существующие статьи из первоисточников.
- [ ] Я оценил уровень доказательств и конфликт интересов.
- [ ] Я сравнил утверждения с текущими рекомендациями.
- [ ] Я исключил сфабрикованные источники и записал их.