Печалби:
- Възможност за използване на изкуствен интелект като инструмент за бързо сканиране на обширна литература и обобщаване на термини и концепции
- Всеки цитат, изследване и цифра трябва да бъдат потвърдени от истинската статия и текущото ръководство, като се управлява рискът от изфабрикувани източници
- Способност за критично четене на резюмето, оценка на нивото на доказателства (мета-анализ, RCT, серия от случаи) и конфликт на интереси.
Съвременната медицина се основава на доказателства: решенията трябва да се основават на най-актуалните и най-силните научни доказателства. Но всяка година се публикуват милиони статии; Невъзможно е един лекар да ги прочете всичките. Изкуственият интелект (AI) тук е мощен инструмент за сканиране и обобщаване: бързо обобщаване на тема, обяснение на термини, сравняване на противоположни гледни точки, дестилиране на основната констатация на статията в няколко изречения. Но тук се появява най-опасната слабост на ИИ в медицинската литература: ИИ може да измисля (халюцинира) статии, автори и номера на DOI, които не съществуват. В този модул ще научите как да използвате AI като ускорител при преглед на литература и как да проверите всеки източник. Основно правило: AI препоръчва ресурси; Потвърждавате източника от реалната база данни.
Познаване на йерархията на доказателствата
Не всички изследвания имат еднаква тежест. Силата на доказателствата се смята за пирамида. Най-отгоре са систематични прегледи и мета-анализ (изследвания, които обединяват и комбинират статистически много изследвания). Под него влиза рандомизираното контролирано проучване (RCT; най-надеждният тип експеримент, при който пациентите са разделени на произволни групи). След това има кохортни проучвания и проучвания за контрол на случаите, след това серии от случаи и доклади за случаи, а най-отдолу са експертни мнения и проучвания върху животни/лаборатория.
AI често не уточнява това ниво, когато обобщава иск. Изречението „Това лечение е ефективно“ може да се основава на мета-анализ или на една малка серия от случаи. Разликата между двете напълно променя вашата клинична преценка. Така че въпросът на какво ниво на доказателства се основава всяко твърдение е първата стъпка в четенето на кратката информация за AI.
Съвет: Попитайте AI "на какво ниво на доказателства се основава това твърдение?" попитайте. Но също така проверете отговора; AI може също така да определи погрешно нивото на доказателства. Окончателната оценка се прави чрез прочитане на първоизточника и настоящото ръководство.
Стъпка по стъпка: Безопасно с резюме на литературата за AI
- Изяснете въпроса. Рамката PICO работи: пациент/популация, интервенция, сравнение, резултат.
- Поискайте резюме на концепции и термини от AI. За да разберете темата и да намерите правилните думи за търсене.
- Търсете всеки ресурс, предоставен от AI в реалната база данни. PubMed, Cochrane, текущи сайтове с насоки.
- Прочетете съществуваща статия от основния източник. Едно и също ли е резюмето на AI и действителното заключение на статията?
- Обмислете нивото на доказателства и конфликта на интереси. Кой го финансира, колко души бяха в извадката, има ли смисъл резултатът?
- Сравнете с текущите указания. Бъдете внимателни, ако индивидуалното изследване противоречи на ръководството.
три мини калъфа
Случай 1 — Фабричен източник. Жител иска 5 ресурса от AI за лечение на рядък васкулит. AI е много добре форматиран, като дава 5 цитата с DOI. Асистентът ги търси всички в PubMed: 3 изобщо не съществуват, 1 е на друга тема, само 1 е истински. Ако потвърждението не беше направено, 4-те грешни източника щяха да бъдат включени в семинарна презентация.
Случай 2 — Объркване на нивото на доказателства. Лекар чете от резюмето на AI, че нова добавка е „ефективна“. Когато отива при първичния източник, той вижда, че твърдението се основава на неконтролирано, подкрепено от производителя проучване на 24 души. Настоящите насоки казват, че няма ясни доказателства. Лекарят оценява препоръката според ръководството, а не според едно изследване.
Случай 3 — Правилна и бърза употреба. Лекарят получава концептуално обобщение от AI, за да разбере текущата промяна в диагностичните критерии на дадено заболяване; Накратко, той намира правилните думи за търсене и достига до съответния раздел на текущото ръководство. 40-минутен разговор се намалява на 10 минути. AI поведе пътя; Текстът на ръководството взе решение.
Таблица за валидиране на източника
дадени от AI
път за проверка
Риск
Заглавие на статията/автор
База данни за търсене (PubMed)
Може да е фалшив
DOI номер
Решете чрез doi.org
Може да е невалиден/измислен
Числен резултат (%, HR)
Прочетете заключението на статията
Може да се прехвърли неправилно
„Ръководството предлага“
Отворете официалния текст на текущото ръководство
Може да е остарял
Ниво на доказателства
Вижте тип изследване от първичен източник
Може да се припише погрешно
Четири копируеми шаблона
Задача: Структурирайте следния клиничен въпрос в рамките на PICO и предоставете концептуално РЕЗЮМЕ за моето разбиране на темата. НЕ измисляйте източника; предложете какви условия и в кои бази данни трябва да търся вместо това. Въпрос: [...]
Задача: Избройте ВСЯКО медицинско твърдение в резюмето на AI по-долу и за всяко:- на какво ниво на доказателства ще се основава (мета-анализ/RCT/серия от случаи)?- Забележка „трябва да бъде потвърдено от първичен източник“ Измисляне на източника; маркирайте само точките за проверка. Резюме: [...]
Задача: Обобщете основните констатации от тази статия (текст по-долу), като опростите размера на извадката, първичната крайна точка и ограниченията. Не добавяйте свои собствени знания; разчитайте единствено на предоставения текст.Текст: [...]
Задача: Създайте контролен списък, за да СРАВНИТЕ следното твърдение с текущите насоки: кое ръководство, кой раздел, кой клас препоръки, има ли конфликт на интереси? Не измисляйте ръководния текст; дават контролни точки.Иск: [...]
Слаба подкана / Силна подкана
Слаб: "Кое е най-доброто лечение за това заболяване, дайте източник."
Силен: „Структурирайте въпроса за превъзходството на лечението Y над Z в случай
В мощната подкана AI е възпрепятстван да съпоставя ресурси и неговата задача е ограничена до сканиране и насочване.
Често срещани грешки
- Объркайте измислен източник с истински. Всеки цитат трябва да се търси в базата данни.
- Игнориране на нивото на доказателства. Метаанализът и представянето на казус нямат еднаква тежест.
- Замяна на резюмето на AI за статията. Резюмето може да цитира погрешно; първоизточникът се чете.
- Запазване на единичната работа над ръководството. Насоките разглеждат съвкупността от доказателства.
- Заобикаляне на конфликт на интереси. Който го финансира, може да повлияе на резултата.
Достъпни (RAG) превозни средства и техните ограничения
През последните години медицинските инструменти, използващи „генериране на достъп“ (RAG на английски; методът, при който моделът цитира реалната документна база при генериране на отговори), станаха широко разпространени. Тези инструменти са по-надеждни от модела на обикновен език, защото свързват отговора с действителен източник и показват цитиране. И все пак не е сляпо надежден. Остават два риска: първо, наборът от ресурси, който инструментът сканира, може да не е актуален или изчерпателен; Второ, моделът може да тълкува погрешно източника, който цитира (истинската статия, но заключението й е изкривено). С други думи, само защото "цитира източник" не ви спасява от четене на този източник.
Правилната употреба е да видите цитата, към който тези инструменти сочат, не като пряк път, а като начало на проверка: отворете цитираната статия, вижте дали наистина казва това заключение, сравнете го с текущото ръководство. Достъпните инструменти намаляват, но не премахват тежестта на проверката.
Съвет: Дори „цитиращ“ AI инструмент може да създаде неправилни обобщения. Винаги проверявайте цитирания цитат с първоизточника; Наличието на цитата не е гаранция, че е цитиран правилно.
В обобщение
AI внася огромна скорост в медицинската литература: обобщава концепции, обяснява термини, дава насока за търсене. Но той може да фабрикува източници и да припише погрешно нивото на доказателства. Потърсете всяка статия в действителната база данни, прочетете я от първичния източник, оценете нивото на доказателства и конфликт на интереси, сравнете я с текущите насоки. Кратката информация за AI е началото; Основата за вашето решение за доказателство винаги е проверен първичен източник и ръководство.
Задача за приложение
Изберете актуален клиничен въпрос, който ви интересува. Поискайте резюме на PICO и 5 ресурса от AI. Колко от тези 5 източника всъщност са в PubMed? Колко от тях имат същия резултат като казаното от AI? Обърнете внимание на нивото на доказателства за всеки и го сравнете с текущата препоръка на ръководството по същата тема. Ако се окаже, че е измислен източник, напишете как сте го забелязали.
контролен списък
- [ ] Структурирах въпроса с PICO.
- [ ] Получих кратко описание на концепцията и насока за търсене от AI.
- [ ] Търсих в действителната база данни за всеки източник.
- [ ] Чета съществуващи статии от първични източници.
- [ ] Оцених нивото на доказателства и конфликта на интереси.
- [ ] Сравних твърденията с текущите насоки.
- [ ] Премахнах изфабрикуваните източници и ги отбелязах.