Прибыль:
- Способность использовать искусственный интеллект при картировании литературы, сканировании концепций и определении приоритетов чтения для управления риском сфабрикованных источников (галлюцинаций).
- Способность создать поток проверки, который подтверждает каждое цитирование, вывод и утверждение о размере эффекта из первоисточника.
- Способность различать уровень доказательств (метаанализ, РКИ, случай) и сопоставлять резюме ИИ с иерархией доказательств.
Психология — это профессия, основанная на фактических данных: результаты исследований говорят нам, работает ли вмешательство, а не «мне просто так кажется». Когда эксперт хочет быть в курсе событий, написать диссертацию или выбрать правильный подход к делу, он обращается к литературе. Но литература огромна; Ежегодно публикуются десятки тысяч статей. Искусственный интеллект (ИИ) здесь является огромным ускорителем: он определяет концепцию, картирует область, подсказывает, какую статью следует прочитать в первую очередь, упрощает сложный текст. Но в этом и заключается самая опасная особенность ИИ в литературе: он фабрикует несуществующие источники. В этом модуле вы узнаете, как сделать ИИ ускорителем в литературном бизнесе, как работать, не попадая в ловушку сфабрикованных источников (галлюцинаций).
Что делает ИИ в литературе, из чего он состоит?
Литературные задачи, в которых силен ИИ: объяснение концепции простым языком; подводить итоги основных дискуссий в определенной области; сделать текст читабельным; предложить ключевые слова и стратегию поиска; резюмировать статью (при предоставлении текста); сравнивая разные точки зрения. В них ИИ сокращает часы чтения до минут.
Вещи, которые создает ИИ: цитаты (источники, которые выглядят идеально, но не существуют, включая автора, год, журнал, номер DOI); статистика (реальные цифры, такие как размер эффекта, размер выборки, значение p); выводы (исследование утверждает, что «обнаружило это», хотя на самом деле это не так). Это связано с тем, что ИИ — это не поисковая система, а «вероятный угадыватель слов»: он генерирует наиболее вероятный формат цитирования, не проверяя его точность.
Внимание: Любая цитата, предоставленная AI, недействительна без проверки ее первоисточником (самой статьей). Даже, казалось бы, идеальный DOI может оказаться подделкой. Всегда лучше сказать «Я не смог это найти», чем «Я указал неправильный источник».
Иерархия доказательств: не все результаты одинаковы
Когда ИИ обобщает выводы, он не сообщает вам о их доказательной силе. Однако существует иерархия доказательств. При рассмотрении иска важно знать, на каких доказательствах оно основано.
Уровень доказательности
Что ты имеешь в виду?
власть
Мета-анализ/систематический обзор
Статистическая комбинация нескольких исследований
самый высокий
Рандомизированное контролируемое исследование (РКИ)
Эксперимент, в котором участники делятся на случайные группы.
высокий
Продольное/поперечное исследование
Наблюдательный, неэкспериментальный
средний
Серия случаев/отчет о случае
Описание одного или нескольких случаев
низкий
Экспертное мнение / теоретическое написание
Больше интерпретации, чем доказательств
самый низкий
Когда ИИ говорит вам: «Исследования показывают…», ваш первый вопрос должен быть: какой тип исследования? Результаты метаанализа не имеют такого же веса, как данные одного случая заболевания.
Шаг за шагом: безопасный поток литературы на базе искусственного интеллекта
- Пусть ИИ объяснит концепцию. Чтобы быстро перейти к делу, попросите ИИ дать простое резюме и ключевые понятия. (Это стартер, а не источник.)
- Настройте стратегию поиска. Попросите ИИ предложить ключевые слова, синонимы и строку поиска; используйте его в реальных базах данных (академические поисковые системы, архивы журналов).
- Найдите реальные источники самостоятельно. Получайте статьи из рецензируемых баз данных. Используйте заголовки, предложенные ИИ, в качестве подсказок для поиска, а не в качестве цитат.
- Обобщить текст для AI. Дайте ИИ текст реальной статьи, которую вы нашли, и попросите его резюме/сравнение. ИИ больше не придумывает что-то, потому что у него есть настоящий текст.
- Подтвердите каждую цифру и находку. ИИ сравнивает величину эффекта в абстрактном виде с фактическим значением в тексте.
- Обозначьте уровень доказательности. Напишите тип доказательства рядом с каждым выводом.
Совет: используйте ИИ в литературе в двух разных режимах: «наводящий на размышления без источника» (изложение концепции, идея поиска) и «обобщающий источник» (когда вы даете текст). Последнее безопасно, поскольку ИИ работает по предоставленному вами тексту, а не по собственной памяти.
три мини-кейса
Случай 1. Эпидемия фейковой атрибуции. Аспирант запрашивает у AI ссылку на главу из 15 источников, посвященную тревожным расстройствам. AI предоставляет все это в формате APA. Когда студент проверяет, он видит, что 6 источников из 15 на самом деле не существуют (40%) и 3 отнесены не к тому журналу. Итак, половина списка непригодна для использования. Урок: атрибуция исходит из реальной базы данных, а не ИИ.
Случай 2 — Правильное использование. Врач один за другим передает ИИ текст четырех реальных метаанализов в формате PDF и говорит: «Таблица количества образцов, размера основного эффекта и ограничений каждого из них». ИИ сводит 4 статьи по 30 страниц в сравнительную таблицу за 10 минут. Врач подтверждает каждый номер текстовым сообщением; Все они оказываются правильными, поскольку ИИ работал по заданному тексту, а не по собственной памяти.
Случай 3 — Ловушка уровня доказательности. Эксперт спрашивает ИИ: «Работает ли терапия X?» — спрашивает он. ИИ говорит «да, исследования это подтверждают» и насчитывает четыре «исследования». Когда эксперт изучает его, он видит, что три из них представляют собой один отчет о случае, а один — сообщение в блоге; Нет даже ни одного РКИ. Хотя это утверждение может показаться формально «доказанным», его доказательная сила очень слаба.
Копируемые подсказки и шаблоны
Я только начинаю заниматься этой темой. БЕЗ СОЗДАНИЯ ИСТОЧНИКОВ, просто дайте мне концептуальное введение: основные понятия, основные обсуждения в этой области и список ключевых слов + синонимов, которые я могу использовать при поиске. атрибуция; Если требуется указание авторства, скажите «найдите источник самостоятельно». Тема: [тема]
Ниже я вставляю текст реальной статьи. Работайте только с этим текстом, не добавляйте постороннюю информацию. Извлеките следующее: вопрос исследования, метод, выборка (n), основной результат и размер эффекта, ограничения, уровень доказательности. Текст: [текст статьи]
Ниже приведены тексты 3 статей. Поместите их в сравнительную таблицу со следующими столбцами: автор-год, образец, метод, основной результат, уровень доказательности, ограничение. Работайте только по предоставленным текстам, не добавляйте источники. Тексты: [тексты]
Перечислите каждое числовое утверждение (n, p, размер эффекта, процент) в этом тексте на отдельной строке, чтобы я мог сверить его с исходной статьей. Не добавляйте цифры, которые вы не можете проверить самостоятельно. Текст: [сводка]
Слабая подсказка / Сильная подсказка
Слабая подсказка: «Приведите 10 научных источников об эффективности когнитивно-поведенческой терапии при депрессии».
Эта подсказка предлагает ИИ составить атрибуцию по памяти; Значительная часть вывода будет ложной.
Мощная подсказка: «Предложите ключевые слова, синонимы и строки поиска для поиска в базе данных по когнитивно-поведенческой терапии и депрессии. Не указывайте источники/цитаты; я найду статьи из реальной базы данных, а затем дам вам их тексты».
Эта подсказка ставит ИИ в безопасную роль (стратег поиска); Ссылки взяты из реального источника.
Распространенные ошибки
- Непосредственно используя атрибуцию, предоставленную ИИ. Часто создаются кажущиеся совершенными источники; Он никогда не используется без подтверждения.
- Слепо доверяя DOI/ссылке. ИИ также может создавать реалистичные, но несуществующие DOI; Он не будет считаться действительным, пока вы не откроете и не проверите его.
- Игнорирование уровня доказательности. Не спрашивая, стоит ли за предложением «исследования говорят» блог или метаанализ.
- Подмена AI резюме статьи. Это сводная карта; Принимать критическое решение только на основании резюме — значит выносить суждение, не читая текста.
- Использование в одиночном режиме. Всегда использовать ИИ в режиме «ресурс из памяти»; тогда как безопасным является режим «подвести итог по заданному тексту».
В заключение
В литературном бизнесе ИИ является мощным ускорителем разъяснения концепций, стратегии поиска и обобщения (когда вы предоставляете текст). Но он фабрикует справки, статистику и выводы из собственной памяти (галлюцинации). Проверьте каждую цитату и номер из первоисточника; Рассмотрим источник, который вы не можете найти недействительным. Укажите уровень доказательности (от метаанализа до описания случая) для каждого результата. Используйте ИИ в двух различных режимах: «наводящий на размышления без источника» и «обобщающий источник», отдавая предпочтение последнему.
Задача приложения
Выберите тему. Сначала попросите у ИИ 5 цитат по этой теме (режим источника). Затем найдите эти 5 цитат одну за другой в настоящей академической поисковой системе и обратите внимание, сколько их существует на самом деле. Затем найдите две реальные статьи на одну и ту же тему, скормите их тексты ИИ, и он составит сравнительную таблицу. Сравните два опыта: какой из них дал достоверные результаты?
контрольный список
- [ ] Я не использовал ни одну из ссылок, предоставленных AI, без их подтверждения.
- [ ] Я получил статьи из реальной рецензируемой базы данных.
- [ ] Для резюме я дал ИИ реальный текст статьи (не по памяти).
- [ ] Я сравнил каждое числовое утверждение с исходным текстом.
- [ ] Я обозначил уровень доказательности каждого вывода.
- [ ] Я аннулировал источник, который не смог найти.