Прибыль:
- Возможность использовать искусственный интеллект для обобщения и сравнения реальных источников, устраняя основу для сфабрикованной атрибуции с помощью ограничения «только на основе данного источника».
- Способность применять дисциплину проверки каждой цитаты в реальном каталоге, сверять каждую аннотацию с источником и ловить галлюцинации DOI/отпечатков.
- Способность понять, как актуальность, многоязычие и серая литература определяют пределы знаний искусственного интеллекта и почему требуется оригинальное письмо.
Археология и культурное наследие — это кумулятивная наука: каждое новое исследование основывается на предыдущих публикациях, охватывающих столетия. Сканирование литературы (совокупности статей, книг, отчетов и диссертаций, опубликованных по данной теме) региона, типа находки или периода — первый и самый утомительный этап любого научного исследования. В этом модуле мы подробно увидим, как ИИ ускоряет обзор литературы, почему проверка источников имеет первостепенное значение в этой области и как бороться с самой опасной ошибкой ИИ: галлюцинациями (сфабрикованные источники, цитаты и информация).
Основной принцип: ИИ помогает обобщать, сравнивать и систематизировать литературу; Но ни одна цитата не может быть использована без подтверждения в реальном каталоге, и ни одно резюме не может превратиться в научное утверждение без прочтения самого источника. В гуманитарных науках один ложный источник разрушает доверие ко всей работе.
Почему галлюцинации так важны в этой области?
Самая распространенная ошибка инструментов публичного чата — создание академических ресурсов, которых не существует, но которые кажутся очень реалистичными. ИИ может создать «идеальную» цитату, объединив имя реального автора, название настоящего журнала и правдоподобное название. Откуда?
- ИИ производит «следующее наиболее вероятное слово»; он не просматривает реальную базу данных (если не подключен специальный инструмент).
- Поскольку академические цитаты имеют шаблон, ИИ очень «хорош» в создании цитат, которые соответствуют шаблону, но содержание которых сфабриковано.
- В гуманитарных науках читатель зачастую не сразу проверяет источник; Это позволяет фейковой атрибуции оставаться незамеченной.
Вывод: для археолога каждая тройка названия автора и года в выводе ИИ должна считаться подозрительной, пока не доказано обратное.
Совет: используйте ИИ не как «искателя ресурсов», а как помощника, который «обрабатывает реальные ресурсы, которые у вас есть». Найдите сами статьи, передайте PDF-файлы ИИ, а затем скажите: «Просто полагайтесь на те тексты, которые я вам дал». Таким образом, основа для галлюцинаций в значительной степени устраняется.
Этапы обзора литературы
- Область применения и вопрос. Что Вы ищете? Уточнить тему, период, регион и языковые границы.
- Сбор реальных ресурсов. Найдите подлинные публикации в библиотечных каталогах, институциональных базах данных и надежных каталогах. На этом этапе «находить» ресурсы для ИИ рискованно.
- Подведение итогов и картографирование. Передайте собранные вами тексты ИИ, чтобы он обобщил и отобразил темы и обсуждения.
- Сравнение и анализ пробелов. Сравните взгляды разных авторов, найдите противоречия и неисследованные пробелы.
- Орфография и атрибуция. Напишите свой собственный аргумент с проверенными цитатами. ИИ дает проект; вы переписываете со своим анализом и реальными цитатами.
Дисциплина проверки источников
Для каждой цитаты проверьте:
- Есть? Находятся ли автор, год, название, журнал/издатель в реальном каталоге (библиотеке, DOI, указателе)?
- Говорит ли он то, что говорит? Действительно ли источник говорит то, что утверждает ИИ? Откройте исходник и прочитайте соответствующий раздел.
- Верен ли контекст? Цитата взята из замысла автора? Приписывается ли противоположная точка зрения автору?
- Это актуально и надежно? Является ли публикация рецензируемой, актуальной или отражает устаревшую точку зрения?
Внимание: тот факт, что DOI или инвентарный номер, предоставленный AI, отображается в «правильном формате», не означает, что эта запись существует. Найдите номер в реальной системе. Несуществующий DOI — один из наиболее распространенных признаков галлюцинаций.
три мини-кейса
Случай 1. Итоговая экономия времени. Докторант передал ИИ 60 реальных статей (все из которых он нашел и скачал) и создал карту тем; Он составил таблицу, сравнивающую взгляды разных авторов на тип находки, за два дня, а не за недели. Каждое резюме было получено и проверено.
Случай 2 — Предотвращена ложная сварочная катастрофа. Аспирант попросил AI «предложить источники по этой теме» и получил отличный список из 15 цитат. Когда он проверил его в библиотеке, то обнаружил, что девяти из списка никогда не существовало — настоящие авторы, вымышленные названия. Если бы этот список был включен в библиографию диссертации, авторитет защиты рухнул бы, и это можно было бы даже считать научным нарушением.
Случай 3. Исправлена неправильная атрибуция. Одна команда сообщила, что ИИ сообщил писателю, что «он датировал это место римским периодом»; Когда мы обратились к первоисточнику, то было видно, что автор утверждает обратное, что городище было доримским. ИИ изменил точку зрения. Чтение исходника предотвратило серьёзную ошибку.
Четыре копируемых шаблона
1) Опираясь исключительно на приведенный источник:
Ваша роль: помощник по конспектированию литературы. Полагайтесь ТОЛЬКО на тексты, которые я вставлю ниже. НЕ ДОБАВЛЯЙТЕ какую-либо информацию, источники или ссылки извне этих текстов. Запишите каждое ваше утверждение, указав, на какой части текста, который я вам дал, основано. Если вас спросят о чем-то, чего нет в тексте, скажите: «Этого нет в приведенных источниках».
2) Карта тем и сравнение:
Ниже я приведу краткое изложение [N] источников. Сгруппируйте их по темам и создайте сравнительную таблицу: по каждой теме какие авторы что говорят, где согласны, где противоречат. Используйте только взгляды из приведенных мною текстов; добавление комментариев.
3) Контрольный список проверки цитирования:
При ПРОВЕРКЕ приведенного ниже списка цитирования выполните действия, которые мне необходимо проверить для каждого (поиск в каталоге, подтверждение DOI, чтение соответствующей страницы, проверка контекста). Вы НЕ ПОДТВЕРЖДАЕТЕ точность атрибуций; скажи мне, что мне следует проверить. Изготовление источника.
4) Анализ пробелов:
На основе предоставленного мной обзора литературы перечислите вопросы/пробелы, которые, по всей видимости, недостаточно исследованы по этой теме. Для каждого пробела покажите, какой источник оставил его открытым. Полагайтесь только на тексты, которые я вам дал; Не спекулируйте.
Слабая подсказка / Сильная подсказка
Слабая подсказка:
Приведите 15 наиболее важных научных источников по этой теме и их резюме.
ИИ создает реалистичный, но, вероятно, частично сфабрикованный список, не обращаясь к реальной базе данных; Это сама ловушка ложной атрибуции.
Мощная подсказка:
Ниже я привожу полные цитаты и резюме 12 реальных статей, которые я нашел. ТОЛЬКО на их основе формируется тематическая карта и сравнительная таблица. ДОБАВИТЬ новый ресурс. Укажите, из какой статьи взята каждая строка. Отметьте отсутствующие темы как «не включенные в этот набор ресурсов».
Разница: первое сопряжено с риском использования сфабрикованных источников; последний надежно обрабатывает реальные ресурсы.
Актуальность, язык и серая литература
Три особенности археологической литературы делают использование ИИ особенно рискованным. Первый — актуальность: знание модели заморожено на определенной дате, раскопки, новые датировки и исправления после этой даты в ней отсутствуют. ИИ может представить замененную точку зрения как все еще действительную; Вот почему вам следует сканировать текущие публикации. Во-вторых, многоязычие: археология пишется на немецком, французском, итальянском, турецком и многих местных языках, кроме английского. Важный отчет о раскопках мог быть опубликован только на одном языке; Полагаться исключительно на англоязычные источники означает упускать значительную часть литературы. ИИ помогает в сканировании этих источников на иностранных языках, но опять же, у вас должен быть под рукой реальный источник.
В-третьих, серая литература: подавляющее большинство археологических знаний содержится в документах, которые не публикуются в официальных журналах, таких как коммерческие отчеты о раскопках, институциональные архивы и неопубликованные диссертации. Серая литература (отчеты, выпускаемые по коммерческим или корпоративным каналам, которые недоступны в традиционных каталогах публикаций) либо отсутствует, либо недостаточна в данных по обучению ИИ; Поэтому ИИ либо не знает этой информации, либо выдумывает ее. Реальная археологическая история региона часто находится в этой серой литературе, и вы можете добраться до нее только из институциональных архивов.
Совет: слова «ИИ ничего не нашел» или «мало ресурсов» по теме не означают, что по этой теме мало работы; Часто источник находится в серой литературе, на иностранном языке или после информационного раздела модели. О нехватке ресурсов спросите у реального архива, а не у ИИ.
Таблица заданий по литературе
Квест
Роль ИИ
человеческое решение
проверка
поиск
Слабый/под угрозой
Выбор из реального каталога
Подтверждение каталога
подведение итогов
Сильный (к данному тексту)
точность, выбор
Прочтите источник
Сравнение
Карта тем/противоречий
Комментарий, вес
исходный контекст
Написание цитирования
схема формата
содержание, точность
Есть ли/говорится ли это
Анализ пробелов
Вопросы кандидата
Ценность исследования
Знание предметной области
Распространенные ошибки
- Заставить ИИ «находить» ресурсы. Производит ложную атрибуцию; Найдите ресурсы самостоятельно.
- Опираясь на формат DOI/выходные данные. Хотя формат кажется правильным, запись может быть сфабрикована; Ищите в системе.
- Использование резюме без чтения источника. ИИ может изменить точку зрения автора.
- Публикуем AI-текст как есть. Оригинальность и риск плагиата; Пишите со своим анализом.
- Не устанавливать ограничение «только данный ресурс». Без ограничений ИИ добавляет информацию, сфабрикованную извне.
В заключение
При обзоре литературы ИИ экономит много времени при обобщении, сравнении и анализе фактических источников. Но в гуманитарных науках проверка источников не подлежит обсуждению: найдите источники самостоятельно, проверьте каждую цитату в реальном каталоге, проверьте каждое резюме, наложите ограничение «только цитируемый источник» и напишите окончательный текст на основе собственного оригинального анализа. Фальшивый источник разрушит вашу работу.
Задача приложения
Выберите тему, найдите в библиотеке/каталоге 8-10 реальных публикаций и соберите их цитируемость. Создайте сравнительную таблицу с шаблонами «Только на основе источника» и «Карта тем». В отдельном эксперименте скажите ИИ «предложить источник» (без каких-либо ограничений) и проверьте предложенные им цитаты одну за другой в каталоге и отметьте, сколько из них настоящие.
контрольный список
- [ ] Исходники я нашел сам по реальным каталогам.
- [ ] Я установил для ИИ ограничение «полагаться только на заданный источник».
- [ ] Я подтвердил каждую цитату каталогом/DOI.
- [ ] Я проверил каждое резюме, вернувшись к источнику.
- [ ] Я написал окончательный текст с собственным оригинальным анализом и подтвержденными ссылками.