Прибыль:
- Способность поддерживать целостность данных при оцифровке и стандартизации единиц записи, таких как контекст/локус, стратиграфия и матрица Харриса, с помощью искусственного интеллекта.
- Возможность защитить необработанные данные и отслеживать каждое преобразование от риска того, что искусственный интеллект дополнит недостающие данные и внесет изменения без уведомления.
- Поймите, почему контролируемый словарь, метаданные и принципы open/FAIR важны для будущего удобства использования данных.
Научная ценность раскопок заключается не в золотых находках, которые в результате них обнаруживаются, а в качестве записей. Находка, которая не документирована должным образом, практически не имеет отношения к науке; Потому что это объект, который неизвестно где, в каком слое и с чем найден, это просто красивый объект. В этом модуле мы рассмотрим ведение журнала раскопок (систематическая расшифровка и база данных каждого контекста, находки и наблюдения) и то, как ИИ может ускорить ввод, организацию и стандартизацию данных, но почему ответственность за целостность данных остается за людьми.
Основной принцип: ИИ помогает систематизировать разрозненные записи, стандартизировать их и найти несоответствия; Но ответственность за то, какие данные точны, отражает ли запись правду и целостность данных, лежит на человеке. ИИ корректирует форму данных, но не гарантирует их точность.
Основные единицы археологических данных
Контекст/локус. Каждые раскопки делят участок на единицы контекста (контекст/локус — отдельное месторождение, слой, яма или стена; наименьшая смысловая единица раскопок). Каждый контекст получает уникальный номер, и все находки связаны с этим номером.
Стратиграфия и матрица Харриса. Стратиграфия (отношение слоев до и после друг относительно друга) является основой относительного датирования. Матрица Харриса (диаграмма, показывающая порядок контекстов относительно друг друга) визуализирует эти отношения. ИИ помогает обнаружить противоречивые стратиграфические связи (например, циклическую ошибку «A находится одновременно выше и ниже B»).
Найдите инвентарь. Каждая находка; Контекст записывается с указанием номера, типа, размера, материала, состояния и фотографии.
Стандарты данных. Общие стандарты используются для обеспечения совместного использования и сравнения записей. CIDOC-CRM (международная концептуальная основа/онтология, разработанная для описания данных о культурном наследии) позволяет данным из разных учреждений взаимодействовать друг с другом. Используется контролируемый словарь терминов (утвержденный список, который гарантирует, что все используют один и тот же термин для одного и того же понятия).
Совет: используйте ИИ для «организации и проверки» данных, а не для их «интерпретации». «Какие контекстные числа противоречат друг другу в этих записях?» Это хороший вопрос; «К какому периоду относится этот контекст?» Это экспертное решение. В чем ИИ сильнее всего, так это в проверке согласованности.
Роль ИИ в регистрации и базе данных
- Цифровизация. Рукописные тетради раскопок, инвентарные карточки и старые чертежи импортируются в базу данных с помощью распознавания текста с помощью искусственного интеллекта (это ссылка на HTR в модуле 6).
- Стандартизация. Различные варианты написания («византия», «Византия», «быз.») отображаются в управляемый словарь; даты и измерения приведены в единый вид.
- Проверка согласованности. Отмечены такие ошибки, как отсутствие контекстного номера, противоречивая стратиграфия, использование одного и того же номера в двух разных находках.
- Запрос и резюме. Быстро генерируются такие запросы, как «Все находки стекла в следующем контексте» и сводные таблицы.
Внимание: при стандартизации ИИ может незаметно изменять данные, пытаясь их «исправить»; например, он может округлить результат измерения до «разумного» значения или заполнить неопределенные показания своей собственной оценкой. Каждое автоматическое изменение должно отслеживаться, а исходная запись должна сохраняться. Необработанные данные никогда не перезаписываются.
три мини-кейса
Случай 1 — Оцифровка спасла архив. В музее 40 лет хранились рукописные инвентарные карточки (около 22 000 карточек), которые могли быть утеряны. Распознавание и стандартизация текста с помощью искусственного интеллекта импортировали карты в базу данных с возможностью поиска; Каждая карточка выборочно проверялась экспертом-человеком, а нечитаемые области были помечены как «непонятные».
Случай 2 — проверка несоответствия обнаружила ошибки. В конце сезона команда раскопок попросила ИИ проверить базу данных; YZ отметил, что три находки имели одинаковый контекстный номер, но противоречивую информацию о слоях. Проверка выявила ошибку ввода данных; если бы его не исправить, это исказило бы стратиграфическую интерпретацию.
Случай 3 — Обнаружено скрытое изменение. При стандартизации измерений ассистент заметил, что ИИ интерпретирует некоторые значения «0» как «ноль», а не как «отсутствие»; это исказило длину сломанных деталей. Процесс был перестроен, чтобы сохранить исходные данные, но сохранить изменения в отдельном столбце.
Четыре копируемых шаблона
1) Стандартизация (управляемый словарь):
Ваша роль: помощник по обработке данных. Сопоставьте значения [поле:материал/период/тип] в следующих записях со следующим контролируемым словарем: [список словарей]. ИЗМЕНИТЬ значения, не имеющие эквивалентов в словаре; Отметьте это как «нет совпадений». Сообщайте о каждом изменении как о паре исходный-новый; удаление необработанных данных.
2) Проверка соответствия:
Найдите несоответствия в следующих записях о раскопках: повторяющиеся контекстные числа, отсутствующие обязательные поля, противоречивые стратиграфические связи, неудобные даты/измерения. Перечислите каждую проблему с регистрационным номером и предоставьте МНЕ возможность ее устранения; не меняйте его сами.
3) Логическое управление Harris Matrix:
Ниже приведены стратиграфические связи между контекстами (А выше/ниже B). Есть ли логическое противоречие (петля, двусторонняя связь)? Покажите, какие контексты, если таковые имеются. Не комментируйте; просто проверьте логическую последовательность.
4) Запрос и сводная таблица:
Следующий отрывок из дампа базы данных ниже: [например. найти распределение типов по контексту]. Предоставьте результат в виде таблицы, указав, из каких записей получена каждая строка. НЕ ДОБАВЛЯЙТЕ значения, которых нет в данных; Если он пуст, напишите «нет данных».
Слабая подсказка / Сильная подсказка
Слабая подсказка:
Исправьте эти данные раскопок и дополните недостающие элементы.
«Заполнить пробелы» позволяет ИИ подогнать данные; В результате получается ненадежная база данных, в которой смешиваются факты и вымысел.
Мощная подсказка:
Отмечайте ТОЛЬКО формальные несоответствия (орфография, формат даты, дублирующийся идентификатор) в данных раскопок ниже. ЗАПОЛНИТЬ недостающие значения; Оставьте это как «неполное». Перечислите каждое предложенное изменение вместе с оригиналом; Я дам одобрение. Изменение исходных данных.
Разница: первый вариант незаметно искажает данные; Второй контролирует и оставляет решение за человеком.
Хорошая модель данных: поля, связи и метаданные
Археологическая база данных — это не произвольная таблица, а продуманная модель данных (схема того, в каких таблицах, каких полях и в каких отношениях будут организованы данные). Основной принцип заключается в том, что все зависит от контекста: находки связаны с контекстом, контексты друг с другом (стратиграфия) и с полем. Каждая запись имеет уникальный идентификатор (ID), и отношения устанавливаются через эти идентификаторы; Находка относится к одному контексту, контекст может содержать множество находок.
Не менее важным, чем запись, являются метаданные (данные о самих данных: кто их записал, когда, каким методом, в какой версии). Запись, которая была внесена неизвестно кем, когда и с какой уверенностью, не может быть подвергнута сомнению в дальнейшем. ИИ помогает проверять правильность заполнения полей метаданных и отмечать недостающие метаданные.
Еще одним важнейшим принципом является открытый и устойчивый формат. Вместо того, чтобы запирать данные в проприетарном закрытом программном обеспечении, сохранение их в соответствии с открытыми стандартами (текстовые таблицы, документированные схемы) гарантирует, что данные можно будет прочитать десятилетия спустя. Археологические данные создаются не для одной публикации, а для будущих поколений; Вот почему принципы FAIR (поиск, доступность, совместимость и повторное использование данных) становятся все более стандартными. ИИ полезен для маркировки ваших данных в соответствии с этими принципами и выявления недостатков; Но вам решать, какие данные останутся открытыми, а какие секретными (конфиденциальными).
Совет: Когда вы настраиваете свою базу данных, спросите себя: «Может ли кто-то, кто этого не знает, открыть ее и понять через 10 лет?» просить. Объясните свои сокращения в глоссарии, заполните поля метаданных и создайте резервную копию необработанных данных в открытом формате.
Таблица задач записи/базы данных
Квест
Роль ИИ
человеческое решение
правило защиты
оцифровка
распознавание текста
Неясное подтверждение чтения
Необработанное сканирование сохраняется
стандартизация
Сопоставить словарь
Несоответствующее ценностное решение
Оригинал сохранен
Консистенция
Маркировка противоречий
исправление
Изменение отслеживается
стратиграфия
Логическое управление
Комментарий
Матричное экспертное заключение
Запрос/сводка
Изготовление столов
Комментарий, выбор
Верность данным
Распространенные ошибки
- Заполнение недостающих данных. ИИ составляет; Недостающее должно оставаться «неполным».
- Перезапись необработанных данных. Оригинал всегда сохраняется; изменения хранятся отдельно.
- Не замечая тихих изменений. О каждом автоматическом преобразовании необходимо сообщать и проверять.
- Пропуск стандарта. Без управляемого словаря и общей модели невозможно совместно использовать данные.
- ИИ выполняет стратиграфическую интерпретацию. ИИ находит логическое противоречие; Комментарий для эксперта.
В заключение
ИИ в записях о раскопках и базе данных; Он обеспечивает высокую скорость оцифровки, стандартизации, проверки согласованности и выполнения запросов. Но целостность данных священна: ни одна недостающая часть не остается нетронутой, необработанные данные сохраняются, каждое изменение отслеживается, а стратиграфическая интерпретация принадлежит эксперту. Хорошие записи — самое ценное наследие, которое раскопки оставляют будущему.
Задача приложения
Подготовьте небольшую выборочную таблицу данных раскопок (10-20 записей); намеренно добавил туда несколько несоответствий (дубликат идентификатора, деформированная дата, конфликтующий слой). Попросите ИИ найти их с помощью шаблонов «проверка непротиворечивости» и «проверка логики матрицы Харриса»; затем напишите контролируемый словарь и сопоставьте поле материала с шаблоном «Стандартизация» и обязательно сохраните необработанные данные.
контрольный список
- [ ] Я сохранил необработанные данные отдельно, без изменений.
- [ ] Я не заставлял ИИ дополнять недостающие части; Я оставил это как «неполное».
- [ ] Я сверил каждое автоматическое изменение с оригиналом.
- [ ] Я использовал контролируемый словарь и стандарт данных.
- [ ] Я сделал стратиграфическую интерпретацию на основе экспертной оценки.