единица 7 / 12

Проверка на източника, анахронизъм и халюцинации

Печалби:

  • Способност да обясни защо халюцинацията (измислен източник, цитат, събитие) и анахронизмът са най-опасните грешки в историята
  • Способност за прилагане на дисциплината за проверка на всяка препратка в каталога, сравняване на съдържание с документа и кръстосано потвърждаване на критични факти.
  • Възможност за поставяне под въпрос на пристрастия и липсващи гласове в източниците, като питате изкуствения интелект къде да търси вместо истинския източник

Има едно предупреждение, което се повтаря във всяка единица на този модул: резултатът от AI е твърдение, а не факт, докато не бъде потвърдено. Това звено превръща това предупреждение в дисциплина. Историята и архивирането са по своята същност области, базирани на доказателства; Най-основното умение на историка е критиката на източника (разпитване от кого, кога, с каква цел е създаден източник и колко надежден е той). В ерата на изкуствения интелект това умение стана още по-критично, защото самият източник вече може да е изфабрикуван.

Тук ще разгледаме три опасности в дълбочина: халюцинация (ИИ произвежда изфабрикувана информация, източници или цитати), анахронизъм (периодични елементи се преместват в грешен период) и дисциплината за проверка на източника като цяло. Ще видим също така ИИ да се учи от източници, които са били неточни или пристрастни в миналото, така че да може да възпроизвежда пристрастия.

Халюцинация: най-опасната грешка

Халюцинация е, когато AI уверено представя нещо, което всъщност не съществува. В исторически план най-често се среща в следните форми:

  • Изфабрикуван източник/справка: Несъществуващ архивен фонд, номер на дело, книга или статия.
  • Измислен цитат: Дума, която всъщност не е казана, изречение, което не е в документа.
  • Измислено събитие/дата/лице: Събитие, което не се е случило, фалшива дата, човек, който не съществува.
  • Фиктивна връзка: Несъществуваща причинно-следствена връзка между две реални събития.

Това, което прави една халюцинация опасна е, че изглежда правдоподобна. Измислената справка има същия формат като истинската справка: име на фонда, номер, дата. Така че „форматът изглежда правилно“ никога не означава „правилно“.

Внимание: Нито един ресурс, произведен от YZ, не може да бъде използван, без да бъде проверен и намерен в каталога или на надеждно място. Единственият начин да се докаже съществуването на препратка е да се види там, където се намира оригиналният източник (архивен каталог, библиотека, публикация). „ИИ го даде“ не е доказателство.

Анахронизъм: очила от периода

Анахронизъм е гледането на миналото през днешните очила. Тъй като AI се обучава на днешния език, той има силна тенденция да:

  • Анахронизъм на термина: Използване на дума, институция или понятие, което не принадлежи към периода.
  • Анахронизъм на концепцията: Проектиране на идея за настоящето (напр. модерна идеология или идентичност) в миналото.
  • Анахронизъм на ценностите: Преценка на миналото поведение само по днешните стандарти.

Работата на историка е да разбере миналото в неговия контекст. AI няма тази контекстна чувствителност; Трябва да го осигурите сами.

Разбирането защо халюцинациите се случват толкова често улеснява защитата срещу тях. AI е система, която работи, за да създаде „следващата най-вероятна дума“; То няма цел като „познаването на истината“. Когато му бъде зададен въпрос, независимо дали знае отговора или не, той произвежда текст, който изглежда статистически убедителен. Форматът на архивната справка (име на фонда, номер, дата) е заучен модел; AI може да запълни този модел без истинска справка. Така че „защо AI го измисля?“ Отговорът на въпроса е прост: за него е по-лесно да се примири, отколкото да "не знае". Отговорността пада върху вас да напълните тези форми с реални ресурси.

Дисциплина за проверка на източника: стъпка по стъпка

1. Проверете съществуването на ресурса. Намерете всяка препратка, дадена от AI в каталога/публикацията. Ако не можете да го намерите, не го използвайте.

2. Сравнете съдържанието с източника. Информацията, която AI приписва на даден документ, действително съществува ли в документа? Абсолютно същият ли е цитатът?

3. Кръстосано потвърждение. За критичен факт погледнете поне два независими надеждни източника.

4. Прилагайте критика към източника. Достоверен ли е самият източник? Кой, кога и с каква цел го е произвел? Пристрастно ли е?

5. Прекарайте го през филтъра за анахронизъм. Има ли термини, концепции или ценностни преценки, които не отговарят на периода в изхода?

6. Разпитвайте предразсъдъците. Възможно ли е AI да възпроизведе пристрастията в историческите източници (игнориране на една група, предпочитане на една гледна точка)?

Слой за удостоверяване

Въпрос

кой го прави

образувание

Съществува ли наистина този ресурс?

Вие сте в каталога.

Съдържание

Това наистина ли пише в документа?

Вие сте в документа

Потвърждение

Някой друг източник поддържа ли го?

ти, кръст

надеждност

Достоверен ли е източникът?

експертна преценка

Точка

Има ли анахронизми?

експертна преценка

предразсъдъци

Чий глас липсва/изкривен?

експертна преценка

три мини калъфа

Случай 1 — Шест измислени препратки. Изследовател поиска от AI списък с източници по дадена тема. YZ предостави 6 архивни справки с перфектно форматиране. При търсенето в каталога 4 от 6 липсваха, 2 от тях бяха с грешен номер. Ако изследователят не беше проверил, щеше да се появи проучване, което цитира несъществуващи източници. Урок: всяка референция се проверява в каталога.

Случай 2 — Измислен цитат. Един писател би използвал поразителен цитат, който AI приписва на историческа личност. Когато проучва източника, той вижда, че няма документ, доказващ, че човекът е казал подобно нещо и че изявлението е „измислено“ от AI. Урок: котировките не могат да се използват без проверка от първичен или надежден източник.

Случай 3 — Възпроизвеждане на предразсъдъци. Студент накара AI да обясни историята на даден регион. Резултатът напълно игнорира конкретна общност в тази област, тъй като източниците, от които AI е научил, също ги игнорират. Студентът забеляза и коригира тази празнина с кръстосани препратки. Урок: AI възпроизвежда мълчания и пристрастия в източниците; Трябва да се запита чий глас липсва.

Четири копируеми шаблона

1) Списък за проверка на справки:

ВСИЧКИ източници, препратки, цитати, дати и имена на лица в текста по-долу се показват в отделен списък. Добавете бележка за всеки: "заявено в този текст, трябва да бъде независимо потвърдено." Ако не изберете нито един, "проверете"; Просто създайте списък за проверка, за да мога да го проверя от каталога/източника. Текст: [тук]

2) Сканиране на анахронизъм:

Разгледайте текста за [период] по-долу. Маркирайте термини, институции, концепции и ценности, които МОЖЕ ДА НЕ принадлежат към този период. За всяко напишете накратко защо сте подозрителни. Изготвяне на окончателна преценка; Създайте списък със съмнения, които експертът ще провери. Текст: [тук]

3) Рамка за критика на източника:

Изготвя се критика на източника относно следния източник: (1) Кой може да го е произвел, (2) Кога, (3) С каква цел, (4) Какви са възможните му пристрастия, (5) На кои проблеми трябва да се вярва и с кои трябва да се внимава. Налагане на окончателна присъда; Посочете въпроси и възможни варианти за отговор. Източник: [тук]

4) Липсващ контрол на силата на звука/пристрастията:

ЧИЙ глас и опитът на коя група може да липсва или да е едностранчив в следното историческо резюме? Коя гледна точка е доминираща, коя невидима? Създайте това като списък с въпроси; Ще го напълня с препратки. Резюме: [тук]

Слаба подкана / Силна подкана

Слаб:

Дайте ми достоверни исторически източници и цитати по този въпрос.

AI е много склонен да създава препратки, които са правилни по форма, но изфабрикувани по съдържание, когато се иска „източник“ и „цитат“. Тази подкана е директна покана за халюцинация.

Силен:

Предложете какъв ВИД източници (тип архивен фонд, тип издание, институция) да търся при изследването си по тази тема. ПОСТАВЯНЕ на конкретна референция, номер на файл или оферта; Само ми кажи къде да търся. Тогава ще намеря истинските източници от каталозите.

Разлика: AI се иска "къде да търси", а не "действителна справка"; Рискът от халюцинации е радикално намален и проверката е оставена на човека.

Често срещани грешки

  • Разчитайки на правилната справка. Измислената справка също изглежда безупречна; трябва да се провери в каталога.
  • Вземане на директен цитат от AI. Цитатите не могат да се използват без потвърждение от първичния/надежден източник.
  • Пренебрегвайки анахронизма. Днешните термини и понятия мълчаливо се просмукват в миналото.
  • Възпроизвеждане на предразсъдъци. AI копира мълчания от източници; Необходимо е да попитате за липсващия звук.
  • Разчитайки на един източник. Критичните факти трябва да бъдат потвърдени от поне два независими източника.

В обобщение

Проверката на източника е в основата на историята и архивирането и е още по-важна в ерата на ИИ. Халюцинацията произвежда източници, цитати и събития, чиято форма е съвършена, но чието съдържание е измислено; анахронизмът изкривява миналото през днешните лещи; и AI възпроизвежда пристрастия в източниците. Защитата е дисциплина: проверете всяка препратка в каталога, сравнете съдържанието с документа, кръстосана проверка на критични факти, филтрирайте през периода и пристрастията. Попитайте AI за „къде да търсите“, а не за „действителния източник“. Пазителят на истината винаги е експертът.

Задача за приложение

Накарайте AI да създаде списък с ресурси по тема, по която работите (с умишлено „слаба подкана“). След това извлечете всички препратки от този резултат с шаблона „списък за валидиране на препратки“ и потърсете всяка от тях в каталог. Пребройте колко реално съществуват и колко са измислени или неточни. Повторете същата тема със „силна подкана“ („къде да търся“) и усетете разликата.

контролен списък

  • [ ] Проверих всяка препратка в каталога/доверен източник.
  • [ ] Проверих всеки цитат с основния/надежден източник.
  • [ ] Проверих критични факти с поне два независими източника.
  • [ ] Филтрирах изхода за анахронизми.
  • [ ] Поставих под въпрос липсващи/изкривени гласове и пристрастия.