Прибыль:
- Способность систематически проверять утверждение посредством проверки происхождения, достоверности источника и независимых этапов перекрестной проверки.
- Способность понимать, что искусственный интеллект сам по себе может генерировать ложную информацию посредством галлюцинаций, предвзятости обучающих данных и лести, и относиться к его выводам с особым подозрением.
- Способность проверять предвзятость, отмечая результат четкой меткой уровня достоверности и оценивая одно и то же событие с разных точек зрения.
Дипломатия работает с информацией, и ценность информации зависит от ее точности. Брифинг, переговорная позиция или публичное заявление, основанное на неверной информации, имеет последствия, которые трудно обратить вспять. Вот почему одним из наиболее важных навыков дипломата является проверка источников: систематическая оценка того, откуда исходит заявление, насколько оно достоверно и соответствует ли оно действительности. В этом модуле вы узнаете, как использовать искусственный интеллект в проверке; но вы научитесь его использовать, помня, что сам ИИ может быть источником дезинформации и предвзятости.
Давайте сначала разделим эти три понятия. Дезинформация: неверная информация распространяется непреднамеренно. Дезинформация: дезинформация, которая сознательно, целенаправленно создается и распространяется. Предубеждение: систематическое смещение информации или оценки в определённую сторону. Дипломат должен быть внимательным ко всем трем, а ИИ может быть как подспорьем, так и риском во всех трех.
Шаг за шагом: проверка претензии
1. Четко изложите претензию. Что именно необходимо проверить? Сведите это к одному четкому утверждению, например: «Страна X вышла из соглашения Y». Нечеткие утверждения не могут быть проверены.
2. Найдите свое происхождение. Где, когда и кем впервые было сделано это утверждение? Большая часть дезинформации исходит из одного сомнительного источника и усиливается. Вернитесь к источнику.
3. Оцените достоверность источника. Является ли источник официальным, независимым или предвзятым? Предоставлял ли он точную информацию в прошлом? Есть ли у него в этом личная заинтересованность? Даже надежный источник может ошибаться; но источник с низким уровнем доверия требует дополнительного подтверждения.
4. Перекрестная проверка. Подтвердите утверждение как минимум двумя независимыми и надежными источниками. 50 сайтов одного и того же информационного агентства не являются независимыми источниками.
5. Проверьте внутреннюю согласованность и контекст. Является ли утверждение внутренне последовательным? Противоречит ли это известным фактам? Вырвано из контекста? Истинное предложение может ввести в заблуждение в неправильном контексте.
6. Отметьте результат уровнем достоверности. Дайте четкую пометку, например «проверено», «частично проверено», «единственный источник», «не удалось проверить», «ложь». Даже «Я не уверен» — это вывод, и его следует сказать честно.
Совет: чем больше утверждение резонирует или вызывает эмоциональный отклик, тем тщательнее вам следует его проверять. Дезинформация нацелена на сами эмоции гнева, страха или «новости, которые мы хотим». Информация, которая побуждает вас действовать быстро, часто требует наибольшей проверки.
ИИ сам по себе является источником риска
Самое важное предостережение в этом разделе: ИИ не является органом проверки; Оно само по себе может порождать дезинформацию и предвзятость. ИИ может вводить в заблуждение тремя способами:
1. Галлюцинация: представляет несуществующий источник, цитату или событие как реальное. «Какой источник подтверждает это утверждение?» Когда вы спросите, он может даже назвать вам вымышленное имя источника.
2. Смещение обучающих данных. ИИ отражает доминирующую точку зрения в текстах, на которых он обучается. Если в данных доминирует мнение одной части мира по конкретному вопросу, ИИ может повлиять на это. Это не намеренно, а является отражением данных, но результат по-прежнему является предвзятым.
3. Подхалимство. ИИ может иметь тенденцию отвечать на вопрос так, как вам нравится. Если вы хотите проверить утверждение, оно, как правило, дает ответ, который его поддерживает.
Так что используйте ИИ как инструмент проверки (редактирование источников, пометка конфликтов, помощь в отслеживании происхождения), но никогда не принимайте слова ИИ «это правда» как последнее слово.
Внимание: когда ИИ проверяет источник, проверьте, показывает ли ИИ настоящий источник или создает правдоподобную выдумку. Не считайте его «проверенным», пока самостоятельно не откроете и не увидите каждое имя источника, ссылку и цитату, которую он приводит. Источник, придуманный ИИ, может показаться более убедительным, чем реальный источник.
три мини-кейса
Случай 1 — подтверждение происхождения сохранено. Скриншот «официального объявления» упал на стол и выглядел реальным. Проверка показала, что на официальных каналах этого учреждения такого заявления не было; изображение было фейковым. Проверка происхождения не позволила фейковому заявлению попасть на брифинг.
Случай 2 — искусственный источник. Эксперт поручил ИИ проверить статистику. YZ процитировал источник, сказав, что «согласно отчету этой организации за 2023 год…» Он позвонил экспертному источнику: ни такого отчета, ни такой цифры не было; ИИ придумал и то, и другое. Независимая проверка выявила сфабрикованное «подтверждение».
Случай 3 — Смещение смещения. Эксперт поручил ИИ подвести итог спорному событию и заметил, что результат явно близок к повествованию одной стороны. Когда я снова попросил «подвести итог того же события с точки зрения другой стороны», возникла совсем другая картина. Сравнение двух результатов не позволило внести в отчет одностороннюю структуру.
Четыре копируемых шаблона
1) Протокол проверки претензии:
Ваша роль: аналитик по валидации. Для следующего утверждения: (1) сведите утверждение к неттек-предложению, (2) найдите, где/когда оно впервые упоминается в источниках, которые я дал, (3) сколько НЕЗАВИСИМЫХ источников подтверждают его, (4) есть ли какие-либо конфликтующие источники, (5) отметьте результат одним из следующих тегов: проверенный / единственный источник / противоречивый / непроверенный. Изготовление источника; Просто используй то, что я тебе даю. Претензия+источники: [здесь]
2) Тестирование предвзятости ИИ:
Прежде всего, максимально объективно опишите следующий инцидент. Затем суммируйте то же самое событие отдельно (а) с точки зрения стороны А, (б) с точки зрения стороны Б. Перечислите различия между тремя версиями. Таким образом, видно, какие моменты являются интерпретацией сторон, а какие являются общими фактами. Случай/источники: [здесь]
3) Оценка надежности источника:
Оцените следующий источник: тип (официальный/независимый/предвзятый/анонимный), потенциальный интерес к делу, предоставленная информация о прошлой достоверности, дополнительные шаги, необходимые для проверки. Также запишите, почему источник может быть неправильным. Источник: [здесь]
4) Красные флажки дезинформации:
Сканируйте содержимое ниже на наличие дезинформации. Ищите эти флажки: статистика без источников, вызывающий эмоции язык, изображения без контекста, давление «поторопитесь/поделитесь», непроверяемое авторитетное слово, одновременное скоординированное распространение. Отметьте каждый вывод с обоснованием. Не выносите окончательных суждений. Содержание: [здесь]
Слабая подсказка / Сильная подсказка
Слабая подсказка:
Верно ли это утверждение? Поищите в Интернете и дайте мне знать.
ИИ, говорящий «правда», не является проверкой; Он может указать ложные источники или дать предвзятый или лестный ответ.
Мощная подсказка:
Ваша роль: аналитик по проверке. Ниже приведена претензия и собранные мной источники. Не говорите мне «правильно/неправильно»; Вместо этого: укажите происхождение утверждения, количество независимых источников, любые противоречия и уровень доверия. Не выходите за рамки приведенных мной источников, не выдумывайте источники. Если вы не уверены, отметьте это как «требуется проверка человеком». Претензия+источники: [здесь]
Разница очевидна: требование происхождения, независимого подтверждения и уровня доверия, а не суждения «истинно/ложно», ограничивает риски ИИ.
Таблица статусов верификации
Этикетка
Значение
Использование в отчете
Проверено
Как минимум 2 независимых надежных источника
Можно использовать как чехол
Частично подтверждено
Некоторые подтвердили
Ограничено, с пояснением
единственный источник
Всего один источник
В качестве «претензии» требуется подтверждение
противоречивый
Источники не совпадают
Представлено как неопределенность
Не удалось проверить
Подтверждения не найдено
Не используется как факт
неправильно
Доказано обратное
В качестве исправления в отчете
Распространенные ошибки
- Учитывая, что ИИ говорит «правильно» как подтверждение. ИИ может фабриковать, предвзято или потворствовать.
- Открытие исходного кода, предоставленного ИИ, и принятие его, не видя его. Сфабрикованные источники кажутся убедительными.
- Проверка небольшой информации, которая соответствует вашим потребностям. Эмоциональная/соответствующая информация – это информация, которая требует наибольшего подтверждения.
- Приняв обилие копий за подтверждение. Сотни сайтов, питающихся из одного и того же источника, являются одним источником.
- Вообще не проверяю предвзятость. Обобщение одного и того же события с разных точек зрения обеспечивает баланс.
В заключение
Проверка источников — это основа дипломатических знаний, а ИИ — это одновременно и помощь, и риск в этой работе. ИИ систематизирует источники, помогает отслеживать происхождение и отмечать конфликты; но он сам по себе может генерировать дезинформацию из-за галлюцинаций, предвзятости обучающих данных и лести. Отслеживание происхождения, независимая перекрестная проверка, разделение достоверности исходной информации, маркировка уровня доверия и дополнительные сомнения в выходных данных ИИ являются основой этого подразделения.
Задача приложения
Выберите актуальное спорное утверждение и соберите источники разных жанров. Оцените претензию на предмет происхождения и независимую проверку с помощью «протокола проверки претензии». С помощью «теста на предвзятость ИИ» суммируйте одно и то же событие с разных точек зрения и перечислите различия. Если ИИ дает ресурс, откройте его самостоятельно и проверьте, существует ли он на самом деле.
контрольный список
- [ ] Я свел утверждение к одному ясному предложению и поискал его происхождение.
- [ ] Я сверился как минимум с двумя независимыми надежными источниками.
- [ ] Я независимо проверил каждый источник, предоставленный AI.
- [ ] Я проверил предвзятость, резюмируя одно и то же событие с разных точек зрения.
- [ ] Я отметил результат четкой меткой уровня достоверности.