Прибуток:
- Здатність систематично перевіряти твердження через походження, достовірність джерела та етапи незалежної перехресної перевірки
- Здатність розуміти, що штучний інтелект сам по собі може виробляти неправдиву інформацію через галюцинації, упередження тренувальних даних і лестощі, і ставитися до його результатів з особливою підозрою
- Можливість перевірити упередженість, позначивши результат чіткою міткою рівня достовірності та оцінивши ту саму подію з різних точок зору
Дипломатія працює з інформацією, і цінність інформації залежить від її точності. Брифінг, переговорна позиція чи публічна заява, засновані на невірній інформації, мають наслідки, які важко відновити. Ось чому однією з найважливіших навичок дипломата є перевірка джерела: систематична оцінка того, звідки походить твердження, наскільки воно достовірне та чи насправді воно правдиве. У цьому розділі ви дізнаєтесь, як включити штучний інтелект у перевірку; але ви навчитеся ним користуватися, пам’ятаючи, що ШІ сам по собі може бути джерелом дезінформації та упередженості.
Давайте спочатку розділимо три поняття. Дезінформація: неправильна інформація поширюється ненавмисно. Дезінформація: дезінформація, яка свідомо, цілеспрямовано створюється та поширюється. Упередження: систематичне зміщення інформації чи оцінки в певну сторону. Дипломат має бути напоготові щодо всіх трьох, і ШІ може бути як підмогою, так і ризиком у всіх трьох.
Крок за кроком: перевірка претензії
1. Чітко сформулюйте претензію. Що саме підлягає перевірці? Зведіть це до однієї чіткої заяви на зразок «Країна X вийшла з угоди Y». Нечіткі твердження неможливо перевірити.
2. Знайди своє походження. Де, коли і ким вперше була зроблена ця претензія? Більшість дезінформації походить з одного сумнівного джерела та поширюється. Поверніться до джерела.
3. Оцініть достовірність джерела. Джерело офіційне, незалежне чи упереджене? Чи надав він точну інформацію в минулому? Чи він у цьому зацікавлений? Навіть надійне джерело може помилятися; але джерело з низькою довірою вимагає додаткового підтвердження.
4. Взаємоперевірка. Підтвердьте твердження принаймні двома незалежними надійними джерелами. 50 сайтів одного інформаційного агентства не є незалежними джерелами.
5. Перевірте внутрішню послідовність і контекст. Чи вимога внутрішньо послідовна? Чи суперечить це відомим фактам? Вирвано з контексту? Правдиве речення може ввести в оману в неправильному контексті.
6. Позначте результат рівнем достовірності. Дайте чіткий ярлик, наприклад «перевірено», «частково перевірено», «єдине джерело», «не вдалося перевірити», «невірно». Навіть «я не впевнений» — це висновок, і його слід сказати чесно.
Порада: чим більше твердження резонує або викликає емоційну реакцію, тим ретельніше ви повинні перевіряти його. Дезінформація націлена на саму емоцію гніву, страху або «новини, які ми хочемо». Інформація, яка спонукає вас швидко вжити заходів, часто потребує найбільшої перевірки.
ШІ сам по собі є джерелом ризику
Найважливіше застереження цього підрозділу: ШІ не є органом перевірки; Він сам може генерувати дезінформацію та упередженість. ШІ може ввести в оману трьома способами:
1. Галюцинація: представляє неіснуюче джерело, цитату чи подію як реальні. «Яке джерело підтверджує це твердження?» Коли ви запитаєте, він може навіть назвати вам вигадане джерело.
2. Упередженість даних навчання: AI відображає домінуючу точку зору в текстах, на яких він навчається. Якщо в даних домінує погляд однієї частини світу на певне питання, ШІ може вплинути на це. Це не навмисне, а відображення даних, але результат все одно є упередженим результатом.
3. Підступництво: штучний інтелект може прагнути відповісти на запитання так, як вам подобається. Якщо ви хочете перевірити твердження, воно, як правило, дає відповідь, яка його підтверджує.
Тож використовуйте штучний інтелект як інструмент для перевірки (редагування джерел, позначення конфліктів, допомога з відстеженням походження), але ніколи не сприймайте слово штучного інтелекту «це правда» як останнє слово.
Застереження: коли ШІ перевіряє джерело, перевірте, чи ШІ показує вам справжнє джерело чи створює правдоподібну вигадку. Не вважайте це «перевіреним», доки ви самостійно не відкриєте та не побачите кожну назву джерела, посилання та цитату, яку він надає. Джерело, створене штучним інтелектом, може здатися більш переконливим, ніж справжнє джерело.
три міні-чохла
Випадок 1 — Підтвердження походження збережено. Скріншот «офіційного оголошення» впав на стіл, і він виглядав справжнім. Перевірка показала, що на офіційних каналах цієї установи такої заяви не було; зображення було підробкою. Перевірка походження запобігла потраплянню фейкової заяви на брифінг.
Випадок 2 — джерело, створене ШІ. Експерт змусив ШІ перевірити статистику. ЮЗ посилався на джерело, сказавши, що «за звітом цієї організації за 2023 рік…» Він назвав експертне джерело: ні такого звіту, ні такої цифри не було; ШІ вигадав і те, і інше. Незалежна перевірка виявила сфабриковане «підтвердження».
Випадок 3 — зміщення. Експерт змусив штучний інтелект узагальнити суперечливу подію та помітив, що результат був чітко близький до розповіді однієї сторони. Коли я знову запитав «узагальнити ту саму подію з точки зору іншої сторони», постала зовсім інша картина. Порівняння двох результатів запобігло введенню односторонньої структури у звіт.
Чотири шаблони, які можна копіювати
1) Протокол перевірки претензії:
Ваша роль: аналітик валідації. Для наступного твердження: (1) скоротити твердження до речення nettek, (2) знайти, де/коли воно вперше згадується у наданих мною джерелах, (3) скільки НЕЗАЛЕЖНИХ джерел це підтверджує, (4) чи існують суперечливі джерела, (5) позначити результат одним із таких тегів: перевірено / єдине джерело / суперечливе / неперевірене. Виготовлення джерела; Просто використовуй те, що я тобі даю. Твердження+джерела: [тут]
2) Тестування упередженості ШІ:
По-перше, опишіть наступний випадок якомога об’єктивніше. Потім узагальніть ту ж подію окремо (а) з точки зору сторони А, (б) з точки зору сторони Б. Перелічіть відмінності між трьома версіями. Таким чином, можна побачити, які пункти є тлумаченням сторін, а які є загальними фактами. Справа/джерела: [тут]
3) Оцінка надійності джерела:
Оцініть таке джерело: тип (офіційне/незалежне/упереджене/анонімне), потенційний інтерес до цього питання, надану інформацію про минулу достовірність, додаткові кроки, необхідні для перевірки. Також запишіть, чому джерело може бути неправильним. Джерело: [тут]
4) Червоні прапорці дезінформації:
Проскануйте вміст нижче на наявність дезінформації. Шукайте такі позначки: статистика без джерел, мова, що викликає емоції, зображення без контексту, тиск «поспішати/поділитися», авторитетне слово, яке не можна перевірити, одночасне скоординоване поширення. Кожну знахідку позначте обґрунтуванням. Не виносьте остаточних суджень. Зміст: [тут]
Слабка підказка / Сильна підказка
Слабка підказка:
Чи правдиве це твердження? Шукайте в Інтернеті та дайте мені знати.
Сказання ШІ «правда» не є перевіркою; Він може надати неправдиві джерела або дати упереджену чи улесливу відповідь.
Потужна підказка:
Ваша роль: верифікаційний аналітик. Нижче подано претензію та зібрані мною джерела. Не кажи мені «правильно/неправильно»; Замість цього: покажіть походження заяви, кількість незалежних джерел, будь-які протиріччя та рівень довіри. Не виходьте за межі наведених мною джерел, не вигадуйте джерел. Якщо ви не впевнені, позначте це як «вимагає перевірки людиною». Твердження+джерела: [тут]
Різниця очевидна: вимога про походження, незалежне підтвердження та рівень довіри, а не судження «правда/хибність» обмежує ризики ШІ.
Таблиця статусів перевірки
Мітка
Значення
Використання у звіті
Перевірено
Принаймні 2 незалежних надійних джерела
Можна використовувати як чохол
Частково підтверджено
Деякі підтвердили
Обмежено, з поясненням
єдине джерело
Тільки одне джерело
Як "претензія" потрібне підтвердження
суперечливий
Джерела не збігаються
Подається як невизначеність
Не вдалося перевірити
Підтвердження не знайдено
Not used as a fact
неправильно
Доведено протилежне
Як виправлення в звіті
Поширені помилки
- Розглядаючи слово ШІ «правильно» як підтвердження. ШІ може фабрикувати, упереджувати або потурати.
- Відкриття джерела, наданого AI, і прийняття його, не бачачи його. Сфабриковані джерела видаються переконливими.
- Перевірка невеликої інформації, яка відповідає вашим потребам. Емоційна/відповідна інформація - це інформація, яка потребує найбільшого підтвердження.
- Прийнявши велику кількість копій за підтвердження. Сотні сайтів, що живляться з одного джерела, є єдиним джерелом.
- Not testing bias at all. Узагальнення тієї самої події з різних точок зору забезпечує баланс.
Підсумовуючи
Перевірка джерела є основою дипломатичних знань, а штучний інтелект одночасно є підтримкою та ризиком у цій роботі. ШІ впорядковує джерела, допомагає з відстеженням походження та позначенням конфліктів; але він сам може генерувати дезінформацію через галюцинації, упередженість даних навчання та лестощі. Відстеження походження, незалежна перехресна перевірка, відокремлення достовірності джерела інформації, тегування рівня довіри та додаткові сумніви щодо результатів штучного інтелекту є основою цього пристрою.
Аплікаційне завдання
Виберіть поточне, суперечливе твердження та зберіть джерела з різних жанрів. Оцініть твердження щодо походження та незалежної перевірки за допомогою «протоколу перевірки твердження». За допомогою «тесту упередженості штучного інтелекту» узагальніть ту саму подію з різних точок зору та перелічіть відмінності. Якщо AI видає ресурс, відкрийте його самостійно і перевірте, чи він насправді існує.
контрольний список
- [ ] Я звів претензію до одного чіткого речення та шукав її походження.
- [ ] Я перехресно перевірив принаймні два незалежні надійні джерела.
- [ ] Я незалежно перевірив кожне джерело, надане ШІ.
- [ ] Я перевірив упередженість, узагальнюючи ту саму подію з різних точок зору.
- [ ] Я позначив результат чіткою міткою рівня достовірності.