Галюцинації та межі достовірності

Прибуток:

• Може пояснити, що таке галюцинація і чому вона виникає
• Може визначати, коли вихід ШІ потрібно перевірити
• Може застосовувати практичні прийоми, що підвищують надійність

Мабуть, найважливіша тема грамотності зі штучним інтелектом у цьому розділі: вигадування моделі, тобто галюцинації. Розуміння цього терміну є основним заходом безпеки для тих, хто використовує ШІ. Тому що користувач, який не розпізнає галюцинацію, може помилково помилитися як правдива інформація та перенести її на ділове рішення, спілкування з клієнтом або офіційний документ. У цьому розділі ви дізнаєтесь, що таке галюцинації, чому вони неминучі та як від них захиститися.

Що таке галюцинація?

Галюцинація — це коли мовна модель видає інформацію, яка насправді не існує у вільній і впевненій мові, як якщо б це було правдою. Модель не має наміру брехати; Продукуючи лише «найймовірніше продовження», він створює текст, який здається ймовірним, але насправді є хибним.

Приклад: якщо ви скажете моделі: "Порекомендуйте академічне джерело на тему. Все відображається в правильному форматі та переконливо; Але джерело повністю уявне. Це класичний приклад галюцинації.

Чому це відбувається? (Запам'ятайте другу частину)

Джерело галюцинації полягає в принципі роботи моделі. Модель не є «енциклопедією фактів»; Це «машина ймовірностей». Його робота полягає в тому, щоб створити якомога плавніше продовження вашого запитання; Йдеться не про надання максимально точної інформації. модель:

• Він не знає, чого не знає; Коли він стикається з пропуском, він намагається заповнити можливу відповідь, а не сказати «Я не знаю».
• У нього немає механізму контролю реальності; Він не перевіряє, чи текст, який він створює, відповідає світу.
• Повільність і точність для нього — дві різні речі; Те, що він вільний, не означає, що він правильний.

Застереження: галюцинація не є «несправністю»; Це невід’ємна риса техніки. Нові моделі зменшують це, але не можуть повністю усунути. Тому замість того, щоб чекати «безгалюцинаційної моделі», необхідно навчитися жити з галюцинацією.

Де високий ризик галюцинацій?

Не кожен результат однаково ризикований. Ризик зростає, коли:

Високий ризик

Низький ризик

Точні цифри, дати, статистика

Генерування загальних ідей, мозковий штурм

Запит джерел, цитат, посилань

Змініть тон тексту

Нішеві, спеціалізовані теми

Загальні, загальні теми

Актуальні події та люди

Підсумуйте свій текст

Внутрішня інформація, характерна для вашої компанії

Виправлення граматики

Три міні-чохли

Випадок 1 — У презентацію ввійшла фальшива фігура. Співробітник попросив ШІ надати «темп зростання електронної комерції в 2023 році та джерело в Туреччині» для галузевого звіту. Модель повернула переконливий відсоток (48%) і назву установи. Співробітник помістив його в презентацію, не перевіривши; Коли на зустрічі з’ясувалося, що цифра була сфабрикована, було завдано шкоди як презентації, так і репутації компанії. Якби той самий працівник отримав цифру з офіційного джерела, проблем не було б.

Випадок 2 — Неіснуючий законодавчий акт. Помічник запитав у ШІ «відповідну статтю закону» для петиції. Модель створила реалістичний номер елемента та текст; але цього предмета там не було. На щастя, юридичний відділ помітив це ще до доставки. Урок: юридичні цитати завжди перевіряються з першоджерела.

Випадок 3 — правильний метод, безпечний результат. Інший співробітник тієї ж команди просто змусив штучний інтелект скласти проект звіту, ввівши всі цифри з офіційних даних і наказавши йому «не додавати жодних цифр, яких немає в цьому тексті». Результат був швидким і точним. Відмінність: штучний інтелект написав чернетку, факти надані людиною.

Слабка підказка / Сильна підказка

Слабка підказка: наведіть 3 найважливіших академічних джерела на цю тему з автором і роком.

Результат: модель може безпечно підходити до неіснуючих джерел.

Powerful prompt: Write a summary based on the text I pasted below. Використовуйте лише інформацію з цього тексту. Не додавайте жодних імен, номерів чи джерел, яких немає в тексті. Якщо ви не впевнені, напишіть «не вказано в тексті».<text>[вставте сюди]</text>

Результат: Оскільки модель отримує джерело від вас, простір для підгонки стає вужчим.

Практичні прийоми, які підвищують надійність

Позначте кожне твердження, яке можна перевірити, у своїй відповіді (номер, дата, ім’я, джерело) і внесіть їх в окремий список «треба перевірити».

Дайте відповідь на це питання. Якщо ви не впевнені, не вгадуйте; Скажіть «Я не впевнений» і поясніть, що ви не знаєте що. Тема: [тема]

Дайте відповідь на одне запитання двома різними способами та позначте протиріччя між двома відповідями. Отже, дозвольте мені побачити, які моменти є сумнівними. Питання: [питання]

Я перевірю текст нижче. Перелічіть ризиковані твердження, які я повинен перевірити в порядку важливості, і запропонуйте, де я можу перевірити кожне з них. Текст: [вставте сюди]

Крім того, візьміть такі звички:

1. Ви надаєте джерело. Вставте відповідний документ у текст і скажіть «відповісти лише на цьому».
2. Завжди перевіряйте факти, які можна перевірити. Перевірте цифри, дати, імена, цитати та джерела з незалежного надійного джерела.
3. Попросіть його вказати, що він не впевнений щодо моделі. Це зменшує ризик, але не усуває його повністю.
4. Для виконання робіт з високим ризиком доручіть експерту перевірити результат. Юридичні, фінансові та медичні результати повинні проходити через фільтр експертів-людей.
5. Використовуйте ШІ як «відправну точку», а не як «останнє слово». Чернетка від нього; Перевірка та рішення за вами.

Застереження: «модель сказала це двічі, значить це правда» логіка неправильна. Може впевнено повторити ту саму помилку. Повторення не є доказом точності.

Поширені помилки

Поширені помилки

• Використання джерел без їх перевірки. Він може створювати зразкові книги, статті, закони та посилання; Кожне посилання має бути підтверджене.
• Приймаючи впевнений тон за точність. Найнебезпечніше в галюцинаціях саме те, що вони здаються впевненими.
• Досить просто сказати моделі «ви перевіряєте». Самоперевірка моделі не є незалежною перевіркою.
• Використання виходу з високим ризиком без показу його експерту. Людський контроль важливий для грошей, закону та здоров’я.

Підсумовуючи

• Галюцинація — це коли модель видає неіснуючу інформацію вільним і впевненим способом, ніби вона правдива.
• Причиною є не несправність, а ймовірнісний характер моделі; неможливо повністю усунути.
• Ризик особливо високий, коли йдеться про точні цифри, джерела, актуальну інформацію та нішеві питання.
• Щоб захистити себе: надайте джерело, перевірте факти, скажіть «якщо ви не впевнені, скажіть мені», нехай високоризикова інформація перевіриться експертом.
• Використовуйте ШІ як відправну точку; Остаточна перевірка та відповідальність завжди залишаються за вами.

Аплікаційне завдання

Скажіть своєму інструменту штучного інтелекту «запропонувати 3 академічні джерела» з теми, яка потребує досвіду, і спробуйте підтвердити джерела, які він пропонує в Інтернеті; Зверніть увагу, скільки справжніх. Потім повторіть те саме завдання методом «ви даєте джерело» та спостерігайте різницю.

Контрольний список

• [ ] Я можу пояснити, що таке галюцинація і чому вона виникає.
• [ ] Я можу розрізняти завдання з високим і низьким ризиком галюцинацій.
• [ ] Я можу зменшити ризик фальсифікації, надавши моделі джерело.
• [ ] Я самостійно перевіряю цифри, дати, імена та джерела.
• [ ] Я не вважаю впевнений тон свідченням точності.