Галлюцинации и пределы достоверности

Прибыль:

Может объяснить, что такое галлюцинация и почему она возникает
Может определить, когда необходимо проверить выходные данные AI
Может применять практические методы, повышающие надежность

Возможно, самая важная тема грамотности в области ИИ находится в этом модуле: создание моделей, то есть галлюцинации. Понимание этого термина является самой основной мерой безопасности для любого, кто использует ИИ. Потому что пользователь, не распознавший галлюцинацию, может принять ложную информацию за правдивую и перенести ее в деловое решение, общение с клиентом или официальный документ. В этом разделе вы узнаете, что такое галлюцинация, почему она неизбежна и как от нее защититься.

Что такое галлюцинация?

Галлюцинация — это когда языковая модель выдает информацию, которой на самом деле не существует в свободном и уверенном языке, как если бы она была правдой. Модель не намерена лгать; Создавая только «наиболее вероятное продолжение», он создает текст, который кажется вероятным, но на самом деле является ложным.

Пример: Если вы говорите модели «Порекомендуйте академический источник по теме. Все отображается в правильном формате и убедительно; Но источник совершенно мнимый. Это классический пример галлюцинации.

Почему это происходит? (Помните второй блок)

Источник галлюцинации кроется в принципе работы модели. Модель не является «энциклопедией фактов»; Это «вероятностная машина». Его задача — обеспечить как можно более плавное продолжение вашего вопроса; Речь не идет о предоставлении максимально точной информации. Модель:

Он не знает того, чего он не знает; Столкнувшись с пробелом, он склонен заполнить возможный ответ, а не говорить: «Я не знаю».
У него нет механизма контроля реальности; Он не проверяет, соответствует ли создаваемый им текст миру.
Беглость и точность для него — две разные вещи; То, что оно беглое, не означает, что оно правильное.

Внимание: Галлюцинация не является «неисправностью»; Это неотъемлемая особенность технологии. Новые модели уменьшают это явление, но не могут устранить его полностью. Поэтому вместо того, чтобы ждать «негаллюцинационной модели», необходимо научиться жить с галлюцинациями.

Где высок риск галлюцинаций?

Не каждый исход одинаково рискован. Риск увеличивается, когда:

Высокий риск

Низкий риск

Точные цифры, даты, статистика

Генерация общих идей, мозговой штурм

Запрос источников, цитат, ссылок

Изменить тон текста

Ниша, специализированные темы

Общие, общие темы

Текущие события и люди

Обобщите свой текст

Внутренняя информация, специфичная для вашей компании

Грамматическая коррекция

Три мини-кейса

Случай 1. В презентацию вошла фальшивая фигура. Сотрудник спросил у AI «Темпы и источники роста электронной коммерции в Турции в 2023 году» для отраслевого отчета. Модель дала убедительный процент (48%) и название учреждения. Сотрудник внес это в презентацию, не проверив; Когда на встрече выяснилось, что фигурка была сфабрикована, это нанесло ущерб как презентации, так и репутации компании. Если бы тот же сотрудник получил цифру из официального источника, проблем не было бы.

Случай 2 — Несуществующий законодательный акт. Помощник попросил у ИИ «соответствующую статью закона» для петиции. Модель отображала реалистичный номер товара и текст; но этого предмета там не было. К счастью, юридический отдел заметил это еще до доставки. Урок: юридические цитаты всегда проверяются на основе первоисточника.

Случай 3 — Правильный метод, безопасный результат. Другой сотрудник той же команды просто поручил ИИ составить отчет, сам введя все цифры из официальных данных и поручив ему «не добавлять цифр, которых нет в этом тексте». Результат был одновременно быстрым и точным. Разница: ИИ написал черновик, а факты предоставил человек.

Слабая подсказка/Сильная подсказка

Слабая подсказка: укажите 3 наиболее важных научных источника по этой теме с указанием автора и года.

Результат: Модель может безопасно соответствовать несуществующим источникам.

Мощная подсказка: напишите краткое изложение на основе текста, который я вставил ниже. Используйте только информацию из этого текста. Не добавляйте никаких имен, цифр или источников, которых нет в тексте. Если не уверены, напишите «не указано в тексте».<text>[вставить сюда]</text>

Результат: Поскольку модель получает исходный код от вас, пространство для подгонки становится уже.

Практические методы, повышающие надежность

Отметьте в своем ответе каждое поддающееся проверке утверждение (номер, дату, имя, источник) и поместите его в отдельный список «обязательно проверить».

Ответьте на этот вопрос. Если вы не уверены, не гадайте; Скажите «Я не уверен» и объясните, что вы не знаете что. Тема: [тема]

Ответьте на один и тот же вопрос двумя разными способами и отметьте противоречия между двумя ответами. Итак, позвольте мне посмотреть, какие моменты вызывают сомнения. Вопрос: [вопрос]

Я проверю текст ниже. Перечислите рискованные утверждения, которые мне следует проверить, в порядке важности, и предложите, где я могу проверить каждое из них. Текст: [вставьте сюда]

Кроме того, выработайте следующие привычки:

Вы указываете источник. Вставьте соответствующий документ в текст и скажите «ответ только на этом основании».
Всегда проверяйте поддающиеся проверке факты. Проверьте цифры, даты, имена, цитаты и источники из независимого и надежного источника.
Попросите его указать, что он не уверен в модели. Это снижает риск, но не устраняет его полностью.
Для работ с высоким уровнем риска попросите эксперта проверить результат. Правовые, финансовые и медицинские результаты должны пройти через фильтр экспертов-людей.
Используйте ИИ как «отправную точку», а не как «последнее слово». Черновик от него; Проверка и решение за вами.

Внимание: логика «модель сказала это дважды, значит, это правда» неверна. Может уверенно повторить ту же ошибку. Повторение не является доказательством точности.

Распространенные ошибки

Использование источников без их проверки. Он может создавать типовые книги, статьи, статьи закона и ссылки; Каждая ссылка должна быть подтверждена.
Принимает уверенный тон за точность. Самое опасное в галлюцинации именно то, что она кажется уверенной.
Достаточно просто сказать модели «вы подтверждаете». Самопроверка модели не является независимой проверкой.
Использование выходных данных высокого риска без показа их эксперту. Человеческий контроль важен в вопросах денег, права и здоровья.

В заключение

Галлюцинация — это когда модель выдает несуществующую информацию бегло и уверенно, как если бы она была правдой.
Причиной является не неисправность, а вероятностный характер модели; не может быть полностью устранено.
Риск особенно высок, когда речь идет о точных цифрах, источниках, актуальной информации и нишевых проблемах.
Чтобы защитить себя: укажите источник, проверьте факты, скажите «если вы не уверены, скажите мне», поручите эксперту проверить результаты высокого риска.
Используйте ИИ в качестве отправной точки; Конечная проверка и ответственность всегда остаются за вами.

Задача приложения

Скажите своему инструменту искусственного интеллекта «предложить 3 академических источника» по предмету, требующему специальных знаний, и попытайтесь подтвердить предложенные им источники в Интернете; Обратите внимание, сколько из них настоящие. Затем повторите ту же задачу методом «даешь исходник» и понаблюдаете разницу.

Контрольный список

[ ] Я могу объяснить, что такое галлюцинация и почему она возникает.
[ ] Я могу различать задачи с высоким и низким риском галлюцинаций.
[ ] Я могу снизить риск подделки, указав исходный код модели.
[ ] Я самостоятельно проверяю цифры, даты, имена и источники.
[ ] Я не считаю уверенный тон свидетельством точности.