Прибыль:
- Распознает наиболее распространенные ошибки подсказок на реальных примерах.
- Может применить практичное и повторяемое исправление для каждой ошибки.
- Понимает, что плохой результат часто вызван плохой подсказкой.
В этом модуле мы изучили методы написания хороших подсказок одно за другим. Теперь давайте подкрепим это под другим углом: рассмотрев наиболее распространенные ошибки и их решения. Подавляющее большинство плохих результатов ИИ связано с плохими подсказками, а не с неадекватностью модели. Если вы обнаружите ошибки в этом блоке, вы сможете быстро диагностировать и устранить проблемы в собственных подсказках; Вместо того, чтобы говорить «ИИ не может этого сделать», вы можете сказать: «Позвольте мне исправить мою подсказку вот так».
Почему важно признавать ошибки?
Если результат не соответствует вашим ожиданиям, вы можете отреагировать двумя способами: обвинить инструмент или подвергнуть сомнению подсказку. Опытный пользователь делает последнее. Потому что в большинстве случаев источник проблемы очевиден, а результат меняется при небольшой корректировке. Ниже мы увидим восемь наиболее распространенных ошибок, их симптомы и способы решения.
Восемь самых распространенных ошибок
Ошибка
симптом
Решение
двусмысленность
Общий ответ «один размер подходит всем»
Дайте измеримые инструкции
Нулевой контекст
Результат, не соответствующий ситуации
Добавить кто/почему/история
Не указывая формат
Вывод в неправильном формате
Принудительный формат
отсутствие ограничений
Чрезмерный, девиантный контент
Добавьте список «нельзя»
перегрузка
Модель пропускает некоторые запросы
Разделите работу, расставьте приоритеты
неподтверждение
Использование фейковой информации
Проверьте факты с источником
Ожидание одного выстрела
Не сдавайтесь при первом же выходе
Итерировать
противоречивая инструкция
непоследовательный вывод
Выровнять ограничения
Пошаговый метод диагностики
При получении поврежденного вывода следуйте следующему порядку:
- Миссия ясна? Глагол конкретен, означает ли он единственное, чего вы хотите?
- Достаточно ли контекста? Знает ли модель ситуацию?
- Был ли упомянут формат? Формат соответствует вашему желанию?
- Есть ли какие-либо ограничения? Написано то, что не нужно?
- Я нагрузил слишком много? Я просил 5 разных вакансий в одном запросе?
- Я проверил? Проверены ли номер, имя, дата?
Эти шесть вопросов выявляют почти все ошибки.
Четыре копируемых шаблона корректуры
1) Удаление двусмысленности:
Сделайте эту инструкцию измеримой: [расплывчатая инструкция] Переведите каждую расплывчатую точку в конкретное число, количество или критерий.
2) Разделение перегрузки:
Не выполняйте эту задачу все сразу. Продолжайте в этом порядке и останавливайтесь, когда закончите каждый шаг, дождитесь моего подтверждения: 1) [подзадача 1]2) [подзадача 2]3) [подзадача 3]
3) Ограничительный штуцер:
Просто положитесь на информацию, которую я предоставил ниже. Если информации нет, напишите «нет данных»; не угадывайте и не добавляйте. Укажите, из какой строки взято каждое используемое вами важное утверждение. Источник: [текст]
4) Разрешение противоречия:
Проверьте, нет ли противоречий в инструкции, которую я вам дал. Если да, перечислите противоречивые моменты и спросите меня, какому из них отдать приоритет; затем производите соответственно.
Слабая подсказка/Сильная подсказка
Слабое (множество ошибок вместе взятых):
Напишите для нашей компании комплексный план по маркетингу, бюджету и подбору персонала, и все готово.
Мощный (исправлены ошибки):
Роль: Вы специалист по развитию бизнеса, консультирующий МСП. Контекст: компания-разработчик программного обеспечения со штатом 12 человек; цель — 20 новых клиентов в этом квартале. Задача: Написать ТОЛЬКО маркетинговый план (без учета бюджета и найма). Формат: список действий из 5 пунктов; каждый пункт: действие + ответственный + критерии. Ограничение: Платный рекламный бюджет 0; Рекомендуйте только органические каналы. Не давайте фальшивых показателей; Обоснуйте предложение.
Мощная версия разделяет перегрузку (вмещая три темы в одну подсказку), заменяет двусмысленность («удачи») критериями, а также добавляет форматирование и ограничения.
Три мини-кейса
Случай 1 — Перегрузка. Менеджер запросил резюме отчета, план презентации и электронное письмо в одном запросе; Модель сделала все три пополам. Разделив задание на три отдельных запроса, каждый результат был полным и пригодным для использования. Общее время было меньше, чем на борьбу с одной сложной подсказкой.
Случай 2 — Неподтверждение. Команда по контенту опубликовала «отраслевую статистику», предоставленную моделью, не проверив ее; Число оказалось неправильным, и им пришлось выдать исправление. После этого они приняли правило «на каждую цифру указывайте источник, я проверю источник» и устранили этот риск.
Случай 3 — Противоречивые инструкции. Когда маркетолог сказал: «Она очень короткая, но описывает все функции», модель пропустила некоторые функции. Когда я сделал инструкцию непротиворечивой типа «опишите 3 наиболее важные функции в 60 словах», результат был одновременно кратким и полным.
Совет: перед запуском в эксплуатацию пропустите подсказку, ответив на «шесть диагностических вопросов». Эта 30-секундная проверка с самого начала делает большинство раундов итерации ненужными.
Внимание: самой опасной ошибкой является «непроверка», поскольку ее упускают из виду, поскольку результат выглядит гладким и убедительным. Модель может с большой уверенностью соответствовать номеру, имени или источнику. Независимая проверка любого факта, который будет опубликован или использован в качестве основы для принятия решения. Мы углубим эту тему в следующем разделе.
Невидимая ошибка: результат «почти правильный»
Некоторые ошибки легко обнаружить: выходные данные имеют неверный формат, не соответствуют теме или остаются пустыми. Но самая коварная ошибка в том, что вывод почти правильный. Текст беглый, структура ровная, тон правильный; Есть только одно неверное число, пропущенное ограничение или небольшая логическая ошибка. Эти типы результатов опасны, потому что они ускользают от проверки, потому что «выглядят хорошо».
От этого защищают две привычки. Во-первых, не используйте выходные данные, не прочитав их: как бы вы ни торопились, прочтите их перед отправкой. Во-вторых, проверка модели на выводе: «проверьте, соблюдались ли вы все ограничения, которые я вам дал» или «перечислите все числа в этом тексте» выведет на поверхность скрытые ошибки. Эти два шага занимают несколько секунд, но цена неправильных решений, вызванных «почти правильным» результатом, намного выше.
Как избежать ошибок: дизайн важнее контроля
Вместо того, чтобы искать ошибки в выводе, опытный пользователь пытается предотвратить их с самого начала с помощью командной строки. Это разница в менталитете. Превратите каждую повторяющуюся ошибку в «постоянное правило»: если модель продолжает добавлять комментарии в сводном задании, теперь установите ограничение «не добавлять комментарии» для каждого сводного запроса. Если модель всегда создает слишком много элементов в задании списка, поместите в шаблон ограничение «ровно X элементов». Таким образом, вместо того, чтобы снова и снова ловить одну и ту же ошибку, вы в первую очередь предотвращаете ее возникновение. Хорошо продуманная подсказка заменяет десятки последующих исправлений; Это превращает диагностику ошибок из бремени в инструмент обучения и совершенствования.
Распространенные ошибки
- Обвинение посредника. Сказать «ИИ не может этого сделать» вместо того, чтобы искать проблему в подсказке.
- Вкладывать слишком много работы в одну подсказку. Сжатие пяти отдельных задач в одну инструкцию и выполнение их наполовину.
- Пропуск проверки. Предполагая, что плавный вывод правильный.
- Наложение противоречивого ограничения. Противоречивые требования, например «кратко, но подробно».
- Повторяю попытку без диагностики. Повторение одной и той же ошибки, не выяснив, что именно сломалось.
В заключение
- Самый плохой результат — это проблема с подсказкой, а не с моделью; можно диагностировать и исправить.
- Наиболее распространенные ошибки: двусмысленность, нулевой контекст, отсутствие формата, отсутствие ограничений, перегрузка, отсутствие проверки, однократное ожидание и противоречие.
- Шесть диагностических вопросов (задача, контекст, формат, ограничение, нагрузка, проверка) выявляют большинство ошибок.
- Разделение сложных заданий дает более быстрые и качественные результаты, чем загрузка их в одну подсказку.
- Самая коварная ошибка — непроверка; Плавный результат не означает точный.
Задача приложения
Найдите старую распечатку, которая вам не нравится, и запустите ее, ответив на «шесть диагностических вопросов». Отметьте, какие ошибки возникают, примените исправления в этом модуле для каждой и снова запустите подсказку. Обратите внимание, какая отдельная коррекция привела к наибольшему улучшению, а не к количеству раундов.
контрольный список
- [ ] В случае неправильного вывода я сначала запрашиваю подсказку, а не агента.
- [ ] Я могу ответить на шесть диагностических вопросов.
- [ ] Я делю сложные задачи на несколько подсказок.
- [ ] Я замечаю противоречивые и двусмысленные инструкции и исправляю их.
- [ ] Я проверяю фактические данные перед их публикацией.