Как работает генеративный ИИ? — ИИ-грамотность

Прибыль:

Токен может интуитивно объяснять концепции вероятности и прогнозирования.
Понимает, почему языковая модель создает текст «по частям».
Может объяснить, почему модель иногда ведет себя решительно, а иногда творчески.

Когда вы вписываете в языковую модель «лучшее, что есть в Стамбуле», она создает беглый абзац за несколько секунд. Как это происходит? Действительно ли модель «думает» или за этим стоит гораздо более простой, но мощный механизм? В этом модуле мы объясним, как работает генеративный ИИ, не вдаваясь в технические уравнения, а опираясь на правильную интуицию. Эта интуиция является основой всего, что следует дальше, особенно тем, связанных с галлюцинациями, верификацией и хорошим быстрым письмом. Генеративный ИИ, то есть «генеративный искусственный интеллект», — это общее название инструментов, которые создают текст с нуля вместо поиска и получения существующего ответа.

Основная идея: предсказание следующего фрагмента

Удивительно то, что единственная базовая задача, которую изучает языковая модель, — это «какая часть текста с наибольшей вероятностью последует?» это ответить на вопрос. Модель не готовит законченное предложение и не предъявляет его перед вами. Вместо этого он создает предложение по частям, слева направо.

Вот как это работает шаг за шагом:

Он читает текст (подсказку), который вы пишете.
Прогнозирует наиболее вероятную часть, которая последует за этим текстом.
Добавляет этот кусок.
Он снова просматривает вновь сформированный текст и угадывает следующий наиболее вероятный фрагмент.
Повторяется до тех пор, пока ответ не будет полным.

Пример: если вы дали модели текст «Выпейте горячую чашку, когда проснетесь утром...», наиболее вероятным продолжением будет «чай» или «кофе»; Не «асфальт». Модель изучила такие вероятности из миллионов текстов. Затем он добавляет «чай», затем смотрит на новое предложение и угадывает следующую наиболее вероятную часть и так далее.

Другими словами, на каждом этапе модель делает следующий шаг, глядя на то, что она написала. Вот почему его иногда называют «очень продвинутой версией автозаполнения». Но эта аналогия не должна принижать талант; В правильном масштабе этот прогноз может дать результаты, похожие на рассуждения.

Жетон: Маленькие кусочки слова

На самом деле модель работает не с полными «словами», а с более мелкими частями, называемыми токенами. жетон; Иногда это целое слово, иногда часть слова, иногда знак препинания.

«книга» может быть одним токеном.
«из наших книг» можно разделить на несколько токенов, таких как «книга», «ы», «наш», «от».
Пробелы и знаки препинания также считаются токенами.

Внимание: Токен — это не просто техническая деталь. Большинство инструментов ИИ взимают плату за количество токенов, а длина текста (контекстного окна), которую модели могут обрабатывать одновременно, также ограничена в токенах. Так что «как долго вы пишете» — это прямые затраты и лимит.

Вероятность и «теплота»: решительность или творчество?

На каждом этапе модель выдает не один окончательный ответ, а список вероятностей возможных продолжений. Например, после слова «горячее»: чай 55%, кофе 35%, молоко 7%, прочее 3%. Так кого же он выберет?

Здесь в игру вступает настройка, называемая температурой. Температура – это своеобразный регулятор креативности, определяющий, насколько модель будет «рискнуть».

Настройка

поведение

Заключение

Где это полезно?

низкая температура

Всегда выбирает наиболее вероятный вариант

Стабильный, повторяемый

Юридическое резюме, техническое описание, извлечение данных

средняя температура

Сбалансированный выбор

Естественный, но последовательный

Общий адрес электронной почты, черновик отчета

высокая температура

Пробует менее вероятные варианты

Креативный, разнообразный, непредсказуемый

Мозговой штурм, слоган, создание названия

Это также объясняет часто задаваемый вопрос: «Почему я получаю разные ответы, когда задаю один и тот же вопрос дважды?» Потому что в процессе отбора есть некоторая случайность; Модель не извлекает фиксированный ответ из базы данных, она воспроизводит его каждый раз.

Слабая подсказка/Сильная подсказка

Знание того, что модель работает с «вероятностью», также меняет то, как вы ее инструктируете. Чем больше контекста вы дадите, тем больше вероятность правильного продолжения.

Слабая подсказка: напишите вступительный текст.

Результат: модель выдает максимально «средний» и общий текст, потому что не знает, какой продукт, какая аудитория, какой тон.

Сильная подсказка: напишите рекламный текст в Instagram для нового кофе с фильтром для небольшого кафе. Аудитория: 25-35 лет, кофеманы. Тон: дружелюбный, короткий. Максимум 3 предложения, 2 хештега в конце.

Результат: полезный текст, который актуален, поскольку контекст сужает возможности.

Три мини-кейса

Случай 1 — Маркетинг, большое разнообразие. Команде требовалось 30 слоганов для нового продукта. Благодаря настройке высокой температуры модель предлагала различные творческие возможности; Команда выбрала и разработала 4 из 30. Общее время: 10 минут. Если бы это было сделано вручную, это заняло бы полдня.

Случай 2 — Закон, высокая решимость. Команда юристов той же компании упрощала условия контракта. Они хотели последовательности, а не творчества; При низкой температуре модель каждый раз давала почти одно и то же, консервативное заключение. Таким образом, не было несоответствия между различными испытаниями.

Случай 3 — «Почему изменилось?» вопрос. Сотрудник дважды запросил один и тот же черновик электронного письма и получил два разных результата; Он подумал, что это «ошибка». Фактически это естественное следствие случайности модели. Как только сотрудник научился сохранять понравившуюся версию и при необходимости говорить «сделай как предыдущую», проблем не возникло.

Модель «понимает»?

Это самый любопытный вопрос. Модель настолько тщательно усвоила статистические связи между словами, что делает вид, что понимает многие задачи. Но у него нет сознательного понимания, намерения или механизма контроля реальности. Это производит «наиболее вероятное продолжение»; Это не гарантирует предоставление «наиболее точной информации». Это различие лежит в основе темы галлюцинаций, которую мы обсудим в следующих главах.

Распространенные ошибки

Принимаем модель за поисковую систему. Модель не выполняет поиск в Интернете и не извлекает ресурсы (если нет специальной функции поиска); Генерирует возможный текст из памяти. Чтобы он мог придумать источник/цифру.
Принимаю беглость за точность. То, что текст красивый и уверенный, не означает, что его содержание правильное.
Ожидая каждый раз одного и того же ответа. Случайность естественна; Сохраните понравившийся результат для важных задач.
Вставка очень длинного ненужного текста и увеличение лимита токенов. Длина увеличивает стоимость и может отвлекать внимание от модели; просто дайте необходимый контекст.

Внимание: То, что модель говорит бегло и уверенно, не означает, что она говорит правильно. Беглость речи — естественное следствие оценки вероятности; Точность — это то, что необходимо проверять отдельно и независимо.

В заключение

Генеративный ИИ шаг за шагом генерирует текст, предсказывая следующий наиболее вероятный фрагмент (токен); строит предложение по частям.
Токены представляют собой меньшие части слов и устанавливают ограничения как по стоимости, так и по длине.
На каждом этапе модель создает список возможностей; Настройка температуры определяет, насколько стабильным и креативным будет результат.
Причина разных ответов на один и тот же вопрос обусловлена случайностью, присущей этому процессу.
Модель свободно говорит, но это не гарантирует, что она говорит правду; Грамотность и точность — разные вещи.

Задача приложения

Дайте вашему инструменту искусственного интеллекта одно и то же творческое задание (например, «написать короткое благодарственное письмо») дважды подряд и посмотрите, как различаются результаты. Затем повторите ту же задачу с шаблоном «Мощная подсказка», добавив контекст, и обратите внимание на разницу в качестве между двумя результатами.

Контрольный список

[ ] Я могу объяснить, что модель создает текст, «предсказывая следующий возможный фрагмент».
Я знаю, что такое [ ] токен и почему он обозначает стоимость/лимит.
[ ] Я могу отличить работу, требующую решимости, от работы, требующей творчества.
[ ] Я знаю, что получать разные ответы на один и тот же вопрос — это нормально.
[ ] Я усвоил, что беглость речи не является гарантией точности.