Як працює Generative AI?

Прибуток:

• Токен може інтуїтивно пояснити поняття ймовірності та передбачення
• Розуміє, чому мовна модель створює текст «по частинах»
• Може пояснити, чому модель іноді поводиться рішуче, а іноді творчо

Коли ви пишете «найкраще про Стамбул» у мовну модель, вона створює плавний абзац за кілька секунд. Як це відбувається? Чи справді модель «думає» чи за цим стоїть набагато простіший, але потужний механізм? У цьому розділі ми пояснимо, як працює генеративний ШІ, не вдаючись у технічні рівняння, але встановивши правильну інтуїцію. Ця інтуїція є основою для всього, що далі — особливо для тем галюцинацій, перевірки та гарного швидкого письма. Generative AI, тобто «генеративний штучний інтелект», — це загальна назва для інструментів, які створюють текст з нуля замість того, щоб знаходити та отримувати існуючу відповідь.

Основна ідея: передбачення наступного твору

Дивно те, що єдине базове завдання, яке вивчає мовна модель, це «яка частина тексту, швидше за все, слідуватиме?» це відповісти на запитання. Модель не готує повне речення і не представляє його перед вами. Натомість він створює речення частина за частиною, зліва направо.

Ось як це працює крок за кроком:

1. Він читає текст (підказку), який ви пишете.
2. Прогнозує найбільш ймовірну частину, яка слідуватиме за цим текстом.
3. Додає цей фрагмент.
4. Він знову дивиться на щойно сформований текст і вгадує наступний, найімовірніший фрагмент.
5. Повторюється до повної відповіді.

Приклад: якщо ви дали моделі текст «Випий гарячу чашку, коли прокинешся вранці...», найімовірнішим продовженням буде «чай» або «кава»; Не "асфальт". Модель дізналася про такі ймовірності з мільйонів текстів. Потім він додає «чай», потім дивиться на нове речення і вгадує наступну, найімовірнішу частину, і так далі.

Іншими словами, на кожному кроці модель робить наступний крок, дивлячись на те, що вона написала. Ось чому його іноді називають «дуже просунутою версією автозаповнення». Але ця аналогія не повинна применшувати талант; У правильному масштабі це передбачення може дати результати, схожі на міркування.

Токен: маленькі фрагменти слова

Насправді модель працює не з повними «словами», а з меншими фрагментами, які називаються токенами. жетон; Іноді це ціле слово, іноді частина слова, іноді це розділовий знак.

• "книга" може бути окремою лексемою.
• "з наших книг" можна розділити на кілька лексем, таких як "книга", "с", "наш", "з".
• Пробіли та розділові знаки також вважаються маркерами.

Увага: токен - це не просто технічна деталь. Більшість інструментів штучного інтелекту стягують плату за кількість токенів, і довжина тексту (контекстного вікна), який моделі можуть обробляти за раз, також обмежена кількістю токенів. Тож «скільки довго ви пишете» — це прямі витрати та обмеження.

Імовірність і «теплота»: рішучість чи креативність?

На кожному кроці модель створює не одну остаточну відповідь, а ймовірний список можливих продовжень. Наприклад, після слова «гаряче»: чай 55%, кава 35%, молоко 7%, інші 3%. Тож яку він вибере?

Тут у гру вступає налаштування під назвою температура. Температура – ​​це своєрідна ручка творчості, яка визначає, наскільки модель буде «ризикувати».

Налаштування

поведінка

Висновок

Де це корисно?

низька температура

Завжди вибирає найбільш ймовірний варіант

Стабільний, повторюваний

Правове резюме, технічний опис, витяг даних

середньої температури

Збалансований вибір

Природний, але послідовний

Загальна електронна пошта, чернетка звіту

висока температура

Пробує менш ймовірні варіанти

Креативний, різноманітний, непередбачуваний

Мозковий штурм, слоган, виготовлення назви

Це також пояснює поширене запитання: «Чому я отримую різні відповіді, коли двічі ставлю те саме запитання?» Оскільки в процесі відбору є певна випадковість; Модель не отримує фіксовану відповідь із бази даних, вона відтворює її щоразу.

Слабка підказка / Сильна підказка

Знання того, що модель працює з "ймовірністю", також змінює те, як ви їй інструктуєте. Чим більше контексту ви надасте, тим вірогідніше буде правильне продовження.

Слабка підказка: Напишіть вступний текст.

Результат: модель створює найбільш «середній» і загальний текст, оскільки вона не знає, який продукт, яка аудиторія, який тон.

Наполеглива підказка: напишіть рекламний текст в Instagram для нової фільтрованої кави в маленькому кафе. Аудиторія: 25-35 років, любитель кави. Тон: доброзичливий, короткий. Максимум 3 речення, 2 хештеги в кінці.

Результат: корисний текст, який є релевантним, оскільки контекст звужує можливості.

Три міні-чохли

Кейс 1 — Маркетинг, велика різноманітність. Команда хотіла 30 слоганів для нового продукту. Завдяки налаштуванню високої температури модель створювала різні креативні варіанти; Команда відібрала та розробила 4 із 30. Загальний час: 10 хв. Якби це робили вручну, це зайняло б півдня.

Випадок 2 — Закон, висока рішучість. Юридична група цієї ж компанії спрощувала умову договору. Вони хотіли послідовності, а не креативності; При низькій температурі модель кожного разу давала практично однакову, консервативну підсумок. Таким чином, не було невідповідності між різними випробуваннями.

Випадок 3 — «Чому це змінилося?» запитання. Співробітник двічі запитував ту саму чернетку електронного листа та отримав два різні результати; Він вважав, що це "помилка". Насправді це природний наслідок випадковості моделі. Як тільки співробітник навчився зберігати ту версію, яка йому сподобалася, і при необхідності говорити «зробити як попередню», проблем не було.

Модель «розбирається»?

Це найцікавіше питання. Модель настільки ретельно вивчила статистичні зв’язки між словами, що вдає, що розуміє багато завдань. Але він не має свідомого розуміння, наміру чи механізму контролю реальності. Це створює «найймовірніше продовження»; Це не гарантує надання «найточнішої інформації». Це розрізнення є основою теми галюцинацій, яку ми обговоримо в наступних розділах.

Поширені помилки

Поширені помилки

• Прийнявши модель за пошукову систему. Модель не шукає в Інтернеті та не отримує ресурси (якщо немає спеціальної функції пошуку); Генерує можливий текст із пам'яті. Тож він може скласти джерело/фігуру.
• Приймаючи плавність за точність. Те, що текст красивий і впевнений, не означає, що його зміст правильний.
• Щоразу чекати однієї і тієї ж відповіді. Випадковість є природною; Збережіть результат, який вам подобається, для критичних завдань.
• Вставлення дуже довгого, непотрібного тексту та збільшення ліміту маркерів. Довжина збільшує вартість і може відволікати увагу моделі; просто надайте необхідний контекст.

Увага: те, що модель говорить вільно і впевнено, не означає, що вона говорить правильно. Плавність є природним наслідком оцінки ймовірності; Точність - це те, що потрібно перевіряти окремо та незалежно.

Підсумовуючи

• Generative AI генерує текст крок за кроком, передбачаючи наступний найбільш ймовірний фрагмент (токен); будує речення по частинах.
• Токени є меншими частинами слів і встановлюють обмеження вартості та довжини.
• На кожному кроці модель створює список можливостей; Налаштування температури визначає, наскільки стабільним або творчим буде результат.
• Причина різних відповідей на одне й те саме запитання пов’язана з випадковістю, властивою цьому процесу.
• Модель говорить вільно, але це не гарантує, що вона говорить правду; Швидкість і точність - різні речі.

Аплікаційне завдання

Дайте своєму інструменту штучного інтелекту одне й те саме творче завдання (наприклад, «швидко написати подяку») двічі поспіль і спостерігайте, як відрізняються результати. Потім повторіть те саме завдання з шаблоном «Потужна підказка», додавши контекст, і зверніть увагу на різницю в якості між двома результатами.

Контрольний список

• [ ] Я можу пояснити, що модель створює текст, «прогнозуючи наступний можливий фрагмент».
• Я знаю, що таке [ ] маркер і чому він означає вартість/ліміт.
• [ ] Я можу розрізняти роботу, яка потребує рішучості, і роботу, яка потребує творчості.
• [ ] Я знаю, що отримувати різні відповіді на те саме запитання – це нормально.
• [ ] Я усвідомив, що вільне володіння не є гарантією точності.