Прибуток:
- Розпізнавання легких, збалансованих і потужних етапів моделі та режиму міркування
- Вибір відповідного рівня моделі залежно від складності завдання
- Здатність свідомо встановлювати баланс між затримкою, точністю та вартістю
Навчилися розраховувати ціну; Тепер давайте поговоримо про те, що ми отримуємо за цю ціну, а саме про рівні моделей і можливості. При виборі моделі постійно конкурують три сили: якість (точність), швидкість (затримка) і вартість. Поліпшення двох із цих трьох часто означає компроміс із третім. У блоці ви дізнаєтесь про легкі, збалансовані та потужні рівні, режим міркування та перевагу маленької/великої моделі; Ви зможете свідомо встановити правильний баланс відповідно до складності завдання.
Три рівні, три різні персонажі роботи
Майже кожен постачальник пропонує три рівні в одній сім’ї. Зіставимо їх із характером завдання:
- Легкий ярус (маленька модель): Дуже швидко, дуже дешево, «достатньо добре». Ідеально підходить для простих, повторюваних, великих завдань: класифікація, інструктаж, тегування, очищення даних, прості чернетки відповідей.
- Збалансований рівень (середня модель): хороша якість, прийнятна швидкість, прийнятна вартість. Вибір «за замовчуванням» для більшості повсякденної роботи: створення контенту, аналіз середньої довжини, відповіді клієнтів.
- Потужний рівень (велика модель): найвища якість, найповільніша, найдорожча. Для складних міркувань, тривалого та багатоетапного аналізу, складного коду, точної юридичної/фінансової оцінки.
Порада. Гарне початкове правило: починайте зі збалансованого рівня. Якщо якість низька, перейдіть до сильного рівня; Якщо якість дуже хороша, а гучність висока, перейдіть до рівня світла. Підхід «почніть з достатньо хорошого», а не підхід «почніть з найсильнішого», економить як гроші, так і час.
Що таке режим міркування?
Деякі моделі можуть спочатку «продумувати» відповідь крок за кроком, а не генерувати її безпосередньо. Це називається режимом міркування. Модель розбиває проблему на частини, обробляє в собі проміжні кроки і лише потім дає остаточну відповідь. Це схоже на те, як учень крок за кроком розв’язує математичну задачу на папері.
Коли це цінно? У багатокрокових логічних задачах: складне обчислення, виявлення протиріч, довгий ланцюжок висновків, складна помилка коду. У цьому виді роботи міркування значно підвищує точність.
Яка вартість? Міркування збільшує вартість і затримку, оскільки модель генерує більше «токенів мислення». Так буде і дорожче, і повільніше. Просте «цей огляд позитивний?» Міркувати над питанням - це все одно, що вбити муху молотком; створює непотрібні витрати та затримки.
Застереження: не залишайте режим аргументації відкритим для кожного завдання. Тримати його закритим для простих завдань і швидше, і дешевше. Деякі сучасні моделі оснащені «адаптивним» режимом мислення, який сам вирішує, коли йому потрібно думати; Однак ваше завдання — керувати нею свідомо.
Трикутник якість, швидкість, вартість
пріоритет
Відповідний рівень
міркування
Найнижча вартість, великий обсяг
легкий
Закрито
Баланс (більшість вакансій)
збалансований
в залежності від ситуації
Найвища точність, критичне рішення
сильний
відкритий
Миттєва відповідь, низька затримка (чат)
Легкий/збалансований
Закрито
Комплексний, багатоетапний аналіз
сильний
відкритий
Дивлячись на цю таблицю, запитайте себе: «Якою буде вартість, якщо я зроблю помилку в цьому завданні?» Якщо ціна висока (неправильна юридична оцінка, неправильне фінансове рішення), інвестиції сильного калібру та аргументації є виправданими. Якщо ціна низька (неправильна класифікація етикетки товару), достатньо легкої та швидкої моделі.
Маленька модель чи велика модель?
Всупереч поширеній думці, не для кожної роботи потрібна велика модель. Менші моделі стали напрочуд потужними, виконуючи багато завдань за десяту частину вартості та в кілька разів швидше, ніж більша модель. Три питання для вирішення:
- Завдання просте і шаблонне? (Класифікація, витяг, короткий зміст) → Мала модель.
- Чи занадто висока гучність, а швидкість критична? → Маленька модель, тому що велика модель дорога і повільна.
- Чи потребує завдання детального міркування, розширеного контексту чи креативності? → Велика модель.
Три реалістичні випадки
Випадок 1 — достатньо легкої моделі. Команда електронної комерції сортує 40 000 коментарів клієнтів на день на позитивні/негативні/нейтральні. Вони пробують це з потужною моделлю, а потім порівнюють із легкою моделлю: точність майже така ж (96% проти 94%), але полегшена модель у 8 разів дешевша та в 3 рази швидша. Легка модель, безумовно, є правильним вибором для цього завдання; Додаткові 2% точності не виправдовують 8-кратну вартість.
Випадок 2 — Сильна модель + міркування є обов’язковими. Фірма податкового консультування хоче розрахувати складний багатоетапний податковий сценарій. Легка модель допускає помилки на проміжних етапах і дає неправильні результати. Коли вони використовують потужну модель із увімкненим режимом аргументації, модель прогресує крок за кроком і досягає правильного висновку. Тут додаткові витрати та затримки прийнятні, оскільки ціна помилки висока; Проте експерт підтверджує результат.
Випадок 3 — Змішане використання. Кол-центр обробляє стенограми дзвінків у два етапи: спочатку він коротко підсумовує кожен дзвінок за допомогою легкої моделі (великий обсяг, проста робота), потім він передає лише дзвінки, позначені як «скарги», до потужної моделі та виконує аналіз першопричини (малий обсяг, складна робота). Таким чином, вони дешево обробляють основну частину обсягу, водночас зберігаючи силу сильного шаблону для кількох справді важливих викликів.
Слабка підказка / Сильна підказка
Слабка підказка:
Розв’яжіть цей податковий сценарій. [складний сценарій]
Незрозуміло, наскільки ретельно модель будуть розглядати.
Потужна підказка:
Ваша посада: старший податковий спеціаліст. Завдання: Поетапно розв’яжіть наступний багатоетапний сценарій. Спочатку перерахуйте припущення, потім обчисліть і покажіть кожен крок окремо, і, нарешті, надайте кінцевий результат. Якщо є пункт, у якому ви не впевнені або який залежить від законодавства, позначте це як «потрібне підтвердження експерта». Пропуск проміжних кроків.[сценарій]
Потужна підказка направляє модель через покрокове мислення (заохочуючи міркувати) і робить проміжні кроки видимими для перевірки.
Шаблони, які можна копіювати
1 стадія діагностики:
Моя місія: [ЗАВДАННЯ]. Обсяг: [NUMBER/день]. Вартість помилки: [НИЗЬКА/СЕРЕДНЯ/ВИСОКА]. Пріоритет швидкості: [НИЗЬКА/ВИСОКА]. Виходячи з цього профілю, який рівень (легкий/збалансований/сильний) і міркування (відкритий/закритий) ви б порекомендували? Обґрунтуйте.
2. Мале/велике модельне рішення:
Ставлю наступне завдання: [ЗАВДАННЯ]. Чи можна цю проблему вирішити за допомогою маленької (легкої) моделі чи потрібна велика модель? Запропонуйте мені 3 тести та поріг успіху, який я спробую вирішити за допомогою маленької моделі.
3. Доцільність міркування:
Чи буде режим міркування (роздумів крок за кроком) корисним чи дорогим у такому завданні: [ЗАВДАННЯ]? Обґрунтуйте своє рішення кількістю кроків і логічною складністю завдання.
4. Двоетапне проектування робочого процесу:
Розробіть двоступеневий потік, щоб зменшити витрати на наступне завдання великого обсягу [ЗАВДАННЯ]: яка частина має бути передана полегшеній моделі, яка — потужній? Напишіть рівень і обґрунтування кожного кроку.
Поширені помилки
- Потужна модель для будь-якої роботи: створення непотрібних витрат і затримок завдяки використанню найпотужнішої моделі в простих і об’ємних роботах.
- Завжди залишайте ввімкненим міркування: підтримуйте режим мислення в простих завданнях і витрачайте час і гроші даремно.
- Прийняття рішень без вимірювання якості: припущення «що більше, то краще» без порівняння двох рівнів із вашими власними даними.
- Забути про потребу у швидкості: у місцях, де потрібна миттєва відповідь, наприклад у чаті, вибирайте повільну потужну модель і змушуйте користувача чекати.
- Взагалі не думати про двоступеневий потік: не будувати весь об’єм однією моделлю і не економити на частині, яку можна зробити дешево.
Підсумовуючи
- Вибір моделі - це балансування в трикутнику якість, швидкість і вартість; Покращення двох часто вимагає компромісу з третім.
- Легкий стільчик підходить для простих/громіздких робіт, міцний – для складних/критичних робіт; Збалансований етап є хорошим початком для більшості робіт.
- Режим аргументації покращує точність у багатоетапних задачах, але збільшує вартість і затримку; Його не слід залишати відкритим для кожного завдання.
- «Яка ціна невдачі в цій місії?» Питання - це компас рішення рівня та аргументації. Двоступеневі потоки забезпечують велику економію обсягів робіт.
Аплікаційне завдання
Виберіть завдання у своїй роботі та визначте, яка стадія та параметр міркування підходять за допомогою шаблону 1 (діагностика стадії). Якщо завдання полягає у великому обсязі, придумайте дизайн, який спрямовує частину об’єму на легку модель, а критичну частину — на сильну модель за допомогою шаблону 4 (двоетапний робочий процес). Ми використаємо цей дизайн у дослідженні модельного портфоліо в розділі 9.
контрольний список
- [ ] Я можу порівняти характер роботи з легкими, збалансованими та потужними сценами.
- [ ] Я можу пояснити, що робить режим аргументації та скільки він коштує.
- [ ] Я можу свідомо встановити баланс між якістю, швидкістю та ціною для завдання.
- [ ] Я можу відповісти на питання малої або великої моделі трьома запитаннями.
- [ ] Я можу розробити двоступеневий потік для великого обсягу робіт.