Печалби:
- Разпознаване на леки, балансирани и мощни етапи на модела и режим на разсъждение
- Избор на подходящо ниво на модел въз основа на трудността на задачата
- Способност за съзнателно установяване на баланса между латентност, точност и цена
Научихме се да изчисляваме цената; Сега нека поговорим какво получаваме за тази цена, а именно нивата и възможностите на модела. Три сили постоянно се конкурират при избора на модел: качество (точност), скорост (закъснение) и цена. Подобряването на две от тези три често означава компрометиране на третото. В модула ще научите за леки, балансирани и мощни нива, режим на разсъждение и предпочитание за малък/голям модел; Ще можете съзнателно да установите правилния баланс според трудността на задачата.
Три нива, три различни персонажа за работа
Почти всеки доставчик предлага три нива в едно и също семейство. Нека ги свържем с характера на задачата:
- Лек слой (малък модел): Много бързо, много евтино, „достатъчно добър“. Идеален за прости, повтарящи се задачи с голям обем: класификация, брифинг, маркиране, почистване на данни, прости чернови на отговори.
- Балансирано ниво (среден модел): Добро качество, разумна скорост, разумна цена. Изборът „по подразбиране“ за повечето ежедневна работа: производство на съдържание, анализ на средна дължина, отговори на клиенти.
- Мощно ниво (голям модел): Най-високо качество, най-бавно, най-скъпо. За сложни разсъждения, дълъг и многоетапен анализ, труден код, прецизна правна/финансова оценка.
Съвет: Добро начално правило: Започнете с балансирано ниво. Ако качеството е лошо, преминете към силното ниво; Ако качеството е изключително добро и силата на звука е висока, намалете нивото на светлината. Подходът „започнете с достатъчно добър“, а не подходът „започнете с най-силния“, спестява както пари, така и време.
Какво е режим на разсъждение?
Някои модели може първо да „обмислят“ отговора стъпка по стъпка, вместо да го генерират директно. Това се нарича режим на разсъждение. Моделът разбива проблема на части, обработва междинните стъпки в себе си и едва тогава дава крайния отговор. Това е подобно на ученик, който решава математически проблем стъпка по стъпка на хартия.
Кога е ценен? В многоетапни логически проблеми: сложно изчисление, откриване на противоречия, дълга верига от изводи, трудна грешка в кода. При този тип работа разсъжденията значително повишават точността.
каква е цената Разсъжденията увеличават разходите и забавянето, тъй като моделът генерира повече „мислещи токени“. Така хем ще е по-скъпо, хем ще е по-бавно. Просто „този преглед положителен ли е?“ Разсъждението по въпроса е като да убиеш муха с чук; създава ненужни разходи и забавяния.
Внимание: Не оставяйте режима на разсъждение отворен за всяка задача. По-бързо и по-евтино е да го държите затворен за прости задачи. Някои от съвременните модели идват с "адаптивен" режим на мислене, който сам решава кога трябва да мисли; Вашата работа обаче е да го управлявате съзнателно.
Триъгълник качество, скорост, цена
приоритет
Подходящо ниво
разсъждения
Най-ниска цена, голям обем
лек
Затворено
Баланс (повечето работни места)
балансиран
в зависимост от ситуацията
Най-висока точност, критично решение
силен
отворен
Незабавен отговор, ниска латентност (чат)
Лек/балансиран
Затворено
Комплексен, многоетапен анализ
силен
отворен
Докато гледате тази таблица, запитайте се: „Каква ще бъде цената, ако направя грешка при тази задача?“ Ако цената е висока (грешна правна оценка, грешно финансово решение), инвестицията със силен калибър и аргументация е оправдана. Ако цената е ниска (грешно класифициране на етикета на продукта), лек и бърз модел е достатъчен.
Малък или голям модел?
Противно на общоприетото схващане, не всяка работа изисква голям модел. По-малките модели станаха изненадващо способни, изпълнявайки много задачи на една десета цена и няколко пъти по-висока скорост от по-големия модел. Три въпроса за решение:
- Задачата проста и формулирана ли е? (Класификация, извличане, кратко резюме) → Малък модел.
- Силата на звука твърде висока ли е и скоростта ли е критична? → Малък модел, защото големият модел е скъп и бавен.
- Задачата изисква ли нюансирано разсъждение, разширен контекст или креативност? → Голям модел.
Три реалистични случая
Случай 1 — Лекият модел е достатъчен. Екип за електронна търговия сортира 40 000 коментара на клиенти на ден в положителни/отрицателни/неутрални. Те го пробват с мощния модел и след това го сравняват с лекия модел: точността е почти същата (96% срещу 94%), но лекият модел е 8 пъти по-евтин и 3 пъти по-бърз. Лекият модел определено е правилният избор за тази задача; Допълнителните 2% точност не оправдават 8 пъти цената.
Случай 2 — Силен модел + мотивиране е задължително. Фирма за данъчни консултации иска да изчисли сложен многоетапен данъчен сценарий. Лекият модел прави грешки в междинните стъпки и дава неправилни резултати. Когато използват мощния модел с включен режим на разсъждение, моделът напредва стъпка по стъпка и достига до правилното заключение. Тук допълнителните разходи и забавяния са приемливи, тъй като цената на грешката е висока; Експерт обаче потвърждава резултата.
Случай 3 — Смесено използване. Центърът за обаждания обработва транскрипции на обаждания в две стъпки: първо обобщава накратко всяко обаждане с олекотен модел (висок обем, проста работа), след това дава само обажданията, маркирани като „жалби“ към мощния модел и извършва анализ на първопричината (нисък обем, сложна работа). Така те обработват по-голямата част от обема евтино, като същевременно запазват силата на силния модел за малкото повиквания, които наистина имат значение.
Слаба подкана / Силна подкана
Слаба подкана:
Разрешете този данъчен сценарий. [сложен сценарий]
Не е ясно колко внимателно моделът ще разгледа.
Мощна подкана:
Вашата роля: старши данъчен специалист. Задача: Решете стъпка по стъпка следния многоетапен сценарий. Първо избройте предположенията, след това изчислете и покажете всяка стъпка поотделно и накрая дайте крайния резултат. Ако има точка, за която не сте сигурни или зависи от законодателството, маркирайте я като „изисква се експертно потвърждение“. Пропускане на междинни стъпки.[сценарий]
Мощната подкана насочва модела чрез мислене стъпка по стъпка (насърчаване на разсъждение) и прави междинните стъпки видими за проверка.
Копируеми шаблони
Етап 1 диагноза:
Моята мисия: [ЗАДАЧА]. Обем: [NUMBER/ден]. Цена на грешката: [НИСКА/СРЕДНА/ВИСОКА]. Приоритет на скоростта: [НИСКА/ВИСОКА]. Въз основа на този профил, какво ниво (леко/балансирано/силно) и мотивация (отворено/затворено) бихте препоръчали? Обосновете.
2. Малък/голям модел решение:
Определям следната задача: [ЗАДАЧА]. Може ли този проблем да се реши с малък (лек) модел или е необходим голям модел? Предложете ми 3 тестови случая и праг на успех, който да опитам да разреша с малкия модел.
3. Целесъобразност на мотивите:
Режимът на разсъждение (мислене стъпка по стъпка) ще бъде ли полезен или скъп при следната задача: [ЗАДАЧА]? Обосновете решението си въз основа на броя на стъпките и логическата сложност на задачата.
4. Двуетапен дизайн на работния процес:
Проектирайте двуетапен поток, за да намалите разходите за следната задача с голям обем [ЗАДАЧА]: коя част трябва да отиде към олекотения модел, коя част трябва да отиде към мощния модел? Напишете нивото и обосновката за всяка стъпка.
Често срещани грешки
- Мощен модел за всяка работа: Създаване на ненужни разходи и забавяния чрез използване на най-мощния модел в прости и обемни задачи.
- Винаги оставяйте разсъжденията включени: Поддържане на режима на мислене включен при прости задачи и губене на време и пари напразно.
- Вземане на решения без измерване на качеството: приемайки „по-голямото е по-добро“, без да сравнявате две нива с вашите собствени данни.
- Забравяне на нуждата от скорост: На места, където се изисква незабавен отговор, като чат, избиране на бавен мощен модел и каране на потребителя да чака.
- Изобщо да не мислим за двустепенния поток: да не изграждаме целия обем от един модел и да не пестим от частта, която може да бъде направена евтино.
В обобщение
- Изборът на модел е балансиращ акт в триъгълника качество, скорост и цена; Подобряването на две често изисква компрометиране на третата.
- Леката степен е подходяща за прости/обемисти работи, силната е подходяща за сложни/критични задачи; Балансираният етап е добро начало за повечето работни места.
- Режимът на разсъждение подобрява точността при многоетапни проблеми, но увеличава разходите и забавянето; Не трябва да се оставя отворен за всяка задача.
- „Каква е цената на провала в тази мисия?“ Въпросът е компасът на решението на нивото и мотивите. Двустепенните потоци осигуряват големи спестявания при обемни работни места.
Задача за приложение
Изберете задача във вашата работа и определете кой етап и настройка на мотивите са подходящи с шаблон 1 (диагностика на етапа). Ако задачата е голям обем, измислете дизайн, който насочва част от обема към олекотения модел и критичната част към силния модел с шаблон 4 (двуетапен работен процес). Ще използваме този дизайн в изследването на модела на портфолиото в раздел 9.
контролен списък
- [ ] Мога да се сравня с работния характер на леки, балансирани и мощни сцени.
- [ ] Мога да обясня какво прави режимът на разсъждение и колко струва.
- [ ] Мога съзнателно да установя баланса между качество, скорост и цена за дадена задача.
- [ ] Мога да отговоря на въпроса за малък или голям модел с три въпроса.
- [ ] Мога да проектирам двустепенен поток за работа с голям обем.