Добици:
- Препознавање лаких, уравнотежених и моћних фаза модела и начина размишљања
- Одабир одговарајућег нивоа модела на основу тежине задатка
- Способност да се свесно успостави равнотежа између кашњења, тачности и цене
Научили смо да израчунамо цену; Хајде сада да причамо о томе шта добијамо за ту цену, односно о нивоима модела и могућностима. Три силе се стално такмиче при избору модела: квалитет (тачност), брзина (латенција) и цена. Побољшање два од ова три често значи компромитовање трећег. У јединици ћете научити о лаганим, уравнотеженим и моћним нивоима, начину размишљања и преференцијама малих/великих модела; Бићете у стању да свесно успоставите праву равнотежу у складу са тежином задатка.
Три нивоа, три различита карактера посла
Скоро сваки провајдер нуди три нивоа у оквиру исте породице. Хајде да их ускладимо са карактером задатка:
- Лагани ниво (мали модел): Веома брзо, веома јефтино, „довољно добро“. Идеално за једноставне, понављајуће задатке великог обима: класификација, брифинг, означавање, чишћење података, једноставни нацрти одговора.
- Уравнотежен ниво (средњи модел): Добар квалитет, разумна брзина, разумна цена. „Подразумевани“ избор за већину свакодневног посла: производња садржаја, анализа средње дужине, одговори купаца.
- Моћан ниво (велики модел): Најквалитетнији, најспорији, најскупљи. За сложено резоновање, дугу анализу у више корака, тежак код, прецизну правну/финансијску процену.
Савет: Добро почетно правило: Почните са уравнотеженим нивоом. Ако је квалитет лош, пређите на јак ниво; Ако је квалитет изузетно добар, а јачина звука велика, спустите се на ниво светлости. Приступ „почни са довољно добрим“, а не приступ „почни са најјачим“, штеди и новац и време.
Шта је Реасонинг Моде?
Неки модели можда прво „размишљају“ о одговору корак по корак уместо да га директно генеришу. Ово се зове начин размишљања. Модел разлаже проблем на делове, обрађује међукораке у себи и тек онда даје коначан одговор. Ово је слично као да ученик решава математички задатак корак по корак на папиру.
Када је то вредно? У вишестепеним, логичким проблемима: сложено израчунавање, откривање контрадикција, дугачак ланац закључивања, тешка грешка кода. У овој врсти рада расуђивање значајно повећава тачност.
Која је цена? Резоновање повећава трошкове и кашњење јер модел генерише више „жетона за размишљање“. Тако ће бити и скупље и спорије. Једноставно „да ли је ова рецензија позитивна?“ Образложење о питању је као убијање муве чекићем; ствара непотребне трошкове и кашњења.
Опрез: Не остављајте начин размишљања отвореним за сваки задатак. Брже је и јефтиније држати га затвореним за једноставне задатке. Неки од модерних модела долазе са "прилагодљивим" начином размишљања који сам одлучује када треба да размишља; Међутим, ваш је посао да то свесно управљате.
Троугао квалитета, брзине, трошкова
приоритет
Одговарајући ниво
расуђивање
Најнижа цена, велики обим
лагана
Затворено
Стање (већина послова)
избалансиран
зависно од ситуације
Највећа прецизност, критична одлука
јака
отворен
Тренутни одговор, мало кашњење (ћаскање)
Лагано/уравнотежено
Затворено
Комплексна анализа у више корака
јака
отворен
Док гледате ову табелу, запитајте се: „Која ће бити цена ако направим грешку у овом задатку?“ Ако је цена висока (погрешна правна процена, погрешна финансијска одлука) улагање јаког калибра и образложења је оправдано. Ако је цена ниска (погрешна класификација етикете производа), довољан је лаган и брз модел.
Мали модел или велики модел?
Супротно популарном веровању, не захтева сваки посао велики модел. Мањи модели су постали изненађујуће способни, обављајући многе задатке по десетој цени и неколико пута брже од већег модела. Три питања за одлуку:
- Да ли је задатак једноставан и формулисан? (Класификација, издвајање, кратак резиме) → Мали модел.
- Да ли је јачина звука превелика и брзина је критична? → Мали модел, јер је велики модел скуп и спор.
- Да ли задатак захтева нијансирано резоновање, проширени контекст или креативност? → Велики модел.
Три реална случаја
Случај 1 — Лагани модел је довољан. Тим за е-трговину разврстава 40.000 коментара купаца дневно у позитивне/негативне/неутралне. Пробају га са моћним моделом, а затим га упореде са лаким моделом: тачност је скоро иста (96% наспрам 94%), али је лагани модел 8 пута јефтинији и 3 пута бржи. Лагани модел је далеко прави избор за овај задатак; Додатних 2% тачности не оправдава 8 пута више трошкова.
Случај 2 — Јак модел + резоновање је неопходно. Пореска консултантска фирма жели да израчуна сложени вишестепени порески сценарио. Лагани модел прави грешке у средњим корацима и даје нетачне резултате. Када користе моћан модел са укљученим режимом размишљања, модел напредује корак по корак и долази до исправног закључка. Овде су додатни трошкови и кашњења прихватљиви јер је цена грешке висока; Међутим, стручњак потврђује резултат.
Случај 3 — Мешовита употреба. Позивни центар обрађује транскрипте позива у два корака: прво, укратко сумира сваки позив са лаким моделом (велики обим, једноставан посао), затим моћном моделу даје само позиве означене као „притужбе“ и врши анализу основног узрока (мали обим, сложен посао). Дакле, они јефтино обрађују већину обима, док задржавају моћ снажног обрасца за неколико позива који су заиста важни.
Слаба порука / јака промпт
Слабо обавештење:
Решите овај порески сценарио. [сложен сценарио]
Није јасно колико ће модел пажљиво размотрити.
Снажан упит:
Ваша улога: виши порески специјалиста. Задатак: Решите следећи вишестепени сценарио корак по корак. Прво наведите претпоставке, затим израчунајте и прикажите сваки корак посебно и на крају дајте нето резултат. Ако постоји тачка у коју нисте сигурни или која зависи од закона, означите је као „потребна је стручна потврда“. Прескакање средњих корака.[сценариј]
Моћни промпт води модел кроз размишљање корак по корак (охрабрујући резоновање) и чини међукораке видљивим ради провере.
Цопиабле Темплатес
Дијагноза прве фазе:
Моја мисија: [ТАСК]. Обим: [НУМБЕР/дан]. Цена грешке: [НИСКА/СРЕДЊА/ВИСОКА]. Приоритет брзине: [НИЗАК/ВИСОКИ]. На основу овог профила, који ниво (лаган/уравнотежен/јак) и образложење (отворен/затворен) бисте препоручили? Јустифи.
2. Одлука о малом/великом моделу:
Дефинишем следећи задатак: [ТАСК]. Да ли се овај проблем може решити малим (лаганим) моделом или је потребан велики модел? Предложите 3 тест случаја и праг успеха да покушам да решим са малим моделом.
3. Прикладност резоновања:
Да ли би начин резоновања (размишљања корак по корак) био користан или скуп у следећем задатку: [ЗАДАЋАК]? Образложите своју одлуку на основу броја корака и логичке сложености задатка.
4. Дизајн тока посла у две фазе:
Дизајнирајте двостепени ток да бисте смањили трошкове на следећем задатку великог обима [ЗАДАЋАК]: који део треба да иде у лакши модел, који део треба да иде у моћни модел? Напишите ниво и образложење за сваки корак.
Уобичајене грешке
- Моћан модел за сваки посао: Стварање непотребних трошкова и кашњења коришћењем најмоћнијег модела у једноставним и обимним пословима.
- Увек оставите размишљање укљученим: Одржавајте начин размишљања укљученим у једноставним задацима и узалуд губите време и новац.
- Доношење одлука без мерења квалитета: Под претпоставком „веће је боље“ без поређења два нивоа са сопственим подацима.
- Заборављање на потребу за брзином: На местима где је потребан тренутни одговор, као што је ћаскање, бирање спорог моћног модела и стављање корисника на чекање.
- Уопште не размишљамо о двостепеном протоку: немамо читаву запремину изграђену од стране једног модела и не штедимо на делу који се може јефтино урадити.
Укратко
- Избор модела је балансирање у троуглу квалитета, брзине и цене; Побољшање два често захтева компромитовање трећег.
- Лагана фаза је погодна за једноставне/велике послове, јака фаза је погодна за сложене/критичне послове; Уравнотежена фаза је добар почетак за већину послова.
- Реасонинг моде побољшава прецизност у проблемима у више корака, али повећава трошкове и кашњење; Не треба га оставити отворен за сваки задатак.
- „Која је цена неуспеха у овој мисији?“ Питање је компас одлуке нивоа и расуђивања. Двостепени токови обезбеђују велике уштеде у обимним пословима.
Задатак апликације
Изаберите задатак у свом послу и одредите која фаза и поставка образложења су прикладна помоћу шаблона 1 (дијагностика фазе). Ако је задатак велики обим, осмислите дизајн који усмерава део запремине на лагани модел, а критични део на јак модел са шаблоном 4 (двостепени радни ток). Овај дизајн ћемо користити у студији портфолија модела у јединици 9.
контролна листа
- [ ] Могу да парирам радном карактеру лаких, уравнотежених и моћних позорница.
- [ ] Могу да објасним шта начин размишљања ради и колико кошта.
- [ ] Могу свесно да успоставим равнотежу квалитета, брзине и цене за задатак.
- [ ] Могу одговорити на питање малог или великог модела са три питања.
- [ ] Могу да дизајнирам двостепени ток за посао великог обима.