Добици:
- Може да дизајнира како системска линија води модел кроз цео разговор
- Разуме улогу и утицај на трошкове адаптивног размишљања и параметара напора
- имплементира излазне контроле као што су мак_токени, стоп секвенце и структурирани излаз
Два различита производа истог модела могу се понашати потпуно другачије. Разлика није у самом моделу, већ у системском промпту и параметрима који су му дати. Системски промпт је "уговор о раду" модела, а параметри су "радна подешавања". У овој јединици ћете научити како да дизајнирате моћан системски промпт, шта раде поставке размишљања и напора у модерним моделима и како да контролишете излаз за формат/дужину. Исправно подешавање ових подешавања омогућава вам да истовремено управљате квалитетом и ценом.
Системски промпт: стална директива модела
Системски промпт је инструкција високог нивоа која се примењује током целог разговора. Ова правила остају важећа без обзира шта корисник унесе. Добар системски одзивник укључује следеће компоненте:
- Улога/идентитет: Ко је модел? („Ви сте помоћник за корпоративну подршку.“)
- Обим и границе: шта ради, а шта не? („Засновано само на достављеном документу политике.“)
- Правила формата: Како би требало да изгледа излаз? („Највише 3 чланка, службени језик.“)
- Понашање у неизвесности: Шта неко ради када није сигуран? („Ако нема информација, измислите, упутите релевантној јединици.“)
- Безбедност/приватност: Шта не жели/не жели? („Захтевајте личне податке.“)
Савет: Одржавајте системски одзив фиксним. Немојте уграђивати информације које се мењају са сваким захтевом (тренутни датум, корисничко име, ИД сесије). Ово истовремено нарушава конзистентност и поништава кеш промпта на јединици 6. Ставите информације о променљивој у корисничку поруку.
Замка претерано агресивних инструкција
Модерни модели веома пажљиво прате упутства. Агресивне фразе као што су „МОРА“, „УВЕК“, „ДЕФИНИТИВНО уради ово“ итд., које су функционисале у старијим моделима, данас доводе до претераног покретања: модел позива агента када није потребан или ради непотребно дуго. Ублажите правило: уместо „МОРАТЕ користити алатку за претрагу“, „Ако одговор није у разговору, користите алатку за претрагу“ је тачније.
Параметри модела: Мисао и напор
Класични ЛЛМ су имали температурни параметар: нижа вредност је произвела конкретнији/конзистентнији излаз, виша вредност је произвела разноврснији/креативнији излаз. Модели модерне генерације (као што су Опус 4.8, Сонет 5) замењују овај приступ са два моћнија механизма и више не прихватају параметре узорковања као што је температура.
- Адаптивно размишљање: Модел размишља корак по корак у својој „глави“ пре него што одговори. Модел одлучује колико ће размишљати на основу тежине задатка. Значајно побољшава прецизност на сложеним проблемима у више корака; Мање размишља да би избегао непотребна одлагања на једноставна питања.
- Напор: Дугме високог нивоа које подешава колико дубоко модел зарони у задатак и колико токена укупно троши. Типични нивои: низак, средњи, висок и виши. Велики напор може побољшати квалитет, али такође повећава кашњење и трошкове; Мали напор доноси брзину и уштеду.
Подешавање
Шта ради
када
Размишљање/ниски напор
Брзо, јефтино, површно
Једноставна класификација, кратак одговор, кашњење осетљивих задатака
Адаптивно размишљање + средњи напор
Уравнотежен квалитет/цена
Већина задатака опште намене
Адаптивно размишљање + велики напор
највећа тачност
Сложено резоновање, кодирање, рад агената на даљину
Опрез: Рефлекс "максимални напор без обзира на све" надувава трошкове. Прилагодите напор задатку; У једноставним задацима, мали напор често даје исти тачан резултат по много нижој цени. Идите високо тамо где је потребна критична прецизност.
Контрола излаза: формат, дужина, структура
Поред параметара, контролишете и сам излаз:
- мак_токенс: Тврди плафон излаза (1. и 3. јединица).
- Стоп секвенце: Заустављање модела када види одређени низ. Корисно за постављање тачака прекида у структурираној производњи.
- Структурирани излаз: Присилите одговор модела да буде у складу са ЈСОН шемом коју наведете. Осигурава да је излаз програмски рашчлањен и валидан. Поузданије је него рећи „само врати ЈСОН“ уз промпт.
{ "оутпут_цонфиг": { "формат": { "типе": "јсон_сцхема", "сцхема": { "типе": "објецт", "аддитионалПропертиес": фалсе, "пропертиес": { "цатегори": { "типе": "стринг", "енум": ["фактура", "технички", "повратак": "ург": "ург"] "стринг", "енум": ["ниска", "средња", "висока"] } }, "потребно": ["категорија", "хитност"] } } }}
Шаблони системских упита који се могу копирати
# Помоћник за корпоративну подршкуВи сте помоћник за корпоративну подршку.- Ослоните се искључиво на документ о политици који сте добили; Ако то није у документу, реците „Немам ову информацију“. - Дајте формалан и јасан одговор у максимално 3 реченице. - Тражите личне податке (ТЦ ИД број, број картице) и немојте то понављати у свом одговору. - Ако нисте сигурни, немојте погађати.
# Структурирани излазни класификатор Ви сте класификатор потражње. Улаз је порука купца. Вратите само тражена поља, не пишите коментаре. Ако нисте сигурни, користите „друго“.
# Аналитичар са дефинисаним понашањем стајања у неизвесностиВи сте аналитичар података. Извадите само проверљиве закључке из дате табеле. Никада немојте доносити закључак који не постоји у подацима. Ако је закључак нејасан, напишите „подаци недовољни“.
# Писац садржаја са контролом тона и дужине Ви сте писац садржаја. Користите топао, али професионалан тон. Ограничите сваки текст на 120 речи или мање. Избегавајте клише маркетиншки језик.
Слаби промпт / Јаки промпт
# СЛАБО Будите од помоћи и дајте добре одговоре. Дајте све од себе.
# СНАЖНА Улога: Специјалиста за техничку подршку. Обим: обезбеђен само водич за производе. Формат: корак по корак, нумерисана листа, максимално 5 корака. Ограничење: Препоручено решење није у водичу; Реците "Нисам могао да га пронађем у приручнику." Приватност: Не понављајте серијски број који је корисник поделио у одговору.
Моћна верзија; Он посебно одређује улогу, обим, формат, границе и поверљивост. Конзистентност излаза долази директно из ове јасноће.
Три мини кућишта
Случај 1 — Смањење трошкова кроз прилагођавање напора. Један тим је изводио све своје позиве уз велики напор + размишљање; Чак су и једноставни прегледи е-поште били скупи и спори за производњу. Доделили су једноставне задатке као што су резимеи малим напорима и анализа уговора великим напорима. Одржана је тачност, просечна латенција је преполовљена, а месечни трошкови смањени за трећину.
Случај 2 — ЈСОН гаранција. Оперативни тим је тражио излаз за класификацију уз промпт који је рекао „само дај ЈСОН“, али би модел повремено написао „Ево резултата:“ и парсер би се срушио. Када сам повезао конфигурисану излазну шему, излаз је сваки пут враћао важећи ЈСОН; грешке рашчлањивања су ресетоване.
Случај 3 — Агресивни брзи трзај. Промпт помоћника је рекао: „МОРА се тражити СВАКО ПИТАЊЕ“; Модел је непотребно тражио чак и једноставна питања на која је већ знао одговор, успоравајући и повећавајући трошкове. Релаксирали су правило на „Ако одговор није у контексту, претражи“; Непотребни позиви су смањени за 70%, а одговори су се убрзали.
Уобичајене грешке
- Уграђивање променљивих података у системску линију: Нарушава доследност и поништава кеш.
- Претерано агресивна упутства: Претерано активирање и непотребни трошкови у модерним моделима.
- Велики напор у сваком задатку: губитак у једноставним задацима; прилагодите напор задатку.
- Захтевање ЈСОН-а само путем одзивника: Повремено се прекида; ако је критично, користите структурирани излаз.
- Недефинисање понашања граница/двосмислености: Модел попуњава празнину измишљотином (халуцинацијом).
- Стара `температурна` навика: Модерни модели ово не прихватају; Водите понашање уз брз и напор.
Дубље: Писање упита као уговора
Искусни тимови третирају системски брзи као уговор, а не као књижевни текст: јасне клаузуле, мерљива правила, недвосмислене границе. Овај приступ има три конкретне предности. Први је конзистентност: исти улаз даје сличан излаз у различито време. Друго је могућност тестирања: можете тестирати сваку ставку посебно са узорком. Треће је лакоћа одржавања: ако је понашање погрешно, знате коју ставку да замените.
Добра пракса је водити са позитивним примерима. Уместо да дате листу „немојте то да радите“, много је ефикасније у модерним моделима дати пример који каже „тачно овако изгледа жељени резултат“. На пример, у класификатору, додавање једног или два узорка очекиваног ЈСОН-а у одзивник значајно смањује грешке у форматирању.
Још једна моћна техника је да се експлицитно запише понашање несигурности. Клаузула као што је "Ако нисте сигурни, немојте погађати; реците 'недовољно података'" потискује тенденцију модела да попуни празнину измишљотином (халуцинација). Ова појединачна реченица растерећује слој верификације, који ћемо покрити у јединици 11: када је модел већ означио несигурност, постаје лакше довести до људске валидације.
Коначно, размислите о труду и брзини заједно. Уз велики напор, модел истражује више и понекад ради нежељени „додатни посао“ (непотребно објашњење, додатни предлог). Рећи „дајте само жељени резултат, немојте додавати додатне коментаре“ у промпту надокнађује овај нежељени ефекат великог напора.
Укратко
Системски промпт је стална директива модела: дефинише улогу, обим, формат, нејасно понашање и поверљивост. У савременим моделима, понашање је вођено адаптивним размишљањем и параметрима напора, а не температуром; Усклађивање напора са задатком истовремено управља квалитетом и трошковима. Осигуравате излаз са мак_токенима, низовима заустављања и структурираним излазом.
Задатак апликације
Изаберите задатак. (1) Напишите системски промпт са пет компоненти (улога, опсег, формат, двосмисленост, поверљивост). (2) Наведите који ниво напора бисте изабрали за овај задатак и зашто. (3) Ако излаз треба да буде структуриран, скицирајте малу ЈСОН шему. (4) Проверите да ли у вашем упиту постоји претерано агресиван образац и ублажите га.
контролна листа
- [ ] Могу да наведем пет компоненти доброг системског одзивника.
- [ ] Могу да објасним шта раде адаптивно размишљање и параметри напора.
- [ ] Могу да уравнотежим квалитет/цену прилагођавајући напор према задатку.
- [ ] Знам зашто је структурирани излаз безбеднији од захтевања ЈСОН-а путем одзивника.
- [ ] Могу да препознам ризик у савременим моделима претерано агресивних инструкција.