Ieguvumi:
- Var izstrādāt, kā sistēmas uzvedne vada modeli visas sarunas laikā
- Izprot adaptīvās domāšanas un piepūles parametru lomu un ietekmi uz izmaksām
- ievieš izvades vadīklas, piemēram, max_tokens, stop secības un strukturētu izvadi
Divi dažādi viena modeļa izstrādājumi var darboties pilnīgi atšķirīgi. Atšķirība nav pašā modelī, bet gan sistēmas uzvednē un tam dotajos parametros. Sistēmas uzvedne ir modeļa "darba līgums", un parametri ir "darba iestatījumi". Šajā nodaļā jūs uzzināsiet, kā izveidot jaudīgu sistēmas uzvedni, ko dara mūsdienu modeļu domāšanas un piepūles iestatījumi un kā kontrolēt formāta/garuma izvadi. Pareizi iestatot šos iestatījumus, varat vienlaikus pārvaldīt gan kvalitāti, gan izmaksas.
Sistēmas uzvedne: modeļa pastāvīgā direktīva
Sistēmas uzvedne ir augsta līmeņa instrukcija, kas attiecas uz visu sarunu. Šie noteikumi paliek spēkā neatkarīgi no lietotāja veida. Laba sistēmas uzvedne ietver šādus komponentus:
- Loma/identitāte: kas ir modelis? ("Jūs esat korporatīvā atbalsta palīgs.")
- Darbības joma un robežas: ko tas dara un ko nedara? ("Pamatojoties tikai uz sniegto politikas dokumentu.")
- Formāta noteikumi: kā vajadzētu izskatīties izvadei? ("Ne vairāk kā 3 raksti, oficiālajā valodā.")
- Uzvedība nenoteiktībā: ko darīt, ja nav pārliecināts? ("Ja informācijas nav, izdomājiet, novirziet uz attiecīgo vienību.")
- Drošība/privātums: ko negrib/nevēlas? ("Pieprasīt personas datus.")
Padoms: saglabājiet sistēmas uzvedni labotu. Neievietojiet informāciju, kas mainās ar katru pieprasījumu (pašreizējais datums, lietotājvārds, sesijas ID). Tas gan izjauc konsekvenci, gan padara nederīgu uzvednes kešatmiņu 6. blokā. Ievietojiet mainīgā informāciju lietotāja ziņojumā.
Pārāk agresīvas instrukciju slazds
Mūsdienu modeļi ļoti stingri ievēro instrukcijas. Agresīvas frāzes, piemēram, "OBLIGĀTI", "VIENMĒR", "NOteikti jādara" utt., kas darbojās vecākos modeļos, mūsdienās noved pie pārspīlējuma: modelis izsauc aģentu, kad tas nav vajadzīgs, vai darbojas nevajadzīgi ilgu laiku. Mīkstiniet noteikumu: "OBLIGĀTI jāizmanto meklēšanas rīks" vietā precīzāks ir "Ja atbilde nav sarunā, izmantojiet meklēšanas rīku".
Modeļa parametri: doma un piepūle
Klasiskajiem LLM bija temperatūras parametrs: zemāka vērtība radīja specifiskāku / konsekventāku rezultātu, augstāka vērtība radīja daudzveidīgāku / radošāku rezultātu. Mūsdienu paaudzes modeļi (piemēram, Opus 4.8, Sonnet 5) aizstāj šo pieeju ar diviem jaudīgākiem mehānismiem un vairs nepieņem tādus paraugu ņemšanas parametrus kā temperatūra.
- Adaptīvā domāšana: modelis soli pa solim pamato savā "galvā" pirms atbildes. Modelis izlemj, cik daudz domāt, pamatojoties uz uzdevuma sarežģītību. Ievērojami uzlabo precizitāti sarežģītu, daudzpakāpju problēmu risināšanā; Viņš mazāk domā, lai izvairītos no nevajadzīgas vilcināšanās ar vienkāršiem jautājumiem.
- Piepūle: augsta līmeņa poga, kas regulē, cik dziļi modelis iegremdējas uzdevumā un cik marķieru tas kopumā iztērē. Tipiski līmeņi: zems, vidējs, augsts un augstāks. Liela piepūle var uzlabot kvalitāti, bet tā arī palielina kavēšanos un izmaksas; Zema piepūle nodrošina ātrumu un ietaupījumus.
Iestatījums
Ko dara
kad
Domāšana/maza piepūle
Ātri, lēti, virspusēji
Vienkārša klasifikācija, īsa atbilde, aizkavēt jutīgus uzdevumus
Adaptīvā domāšana + vidēja piepūle
Sabalansēta kvalitāte/izmaksas
Lielākā daļa vispārējas nozīmes uzdevumu
Adaptīvā domāšana + liela piepūle
augstākā precizitāte
Sarežģīta spriešana, kodēšana, tālsatiksmes aģentu darbs
Uzmanību: "Maksimālās piepūles neatkarīgi no tā" reflekss palielina izmaksas. Pielāgojiet pūles uzdevumam; Veicot vienkāršus uzdevumus, zema piepūle bieži dod tikpat precīzu rezultātu par daudz lētāku cenu. Dodieties augstu, kur nepieciešama kritiska precizitāte.
Izvades vadība: formāts, garums, struktūra
Papildus parametriem jūs kontrolējat arī pašu izvadi:
- max_tokens: Izejas cietie griesti (1. un 3. vienība).
- Apturēšanas secības: modeļa apturēšana, kad tas redz noteiktu virkni. Noder, lai iestatītu pārtraukuma punktus strukturētā ražošanā.
- Strukturēta izvade: piespiediet modeļa atbildi, lai tā atbilstu jūsu sniegtajai JSON shēmai. Tas nodrošina, ka izvade ir programmatiski parsējama un derīga. Tas ir uzticamāk nekā teikt “vienkārši atgriezt JSON” ar uzvedni.
{ "output_config": { "format": { "type": "json_schema", "schema": { "type": "object", "additionalProperties": false, "properties": { "category": { "type": "string", "enum": ["rēķins", "tehniskais", {oter "return":} "string", "enum": ["zems", "vidējs", "augsts"] } }, "obligāts": ["kategorija", "steidzamība"] } } }}
Kopējamas sistēmas uzvedņu veidnes
# Korporatīvā atbalsta asistentsJūs esat korporatīvā atbalsta asistents. Paļaujieties tikai uz sniegto politikas dokumentu; Ja dokumentā tā nav, sakiet "Man nav šīs informācijas". - Sniedziet formālu un skaidru atbildi ne vairāk kā 3 teikumos. - Pieprasiet personas datus (TC ID numuru, kartes numuru) un neatkārtojiet to savā atbildē. - Ja neesat pārliecināts, nedomājiet.
# Strukturētais izvades piespiedu klasifikatorsJūs esat pieprasījuma klasifikators. Ievade ir klienta ziņojums. Atgrieziet tikai pieprasītos laukus, nerakstiet komentārus. Ja neesat pārliecināts, izmantojiet "cits".
# Analītiķis ar noteiktu uzvedību, stāvot nenoteiktībā.Jūs esat datu analītiķis. No sniegtās tabulas izdariet tikai pārbaudāmus secinājumus. Nekad neizdariet secinājumus, kas datos nepastāv. Ja secinājums ir neskaidrs, ierakstiet "dati nepietiekami".
# Satura rakstītājs ar toņu un garuma kontroliJūs esat satura rakstītājs. Izmantojiet siltu, bet profesionālu toni. Ierobežojiet katra teksta garumu līdz 120 vārdiem vai mazāk. Izvairieties no klišejiskas mārketinga valodas.
Vāja uzvedne / spēcīga uzvedne
# VĀJS Esiet izpalīdzīgs un sniedziet labas atbildes. Dariet visu iespējamo.
# STRONGLoma: Tehniskā atbalsta speciālists. Darbības joma: nodrošināts tikai produkta ceļvedis. Formāts: soli pa solim, numurēts saraksts, maksimāli 5 soļi. Ierobežojums: Ieteikt risinājumu, kas nav iekļauts ceļvedī; Sakiet: "Es nevarēju to atrast rokasgrāmatā". Konfidencialitāte: neatkārtojiet sērijas numuru, ko lietotājs kopīgojis atbildē.
Jaudīga versija; Tas atsevišķi nosaka lomu, darbības jomu, formātu, robežas un konfidencialitāti. Izvades konsekvence izriet tieši no šīs skaidrības.
Trīs mini futrāļi
1. gadījums — izmaksu samazināšana, pielāgojot piepūli. Viena komanda visus savus aicinājumus veica ar lielu piepūli + domāšanu; Pat vienkārši e-pasta īssavilkumi bija dārgi un to izgatavošana bija lēna. Viņi piešķīra vienkāršus uzdevumus, piemēram, kopsavilkumus zemām pūlēm un līguma analīzi lielai piepūlei. Precizitāte tika saglabāta, vidējais latentums tika samazināts uz pusi, un ikmēneša izmaksas tika samazinātas par trešdaļu.
2. gadījums — JSON garantija. Operāciju komanda pieprasīja klasifikācijas izvadi ar uzvedni "tikai dodiet JSON", taču modelis laiku pa laikam ierakstīja "Šeit ir rezultāts:" un parsētājs avarēja. Kad es pievienoju konfigurēto izvades shēmu, izvade katru reizi atgrieza derīgu JSON; parsēšanas kļūdas ir atiestatītas.
3. gadījums — agresīva tūlītēja atsitiena. Asistenta uzvedne teica: "JĀmeklē KATRS JAUTĀJUMS"; Modelis lieki meklēt pat vienkāršus jautājumus, uz kuriem jau zināja atbildi, palēninot un palielinot izmaksas. Viņi atviegloja noteikumu uz "Ja atbilde nav kontekstā, meklējiet"; Nevajadzīgo zvanu skaits samazinājās par 70%, un atbildes paātrinājās.
Biežas kļūdas
- Mainīgo datu iegulšana sistēmas uzvednē: pārtrauc konsekvenci un padara kešatmiņu nederīgu.
- Pārāk agresīva instrukcija: pārmērīga iedarbināšana un nevajadzīgas izmaksas mūsdienu modeļos.
- Liela piepūle katrā uzdevumā: Atkritumi vienkāršos uzdevumos; pielāgot pūles uzdevumam.
- JSON pieprasīšana tikai, izmantojot uzvedni: tas laiku pa laikam sabojājas; ja tas ir kritisks, izmantojiet strukturētu izvadi.
- Nenosaka robežu/neskaidrības uzvedību: modelis aizpilda plaisu ar izdomājumiem (halucinācijām).
- Vecs "temperatūras" ieradums: mūsdienu modeļi to nepieņem; Ātri un piepūli virziet uzvedību.
Deeper: rakstiet uzvedni kā līgumu
Pieredzējušas komandas traktē sistēmas uzvedni kā līgumu, nevis literāru tekstu: skaidras klauzulas, izmērāmi noteikumi, nepārprotamas robežas. Šai pieejai ir trīs konkrētas priekšrocības. Pirmais ir konsekvence: viena un tā pati ievade dažādos laikos nodrošina līdzīgu rezultātu. Otrais ir pārbaudāmība: jūs varat pārbaudīt katru vienumu atsevišķi ar paraugu. Treškārt, apkopes vienkāršība: ja uzvedība ir nepareiza, jūs zināt, kuru vienumu nomainīt.
Laba prakse ir vadīt ar pozitīviem piemēriem. Tā vietā, lai sniegtu sarakstu “Nedari tā”, mūsdienu modeļos daudz efektīvāk ir sniegt piemēru, kurā teikts: “Tieši šādi izskatās vēlamā izvade”. Piemēram, klasifikatorā viena vai divu paredzamā JSON paraugu pievienošana uzvednei ievērojami samazina formatēšanas kļūdas.
Vēl viens spēcīgs paņēmiens ir skaidri uzrakstīt nenoteiktības uzvedību. Tāda klauzula kā "Ja neesat pārliecināts, nedomājiet; sakiet "nepietiekami dati"" nomāc modeļa tendenci aizpildīt tukšo vietu ar izdomājumiem (halucinācijām). Šis viens teikums atslogo verifikācijas slāni, ko aplūkosim 11. vienībā: kad modelis jau ir atzīmējis nenoteiktību, kļūst vieglāk veikt cilvēka apstiprināšanu.
Visbeidzot, kopīgi apsveriet pūles un pamudiniet. Pie lielas piepūles modelis pēta vairāk un dažreiz veic nevēlamu “papildu darbu” (nevajadzīgs skaidrojums, papildu ieteikums). Sakot "tikai vēlamo rezultātu, nepievienojiet papildu komentārus" uzvednē kompensē šo lielas piepūles blakusefektu.
Rezumējot
Sistēmas uzvedne ir modeļa pastāvīgā direktīva: tā nosaka lomu, tvērumu, formātu, neskaidrības uzvedību un konfidencialitāti. Mūsdienu modeļos uzvedību nosaka adaptīvā domāšana un piepūles parametri, nevis temperatūra; Pielāgojot pūles uzdevumam, vienlaikus tiek pārvaldīta kvalitāte un izmaksas. Jūs aizsargājat izvadi ar max_tokens, stop masīviem un strukturētu izvadi.
Lietojumprogrammas uzdevums
Izvēlieties uzdevumu. (1) Uzrakstiet sistēmas uzvedni ar pieciem komponentiem (loma, darbības joma, formāts, neskaidrība, konfidencialitāte). (2) Norādiet, kādu piepūles līmeni jūs izvēlētos šim uzdevumam un kāpēc. (3) Ja izvadei jābūt strukturētai, ieskicēt nelielu JSON shēmu. (4) Pārbaudiet, vai jūsu uzvednē nav pārāk agresīvs raksts, un mīkstiniet to.
kontrolsaraksts
- [ ] Varu nosaukt piecas labas sistēmas uzvednes sastāvdaļas.
- [ ] Es varu izskaidrot, ko dara adaptīvās domāšanas un piepūles parametri.
- [ ] Protu sabalansēt kvalitāti/izmaksas, pielāgojot piepūli atbilstoši uzdevumam.
- [ ] Es zinu, kāpēc strukturētā izvade ir drošāka nekā JSON pieprasīšana, izmantojot uzvedni.
- [ ] Es varu atpazīt risku mūsdienu modeļos, kas rada pārāk agresīvas instrukcijas.