Sustavski upit i parametri modela

Dobici:

• Može dizajnirati kako odzivnik sustava vodi model kroz cijeli razgovor
• Razumije ulogu i troškovni učinak prilagodljivog razmišljanja i parametara napora
• implementira izlazne kontrole kao što su max_tokens, stop sekvence i strukturirani izlaz

Dva različita proizvoda istog modela mogu se ponašati potpuno drugačije. Razlika nije u samom modelu, već u pozivu sustava i parametrima koji su mu dani. Sustavski upit je "radni ugovor" modela, a parametri su "radne postavke". U ovoj jedinici naučit ćete kako dizajnirati moćan odzivnik sustava, što rade postavke razmišljanja i napora u modernim modelima i kako kontrolirati izlaz za format/dužinu. Ispravno postavljanje ovih postavki omogućuje vam upravljanje i kvalitetom i cijenom u isto vrijeme.

Sustavna poruka: Stalna naredba modela

Uputa sustava je uputa visoke razine koja se primjenjuje tijekom cijelog razgovora. Ova pravila ostaju važeća bez obzira što korisnik upiše. Dobar upit sustava uključuje sljedeće komponente:

1. Uloga/identitet: Tko je model? ("Vi ste pomoćnik korporativne podrške.")
2. Opseg i granica: Što čini, a što ne radi? ("Bazirano samo na dostavljenom dokumentu o politici.")
3. Format rules: What should the output look like? ("Maximum 3 articles, official language.")
4. Ponašanje u neizvjesnosti: Što činiti kada nije siguran? ("Ako nema informacija, izmislite ih, uputite na nadležnu jedinicu.")
5. Sigurnost/privatnost: Što ne želi/ne želi? ("Zatražite osobne podatke.")

Savjet: Zadržite upit sustava fiksnim. Nemojte ugrađivati ​​informacije koje se mijenjaju sa svakim zahtjevom (trenutni datum, korisničko ime, ID sesije). Ovo prekida dosljednost i poništava predmemoriju upita na jedinici 6. Stavite informacije o varijabli u korisničku poruku.

Zamka pretjerano agresivnih uputa

Moderni modeli vrlo pažljivo slijede upute. Agresivne fraze poput "MORA", "UVIJEK", "DEFINITIVNO učini ovo" itd., koje su funkcionirale u starijim modelima, danas dovode do pretjeranog aktiviranja: model zove agenta kada nije potreban ili radi nepotrebno dugo. Ublažite pravilo: umjesto "MORA koristiti alat za pretraživanje", točnije je "Ako odgovor nije u razgovoru, koristite alat za pretraživanje".

Parametri modela: razmišljanje i trud

Klasični LLM-ovi imali su temperaturni parametar: niža vrijednost proizvodila je specifičnije/dosljednije rezultate, viša vrijednost proizvodila je raznolikije/kreativnije rezultate. Modeli moderne generacije (kao što je Opus 4.8, Sonnet 5) zamjenjuju ovaj pristup s dva moćnija mehanizma i više ne prihvaćaju parametre uzorkovanja kao što je temperatura.

• Prilagodljivo razmišljanje: model razmišlja korak po korak u svojoj "glavi" prije nego što odgovori. Model odlučuje koliko će razmišljati na temelju težine zadatka. Značajno poboljšava točnost složenih problema u više koraka; Manje razmišlja kako bi izbjegao nepotrebna odugovlačenja na jednostavna pitanja.
• Napor: gumb visoke razine koji podešava koliko duboko model zaranja u zadatak i koliko tokena ukupno troši. Tipične razine: niske, srednje, visoke i više. Veliki napor može poboljšati kvalitetu, ali također povećava kašnjenje i troškove; Mali napor donosi brzinu i uštedu.

Postavka

Što znači

kada

Razmišljanje bez/malo truda

Brzo, jeftino, površno

Jednostavna klasifikacija, kratak odgovor, kašnjenje osjetljivih zadataka

Prilagodljivo razmišljanje + srednji napor

Uravnotežena kvaliteta/cijena

Većina zadataka opće namjene

Prilagodljivo razmišljanje + veliki napor

najveća točnost

Složeno razmišljanje, kodiranje, dugotrajni agentski rad

Oprez: refleks "maksimalni napor bez obzira na sve" povećava troškove. Prilagodite napor zadatku; U jednostavnim zadacima, mali napor često daje isti točan rezultat po mnogo nižoj cijeni. Idite visoko tamo gdje je potrebna kritična točnost.

Kontrola izlaza: format, duljina, struktura

Osim parametara, kontrolirate i sam izlaz:

• max_tokens: Tvrdi strop izlaza (1. i 3. jedinica).
• Zaustavi sekvence: Zaustavljanje modela kada vidi određeni niz. Korisno za postavljanje prijelomnih točaka u strukturiranoj proizvodnji.
• Strukturirani izlaz: Prisilite odgovor modela da bude u skladu s JSON shemom koju navedete. Osigurava da je izlaz programski raščlanjiv i valjan. To je pouzdanije nego reći "samo vrati JSON" s upitom.

{ "output_config": { "format": { "type": "json_schema", "schema": { "type": "object", "additionalProperties": false, "properties": { "category": { "type": "string", "enum": ["invoice", "technical", "return", "other"] }, "urency": { "type": "string", "enum": ["nisko", "srednje", "visoko"] } }, "obavezno": ["kategorija", "hitnost"] } } }}

Predlošci odzivnika sustava koji se mogu kopirati

# Pomoćnik za korporativnu podršku Vi ste pomoćnik za korporativnu podršku.- Oslonite se isključivo na dostavljeni dokument o politici; Ako nije u dokumentu, recite "Nemam ove informacije." - Dajte formalan i jasan odgovor u najviše 3 rečenice. - Tražite osobne podatke (TC ID broj, broj kartice) i nemojte ih ponavljati u odgovoru. - Ako niste sigurni, nemojte nagađati.

# Klasifikator za strukturirani izlaz Vi ste klasifikator potražnje. Unos je poruka kupca. Vratite samo tražena polja, nemojte pisati komentare. Ako niste sigurni, upotrijebite "ostalo".

# Analitičar s definiranim ponašanjem stajanja u neizvjesnosti Vi ste analitičar podataka. Iz ponuđene tablice izvlačite samo provjerljive zaključke. Nikad ne donosite zaključak koji ne postoji u podacima. Ako je zaključak nejasan, napišite "podaci nedostatni".

# Pisac sadržaja s kontrolom tona i duljine Vi ste pisac sadržaja. Koristite topao, ali profesionalan ton. Ograničite svaki tekst na 120 riječi ili manje. Izbjegavajte marketinški jezik klišeja.

Slab upit / Jak upit

# SLAB Budite od pomoći i dajte dobre odgovore. Dajte sve od sebe.

# STRONGUloga: Specijalist za tehničku podršku. Opseg: Dostavljen je samo vodič za proizvode. Format: Korak po korak, numerirani popis, maksimalno 5 koraka. Ograničenje: Preporučite rješenje koje nije u vodiču; Recite "Nisam mogao pronaći u priručniku." Privatnost: Nemojte ponavljati serijski broj koji je korisnik podijelio u odgovoru.

Snažna verzija; Zasebno određuje ulogu, opseg, format, granice i povjerljivost. Dosljednost izlaza dolazi izravno iz ove jasnoće.

Tri mini kućišta

Slučaj 1 — Smanjenje troškova prilagodbom napora. Jedan tim izvodio je sve svoje pozive s velikim naporom + razmišljanjem; Čak su i jednostavni sažetci e-pošte bili skupi i spori za izradu. Dodijelili su jednostavne zadatke kao što su sažeci malom trudu i analizu ugovora velikom trudu. Točnost je zadržana, prosječna latencija je prepolovljena, a mjesečni trošak smanjen je za trećinu.

Slučaj 2 — JSON jamstvo. An operations team asked for the classification output with a prompt saying "just give JSON", but the model would occasionally write "Here is the result:" and the parser would crash. Kad sam povezao konfiguriranu izlaznu shemu, izlaz je svaki put vratio važeći JSON; greške parsiranja su poništene.

Slučaj 3 — Agresivni brzi trzaj. Uputa pomoćnika je rekla: "MORA pretražiti SVAKO PITANJE"; Model je napravio nepotrebne pretrage čak i za jednostavna pitanja na koja je već znao odgovor, usporavajući i povećavajući troškove. Ublažili su pravilo na "Ako odgovor nije u kontekstu, pretraži"; Nepotrebni pozivi smanjeni su za 70%, a odgovori su ubrzani.

Uobičajene greške

• Ugrađivanje varijabilnih podataka u odzivnik sustava: narušava dosljednost i poništava predmemoriju.
• Pretjerano agresivne upute: Pretjerano okidanje i nepotreban trošak u modernim modelima.
• Veliki napor u svakom zadatku: Rasipanje u jednostavnim zadacima; prilagoditi napor zadatku.
• Traženje JSON-a samo putem odzivnika: povremeno se kvari; ako je kritično, upotrijebite strukturirani izlaz.
• Ponašanje bez definiranja granice/dvosmislenosti: Model ispunjava prazninu izmišljotinama (halucinacijama).
• Stara `temperaturna` navika: Moderni modeli to ne prihvaćaju; Usmjeravajte ponašanje brzo i naporno.

Dublje: Pisanje upita poput ugovora

Iskusni timovi tretiraju upit sustava kao ugovor, a ne književni tekst: jasne klauzule, mjerljiva pravila, nedvosmislene granice. Ovaj pristup ima tri konkretne prednosti. Prvi je dosljednost: isti input daje sličan output u različito vrijeme. Drugo je mogućnost testiranja: svaku stavku možete testirati zasebno s uzorkom. Treće je lakoća održavanja: ako je neko ponašanje pogrešno, znate koju stavku treba zamijeniti.

Dobra praksa je voditi pozitivnim primjerima. Umjesto pružanja popisa "nemojte to raditi", mnogo je učinkovitije u modernim modelima dati primjer koji kaže "ovo je točno kako izgleda željeni rezultat". Na primjer, u klasifikatoru, dodavanje jednog ili dva uzorka očekivanog JSON-a u upit značajno smanjuje pogreške formatiranja.

Još jedna moćna tehnika je eksplicitno pisanje ponašanja nesigurnosti. Klauzula poput "Ako niste sigurni, nemojte pogađati; recite 'nedovoljno podataka'" potiskuje tendenciju modela da popuni prazninu izmišljotinama (halucinacijama). Ova jedna rečenica rasterećuje verifikacijski sloj, koji ćemo obraditi u jedinici 11: jednom kada je model već označio nesigurnost, postaje lakše dovesti do ljudske provjere.

Na kraju, zajedno razmislite o trudu i brzini. Uz velike napore, model istražuje više i ponekad radi neželjeni "dodatni posao" (nepotrebno objašnjenje, dodatna sugestija). Reći "dajte samo željeni rezultat, nemojte dodavati dodatne komentare" u odzivniku nadoknađuje ovu nuspojavu velikog truda.

Ukratko

Sustavski prompt stalna je direktiva modela: definira ulogu, opseg, format, ponašanje nejasnosti i povjerljivost. U modernim modelima, ponašanje je vođeno adaptivnim razmišljanjem i parametrima napora, a ne temperaturom; Usklađivanje napora sa zadatkom istovremeno upravlja kvalitetom i troškovima. Izlaz osiguravate max_tokensima, nizovima zaustavljanja i strukturiranim izlazom.

Zadatak aplikacije

Odaberite zadatak. (1) Napišite upit sustava s pet komponenti (uloga, opseg, format, dvosmislenost, povjerljivost). (2) Navedite koju biste razinu napora odabrali za ovaj zadatak i zašto. (3) Ako izlaz treba biti strukturiran, skicirajte malu JSON shemu. (4) Provjerite postoji li pretjerano agresivan obrazac u vašem upitu i ublažite ga.

popis za provjeru

• [ ] Mogu navesti pet komponenti dobrog odzivnika sustava.
• [ ] Mogu objasniti što rade parametri adaptivnog razmišljanja i napora.
• [ ] Mogu uravnotežiti kvalitetu/cijenu prilagodbom napora prema zadatku.
• [ ] Znam zašto je strukturirani izlaz sigurniji od traženja JSON-a putem odzivnika.
• [ ] Mogu prepoznati rizik u modernim modelima pretjerano agresivnih uputa.