Sistemski prompt i parametri modela

Dobici:

• Može dizajnirati kako sistemska linija vodi model kroz cijeli razgovor
• Razumije ulogu i utjecaj na troškove adaptivnog razmišljanja i parametara napora
• implementira izlazne kontrole kao što su max_tokeni, stop sekvence i strukturirani izlaz

Dva različita proizvoda istog modela mogu se ponašati potpuno različito. Razlika nije u samom modelu, već u sistemskom promptu i parametrima koji su mu dati. Sistemski prompt je "ugovor o radu" modela, a parametri su "radne postavke". U ovoj jedinici ćete naučiti kako da dizajnirate moćan sistemski prompt, šta rade postavke razmišljanja i napora u modernim modelima i kako da kontrolišete izlaz za format/dužinu. Ispravno postavljanje ovih postavki omogućava vam da istovremeno upravljate kvalitetom i troškovima.

Sistemski prompt: stalna direktiva modela

Sistemski prompt je instrukcija visokog nivoa koja se primenjuje tokom čitavog razgovora. Ova pravila ostaju važeća bez obzira na to šta korisnik upiše. Dobar sistemski prompt uključuje sljedeće komponente:

1. Uloga/identitet: Ko je model? (“Vi ste pomoćnik za korporativnu podršku.”)
2. Opseg i granice: šta radi, a šta ne? („Zasnovano samo na dostavljenom dokumentu politike.“)
3. Pravila formata: Kako bi trebao izgledati izlaz? ("Najviše 3 članka, službeni jezik.")
4. Ponašanje u nesigurnosti: Šta radi kada nije siguran? ("Ako nema informacija, izmislite, uputite relevantnoj jedinici.")
5. Sigurnost/privatnost: Šta ne želi/ne želi? ("Zatražite lične podatke.")

Savjet: Održavajte sistemski prompt fiksnim. Nemojte ugrađivati ​​informacije koje se mijenjaju sa svakim zahtjevom (trenutni datum, korisničko ime, ID sesije). Ovo istovremeno narušava konzistentnost i poništava keš prompta na jedinici 6. Stavite informacije o varijabli u korisničku poruku.

Zamka preterano agresivnih instrukcija

Moderni modeli vrlo pažljivo prate uputstva. Agresivne fraze kao što su "MORA", "UVIJEK", "DEFINITIVNO uradi ovo" itd., koje su funkcionirale u starijim modelima, danas dovode do preopterećenja: model poziva agenta kada nije potreban ili radi nepotrebno dugo. Ublažite pravilo: umjesto "MORATE koristiti alat za pretraživanje", tačnije je "Ako odgovor nije u razgovoru, koristite alat za pretraživanje".

Parametri modela: Misao i trud

Klasični LLM-ovi su imali temperaturni parametar: niža vrijednost je proizvela specifičniji/konzistentniji učinak, viša vrijednost je proizvela raznovrsniji/kreativniji učinak. Modeli moderne generacije (kao što su Opus 4.8, Sonet 5) zamjenjuju ovaj pristup sa dva moćnija mehanizma i više ne prihvataju parametre uzorkovanja kao što je temperatura.

• Adaptivno razmišljanje: model razmišlja korak po korak u svojoj "glavi" prije nego što odgovori. Model odlučuje koliko će razmišljati na osnovu težine zadatka. Značajno poboljšava preciznost na složenim problemima u više koraka; Manje razmišlja kako bi izbjegao nepotrebna odlaganja na jednostavna pitanja.
• Napor: Dugme visokog nivoa koje podešava koliko duboko model zaroni u zadatak i koliko tokena ukupno troši. Tipični nivoi: niski, srednji, visoki i viši. Veliki napor može poboljšati kvalitet, ali također povećava kašnjenje i troškove; Mali napor donosi brzinu i uštedu.

Podešavanje

Šta radi

kada

Razmišljanje/malo truda

Brzo, jeftino, površno

Jednostavna klasifikacija, kratak odgovor, kašnjenje osjetljivih zadataka

Adaptivno razmišljanje + srednji napor

Izbalansiran kvalitet/cijena

Zadaci najviše opšte namene

Adaptivno razmišljanje + veliki napor

najveća tačnost

Kompleksno rezonovanje, kodiranje, rad agenta na daljinu

Oprez: Refleks "maksimalni napor bez obzira na sve" naduvava troškove. Prilagodite napor zadatku; U jednostavnim zadacima, mali trud često daje isti tačan rezultat po mnogo nižoj cijeni. Idite visoko tamo gdje je potrebna kritična preciznost.

Kontrola izlaza: Format, Dužina, Struktura

Osim parametara, kontrolirate i sam izlaz:

• max_tokens: Tvrdi plafon izlaza (1. i 3. jedinica).
• Stop sekvence: Zaustavljanje modela kada vidi određeni niz. Korisno za postavljanje tačaka prekida u strukturiranoj proizvodnji.
• Strukturirani izlaz: Prisilite odgovor modela da bude u skladu sa JSON šemom koju ste dali. Osigurava da je izlaz programski raščlanjen i valjan. Pouzdanije je nego reći "samo vrati JSON" uz prompt.

{ "output_config": { "format": { "type": "json_schema", "schema": { "type": "object", "additionalProperties": false, "properties": { "category": { "type": "string", "enum": ["faktura", "tehnički", "otherg": "povratak": "string", "enum": ["niska", "srednja", "visoka"] } }, "potrebno": ["kategorija", "hitnost"] } } }}

Predlošci sistemskih upita koji se mogu kopirati

# Pomoćnik za korporativnu podršku Vi ste pomoćnik za korporativnu podršku.- Oslonite se isključivo na dokument o politici koji ste dobili; Ako to nije u dokumentu, recite "Nemam ovu informaciju." - Dajte formalan i jasan odgovor u maksimalno 3 rečenice. - Tražite lične podatke (TC ID broj, broj kartice) i nemojte to ponavljati u svom odgovoru. - Ako niste sigurni, nemojte pogađati.

# Strukturirani izlazni klasifikator Vi ste klasifikator potražnje. Ulaz je poruka kupca. Vratite samo tražena polja, ne pišite komentare. Ako niste sigurni, koristite "drugo".

# Analitičar sa definisanim ponašanjem stajanja u neizvjesnostiVi ste analitičar podataka. Iz priložene tabele izvodite samo proverljive zaključke. Nikada nemojte donositi zaključak koji ne postoji u podacima. Ako je zaključak nejasan, napišite "podaci nedovoljni".

# Pisac sadržaja sa kontrolom tona i dužine Vi ste pisac sadržaja. Koristite topao, ali profesionalan ton. Ograničite svaki tekst na 120 riječi ili manje. Izbjegavajte klišej marketinški jezik.

Slaba prompt / Jaka prompt

# SLABO Budite od pomoći i dajte dobre odgovore. Dajte sve od sebe.

# SNAŽNA Uloga: Stručnjak za tehničku podršku. Opseg: obezbeđen samo vodič za proizvode. Format: korak po korak, numerisana lista, maksimalno 5 koraka. Ograničenje: Preporučeno rešenje nije u vodiču; Recite "Nisam to mogao pronaći u priručniku." Privatnost: Nemojte ponavljati serijski broj koji je podijelio korisnik u odgovoru.

Moćna verzija; Zasebno određuje ulogu, opseg, format, granice i povjerljivost. Konzistentnost izlaza dolazi direktno iz ove jasnoće.

Tri mini futrole

Slučaj 1 — Smanjenje troškova kroz prilagođavanje napora. Jedan tim je izvodio sve svoje pozive uz veliki napor + razmišljanje; Čak su i jednostavni sažetci e-pošte bili skupi i spori za izradu. Dodijelili su jednostavne zadatke kao što su sažetci malom trudu i analiza ugovora velikom trudu. Preciznost je očuvana, prosječna latencija je prepolovljena, a mjesečni troškovi smanjeni za trećinu.

Slučaj 2 — JSON garancija. Operativni tim je tražio izlaz klasifikacije uz prompt koji je rekao "samo daj JSON", ali bi model povremeno napisao "Evo rezultata:" i parser bi se srušio. Kada sam spojio konfiguriranu izlaznu šemu, izlaz je svaki put vratio važeći JSON; greške raščlanjivanja su poništene.

Slučaj 3 — Agresivni brzi trzaj. Prompt pomoćnika je rekao: "MORA tražiti SVAKO PITANJE"; Model je nepotrebno tražio čak i jednostavna pitanja na koja je već znao odgovor, usporavajući i povećavajući troškove. Relaksirali su pravilo na "Ako odgovor nije u kontekstu, pretraži"; Nepotrebni pozivi su smanjeni za 70%, a odgovori su ubrzani.

Uobičajene greške

• Ugrađivanje varijabilnih podataka u sistemski prompt: Narušava konzistentnost i poništava keš memoriju.
• Previše agresivna uputstva: prekomerno aktiviranje i nepotrebni troškovi u modernim modelima.
• Veliki napor u svakom zadatku: gubitak u jednostavnim zadacima; prilagodite napor zadatku.
• Zahtjev za JSON samo putem prompta: Povremeno se prekida; ako je kritično, koristite strukturirani izlaz.
• Nedefinisanje ponašanja granica/dvosmislenosti: Model popunjava prazninu izmišljotinom (halucinacijom).
• Stara 'temperaturna' navika: Moderni modeli to ne prihvataju; Vodite ponašanje brzinom i trudom.

Dublje: Pisanje upita poput ugovora

Iskusni timovi tretiraju sistemski brzi kao ugovor, a ne kao književni tekst: jasne klauzule, mjerljiva pravila, nedvosmislene granice. Ovaj pristup ima tri konkretne prednosti. Prvi je konzistentnost: isti ulaz daje sličan izlaz u različito vrijeme. Drugo je mogućnost testiranja: možete testirati svaku stavku zasebno sa uzorkom. Treće je lakoća održavanja: ako je ponašanje pogrešno, znate koju stavku zamijeniti.

Dobra praksa je voditi pozitivnim primjerima. Umjesto pružanja liste "nemojte to raditi", mnogo je efikasnije u modernim modelima dati primjer koji kaže "tačno ovako izgleda željeni rezultat". Na primjer, u klasifikatoru, dodavanje jednog ili dva uzorka očekivanog JSON-a u prompt značajno smanjuje greške u formatiranju.

Još jedna moćna tehnika je eksplicitno pisanje ponašanja nesigurnosti. Klauzula poput "Ako niste sigurni, nemojte pogađati; recite 'nedovoljno podataka'" potiskuje tendenciju modela da popuni prazninu izmišljotinom (halucinacija). Ova pojedinačna rečenica rasterećuje sloj verifikacije, koji ćemo pokriti u jedinici 11: kada je model već označio nesigurnost, postaje lakše dovesti do ljudske validacije.

Konačno, razmislite o trudu i brzini zajedno. Uz veliki napor, model istražuje više i ponekad radi neželjeni “dodatni posao” (nepotrebno objašnjenje, dodatni prijedlog). Reći "dajte samo željeni rezultat, nemojte dodavati dodatne komentare" u promptu nadoknađuje ovaj sporedni efekat velikog napora.

Ukratko

Sistemski prompt je trajna direktiva modela: on definiše ulogu, opseg, format, ponašanje nejasnosti i poverljivost. U modernim modelima, ponašanje je vođeno adaptivnim razmišljanjem i parametrima napora, a ne temperaturom; Usklađivanje napora sa zadatkom istovremeno upravlja kvalitetom i troškovima. Osiguravate izlaz s max_tokens, stop nizovima i strukturiranim izlazom.

Zadatak aplikacije

Odaberite zadatak. (1) Napišite sistemski prompt sa pet komponenti (uloga, opseg, format, dvosmislenost, povjerljivost). (2) Navedite koji nivo napora biste odabrali za ovaj zadatak i zašto. (3) Ako izlaz treba da bude strukturiran, skicirajte malu JSON šemu. (4) Provjerite postoji li previše agresivan obrazac u vašem upitu i ublažite ga.

kontrolna lista

• [ ] Mogu navesti pet komponenti dobrog sistemskog odzivnika.
• [ ] Mogu objasniti šta rade adaptivno razmišljanje i parametri napora.
• [ ] Mogu uravnotežiti kvalitet/cijenu prilagođavajući napor prema zadatku.
• [ ] Znam zašto je strukturirani izlaz sigurniji od zahtjeva za JSON putem prompta.
• [ ] Mogu prepoznati rizik u modernim modelima pretjerano agresivnih instrukcija.