Unitate 4 / 11

Prompt de sistem și parametrii model

Câștiguri:

  • Poate proiecta modul în care promptul de sistem ghidează modelul pe parcursul întregii conversații
  • Înțelege rolul și impactul costurilor gândirii adaptive și ale parametrilor efortului
  • implementează controale de ieșire, cum ar fi max_tokens, secvențe de oprire și ieșire structurată

Două produse diferite ale aceluiași model se pot comporta complet diferit. Diferența nu este în modelul în sine, ci în promptul de sistem și parametrii dați acestuia. Promptul sistemului este „contractul de lucru” al modelului, iar parametrii sunt „setări de lucru”. În această unitate, veți învăța cum să proiectați un prompt de sistem puternic, ce fac setările de gândire și efort din modelele moderne și cum să controlați ieșirea pentru format/lungime. Setarea corectă a acestor setări vă permite să gestionați atât calitatea, cât și costul în același timp.

System Prompt: Directiva permanentă a modelului

Promptul de sistem este instrucțiunea de nivel înalt care se aplică pe parcursul întregii conversații. Aceste reguli rămân valabile indiferent de ce scrie utilizatorul. Un prompt sistem bun include următoarele componente:

  1. Rol/identitate: Cine este modelul? („Sunteți un asistent de asistență corporativă.”)
  2. Domeniul de aplicare și limitele: ce face și ce nu face? („Se bazează numai pe documentul de politică furnizat.”)
  3. Reguli de format: Cum ar trebui să arate rezultatul? ("Maximum 3 articole, limba oficială.")
  4. Comportament în incertitudine: ce face cineva când nu este sigur? ("Dacă nu există informații, inventați-o, direcționați-o către unitatea relevantă.")
  5. Securitate/confidențialitate: Ce nu vrea/nu vrea? ("Solicitați date personale.")
Sfat: păstrați promptul de sistem fix. Nu încorporați informații care se modifică cu fiecare solicitare (data curentă, numele de utilizator, ID-ul sesiunii). Acest lucru rupe consecvența și invalidează cache-ul prompt pe unitatea 6. Puneți informațiile variabile în mesajul utilizatorului.

Capcana instrucțiunilor prea agresive

Modelele moderne urmează instrucțiunile foarte îndeaproape. Expresii agresive precum „TREBUIE”, „ÎNTOTDEAUNA”, „DEFINITIV să faci asta”, etc., care funcționau la modelele mai vechi, duc astăzi la supradeclanșare: modelul cheamă un agent atunci când nu este necesar sau rulează o perioadă inutil de lungă. Atenuează regula: în loc de „TREBUIE să folosești instrumentul de căutare”, „Dacă răspunsul nu se află în conversație, folosește instrumentul de căutare” este mai precis.

Parametrii modelului: gândire și efort

LLM-urile clasice aveau un parametru de temperatură: o valoare mai mică producea rezultate mai specifice/consistente, o valoare mai mare producea rezultate mai variate/creative. Modelele de generație modernă (cum ar fi Opus 4.8, Sonnet 5) înlocuiesc această abordare cu două mecanisme mai puternice și nu mai acceptă parametrii de eșantionare precum temperatura.

  • Gândirea adaptivă: modelul raționează pas cu pas în „capul” său înainte de a răspunde. Modelul decide cât de mult să gândească în funcție de dificultatea sarcinii. Îmbunătățește semnificativ acuratețea problemelor complexe, cu mai mulți pași; Se gândește mai puțin pentru a evita întârzierile inutile la întrebările simple.
  • Efort: Buton de nivel înalt care ajustează cât de adânc modelul se scufundă într-o sarcină și câte jetoane cheltuiește în total. Niveluri tipice: scăzut, mediu, ridicat și peste. Efortul ridicat poate îmbunătăți calitatea, dar crește și întârzierea și costul; Efortul redus aduce viteză și economii.

Setare

Ce face

când

Gândire/efort redus

Rapid, ieftin, superficial

Clasificare simplă, răspuns scurt, sarcini sensibile la întârziere

Gândire adaptivă + efort mediu

Calitate/cost echilibrat

Cele mai multe sarcini cu scop general

Gândire adaptivă + efort mare

cea mai mare precizie

Raționament complex, codificare, lucru pe termen lung

Atenție: reflexul „efort maxim indiferent de ce” umflă costurile. Ajustați efortul la sarcină; În sarcinile simple, efortul redus oferă adesea același rezultat precis la un preț mult mai ieftin. Mergeți sus acolo unde este nevoie de precizie critică.

Control ieșire: format, lungime, structură

Pe lângă parametri, controlați și ieșirea în sine:

  • max_tokens: plafon dur al ieșirii (unitatea 1 și 3).
  • Secvențe de oprire: Oprirea modelului când vede un anumit șir. Util pentru stabilirea punctelor de întrerupere în producția structurată.
  • Ieșire structurată: forțați răspunsul modelului să se conformeze unei scheme JSON pe care o furnizați. Se asigură că rezultatul este analizabil și valid din punct de vedere programatic. Este mai de încredere decât să spui „doar returnează JSON” cu un prompt.

{ "output_config": { "format": { "type": "json_schema", "schema": { "type": "object", "additionalProperties": false, "properties": { "category": { "type": "string", "enum": ["invoice", "technical", "return", "other:"]:}, "other:"] „enum”: [„scăzut”, „mediu”, „ridicat”] } }, „obligatoriu”: [„categorie”, „urgență”] } } }}

Șabloane de prompt de sistem copiabile

# Asistent de asistență corporativăSunteți asistent de asistență corporativă.- Bazați-vă numai pe documentul de politică furnizat; Dacă nu este în document, spuneți „Nu am această informație”. - Dați un răspuns formal și clar în maximum 3 propoziții. - Solicitați date personale (număr ID TC, număr card) și nu le repeta în răspuns. - Dacă nu ești sigur, nu ghici.

# Clasificator de forțare a ieșirii structurate Sunteți un clasificator de cerere. Intrarea este un mesaj client. Returnați doar câmpurile solicitate, nu scrieți comentarii. Dacă nu ești sigur, folosește „altul”.

# Analist cu comportament definit de a sta în incertitudine. Sunteți un analist de date. Trageți numai inferențe verificabile din tabelul furnizat. Nu faceți niciodată o concluzie care nu există în date. Dacă o concluzie este neclară, scrieți „date insuficiente”.

# Scriitor de conținut cu control al tonului și al lungimii. Sunteți un scriitor de conținut. Utilizați un ton cald, dar profesional. Limitați fiecare text la 120 de cuvinte sau mai puțin. Evitați limbajul de marketing clișeu.

Prompt slab / Prompt puternic

# SLAB Fii de ajutor și oferă răspunsuri bune. Fă tot posibilul.

# STRONGRol: Specialist în asistență tehnică. Domeniu de aplicare: Se oferă doar ghidul de produse.Format: Pas cu pas, listă numerotată, maximum 5 pași. Limită: Soluția recomandată nu este în ghid; Spuneți „Nu l-am găsit în manual”. Confidențialitate: nu repetați numărul de serie transmis de utilizator în răspuns.

Versiune puternică; Determină separat rolul, domeniul de aplicare, formatul, limitele și confidențialitatea. Consecvența rezultatelor vine direct din această claritate.

Trei mini carcase

Cazul 1 – Reducerea costurilor prin ajustarea efortului. O echipă rula toate apelurile cu efort mare + gândire; Chiar și simplele rezumate prin e-mail erau costisitoare și lente de produs. Ei au atribuit sarcini simple, cum ar fi rezumatele unui efort redus și analiza contractelor unui efort mare. Precizia a fost menținută, latența medie a fost redusă la jumătate, iar costul lunar a fost redus cu o treime.

Cazul 2 — Garanție JSON. O echipă de operațiuni a cerut rezultatul clasificării cu un prompt care spunea „doar dă JSON”, dar modelul scria ocazional „Iată rezultatul:” și analizatorul se bloca. Când am conectat schema de ieșire configurată, ieșirea a returnat JSON valid de fiecare dată; erorile de analiză au fost resetate.

Cazul 3 – Recul rapid agresiv. Un mesaj asistent a spus: „TREBUIE să cauți FIECARE ÎNTREBARE”; Modelul a făcut căutări inutile chiar și pentru întrebări simple la care știa deja răspunsul, încetinind și crescând costurile. Au relaxat regula la „Dacă răspunsul nu este în context, căutați”; Apelurile inutile au scăzut cu 70%, iar răspunsurile s-au accelerat.

Greșeli comune

  • Încorporarea datelor variabile în promptul de sistem: întrerupe consistența și invalidează memoria cache.
  • Instrucțiuni prea agresive: declanșare excesivă și costuri inutile în modelele moderne.
  • Efort mare în fiecare sarcină: risipă în sarcini simple; ajusta efortul la sarcină.
  • Solicitarea JSON numai prin prompt: Se întrerupe ocazional; dacă este critic, utilizați rezultate structurate.
  • Nedefinirea comportamentului de graniță/ambiguitate: Modelul umple golul cu fabricație (halucinație).
  • Vechi obicei de „temperatură”: Modelele moderne nu acceptă acest lucru; Ghidați comportamentul cu promptitudine și efort.

Deeper: Scrierea promptului ca pe un contract

Echipele cu experiență tratează promptul sistemului ca pe un contract, nu ca pe un text literar: clauze clare, reguli măsurabile, limite clare. Această abordare are trei beneficii concrete. Primul este consistența: aceeași intrare oferă rezultate similare în momente diferite. Al doilea este testabilitatea: puteți testa fiecare articol separat cu un eșantion. În al treilea rând este ușurința întreținerii: dacă un comportament este greșit, știți ce element să înlocuiți.

O bună practică este să conduci cu exemple pozitive. În loc să oferiți o listă cu „nu face acest lucru”, este mult mai eficient în modelele moderne să oferiți un exemplu care spune „așa arată exact rezultatul dorit”. De exemplu, într-un clasificator, adăugarea uneia sau două mostre de JSON așteptat la prompt reduce semnificativ erorile de formatare.

O altă tehnică puternică este de a scrie comportamentul de incertitudine în mod explicit. O clauză precum „Dacă nu sunteți sigur, nu ghiciți; spuneți „date insuficiente”” suprimă tendința modelului de a completa spațiul liber cu fabricație (halucinație). Această singură propoziție descarcă stratul de verificare, pe care îl vom acoperi în unitatea 11: odată ce modelul a semnalat deja incertitudinea, devine mai ușor să conducă la validarea umană.

În cele din urmă, luați în considerare efortul și promptul împreună. La efort mare, modelul explorează mai mult și uneori face „muncă suplimentară” nedorită (explicație inutilă, sugestie suplimentară). Spunerea „dați doar rezultatul dorit, nu adăugați comentarii suplimentare” în prompt compensează acest efect secundar al efortului mare.

În concluzie

Promptul de sistem este directiva permanentă a modelului: definește rolul, domeniul de aplicare, formatul, comportamentul de obscuritate și confidențialitatea. În modelele moderne, comportamentul este condus de gândirea adaptivă și de parametrii de efort, mai degrabă decât de temperatură; Alinierea efortului la sarcină gestionează calitatea și costul simultan. Securizați ieșirea cu max_tokens, stop arrays și ieșire structurată.

Sarcina de aplicare

Alegeți o sarcină. (1) Scrieți un prompt de sistem cu cinci componente (rol, domeniul de aplicare, format, ambiguitate, confidențialitate). (2) Spuneți ce nivel de efort ați alege pentru această sarcină și de ce. (3) Dacă rezultatul ar trebui să fie structurat, schițați o schemă JSON mică. (4) Verificați dacă există un model prea agresiv în promptul dvs. și înmuiați-l.

lista de verificare

  • [ ] Pot numi cinci componente ale unui prompt sistem bun.
  • [ ] Pot explica ce fac gândirea adaptivă și parametrii efortului.
  • [ ] Pot echilibra calitate/cost prin ajustarea efortului în funcție de sarcină.
  • [ ] Știu de ce ieșirea structurată este mai sigură decât solicitarea JSON prin prompt.
  • [ ] Pot recunoaște riscul în modelele moderne de instrucțiuni prea agresive.