System Prompt at Mga Parameter ng Modelo — API, Gastos at Pagsasama

Mga nadagdag:

Maaaring magdisenyo kung paano ginagabayan ng system prompt ang modelo sa buong pag-uusap
Nauunawaan ang papel at epekto ng gastos ng adaptive na pag-iisip at mga parameter ng pagsisikap
nagpapatupad ng mga kontrol sa output gaya ng max_tokens, stop sequences, at structured na output

Ang dalawang magkaibang produkto ng parehong modelo ay maaaring ganap na magkaiba. Ang pagkakaiba ay wala sa modelo mismo, ngunit sa prompt ng system at mga parameter na ibinigay dito. Ang prompt ng system ay ang "kontrata sa trabaho" ng modelo at ang mga parameter ay "mga setting ng trabaho." Sa unit na ito, matututunan mo kung paano magdisenyo ng isang malakas na prompt ng system, kung ano ang ginagawa ng mga setting ng pag-iisip at pagsisikap sa mga modernong modelo, at kung paano kontrolin ang output para sa format/haba. Ang pagtatakda ng mga setting na ito nang tama ay nagbibigay-daan sa iyong pamahalaan ang parehong kalidad at gastos sa parehong oras.

System Prompt: Permanenteng Direktiba ng Modelo

Ang prompt ng system ay ang mataas na antas ng pagtuturo na nalalapat sa buong pag-uusap. Nananatiling wasto ang mga panuntunang ito kahit na ano ang uri ng user. Kasama sa isang mahusay na prompt ng system ang mga sumusunod na bahagi:

Tungkulin/pagkakakilanlan: Sino ang modelo? (“Ikaw ay isang corporate support assistant.”)
Saklaw at hangganan: Ano ang ginagawa nito at ano ang hindi nito ginagawa? (“Batay lamang sa ibinigay na dokumento ng patakaran.”)
Mga panuntunan sa format: Ano dapat ang hitsura ng output? ("Maximum na 3 artikulo, opisyal na wika.")
Pag-uugali sa kawalan ng katiyakan: Ano ang ginagawa kapag hindi sigurado? ("Kung walang impormasyon, buuin ito, idirekta ito sa nauugnay na yunit.")
Seguridad/pribado: Ano ang ayaw/ayaw? ("Humiling ng personal na data.")

Tip: Panatilihing maayos ang prompt ng system. Huwag i-embed ang impormasyong nagbabago sa bawat kahilingan (kasalukuyang petsa, username, session ID). Pareho nitong sinisira ang pagkakapare-pareho at hindi wasto ang prompt cache sa unit 6. Ilagay ang variable na impormasyon sa mensahe ng user.

Ang Masyadong Agresibong Instruction Trap

Ang mga modernong modelo ay sumusunod sa pagtuturo nang napakalapit. Ang mga agresibong parirala gaya ng "DAPAT", "LAGA", "TIYAK na gawin ito", atbp., na gumagana sa mga mas lumang modelo, ngayon ay humahantong sa overtriggering: ang modelo ay tumatawag sa isang ahente kapag hindi ito kailangan o tumatakbo sa hindi kinakailangang mahabang panahon. Palambutin ang panuntunan: Sa halip na "DAPAT gamitin ang tool sa paghahanap", "Kung ang sagot ay wala sa pag-uusap, gamitin ang tool sa paghahanap" ay mas tumpak.

Mga Parameter ng Modelo: Pag-iisip at Pagsisikap

Ang mga klasikal na LLM ay may parameter ng temperatura: ang isang mas mababang halaga ay nagdulot ng mas tiyak/pare-parehong output, ang isang mas mataas na halaga ay nagdulot ng mas iba-iba/malikhaing output. Pinapalitan ng mga modernong modelo ng henerasyon (gaya ng Opus 4.8, Sonnet 5) ang diskarteng ito ng dalawang mas makapangyarihang mekanismo at hindi na tumatanggap ng mga parameter ng sampling gaya ng temperatura.

Adaptive thinking: Ang modelo ay nangangatuwiran nang sunud-sunod sa "ulo" nito bago tumugon. Ang modelo ang magpapasya kung magkano ang dapat isipin batay sa kahirapan ng gawain. Makabuluhang nagpapabuti sa katumpakan sa mga kumplikado, multi-step na problema; Mas kaunti ang iniisip niya para maiwasan ang mga hindi kinakailangang pagkaantala sa mga simpleng tanong.
Pagsisikap: High-level knob na nagsasaayos kung gaano kalalim ang pag-dive ng modelo sa isang gawain at kung gaano karaming mga token ang ginagastos nito sa kabuuan. Mga karaniwang antas: mababa, katamtaman, mataas at mas mataas. Maaaring mapabuti ng mataas na pagsisikap ang kalidad, ngunit pinapataas din nito ang pagkaantala at gastos; Ang mababang pagsisikap ay nagdudulot ng bilis at pagtitipid.

Setting

Ano ang ginagawa

kailan

Nag-iisip ng off/low effort

Mabilis, mura, mababaw

Simpleng pag-uuri, maikling tugon, antalahin ang mga sensitibong gawain

Adaptive na pag-iisip + katamtamang pagsisikap

Balanseng kalidad/gastos

Karamihan sa mga pangkalahatang layunin na gawain

Adaptive na pag-iisip + mataas na pagsisikap

pinakamataas na katumpakan

Kumplikadong pangangatwiran, coding, long-range agent work

Babala: Ang "maximum na pagsisikap kahit na ano" reflex ay nagpapalaki ng mga gastos. Ayusin ang pagsisikap sa gawain; Sa mga simpleng gawain, ang mababang pagsisikap ay kadalasang nagbibigay ng parehong tumpak na resulta sa mas murang presyo. Pumunta nang mataas kung saan kailangan ang kritikal na katumpakan.

Kontrol ng Output: Format, Haba, Istraktura

Bukod sa mga parameter, kinokontrol mo rin ang output mismo:

max_tokens: Matigas na kisame ng output (1st at 3rd unit).
Ihinto ang mga pagkakasunud-sunod: Paghinto sa modelo kapag nakakita ito ng isang partikular na string. Kapaki-pakinabang para sa pagtatakda ng mga breakpoint sa structured na produksyon.
Structured output: Pilitin ang tugon ng modelo na umayon sa isang JSON schema na iyong ibinigay. Tinitiyak nito na ang output ay programmatically parsable at valid. Ito ay mas maaasahan kaysa sa pagsasabi ng "ibalik lang ang JSON" nang may prompt.

{ "output_config": { "format": { "type": "json_schema", "schema": { "type": "object", "additionalProperties": false, "properties": { "category": { "type": "string", "enum": ["invoice", "technical", "return"}", "other"] "string"}", "other"] "string" "enum": ["mababa", "medium", "high"] } }, "kinakailangan": ["category", "urgent"] } } }}

Nakokopya na Mga Template ng Prompt ng System

# Corporate support assistant Isa kang corporate support assistant.- Umasa lamang sa ibinigay na dokumento ng patakaran; Kung wala ito sa dokumento, sabihin ang "Wala akong impormasyong ito." - Magbigay ng pormal at malinaw na sagot sa maximum na 3 pangungusap. - Humingi ng personal na data (TC ID number, card number) at huwag ulitin sa iyong sagot. - Kung hindi ka sigurado, huwag hulaan.

# Structured output forcing classifier Isa kang demand classifier. Ang input ay isang mensahe ng customer. Ibalik lamang ang hiniling na mga patlang, huwag magsulat ng mga komento. Kung hindi ka sigurado, gumamit ng "iba".

# Analyst na may tinukoy na pag-uugali ng nakatayo sa kawalan ng katiyakan Isa kang data analyst. Gumuhit lamang ng mga napapatunayang hinuha mula sa ibinigay na talahanayan. Huwag kailanman gumawa ng konklusyon na wala sa data. Kung hindi malinaw ang isang hinuha, isulat ang "hindi sapat ang data."

# Content writer na may kontrol sa tono at habaIsa kang content writer. Gumamit ng mainit ngunit propesyonal na tono. Limitahan ang bawat teksto sa 120 salita o mas kaunti. Iwasan ang cliché marketing language.

Mahinang prompt / Malakas na prompt

# WEAKBe nakakatulong at nagbibigay ng magagandang sagot. Gawin mo ang iyong makakaya.

# STRONGRole: Espesyalista sa teknikal na suporta. Saklaw: Bigay lang ang gabay sa produkto. Format: Step-by-step, numbered list, 5 steps maximum. Limitasyon: Magrekomenda ng solusyon na wala sa gabay; Sabihin ang "Hindi ko mahanap ito sa manual." Privacy: Huwag ulitin ang serial number na ibinahagi ng user sa tugon.

Napakahusay na bersyon; Tinutukoy nito ang tungkulin, saklaw, format, mga hangganan at pagiging kumpidensyal nang hiwalay. Ang pagkakapare-pareho ng output ay direktang nagmumula sa kalinawan na ito.

Tatlong Mini Case

Kaso 1 — Pagbabawas ng gastos sa pamamagitan ng pagsasaayos ng pagsisikap. Ang isang koponan ay tumatakbo sa lahat ng kanilang mga tawag sa mataas na pagsisikap + pag-iisip; Maging ang mga simpleng email digest ay mahal at mabagal sa paggawa. Nagtalaga sila ng mga simpleng gawain tulad ng mga buod sa mababang pagsisikap at pagsusuri ng kontrata sa mataas na pagsisikap. Napanatili ang katumpakan, ang average na latency ay binawasan ng kalahati, at ang buwanang gastos ay nabawasan ng isang ikatlo.

Case 2 — Garantiya ng JSON. Hiniling ng isang operations team ang output ng pag-uuri na may prompt na nagsasabing "bigyan mo lang si JSON", ngunit paminsan-minsan ay isusulat ng modelo ang "Narito ang resulta:" at mag-crash ang parser. Kapag ikinonekta ko ang naka-configure na output schema, ang output ay nagbabalik ng wastong JSON sa bawat oras; na-reset ang mga error sa pag-parse.

Kaso 3 — Agresibong maagap na pag-urong. Sinabi ng isang katulong na prompt, "DAPAT hanapin ang BAWAT TANONG"; Ang modelo ay gumawa ng mga hindi kinakailangang paghahanap kahit para sa mga simpleng tanong na alam na nito ang sagot, bumagal at tumataas ang mga gastos. Niluwagan nila ang panuntunan sa "Kung ang sagot ay wala sa konteksto, maghanap"; Bumaba ng 70% ang mga hindi kinakailangang tawag at bumilis ang mga tugon.

Mga karaniwang pagkakamali

Pag-embed ng variable na data sa prompt ng system: Sinisira ang pagkakapare-pareho at pinapawalang-bisa ang cache.
Masyadong agresibong pagtuturo: Labis na pag-trigger at hindi kinakailangang gastos sa mga modernong modelo.
Mataas na pagsisikap sa bawat gawain: Mag-aaksaya sa mga simpleng gawain; ayusin ang pagsisikap sa gawain.
Paghiling ng JSON lamang sa pamamagitan ng prompt: Paminsan-minsan itong nasisira; kung kritikal, gumamit ng structured na output.
Hindi pagtukoy ng hangganan/kalabuan na pag-uugali: Pinupuno ng modelo ang puwang ng katha (hallucination).
Lumang ugali ng `temperatura`: Hindi ito tinatanggap ng mga modernong modelo; Gabayan ang pag-uugali nang may maagap at pagsisikap.

Mas Malalim: Pagsusulat ng Prompt Tulad ng isang Kontrata

Tinatrato ng mga nakaranasang koponan ang prompt ng system na parang isang kontrata, hindi isang pampanitikan na teksto: malinaw na mga sugnay, masusukat na panuntunan, hindi malabo na mga hangganan. Ang pamamaraang ito ay may tatlong konkretong benepisyo. Ang una ay consistency: ang parehong input ay nagbibigay ng katulad na output sa iba't ibang oras. Pangalawa ay testability: maaari mong subukan ang bawat item nang hiwalay gamit ang isang sample. Pangatlo ay kadalian ng pagpapanatili: kung mali ang isang pag-uugali, alam mo kung aling item ang papalitan.

Ang isang mabuting kasanayan ay ang manguna na may mga positibong halimbawa. Sa halip na magbigay ng isang listahan ng "huwag gawin ito", ito ay mas epektibo sa modernong mga modelo upang magbigay ng isang halimbawa na nagsasabing "ito ay eksakto kung ano ang nais na output hitsura". Halimbawa, sa isang classifier, ang pagdaragdag ng isa o dalawang sample ng inaasahang JSON sa prompt ay makabuluhang binabawasan ang mga error sa pag-format.

Ang isa pang makapangyarihang pamamaraan ay ang tahasang isulat ang pag-uugali ng kawalan ng katiyakan. Ang isang sugnay tulad ng "Kung hindi sigurado, huwag hulaan; sabihin ang 'hindi sapat na data'" ay pinipigilan ang pagkahilig ng modelo na punan ang blangko ng katha (hallucination). Inalis ng solong pangungusap na ito ang layer ng pag-verify, na tatalakayin natin sa unit 11: kapag na-flag na ng modelo ang kawalan ng katiyakan, nagiging mas madaling humantong sa pagpapatunay ng tao.

Panghuli, isaalang-alang ang pagsisikap at maagap nang magkasama. Sa mataas na pagsisikap, ang modelo ay nag-explore nang higit pa at kung minsan ay gumagawa ng hindi gustong "dagdag na gawain" (hindi kinakailangang paliwanag, karagdagang mungkahi). Ang pagsasabi na "ibigay lamang ang nais na output, huwag magdagdag ng mga karagdagang komento" sa prompt ay na-offset ang side effect na ito ng mataas na pagsisikap.

Sa buod

Ang prompt ng system ay ang permanenteng direktiba ng modelo: tinutukoy nito ang tungkulin, saklaw, format, pag-uugali ng kalabuan, at pagiging kumpidensyal. Sa modernong mga modelo, ang pag-uugali ay hinihimok ng adaptive na pag-iisip at mga parameter ng pagsisikap sa halip na temperatura; Ang pag-align ng pagsisikap sa gawain ay namamahala sa kalidad at gastos nang sabay-sabay. Ise-secure mo ang output gamit ang max_tokens, stop arrays, at structured na output.

Gawain ng aplikasyon

Pumili ng isang gawain. (1) Sumulat ng prompt ng system na may limang bahagi (tungkulin, saklaw, format, kalabuan, pagiging kumpidensyal). (2) Sabihin kung anong antas ng pagsisikap ang pipiliin mo para sa gawaing ito at bakit. (3) Kung ang output ay dapat na structured, sketch out ng isang maliit na JSON schema. (4) Suriin kung may sobrang agresibong pattern sa iyong prompt at palambutin ito.

checklist

[ ] Maaari kong pangalanan ang limang bahagi ng isang mahusay na prompt ng system.
[ ] Maaari kong ipaliwanag kung ano ang ginagawa ng adaptive thinking at effort parameters.
[ ] Maaari kong balansehin ang kalidad/gastos sa pamamagitan ng pagsasaayos ng pagsisikap ayon sa gawain.
[ ] Alam ko kung bakit mas ligtas ang structured na output kaysa sa paghiling ng JSON sa pamamagitan ng prompt.
[ ] Nakikilala ko ang panganib sa mga modernong modelo ng sobrang agresibong mga tagubilin.