Süsteemiviiba ja mudeli parameetrid

Kasu:

• Oskab kujundada, kuidas süsteemiviip juhib mudelit kogu vestluse vältel
• Mõistab adaptiivse mõtlemise ja pingutuse parameetrite rolli ja mõju kuludele
• rakendab väljundi juhtelemente, nagu max_tokens, stoppjärjestused ja struktureeritud väljund

Sama mudeli kaks erinevat toodet võivad käituda täiesti erinevalt. Erinevus ei ole mudelis endas, vaid süsteemiviipas ja sellele antud parameetrites. Süsteemi viip on mudeli "tööleping" ja parameetrid on "tööseaded". Selles üksuses saate teada, kuidas kujundada võimsat süsteemiviipa, mida teevad tänapäevaste mudelite mõtlemise ja pingutuse sätted ning kuidas juhtida väljundit vormingu/pikkuse järgi. Nende seadete õige määramine võimaldab hallata korraga nii kvaliteeti kui ka kulusid.

Süsteemi viip: mudeli püsidirektiiv

Süsteemiviip on kõrgetasemeline juhis, mis kehtib kogu vestluse vältel. Need reeglid jäävad kehtima, olenemata sellest, mida kasutaja tüüpib. Hea süsteemiviip sisaldab järgmisi komponente:

1. Roll/identiteet: kes on modell? ("Olete ettevõtte tugiassistent.")
2. Ulatus ja piir: mida see teeb ja mida mitte? ("Ainult esitatud poliitikadokumendi alusel.")
3. Vormingureeglid: milline peaks väljund välja nägema? ("Maksimaalselt 3 artiklit, ametlik keel.")
4. Käitumine ebakindluses: mida teha, kui inimene pole kindel? ("Kui infot pole, tehke see välja, suunake vastavasse üksusse.")
5. Turvalisus/privaatsus: mida ei taha/ei taha? ("Taotle isikuandmeid.")

Näpunäide. Hoidke süsteemiviip fikseerituna. Ärge manustage teavet, mis muutub iga päringuga (praegune kuupäev, kasutajanimi, seansi ID). See rikub järjepidevuse ja muudab kehtetuks üksuse 6 viipade vahemälu. Sisestage muutuja teave kasutaja sõnumisse.

Liiga agressiivne juhendamise lõks

Kaasaegsed mudelid järgivad juhiseid väga täpselt. Vanemates mudelites toiminud agressiivsed fraasid nagu "PEAB", "ALATI", "KINDLASTI seda tegema" jne viivad tänapäeval ülekäivitamiseni: mudel kutsub agendi välja, kui seda pole vaja või jookseb asjatult kaua. Pehmendage reeglit: "Otsingutööriista PEAB kasutama" asemel on täpsem "Kui vastust vestluses pole, kasutage otsingutööriista".

Mudeli parameetrid: Mõte ja pingutus

Klassikalistel LLM-idel oli temperatuuri parameeter: madalam väärtus andis spetsiifilisema / ühtlasema väljundi, suurem väärtus mitmekesisema / loomingulisema väljundi. Kaasaegse põlvkonna mudelid (nagu Opus 4.8, Sonnet 5) asendavad selle lähenemisviisi kahe võimsama mehhanismiga ega aktsepteeri enam proovivõtuparameetreid, nagu temperatuur.

• Adaptiivne mõtlemine: mudel põhjendab samm-sammult oma "peas" enne reageerimist. Mudel otsustab, kui palju mõelda, lähtudes ülesande raskusest. Parandab oluliselt täpsust keeruliste mitmeastmeliste probleemide lahendamisel; Ta mõtleb vähem, et vältida tarbetuid viivitusi lihtsate küsimuste lahendamisel.
• Jõupingutus: kõrgetasemeline nupp, mis reguleerib, kui sügavale mudel ülesandesse sukeldub ja kui palju žetoone see kokku kulutab. Tüüpilised tasemed: madal, keskmine, kõrge ja kõrgem. Suur pingutus võib parandada kvaliteeti, kuid suurendab ka viivitusi ja kulusid; Väike pingutus toob kiirust ja kokkuhoidu.

Seadistamine

Mis teeb

millal

Välja mõtlemine/väike pingutus

Kiire, odav, pealiskaudne

Lihtne klassifitseerimine, lühike vastus, tundlikud ülesanded viivitusega

Adaptiivne mõtlemine + keskmine pingutus

Tasakaalustatud kvaliteet/kulu

Enamik üldotstarbelisi ülesandeid

Adaptiivne mõtlemine + suur pingutus

kõrgeim täpsus

Keeruline arutluskäik, kodeerimine, pikamaa agenditöö

Ettevaatust: "maksimaalne pingutus, ükskõik mida" refleks suurendab kulusid. Kohandage pingutus ülesandega; Lihtsates ülesannetes annab väike pingutus sageli sama täpse tulemuse palju soodsama hinnaga. Minge kõrgele, kus on vaja kriitilist täpsust.

Väljundi juhtimine: formaat, pikkus, struktuur

Lisaks parameetritele saate juhtida ka väljundit ennast:

• max_tokens: Väljundi kõva lagi (1. ja 3. seade).
• Peatusjärjestused: mudeli peatamine, kui see näeb teatud stringi. Kasulik murdepunktide määramiseks struktureeritud tootmises.
• Struktureeritud väljund: sundige mudeli vastus vastama teie esitatud JSON-skeemile. See tagab, et väljund on programmiliselt parseeritav ja kehtiv. See on usaldusväärsem kui öelda "lihtsalt tagasta JSON" koos viipaga.

{ "output_config": { "format": { "type": "json_schema", "schema": { "type": "object", "additionalProperties": false, "properties": { "category": { "type": "string", "enum": ["arve", "tehniline", {other """]:} "string", "enum": ["madal", "keskmine", "kõrge"] } }, "nõutav": ["kategooria", "kiireloomulisus"] } } }}

Kopeeritavad süsteemiviipade mallid

# Ettevõtte tugiassistent Olete ettevõtte toe assistent. - Toetuge ainult esitatud poliitikadokumendile; Kui seda dokumendis pole, öelge "Mul pole seda teavet". - Andke ametlik ja selge vastus maksimaalselt 3 lausega. - Küsi isikuandmeid (TC ID number, kaardi number) ja ära korda seda oma vastuses. - Kui te pole kindel, ärge arvake.

# Struktureeritud väljundi sundklassifikaator Olete nõudluse klassifikaator. Sisend on kliendi sõnum. Tagasta ainult nõutud väljad, ära kirjuta kommentaare. Kui te pole kindel, kasutage sõna "muu".

# Analüütik, kellel on määratletud käitumine ebakindluses. Olete andmeanalüütik. Tehke esitatud tabelist ainult kontrollitavad järeldused. Ärge kunagi tehke järeldusi, mida andmetes pole. Kui järeldus on ebaselge, kirjutage "andmed ebapiisavad".

# Tooni ja pikkuse reguleerimisega sisukirjutaja Olete sisukirjutaja. Kasutage sooja, kuid professionaalset tooni. Piirake iga teksti pikkus kuni 120 sõna. Vältige klišeelikku turunduskeelt.

Nõrk viip / Tugev viip

# NõrkOle abivalmis ja anna häid vastuseid. Anna endast parim.

# STRONG Roll: Tehnilise toe spetsialist. Ulatus: ainult tootejuhend. Formaat: Samm-sammuline, nummerdatud loend, maksimaalselt 5 sammu. Piirang: soovitada lahendust, mida juhendis ei ole; Öelge "Ma ei leidnud seda juhendist". Privaatsus: ärge korrake kasutaja vastuses jagatud seerianumbrit.

Võimas versioon; See määrab eraldi rolli, ulatuse, vormingu, piirid ja konfidentsiaalsuse. Väljundi järjepidevus tuleneb otseselt sellest selgusest.

Kolm miniümbrist

Juhtum 1 – kulude vähendamine koormuse kohandamise kaudu. Üks meeskond tegi kõik oma üleskutsed suure pingutuse + mõtlemisega; Isegi lihtsad meilikokkuvõtted olid kallid ja nende tootmine aeglane. Nad määrasid lihtsad ülesanded, nagu kokkuvõtted väikese pingutuse jaoks ja lepinguanalüüs suure pingutuse jaoks. Täpsus säilis, keskmine latentsusaeg vähenes poole võrra ja igakuine kulu vähenes kolmandiku võrra.

Juhtum 2 – JSON-garantii. Operatsioonimeeskond küsis klassifikatsiooni väljundit viipaga "lihtsalt anna JSON", kuid mudel kirjutas aeg-ajalt "Siin on tulemus:" ja parser jookseb kokku. Kui ühendasin konfigureeritud väljundskeemi, tagastas väljund iga kord kehtiva JSON-i; sõelumisvead on lähtestatud.

Juhtum 3 – agressiivne kiire tagasilöök. Assistendi viip ütles: "PEAB otsima IGA KÜSIMUST"; Mudel tegi tarbetuid otsinguid isegi lihtsate küsimuste puhul, millele ta juba teadis vastust, aeglustades ja suurendades kulusid. Nad leevendasid reeglit "Kui vastus ei ole kontekstis, otsige"; Tarbetute kõnede arv vähenes 70% ja vastused kiirenesid.

Levinud vead

• Muutujate andmete manustamine süsteemiviipale: rikub järjepidevuse ja muudab vahemälu kehtetuks.
• Liiga agressiivne juhendamine: kaasaegsetes mudelites liigne käivitamine ja tarbetud kulud.
• Suur pingutus igas ülesandes: raiskamine lihtsates ülesannetes; kohandada jõupingutusi ülesandega.
• JSON-i taotlemine ainult viipa kaudu: see katkeb aeg-ajalt; kui kriitiline, kasutage struktureeritud väljundit.
• Ei määratle piiri/mitmetähenduslikku käitumist: mudel täidab tühimiku väljamõeldisega (hallutsinatsioonid).
• Vana "temperatuuri" harjumus: kaasaegsed mudelid ei aktsepteeri seda; Juhtige käitumist kiiresti ja pingutusega.

Sügavam: viipa kirjutamine nagu leping

Kogenud meeskonnad suhtuvad süsteemiviipasse nagu lepingusse, mitte kui kirjanduslikku teksti: selged klauslid, mõõdetavad reeglid, üheselt mõistetavad piirid. Sellel lähenemisviisil on kolm konkreetset eelist. Esimene on järjepidevus: sama sisend annab erinevatel aegadel sarnase väljundi. Teiseks on testitavus: iga eset saab prooviga eraldi testida. Kolmandaks on hoolduse lihtsus: kui käitumine on vale, siis teate, millist eset välja vahetada.

Hea tava on juhtida positiivseid näiteid. Selle asemel, et esitada loendit "ära tee seda", on tänapäevaste mudelite puhul palju tõhusam esitada näide, mis ütleb: "See on täpselt selline, nagu soovitud väljund välja näeb". Näiteks klassifikaatoris ühe või kahe eeldatava JSON-i näidise lisamine viibale vähendab oluliselt vormindamisvigu.

Teine võimas tehnika on määramatuse käitumise selgesõnaline kirjutamine. Klausel nagu "Kui pole kindel, ärge arvake; öelge "puudulikud andmed"" pärsib mudeli kalduvust täita tühimik väljamõeldisega (hallutsinatsioonid). See üksainus lause koormab välja kontrollikihi, mida käsitleme 11. üksuses: kui mudel on juba määramatuse märgistanud, on lihtsam viia inimese valideerimiseni.

Lõpuks kaaluge ühiselt jõupingutusi ja viitsimist. Suure pingutuse korral uurib mudel rohkem ja teeb mõnikord soovimatut “lisatööd” (tarbetu selgitus, lisasoovitus). Ütlus "anna ainult soovitud väljund, ärge lisage täiendavaid kommentaare" viibas kompenseerib selle suure pingutuse kõrvalmõju.

Kokkuvõttes

Süsteemiviip on mudeli püsidirektiiv: see määrab rolli, ulatuse, vormingu, ebaselge käitumise ja konfidentsiaalsuse. Kaasaegsetes mudelites juhivad käitumist pigem adaptiivne mõtlemine ja pingutusparameetrid kui temperatuur; Jõupingutuste vastavusse viimine ülesandega juhib kvaliteeti ja kulusid samaaegselt. Väljundi kindlustate max_tokens, stop-massiivide ja struktureeritud väljundiga.

Rakenduse ülesanne

Valige ülesanne. (1) Kirjutage viie komponendiga süsteemiviip (roll, ulatus, formaat, mitmetähenduslikkus, konfidentsiaalsus). (2) Öelge, millise pingutuse tase te selle ülesande jaoks valiksite ja miks. (3) Kui väljund peaks olema struktureeritud, visandage väike JSON-skeem. (4) Kontrollige, kas teie viipas pole liiga agressiivset mustrit, ja pehmendage seda.

kontrollnimekiri

• [ ] Võin nimetada viis komponenti heast süsteemiviipast.
• [ ] Oskan selgitada, mida teevad adaptiivse mõtlemise ja pingutuse parameetrid.
• [ ] Oskan kvaliteedi/kulu tasakaalustada, kohandades pingutust vastavalt ülesandele.
• [ ] Ma tean, miks struktureeritud väljund on turvalisem kui JSON-i taotlemine viipa kaudu.
• [ ] Tunnen tänapäevaste mudelite puhul liiga agressiivsete juhiste riski.