Sistemos raginimas ir modelio parametrai

Pelnas:

• Gali sukurti, kaip sistemos raginimas nukreipia modelį per visą pokalbį
• Supranta adaptyvaus mąstymo ir pastangų parametrų vaidmenį ir poveikį sąnaudoms
• įgyvendina išvesties valdiklius, tokius kaip max_tokens, sustabdymo sekos ir struktūrinė išvestis

Du skirtingi to paties modelio gaminiai gali veikti visiškai skirtingai. Skirtumas yra ne pačiame modelyje, o sistemos užklausoje ir jam pateiktuose parametruose. Sistemos raginimas yra modelio „darbo sutartis“, o parametrai yra „darbo nustatymai“. Šiame skyriuje sužinosite, kaip sukurti galingą sistemos raginimą, ką veikia šiuolaikinių modelių mąstymo ir pastangų nustatymai ir kaip valdyti formatą / ilgį. Teisingai nustatę šiuos parametrus galėsite vienu metu valdyti kokybę ir kainą.

Sistemos raginimas: nuolatinė modelio direktyva

Sistemos raginimas yra aukšto lygio instrukcija, taikoma viso pokalbio metu. Šios taisyklės galioja neatsižvelgiant į vartotojo tipą. Gerą sistemos raginimą sudaro šie komponentai:

1. Vaidmuo / tapatybė: kas yra modelis? („Jūs esate įmonės palaikymo asistentas“.)
2. Taikymo sritis ir riba: ką ji daro ir ko nedaro? („Remiantis tik pateiktu politikos dokumentu“.)
3. Formatavimo taisyklės: kaip turėtų atrodyti išvestis? („Ne daugiau kaip 3 straipsniai, oficialia kalba“.)
4. Elgesys neapibrėžtumo sąlygomis: ką daryti, kai nesate tikras? („Jei informacijos nėra, susiraskite, nukreipkite į atitinkamą skyrių“.)
5. Saugumas / privatumas: ko nenori / nenori? („Prašyti asmens duomenų“.)

Patarimas: ištaisykite sistemos raginimą. Neįterpkite informacijos, kuri keičiasi su kiekviena užklausa (datos, vartotojo vardo, seanso ID). Tai pažeidžia nuoseklumą ir anuliuoja greitąją talpyklą 6 bloke. Įdėkite kintamojo informaciją į vartotojo pranešimą.

Pernelyg agresyvus instrukcijų spąstai

Šiuolaikiniai modeliai labai griežtai laikosi instrukcijų. Agresyvios frazės, tokios kaip „PRIVALO“, „VISADA“, „BŪTINAI tai daryk“ ir kt., kurios veikė senesniuose modeliuose, šiandien veda prie perversmo: modelis iškviečia agentą, kai jo nereikia arba veikia be reikalo ilgai. Sušvelninkite taisyklę: vietoj „PRIVALO naudoti paieškos įrankį“, „Jei atsakymo nėra pokalbyje, naudokite paieškos įrankį“ yra tikslesnis.

Modelio parametrai: mintis ir pastangos

Klasikiniai LLM turėjo temperatūros parametrą: mažesnė vertė davė konkretesnę / nuoseklesnę produkciją, didesnė vertė - įvairesnę / kūrybingesnę produkciją. Šiuolaikinės kartos modeliai (pvz., Opus 4.8, Sonnet 5) pakeičia šį metodą dviem galingesniais mechanizmais ir nebepriima atrankos parametrų, tokių kaip temperatūra.

• Prisitaikantis mąstymas: modelis žingsnis po žingsnio samprotauja savo „galvoje“ prieš atsakydamas. Modelis nusprendžia, kiek galvoti, atsižvelgdamas į užduoties sudėtingumą. Žymiai pagerina sudėtingų, daugiapakopių problemų tikslumą; Jis mažiau galvoja, kad be reikalo nedelstų sprendžiant paprastus klausimus.
• Pastangos: aukšto lygio rankenėlė, reguliuojanti, kaip giliai modelis pasineria į užduotį ir kiek žetonų iš viso išleidžia. Tipiniai lygiai: žemas, vidutinis, aukštas ir didesnis. Didelės pastangos gali pagerinti kokybę, bet taip pat padidina vėlavimą ir išlaidas; Mažos pastangos suteikia greitį ir sutaupo.

Nustatymas

Kas daro

kada

Apgalvojimas/mažos pastangos

Greita, pigu, paviršutiniška

Paprasta klasifikacija, trumpas atsakymas, delsimas jautrios užduotys

Adaptyvus mąstymas + vidutinės pastangos

Subalansuota kokybė/kaina

Dauguma bendrosios paskirties užduočių

Adaptyvus mąstymas + didelės pastangos

didžiausias tikslumas

Sudėtingas samprotavimas, kodavimas, ilgalaikis agento darbas

Atsargiai: „maksimalių pastangų, nesvarbu, kokios“ refleksas padidina išlaidas. Pritaikyti pastangas prie užduoties; Atliekant paprastas užduotis, mažomis pastangomis dažnai gaunamas toks pat tikslus rezultatas už daug pigesnę kainą. Eikite aukštai ten, kur reikia kritinio tikslumo.

Išvesties valdymas: formatas, ilgis, struktūra

Be parametrų, jūs taip pat valdote patį išvestį:

• max_tokens: kietos išėjimo lubos (1 ir 3 blokai).
• Sustabdyti sekas: modelio sustabdymas, kai jis mato tam tikrą eilutę. Naudinga nustatant struktūrinės gamybos lūžio taškus.
• Struktūrinė išvestis: priverskite modelio atsaką atitikti jūsų pateiktą JSON schemą. Tai užtikrina, kad išvestis būtų programiškai analizuojama ir galiojanti. Tai patikimiau nei sakyti „tiesiog grąžinkite JSON“ su raginimu.

{ "output_config": { "format": { "tipas": "json_schema", "schema": { "type": "object", "additionalProperties": false, "properties": { "category": { "type": "string", "enum": ["sąskaita faktūra", "techninis", {o tipo "grįžta":} "string", "enum": ["žemas", "vidutinis", "aukštas"] } }, "required": ["kategorija", "skuba"] } } }}

Kopijuojami sistemos raginimo šablonai

# Corporate Support assistantEsate įmonės palaikymo asistentas. Pasikliaukite tik pateiktu politikos dokumentu; Jei dokumente jos nėra, pasakykite „Aš neturiu šios informacijos“. - Pateikite oficialų ir aiškų atsakymą daugiausiai 3 sakiniais. - Prašykite asmens duomenų (TC ID numerio, kortelės numerio) ir nekartokite to savo atsakyme. – Jei nesate tikras, nespėkite.

# Struktūrinis išvesties priverstinis klasifikatoriusEsate paklausos klasifikatorius. Įvestis yra kliento pranešimas. Grąžinkite tik prašomus laukelius, komentarų nerašykite. Jei nesate tikri, naudokite „kita“.

# Analitikas, kuriam būdingas neapibrėžtumo elgesys. Jūs esate duomenų analitikas. Iš pateiktos lentelės padarykite tik patikrinamas išvadas. Niekada nedarykite išvados, kurios nėra duomenyse. Jei išvada neaiški, parašykite „duomenų nepakanka“.

# Turinio rašytojas su tono ir ilgio valdymu Jūs esate turinio rašytojas. Naudokite šiltą, bet profesionalų toną. Apribokite kiekvieną tekstą iki 120 ar mažiau žodžių. Venkite klišinės rinkodaros kalbos.

Silpnas raginimas / Stiprus raginimas

# SILPNABūkite paslaugūs ir pateikite gerus atsakymus. Daryk viską, ką gali.

# STRONGVaidmuo: Techninės pagalbos specialistas.Apimtis: Pateikiamas tik gaminio vadovas.Formatas: Žingsnis po žingsnio, sunumeruotas sąrašas, daugiausia 5 žingsnių.Riba: Rekomenduoti sprendimą, kurio nėra vadove; Pasakykite „Neradau jo vadove“. Privatumas: nekartokite serijos numerio, kuriuo vartotojas pasidalino atsakyme.

Galinga versija; Jis atskirai nustato vaidmenį, apimtį, formatą, ribas ir konfidencialumą. Išvesties nuoseklumas tiesiogiai kyla iš šio aiškumo.

Trys mini dėklai

1 atvejis. Išlaidų sumažinimas koreguojant pastangas. Viena komanda visus savo raginimus dėjo daug pastangų ir mąstymo; Net paprasti el. laiškų santraukos buvo brangios ir lėtai gaminamos. Jie skyrė paprastas užduotis, pvz., santraukas, kad būtų mažai pastangų, ir sutarčių analizę, kai stengiamasi daug pastangų. Tikslumas buvo išlaikytas, vidutinė delsa sumažėjo perpus, o mėnesio išlaidos sumažėjo trečdaliu.

2 atvejis – JSON garantija. Operacijų komanda paprašė klasifikavimo išvesties, sakydama „tiesiog duok JSON“, tačiau modelis retkarčiais parašydavo „Štai rezultatas:“ ir analizatorius užstrigdavo. Kai prijungiau sukonfigūruotą išvesties schemą, išvestis kiekvieną kartą grąžindavo galiojantį JSON; analizavimo klaidos buvo nustatytos iš naujo.

3 atvejis – Agresyvus greitas atsitraukimas. Pagalbinis raginimas pasakė: „PRIVALO ieškoti KIEKVIENO KLAUSIMO“; Modelis bereikalingai ieškojo net paprastų klausimų, į kuriuos jau žinojo atsakymą, sulėtindamas ir padidindamas išlaidas. Jie sušvelnino taisyklę į „Jei atsakymas nėra kontekste, ieškokite“; Nereikalingų skambučių sumažėjo 70%, o atsakymai paspartėjo.

Dažnos klaidos

• Kintamųjų duomenų įterpimas į sistemos raginimą: pažeidžia nuoseklumą ir panaikina talpyklą.
• Pernelyg agresyvi instrukcija: per didelis paleidimas ir nereikalingos išlaidos šiuolaikiniuose modeliuose.
• Didelės pastangos atliekant kiekvieną užduotį: švaistymas atliekant paprastas užduotis; pritaikyti pastangas prie užduoties.
• JSON užklausa tik per raginimą: retkarčiais nutrūksta; jei kritinė, naudokite struktūrizuotą išvestį.
• Nenubrėžiamas ribos / dviprasmiškumas: modelis užpildo spragą prasimanymu (haliucinacijomis).
• Senas „temperatūros“ įprotis: šiuolaikiniai modeliai to nepriima; Greitai ir pastangomis vadovaukitės elgesiu.

Giliau: raginimo rašymas kaip sutartis

Patyrusios komandos sistemos raginimą traktuoja kaip sutartį, o ne literatūrinį tekstą: aiškios sąlygos, išmatuojamos taisyklės, nedviprasmiškos ribos. Šis metodas turi tris konkrečius privalumus. Pirmasis yra nuoseklumas: ta pati įvestis suteikia panašią išvestį skirtingu metu. Antra, testuojamumas: kiekvieną elementą galite išbandyti atskirai su pavyzdžiu. Trečia, paprasta priežiūra: jei elgesys neteisingas, žinote, kurį elementą pakeisti.

Gera praktika – rodyti teigiamus pavyzdžius. Užuot pateikus „to nedaryk“ sąrašą, šiuolaikiniuose modeliuose daug efektyviau pateikti pavyzdį, kuriame sakoma, kad „būtent taip atrodo norima produkcija“. Pavyzdžiui, klasifikatoriuje į raginimą pridėjus vieną ar du laukiamo JSON pavyzdžius žymiai sumažėja formatavimo klaidų.

Kitas galingas būdas yra aiškiai užrašyti neapibrėžtumo elgesį. Tokia sąlyga kaip „Jei nesate tikri, nespėk; sakykite „nepakankamai duomenų““ slopina modelio polinkį užpildyti tuščią vietą prasimanymu (haliucinacijomis). Šis vienas sakinys iškrauna patikrinimo sluoksnį, kurį apžvelgsime 11 skyriuje: kai modelis jau pažymėjo neapibrėžtumą, tampa lengviau atlikti žmogaus patvirtinimą.

Galiausiai kartu apsvarstykite pastangas ir raginimą. Didelėmis pastangomis modelis tyrinėja daugiau ir kartais atlieka nepageidaujamą „papildomą darbą“ (nereikalingas paaiškinimas, papildomas pasiūlymas). Sakymas „duokite tik norimą rezultatą, nepridėkite papildomų komentarų“ užklausoje kompensuoja šį šalutinį didelių pastangų poveikį.

Apibendrinant

Sistemos raginimas yra nuolatinė modelio direktyva: ji apibrėžia vaidmenį, apimtį, formatą, neaiškumų elgesį ir konfidencialumą. Šiuolaikiniuose modeliuose elgesį lemia adaptyvus mąstymas ir pastangų parametrai, o ne temperatūra; Pastangų suderinimas su užduotimi valdo kokybę ir išlaidas vienu metu. Išvestį apsaugote naudodami max_tokens, stop masyvus ir struktūrinę išvestį.

Taikymo užduotis

Pasirinkite užduotį. (1) Parašykite sistemos raginimą su penkiais komponentais (vaidmuo, apimtis, formatas, dviprasmiškumas, konfidencialumas). (2) Nurodykite, kokį pastangų lygį pasirinktumėte šiai užduočiai atlikti ir kodėl. (3) Jei išvestis turėtų būti struktūrizuota, nubraižykite mažą JSON schemą. (4) Patikrinkite, ar jūsų raginime nėra pernelyg agresyvaus rašto, ir sušvelninkite jį.

kontrolinis sąrašas

• [ ] Galiu įvardyti penkis geros sistemos raginimo komponentus.
• [ ] Galiu paaiškinti, ką veikia adaptyvaus mąstymo ir pastangų parametrai.
• [ ] Galiu subalansuoti kokybę/kainą koreguodamas pastangas pagal užduotį.
• [ ] Žinau, kodėl struktūrinė išvestis yra saugesnė nei prašyti JSON per raginimą.
• [ ] Galiu atpažinti riziką šiuolaikiniuose pernelyg agresyvių nurodymų modeliuose.