Girdeji:
- LLM API haýyşynyň esasy gurluşyny suratlandyryp bilersiňiz (ahyrky nokat, model, habarlar, max_tokens)
- Ulgam, ulanyjy we kömekçi rollar bilen raýatlygy bolmadyk söhbetdeşlik taryhynyň arasyndaky tapawuda düşünýär
- Yza gaýdyp gelen jogabyň meýdanlaryny (mazmun bloklary, stop_reason, ulanylyşy) okap we düşündirip bilersiňiz
Öňki modullarda söhbet penjiresinden emeli intellekt ulanýardyk. Emma AI-ni öz önümiňize, awtomatlaşdyrma ýa-da iş prosesine ornaşdyrmak isleseňiz, söhbetdeşlik interfeýsi ony kesmez; Modeli programma taýdan, ýagny kod ýa-da awtomatlaşdyryş guraly bilen birikdirmeli. Bu köpriniň ady API (Programma üpjünçiligi interfeýsi, iki programma üpjünçiliginiň belli bir düzgünler bilen gürleşmegine mümkinçilik berýän şertnama). Bu bölümi gutaranyňyzda LLM (Uly dil modeli) API haýyşynyň nämedigini, haýsy habar rollaryny ýerine ýetirýändigini we jogaby nädip okamalydygyny bilersiňiz. Bu, modulyň galan böleginiň guruljak binýady.
API nähili işleýär?
API-de esasy akym şeýledir: belli bir formatda haýyş iberýärsiňiz; Serwer belli bir formatda jogap berýär. LLM-lerde, adatça, bir adrese (ahyrky nokat, haýyşyňyzy dolandyrýan serwerdäki kesgitlenen salgy) HTTP jaňy (HTTP: webde haýyş-jogap bermek üçin standart protokol). Mysal üçin, habarlaşma API-de ähli haýyşlar bir adrese gidýär we bedende JSON görnüşinde ýerine ýetirilýär (JavaScript Object Notation - adamlar we maşynlar tarapyndan okalýan açar / baha jübütlerinden ybarat tekst formaty).
Haýyşda, iň bolmanda şu üç zady görkezýärsiňiz:
- Model: Haýsy modeli ulanarsyňyz (meselem, çalt we arzan model ýa-da güýçli model).
- max_tokens: Modeliň öndürip biljek iň köp belgisi (tekstiň işlenýän iň kiçi bölümi, indiki bölümde jikme-jik işlener); meselem, çykyş çäkleri.
- habarlar: Gepleşigi düzýän habarlaryň sanawy.
Stepdimme-ädim: Talaby nädip düzmeli
- Ahyrky nokady we şahsyýet maglumatlaryny taýýarlaň. API açaryny (şahsyýetiňizi subut edýän gizlin setir) sözbaşy sözbaşyna goşýarsyňyz. Hiç haçan açary koda salmarsyňyz; 9-njy bölümde ygtybarly ammar gurarys.
- Model we çykyş çägini saýlaň. Simpleönekeý iş üçin ýeňil model + kiçi max_tokens; Güýçli model + çylşyrymly mesele üçin has uly çäk.
- Habar sanawyny düzüň. List the system instruction, user message, and past rounds (if any).
- Haýyşy iberiň we jogaby derňäň. Tekstiň mazmunyny okaň, sebäbini duruzyň we yzyna gaýdyp gelen JSON-dan peýdalanyň.
Habar rollary: ulgam, ulanyjy, kömekçi
Gepleşik yzygiderli düzülen habarlardan durýar we her habaryň roly bar. Rol modeliň şol tekste nähili garaýandygyny kesgitleýär.
Rol
Kim ýazýar
Maksat
ulgamy
Öndüriji / operator
Bütin söhbetdeşlikde ulanylýan hemişelik görkezmeler, şahsyýet we düzgünler
ulanyjy
ahyrky ulanyjy
Ulanyjynyň häzirki soragy ýa-da girişi
kömekçisi
modeli
Model tarapyndan öndürilen jogap (we öňki jogaplar)
Ulgam roly, üpjün edijileriň köpüsinde haýyş organynda aýratyn ulgam meýdany hökmünde elýeterlidir; ulanyjy we kömekçi habarlar sanawynda yzygiderli görkezilýär. Critical point: the system instruction is the high-level instruction, the user message is the request to be answered at that moment.
model "model": "claude-opus-4-8", "max_tokens": 1024, "system": "Siz korporatiw goldawçysyňyz. Gysga, resmi we tassyklanan jogap beriň. Özüňize ynanmaýan maglumatlaryňyzy düzmäň.", "habarlar": [{"rol": "ulanyjy", "mazmun": "Yza gaýdyp gelişimi nädip başlamaly?" }]}
Gepleşiksiz
Iň ýaýran ýalňyş düşünje: LLM API jaňlary raýatlygy ýok - serwer iki haýyşyň arasynda ýady saklamaýar. Model öňki haýyşyňyzy ýada salmaýar. Köp aýlawly söhbet gurýan bolsaňyz, her täze haýyş bilen geçen tapgyrlary täzeden ibermeli bolarsyňyz. Modeliň "ýady" iberen habarlaryňyzyň sanawyndan durýar.
{"model": "claude-opus-4-8", "max_tokens": 512, "habarlar": [{"rol": "ulanyjy", "mazmun": "Salam, meniň adym Deniz." }, {"rol": "kömekçi", "mazmun": "Salam Deniz, size nädip kömek edip bilerin?" }, {"rol": "ulanyjy", "mazmun": "Men ýaňy adymy aýtdym, ýadyňdamy?" }]}
Üçünji habara dogry jogap bermek, öňki habarlaryň ikisini hem ibermegiňize baglydyr. Ibermeseňiz, model "Deňizi" bilmez we nädogry jogap berer. Bu hem çykdajylara gönüden-göni täsir edýär: söhbet näçe uzyn bolsa, sanaw şonça-da köp bolar, her haýyş has köp bellik sarp eder.
Maslahat: Uzyn gepleşiklerde, tutuş taryhy ibermegiň ýerine köne tapgyrlary jemlemek we göçürmek (jemleme + soňky birnäçe tapgyr) çykdajylary azaldýar we kontekst penjiresini saklaýar. Muny 6 we 11 bölümlerde çuňlaşdyrarys.
Jogap oka
Model jogap bereninde, ýönekeý tekst däl-de, gurluşly bir obýekt alarsyňyz. Adaty ýerler:
id "id": "msg_01ABC ...", "model": "claude-opus-4-8", "rol": "kömekçi", "mazmun": "çykyş_tokens": 88}}
- mazmuny: jogabyň özi; Mazmun bloklarynyň sanawy. Tekst blokynyň tekst meýdany hakyky jogap.
- stop_reason: Näme üçin model saklandy. end_turn = tebigy ahyr; max_tokens = çykyş çägine ýapyşdy (jogap doly däl bolup biler); ret etmek = howpsuzlyk sebäpli ret edildi. Koduňyz elmydama ilki stop_reason-a seretmeli.
- ulanylyşy: Giriş we çykyş bellik belgileri. Bahanyň we çäklendirilen yzarlamanyň esasyny düzýär.
Üns beriň: stop_reason max_tokens bolsa, jogap gutarmaz. Muňa "üstünlikli jogap" hökmünde garamak we ulanyja ýarym tekst görkezmek önümçilikde iň köp ýaýran ýalňyşlyklaryň biridir. Maxa-da max_tokens köpeldiň ýa-da akymy ulanyň.
Gowşak haýyş / Güýçli haýyş
Iki dürli ulgam bilen birmeňzeş mesele:
# WEAKY kömekçi. Soraglara jogap beriň.
# STRONGY korporatiw goldaw kömekçisi. Düzgünler: - Diňe berlen syýasat resminamasyndaky maglumatlara bil baglaň; Resminamada ýok bolsa, "Mende bu maglumat ýok, degişli bölüme ugrukdyrýaryn" diýiň. - Jogaplar 3 sözlemden köp bolmaly däldir, resmi we düşnükli bolmaly. - Şahsy maglumatlary (TC ID belgisi, kart belgisi) soramaň we gaýtalamaň. - Özüňizi anyk bilmeýän wagtyňyz çaklamaň.
Güýçli wersiýa; Ulanyş çägini, görnüşini, howpsuzlyk çägini we näbellilikde özüni alyp barşyny kesgitleýär. Modeliň çykarylyşynyň yzygiderliligi gönüden-göni bu aýdyňlykdan gelýär.
Üç kiçi waka
1-nji waka - goldaw boty (raýatsyzlyk duzagy). Elektron söwda topary boty göni efirde aldy; Ulanyjy "öňki buýrugy ýatyryň" diýende, bot sargyt belgisini "ýatdan çykardy". Sebäp: her haýyşy diňe soňky habar bilen iberýärdiler. Çözgüt: habarlar sanawyna soňky 6 tapgyry goşdular. Netije: kontekst goralyp saklandy, ýöne haýyş bilen giriş 40 belgiden ~ 600 belgä çenli ýokarlandy - çykdajy sapagyny 2-nji bölümde geçireris.
2-nji waka - Doly däl şertnamanyň gysgaça mazmuny. Hukuk toparynda 10 sahypalyk şertnamalar bardy; max_tokens: 300 pes galdy, gysgaça mazmun orta möhleti kesdi. stop_reason her gezek max_tokensdi, ýöne hiç kim gözlemedi. max_tokens-i 1500-e ýetirdi we stop_reason barlagyny goşdy; Kesilen jemleme derejesi 18% -den 0% -e çenli azaldy.
3-nji waka - Garyşyk rollar. Marketing topary ulgamy boş goýup, ähli görkezmeleri ulanyjy habaryna ýazýardy. Ulanyjy giriş görkezme bilen garyşanda, model käwagt ulanyjynyň "öňki düzgünleri ýatdan çykarmak" buýrugyna laýyk gelýär. Hemişelik düzgünleri ulgama geçirdiler; Ulanyjynyň girişini görkezmeden aýyrmak bilen düzgünleriň bozulmagy ep-esli azaldy.
Adaty ýalňyşlyklar
- Geçmişi ibermegi ýatdan çykarmak: Model "ýadyňa düşmez"; raýatlygy ýok bolsa. Konteksti alyp barýarsyňyz.
- "Stop_reason" -a seretmezlik: max_tokens bilen bes edilen jogap doly hasaplanýar.
- "Ulanyjy" -da görkezmäni ornaşdyrmak: Ulgamda dowamly düzgünler; dessine giriş ulanyja gidýär. Garyşyk howpsuzlyk gowşaklyklaryny döredýär.
- Contentönekeý setir üçin "mazmun" ýalňyş: Jogap bloklaryň sanawy; birinji tekst blokynyň tekst meýdanyny okaň, mazmuny [0] almazdan ozal onuň görnüşini barlaň.
- Kody açary ornaşdyrmak: Daşky gurşaw üýtgeýjisini ulanyň (9-njy bölüm).
Çuňňur: Mazmun bloklary we köp bölümli jogaplar
Jogapdaky mazmun meýdanynyň sanawdygyna düşünmek, soňrak ýüze çykjak ösen aýratynlyklar üçin möhümdir. Käwagt model tekstiň bir topbagyny däl-de, birnäçe blokuny yzyna gaýtaryp berýär: pikirleniş topary, soň bolsa tekst bloky; ýa-da gurallary ulanýan blokdan soň tekst bloky. Şonuň üçin mazmuny [0] "jogap" hökmünde kör hasaplamak gowşak. Dogry çemeleşme sanawdan geçmek we görnüşi boýunça tertiplemekdir: görnüşi meýdan teksti bolan bloklaryň tekst mazmunyny ýygnaýarsyňyz we beýleki görnüşlere (pikirleniş, gural) aýratyn seredýärsiňiz.
Bu tapawudyň iş ýüzünde edýän zady, modeliň pikirlenişini (bar bolsa) ulanyja mälim etmezden ýazyp bilersiňiz, gural jaňlaryny logika bölmek we diňe hakyky jogaby ekranda çap etmekdir. Modul öňe barýarka (esasanam 4 we 11 bölümlerde) bu blok gurluşynyň çykyşy barlamak we ugrukdyrmak üçin näderejede peýdalydygyny görersiňiz.
Anotherene bir amaly nokat: şol bir modele dürli üpjün ediji platformalaryndan (göni API, bulut üpjün edijisi arkaly) girip bilersiňiz. Ahyrky nokadyň salgysy we tanamaklyk formaty üýtgäp bilse-de, habar rollary, raýatlygy we jogap gurluşy ýaly esasy düşünjeler öňküligine galýar. Şonuň üçin bu bölümdäki esaslar haýsy platforma ulansaňyzam ulanylýar.
Gysgaça
LLM API haýyşy modelden, çykyş çäginden we habar sanawyndan durýar; rollar (ulgam, ulanyjy, kömekçi) modeliň özüni alyp barşyny kesgitleýär. Çagyryşlar raýatlygy ýok: her haýyş bilen konteksti alyp barýarsyňyz. Jogap gurluşly obýektdir; Mazmuny, stop_reason we ulanyş meýdanlaryny okamak we düşündirmek önümçilikde çydamlylygyň esasyny düzýär.
Programma meselesi
Öz hünäriňizden bir meseläni saýlaň (meselem, gelýän elektron poçtany tertiplemek, gysgaça mazmuny döretmek). Kagyz ýüzüne: (1) ulgam haýyşyny 4-5 düzgün bilen ýazyň, (2) ulanyjy habaryny we 2 aýlawly taryhy düzüň, (3) max_tokens üçin amatly bahany kesgitläň we esaslandyrmany ýazyň, (4) yzyna gaýtarylan jogapda saklanjak sebäpleriň bahalaryny we sanawyny ýazyň.
gözegçilik sanawy
- [] Islegiň üç hökmany bölegini (model, max_tokens, habarlar) sanap bilerin.
- [] Ulgam, ulanyjy we kömekçi rollaryň arasyndaky tapawudy düşündirip bilerin.
- [] Çagyryşlaryň watansyzdygyny we geçmişi götermelidigimi bilýärin.
- [] Mazmuny, stop_reason we ulanyş meýdanlaryny okap we teswir berip bilerin.
- [] “Max_tokens” bilen kesilen jogaby görüp bilýärin.