Girdeji:
- Akymyň nämedigini, hadysanyň görnüşlerini we näme üçin zerurdygyny düşündirip biler.
- max_tokens wagty gutarmagy we 128K uzynlyk gatnaşyklaryny ele alýar
- Iş ýüküne görä akym we akym däl haýyşlaryň arasynda dogry saýlap bilersiňiz
Söhbetdeşlik interfeýsinde jogap sözme-söz "ýazylýar" diýip gören bolmagyňyz mümkin. Bu wizual gülläp ösmek däl; Akym diýilýän usulyň netijesidir we önümçiligiň ýokary hilli LLM integrasiýasy üçin köplenç hökmanydyr. Bu bölümde akymyň nämedigini, haýsy hadysalardan ybaratdygyny, uzak çykyş we wagt gutarmagy bilen gatnaşygy, akymy haçan ulanmalydygyny we haçan ulanmaly däldigini öwrenersiňiz. Temany hünärmenleriň - janly kömekçiniň, uzak hasabatyň döredilmegi, partiýanyň gaýtadan işlenmegi bilen açarys.
Akym näme?
Akym däl (sinhron) haýyş bilen, model tutuş jogaby çykarýança garaşýarsyňyz; Jogap taýýar bolansoň, bir bölege gelýär. Akym haýyşynda serwer modeliň emele gelşi ýaly jogap böleklerini bölek-bölek iberýär. Tehniki taýdan bu serwer tarapyndan iberilen wakalar bilen amala aşyrylýar (SSE - Serwer-Sent-Wakalar, serweriň açyk baglanyşykda yzygiderli ownuk wakalary iberýän usuly).
Tapawut ulanyjy tejribesinde aýdyň bolýar: 8 sekunt dowam eden jogapda, akymsyz ulanyjy boş ekrana 8 sekunt seredýär; Akym ulanyjy ilkinji sözleri ~ 0,5 sekuntda görýär we tekst akyp başlaýar. Jemi wagt üýtgewsiz galanda, ulanyjynyň duýýan garaşmagy ep-esli azalýar.
Wakanyň görnüşleri
Akym - wakalaryň yzygiderliligi. Düşünjä boýunça adaty akym şeýle gidýär:
waka
Manysy
habar_start
Jogap başlandy; Model we ID ýaly sözbaşy maglumatlary geldi.
mazmun_block_start
Mazmun toplumy (meselem, tekst) başlandy
mazmun_block_delta
Ujypsyzja tekst (delta) geldi; bulary ýygnaýarsyňyz
mazmun_block_stop
blok tamamlandy
habar_delta
Stop_reason we ulanylyş ýaly gutarnykly maglumatlar täzelendi
message_stop
Jogap ber
Koduňyz mazmun_block_delta hadysalarynda tekst böleklerini yzygiderli birleşdirýär; akymsyz jogap ýaly takyk tekst bilen gutarsyňyz. ulanylyşy (belgi sanlary) adatça akymyň ahyrynda düşnüklidir - akym gutarandan soň çykdajylary yzarlaýarsyňyz.
Maslahat: Resmi SDK-laryň köpüsi (Programma üpjünçiligini ösdürmek toplumy - üpjün edijiniň taýýar kitaphanasy) size akymy ýygnaýan kömekçi berýär (meselem, stream.get_final_message ()). Trackhli sazlary el bilen dolandyrmak hökman däl; Doly tekst isleseňiz, aýratyn wakalary gaýtadan işläň, ýöne göni çap etmek üçin bu kömekçini ulanyň.
Uzyn jogaplar, max_tokens we Wagt gutarmak
Akymyň ikinji we has tehniki sebäbi gutarmakdyr. Belli bir wagtyň içinde HTTP haýyşy ýerine ýetirilmese, müşderi birikmäni taşlaýar. Modelden uly önüm talap edeniňizde (meselem, 40,000 tokeniň hasabaty), akymsyz jaň bu çäkden geçip biler we wagt gutarar - haýyş başa barmaz we döredilen bellikler üçin pul tölemeli bolarsyňyz.
Döwrebap modeller bir haýyşda 128,000 token çykaryp biler. Thumböne barmagyň düzgüni düşnüklidir: "max_tokens" bahasy ýokary bolsa (takmynan 16,000-den ýokary) akymlary ulanyň. Akym baglanyşygy diri saklaýar we wagt gutarmagynyň öňüni alýar; Ösüşi bada-bat görersiňiz.
- `max_tokens`: Modeliň öndürip biljek iň ýokary çykyş belgileri; gaty potolok Arakesme ýüze çyksa, stop_reason max_tokens yzyna gaýtarylýar.
- Kontekst penjiresi: Giriş + çykyş jemi jemlenmeli penjire. max_tokens - çykyşyň üçegi; Ikisini garyşdyrma.
Üns beriň: Uly max_tokens bilen akym däl haýyşlary zyňmak önümçiligiň nusgawy ýalňyşlygydyr. Jogap bermezden birikme gaçýar, ulanyjy ýalňyşlyk görýär we belgi bahasy biderek bolýar. Uzyn çykyş = akym.
Haçan akmaly we haçan ýok?
.Agdaý
ileri tutma
Näme üçin
Göni söhbetdeşlik / kömekçi
akymy
Duýulýan gijä galma peselýär, ulanyjy ösüşi görýär
Uzyn hasabat / resminama önümçiligi
akymy
Wagtyň gutarmagynyň öňüni alýar, uly önümi howpsuz alyp barýar
Gysga klassifikasiýa (meselem, ýekeje söz belligi)
akym ýok
Çykyş eýýäm kiçi; zerur däl goşmaça çylşyrymlylyk
Topary gaýtadan işlemek
akymsyz / partiýa
Netijeler derrew görkezilmeýär; 7-nji bölüme serediň
Awtomatlaşdyryş ädimi (fonda)
Adatça akym ýok
Netijäni indiki ädime geçirýärsiňiz, göni görkezme ýok
Göçürip bolýan gyssagly / şablonlar
Akymyň özi gyssagly däl, ýöne görkezmeler akymyň öndürýän önümini dolandyrmak üçin möhümdir. Uzyn we akymly önümlerde gurluşy öň tarapdan goýmak, hilini we yzarlanyşyny ýokarlandyrýar.
# Uzyn hasabaty bölümlere bölüň (öňegidişlik akymda görüner ýaly) Hasabaty takyk tertipde aşakdaky sözbaşylar bilen ýazyň. Her sözbaşy '##' bilen başlaň: ## Gysgaça mazmun ## Tapyndylar ## Teklipler ## Indiki ädimler
# Uzyn önümçilikde kesilmezlik üçin maksat uzynlygy beriň. Jemi tekst takmynan 800 söz bolar. Bölümleri deňagramly saklaň; Ahyrynda ýarym sözlem goýmaň.
# Akym kömekçisi üçin birinji sözlemi derrew beriň. Ilki bilen bir sözlemli jogap beriň, soňra jikme-jik maglumat beriň. Şonuň üçin ulanyjy garaşýarka derrew netijäni görýär.
# Uzyn çykaryşy strukturalaýyn saklaň (şonuň üçin soňra derňelip bilner) Çykyşlary bu bölümlerde çykaryň we her bölümi aýratyn '###' sözbaşy bilen belläň, men ony programma taýdan derňäp bilerin: ### GIRIŞ ### BODY ### SOURCES
Gowşak haýyş / Güýçli haýyş (uzak önümçilik)
# WEAK Bu mowzuk boýunça uzyn we jikme-jik hasabat ýazyň.
# GÖRNÜŞ Bu mowzukda takmynan 900 sözden ybarat hasabat ýazyň. Ingsazgylar: ## Gysgaça mazmun, ## Analiz, ## Töwekgelçilikler, ## Teklipler. Her sözbaşy iň köp 3 abzas bolmaly. Ahyrynda ýarym sözlem goýmaň.
Güýçli wersiýa; Uzynlygyny, gurluşyny we gutarnykly hilini öňünden kesgitleýär. Bölümler akymda bolansoň, ulanyjy ösüşi aýdyň görýär we modeliň kesilmegi töwekgelçiligine garşy uzynlygyny dolandyrýar.
Üç kiçi waka
1-nji hadysa - Boş ekran şikaýaty. Maslahat toparynyň müşderi kömekçisi akymsyz jogap berýärdi; ortaça jogap 7 sekunt alýar, ulanyjylar "doňýarmy?" zeýrendi. Bir gezek akymyma girenimden soň, ilkinji söz ~ 0,6 sekuntda geldi; Jemi wagt öňküligine galdy, ýöne "haýal" şikaýatlar ýitip gitdi.
2-nji waka - köne hasabat. Maliýe topary 30 sahypalyk çärýek hasabatyny taýýarlaýardy; “Max_tokens: 30000” bilen, akymsyz haýyş 60 sekuntlyk müşderiniň wagty gutarar, haýyş başa barmaz - döredilen bellikler hasap-faktura ýazylar. Akym bilen gitdiler; baglanyşyk göni ýaýlymda galdy, hasabat doly gowşuryldy we biderek çykdajylar aradan aýryldy.
3-nji hadysa - Gereksiz akym. Operasiýa topary gelýän e-poçta habarlaryny “gyssagly / yzygiderli” diýip belleýär; Çykyş bir sözdi, ýöne adatça akymy ulanýardylar. Akym, bir sözli jogapda hiç hili peýdany üpjün etmedi, kody gereksiz çylşyrymly etdi. Akylsyzlyga geçenimde, kod ýönekeýleşdirildi we özüni alyp barşy öňküligine galdy. Sapak: akym hemme ýerde däl, uzak / janly çykyşda gymmatlydyr.
Adaty ýalňyşlyklar
- Uzyn çykyşda akymlary ulanmazlyk: Wagt gutarmak we token bahasy biderek.
- Gysga çykyşda akymy ulanmak: Gereksiz çylşyrymlylyk, peýdasy ýok.
- Akymyň soňundaky "stop_reason" -y barlamazlyk: max_tokens bilen kesilen jogap doly hasaplanýar.
- Deltalary nädogry birleşdirmek: SDK kömekçisi bilen el bilen jemlemek yzygiderlilik / ýiten bölekleriň ýalňyşlygyny döredýär.
- “Ulanyş” orta akymyny okamaga synanyşmak: Token sanlary adatça ahyrynda aýdyň bolýar; Ahyrynda çykdajylary yzarlaň.
- Çykdajylary azaltmak üçin ýalňyş akym: Akym tejribäni we çydamlylygy ýokarlandyrýar; Token bahasyny üýtgetmeýär.
Çuňňur: Akymyň bozulmagy we çydamlylygy
Akym göni ýaýlymdyr; Bu hem güýç, hem gowşaklyk. Eger birikme ortada gaçsa (toruň üýtgemegi, müşderiniň wagty gutarýar), şu wagta çenli toplan tekstiňizi saklarsyňyz, ýöne jogap doly bolmaz. Önümçilik hilli akym müşderisi munuň üçin taýyn bolmaly: bölekleýin tekste "gutarnykly jogap" hökmünde garamaly däldir, ýa-da habar_stop wakasyny görýänçä jogap gutarmaly diýip hasaplamaly däldir.
Ikinji inçe, akymyň bahasyny üýtgetmezligi. Jogap alýarsyňyzmy ýa-da akymsyz, bellik bahasyna täsir etmeýär; akym diňe tejribäni we çydamlylygy ýokarlandyrýar. Şeýlelikde, "akymlara çyksak, arzan bolarmy?" Soragyň jogaby ýok - bahasy üçin 5-nji we 6-njy bölüme serediň (modeli saýlamak, keş).
Üçünji nokat, amaly deňagramlylygy gazanmak: janly kömekçiler bilen ilkinji sözüň çalt gelmegi (gijikdirilen ýaly duýulýar) ýokary baha berilýär; Şonuň üçin modelden jogaby gönüden-göni girizmegi we ilki bilen gysga netije bermegini haýyş etmek (4-nji bölümdäki ulgam soralmagy arkaly) akymyň peýdasyny köpeldýär. Ulanyjy birinji sekuntda manyly bir zat görse, indiki jikme-jikliklere sabyrsyzlyk bilen garaşýarlar. Beýleki tarapdan, akymyň indiki awtomatlaşdyryş ädimine geçýän fonda işleýän işlerine hiç hili goşant ýok; Ol ýerdäki ýeke-täk kriteriýa, işiň dogry we doly tamamlanmagydyr.
Gysgaça
Akym jogap böleklerini bölek-bölek alýar, duýulýan gijä galmagy azaldýar we uly girişleriň gutarmagynyň öňüni alýar. Janly kömekçi we uzak resminama öndürmek üçin hökmany diýen ýaly; Gysga / fon işi üçin zerur däl. Uzyn önümlerde gurluşy we uzynlygy çaltlyk bilen öňe sürmek, hilini we yzarlanyşyny ýokarlandyrýar; Akym gutarandan soň, stop_reason we ulanylyşy hökman barlanýar.
Programma meselesi
Iki ssenariýany saýlaň: biri janly / uzyn (meselem, müşderä hasabat), biri gysga / fon (meselem bellik). (1) Her biri üçin akym ulanjakdygyňyzy kesgitläň we esaslandyryň. (2) Uzyn skript (sözbaşy + maksat uzynlygy) üçin gurluşy kesgitleýän haýyşnama ýazyň. (3) max_tokens bahalaryny kesgitläň. (4) Stop_reason we akymyň ahyrynda ulanylyşy bilen haýsy barlaglary ýerine ýetirjekdigiňizi sanaň.
gözegçilik sanawy
- [] Akymyň nämedigini we duýulýan gijä galmagy nädip peseldýändigini düşündirip bilerin.
- [] Akymyň we deltanyň birleşmeginiň esasy wakalaryna düşündim.
- [] Uly max_tokens bilen akymyň zerurlygy we wagt gutarmagy bilen baglanyşykly.
- [] Haýsy iş ýüküni akymdan ulanjakdygymy we haýsysyny ulanmajakdygymy kesgitläp bilerin.
- [] Stop_reason we akymyň ahyrynda ulanylyşyny barlap bilerin.