Uru:
- Nwere ike ịkọwa ihe gụgharia bụ, ụdị mmemme na ihe kpatara achọrọ ya.
- max_tokens ghọtara oge nkwụsị na mmekọrịta ogologo 128K
- Nwere ike ịme nhọrọ ziri ezi n'etiti arịrịọ nkwanye na enweghị nkwanye dịka ibu ọrụ siri dị
O nwere ike ịbụ na ị chọpụtala na na mkparịta ụka mkparịta ụka, a na-eji okwu 'pịnye' nzaghachi ya. Nke a abụghị ihe a na-ahụ anya; Ọ bụ nsonaazụ nke usoro a na-akpọ gụgharia na ọ na-abụkarị iwu maka njikọta LLM dị mma. Na nkeji a, ị ga-amụta ihe eruba bụ, ihe omume ọ mejupụtara, mmekọrịta ya na ogologo mmepụta na oge nkwụsị, na mgbe ị ga-eji mgbaba na mgbe ọ bụghị. Anyị ga-ekpuchi isiokwu ahụ site na ezigbo ọrụ nke ọkachamara - onye inyeaka ndụ, ọgbọ akụkọ ogologo oge, nhazi nhazi.
Kedu ihe bụ Flow?
Site na arịrịọ na-abụghị nkwanye (synchronous), ị na-echere ruo mgbe ihe nlereanya ahụ na-emepụta nzaghachi dum; Mgbe azịza dị njikere, ọ bịarutere n'otu ibe. Na arịrịọ gụgharia, ihe nkesa na-eziga mpempe nzaghachi site na mpempe ka ihe nlereanya ahụ na-emepụta. Teknụzụ, a na-eme nke a site na ihe omume ezitere nke ihe nkesa (SSE — Ihe omume Sent-Sent, usoro nke ihe nkesa na-eziga obere mmemme n'otu n'otu n'otu njikọ mepere emepe).
Ihe dị iche na-apụta ìhè na ahụmahụ onye ọrụ: na nzaghachi nke na-ewe 8 sekọnd, onye ọrụ na-abụghị iyi na-ele anya na ihuenyo oghere maka 8 sekọnd; Onye ọrụ na-enuba na-ahụ mkpụrụokwu mbụ na ~ 0.5 sekọnd ma ederede na-amalite ịgba. Achọpụtara nkwụsịtụ—echere onye ọrụ na-eche—na-ebelata nke ukwuu, ebe ngụkọta oge na-agbanwe agbanwe.
Ụdị omume na-aga
Flow bụ usoro mmemme. N'echiche, usoro ịgba ọsọ na-aga dị ka nke a:
merenụ
Pụtara
ozi_mbido
Nzaghachi malitere; Ozi nkụnye eji isi mee dị ka ihe nlereanya na ID abịala.
ọdịnaya_block_mbido
Mgbochi ọdịnaya (dịka ederede) malitere
ọdịnaya_block_delta
Obere mpempe akwụkwọ (delta) rutere; ị na-anakọta ndị a
ọdịnaya_block_stop
mechie ngọngọ
ozi_delta
Ozi ngwụcha emelitere dị ka stop_reason na ojiji
ozi_kwụsị
Zaghachi ya ọzọ
Koodu gị n'usoro na-ejikọta iberibe ederede na mmemme content_block_delta; ị na-ejedebe na otu ederede kpọmkwem dị ka nzaghachi na-abụghị iyi. ojiji (ọnụọgụ akara) na-edokarị anya na njedebe nke mmiri - ị na-edekọ ọnụ ahịa mgbe ọ gafechara.
NDỤMỌDỤ: Ọtụtụ SDK ndị ọrụ (Ngwa mmepe Software - ọba akwụkwọ emebere nke onye na-eweta) na-enye onye enyemaka na-anakọta gị iyi (dịka stream.get_final_message()). Ịkwesighi iji aka jikwaa egwu niile; Jiri ihe enyemaka a ma ọ bụrụ na ịchọrọ ederede zuru oke, hazie mmemme nke ọ bụla mana maka mbipụta ndụ.
Ọzịza dị ogologo, max_tokens na agwụla
Ihe nke abụọ na ihe teknuzu karia na-ebute mgbasa ozi bụ oge nkwụsị. Ọ bụrụ na emezughị arịrịọ HTTP n'ime oge ụfọdụ, onye ahịa ga-ahapụ njikọ ahụ. Mgbe ị na-arịọ maka nnukwu mmepụta site na ihe nlereanya (dịka akụkọ nke 40,000 tokens), oku na-adịghị na ya nwere ike gafere njedebe a na oge - arịrịọ ahụ ga-ada, ma ị ga-akwụ ụgwọ maka akara ngosi emepụtara.
Ụdị ọgbara ọhụrụ nwere ike iwepụta akara ruru 128,000 n'otu arịrịọ. Mana iwu nke isi mkpịsị aka doro anya: jiri mmiri iyi ma ọ bụrụ na uru `max_tokens' dị elu (ihe karịrị 16,000). gụgharia na-eme ka njikọ ahụ dị ndụ ma gbochie oge nkwụsị; Ị ga-ahụkwa ọganihu ozugbo.
- 'max_tokens': Ihe nrịbama mmepụta kacha nke ụdị nwere ike iwepụta; uko ụlọ siri ike. Ọ bụrụ na nkwụsịtụ emee, a ga-eweghachite stop_reason max_tokens.
- Window ọnọdụ: Window nke nchikota ntinye + ga-adabarịrị. max_tokens bụ elu ụlọ nke mmepụta; Ejikọtala ha abụọ.
Kpachara anya: iji nnukwu max_tokens tụba arịrịọ anaghị eruba bụ ndudue kpochapụrụ na mmepụta. Na-enweghị nzaghachi, njikọ ahụ na-adaba, onye ọrụ ahụ na-ahụ njehie, na ọnụ ahịa token na-efunahụ ya. Ogologo mmepụta = iyi.
Kedu mgbe ọ ga-eru na mgbe ọ bụghị?
Ọnọdụ
mmasị
Ntak
Mkparịta ụka dị ndụ / onye inyeaka
eruba
Achọpụtara na-ada ada, onye ọrụ na-ahụ ọganihu
Ogologo akụkọ / mmepụta akwụkwọ
eruba
Na-egbochi nkwụsị oge, na-ebu nnukwu mmepụta n'enweghị nsogbu
Nhazi mkpụmkpụ (dịka ọmụmaatụ mkpado otu mkpụrụokwu)
enweghị eruba
Ihe mmepụta ahụ adịlarị ntakịrị; mgbagwoju anya ọzọ adịghị mkpa
Nhazi ogbe
enweghị mmiri / ogbe
A naghị egosi nsonaazụ ozugbo; Lee nkeji 7
Nzọụkwụ akpaaka (n'azụ)
Ọ na-adịkarịghị eruba
Ị gafere nsonaazụ ahụ gaa na nzọụkwụ ọzọ, enweghị ihe ngosi dị ndụ
Ngwa ngwa / ndebiri enwere ike iṅomi
iyi ahụ n'onwe ya abụghị ngwa ngwa, mana mkpali dị oke mkpa maka ijikwa mmepụta nke iyi ahụ mepụtara. Na mmepụta ogologo na nke na-asọpụta, itinye ihe owuwu ahụ n'ihu na-abawanye ma àgwà na traceability.
# Kewaa ogologo akụkọ ahụ n'ime akụkụ (ka ọganihu na-aga n'ihu na-apụta) Dee akụkọ ahụ na isiokwu ndị a, n'usoro a kpọmkwem. Malite isiokwu ọ bụla na '##':## Nchịkọta## Nchọpụta## Aro## Nzọụkwụ ọzọ
# Nye ogologo ebumnuche iji zere mbelata na mmepụta ogologo oge. Ngụkọta ederede ga-abụ ihe dị ka okwu 800. Debe akụkụ ndị ahụ n'ụzọ ziri ezi; Ahapụla ọkara ahịrịokwu na njedebe.
# Nye ahịrịokwu nke mbụ ozugbo maka onye na-enyere aka iyi. Buru ụzọ nye azịza otu ahịrịokwu kpọmkwem, wee banye n'ime nkọwa. Ya mere, onye ọrụ na-ahụ nsonaazụ ozugbo mgbe ọ na-echere.
# Debe ogologo mmepụta ahụ ahaziri (ka e wee tụgharịa ya ma emechaa) Wepụta mmepụta na ngalaba ndị a wee kaa ngalaba nke ọ bụla nwee isi '###' dị iche iche ka m nwee ike ịtụgharị ya na mmemme: ### Okwu Mmalite ### Ahụ ### Isi mmalite.
Ngwa ngwa adịghị ike / siri ike (mmepụta ogologo oge)
# WEAKWrite ogologo akụkọ zuru oke na isiokwu a.
# STRONG Dee akụkọ gbasara okwu 900 na isiokwu a. Isi: ## Nchịkọta, ## Nyocha, ## Ihe ize ndụ, ## Aro. Isi okwu ọ bụla kwesịrị ịbụ nkeji 3 kacha elu. Ahapụla ọkara ahịrịokwu na njedebe.
Ụdị dị ike; Ọ na-ekpebi ogologo, nhazi na imecha mma n'ọdịnihu. Ka ngalaba na-abịa na ntinye, onye ọrụ na-ahụ ọganihu ahụ nke ọma ma na-ejikwa ogologo oge n'onwe ya megide ihe ize ndụ nke nkwụsị ihe nlereanya.
Obere obere atọ
Ikpe 1 - mkpesa ihuenyo oghere. Onye nnyemaaka ndị ahịa otu ndị na-ahụ maka ndụmọdụ na-aza na-enweghị mgbaba; nkezi nzaghachi na-ewe 7 sekọnd, ndị ọrụ na-ajụ "ọ na-ajụ oyi?" o mere mkpesa. Ozugbo m banyere n'ime mmiri ahụ, okwu mbụ bịara na ~ 0.6 sekọnd; Ogologo oge ka dị otu, mana mkpesa "dị nwayọọ" fọrọ nke nta ka ọ pụọ.
Ikpe 2 - Akụkọ emechiela. Otu ndị otu ego nọ na-enwe akụkọ nkeji nkeji iri atọ ewepụtara; Site na max_tokens: 30000, arịrịọ na-adịghị eruba ga-arapara n'ime oge ndị ahịa 60 nke abụọ nke abụọ, arịrịọ ahụ ga-ada - a ga-edekwa akara ngosi ndị emepụtara na akwụkwọ ọnụahịa ahụ. Ha na-aga na eruba; njikọ ahụ nọgidere na-adị ndụ, a na-enye akụkọ ahụ n'ụzọ zuru ezu, ma wepụ ego efu.
Ikpe 3 - eruba na-enweghị isi. Otu ndị na-arụ ọrụ nọ na-akpọ ozi-e na-abata dị ka "ngwa ngwa/na-emekarị"; Mpụta ahụ bụ otu okwu, mana ha na-eji mgbaba eme ihe. Ntugharị ahụ enyeghị uru ọ bụla na nzaghachi otu okwu, na-eme ka koodu ahụ dị mgbagwoju anya na-enweghị isi. Mgbe m gbanwere ka enweghị mmiri, koodu ahụ dị mfe yana omume ahụ ka dị otu. Ihe nkuzi: nkwanye ugwu bara uru na mmepụta ogologo/ndụ, ọ bụghị ebe niile.
Mmejọ ndị nkịtị
- Anaghị eji iyi na mmepụta ogologo oge: agwụchala na ọnụ ahịa akara efu.
- Iji gụgharia na mmepụta dị mkpirikpi: mgbagwoju anya na-enweghị isi, uru efu.
- Achọghị 'stop_reason' na njedebe nke iyi ahụ: a na-ahụta nzaghachi mpịaji na max_tokens zuru oke.
- Na-ejikọta deltas na-ezighi ezi: Nchịkọta akwụkwọ ntuziaka na onye inyeaka SDK na-emepụta njehie usoro / na-efunahụ akụkụ.
- Na-agbalị ịgụ 'ojiji' n'etiti iyi: Nọmba akara na-apụta ìhè na njedebe; Debe ọnụ ahịa na njedebe.
- Nkwekọrịta na-ezighi ezi maka ịbelata ọnụ ahịa: gụgharia na-eme ka ahụmịhe na ntachi obi dịkwuo mma; Ọ naghị agbanwe ọnụahịa token.
Miri: Nkwụsị mmiri na nkwụsi ike
gụgharia bụ njikọ dị ndụ; Nke a bụ ma ike ya na adịghị ike ya. Ọ bụrụ na njikọ ahụ daa n'etiti (mgbanwe netwọkụ, oge nkwụsị ndị ahịa), ị ga-edobe ederede ị chịkọbara ruo ugbu a, mana nzaghachi agaghị ezu ezu. Onye ahịa nkwanye ugwu dị mma kwesịrị ịdị njikere maka nke a: o kwesịghị ile akụkụ ederede anya dị ka “nzaghachi zuru ezu”, ma ọ bụ chee na azịza ya ga-agwụcha ruo mgbe ọ hụrụ ihe omume ozi_stop.
Nke abụọ aghụghọ bụ na eruba adịghị agbanwe ego. Ma ị nwetara nzaghachi ma ọ bụ na-enweghị nkwanye anaghị emetụta ọnụahịa token; eruba naanị na-eme ka ahụmịhe na ntachi obi dịkwuo mma. Yabụ "ọ bụrụ na anyị na-aga nkwanye, ha ga-adị ọnụ ala karịa?" Azịza nke ajụjụ a bụ mba - maka ọnụ ahịa, lee anya na 5th na 6th unit (nhọrọ nlereanya, cache).
Isi ihe nke atọ bụ iji nweta nguzozi bara uru: ya na ndị na-enyere aka na-ebi ndụ, ọbịbịa ngwa ngwa nke okwu mbụ (na-aghọta na ọ na-egbu oge) dị oke ọnụ ahịa; Ya mere, ịrịọ ihe nlereanya ahụ ka ọ banye azịza ozugbo wee nye nsonaazụ dị mkpirikpi nke mbụ (site na ngwa ngwa usoro na nkeji 4) na-amụba uru nke ọsọ ahụ. Ọ bụrụ na onye ọrụ ahụ na-ahụ ihe bara uru na nke abụọ nke mbụ, ha ji ndidi chere maka nkọwa na-esote. N'aka nke ọzọ, eruba ahụ enweghị onyinye maka ọrụ ndị na-arụ ọrụ n'azụ, mmepụta nke na-aga na nzọụkwụ akpaaka ọzọ; Naanị ihe dị n'ebe ahụ bụ na arụchara ọrụ ahụ nke ọma na kpamkpam.
Na nchịkọta
Gụgharia na-eweghachite mpempe nzaghachi n'otu n'otu, na-ebelata oge a na-ahụta na-egbochi nkwụsị oge na ntinye aka buru ibu. Ihe fọrọ nke nta ka ọ bụrụ iwu maka onye inyeaka dị ndụ na mmepụta akwụkwọ ogologo; Ọ dịghị mkpa maka obere / ndabere ọrụ. Na mmepụta ogologo oge, itinye usoro na ogologo site n'ihu na ngwa ngwa na-abawanye ma àgwà na traceability; Mgbe eruba ahụ gwụchara, a na-enyocha stop_reason na ojiji ya.
Ọrụ ngwa
Họrọ ihe ndapụta abụọ: otu ndụ / ogologo (dịka ọmụmaatụ, kọọrọ ndị ahịa), otu mkpụmkpụ / ndabere (dịka mkpado). (1) Kpebie ma kwado ma ị ga-eji mmiri eruba maka nke ọ bụla. (2) Dee ngwa ngwa nke na-etinye usoro maka edemede ogologo (isi + ogologo ebumnuche). (3) Kpebie ụkpụrụ max_tokens. (4) Depụta ihe nlele ị ga-eji stop_reason na ojiji na njedebe nke ọsọ ahụ.
ndetu
- [] Enwere m ike ịkọwa ihe gụgharia bụ yana otu o si ebelata oge echere.
- [] Aghọtara m ụdị mmemme bụ isi nke iyi na njikọ delta.
- [ ] Amaara m na ọ dị mkpa iji nnukwu max_token na-emekọrịta ihe na oge nkwụsị.
- [] M nwere ike ikpebi nke ọrụ m ga-eji streaming na nke m na-agaghị.
- [ ] Enwere m ike ịlele stop_reason na ojiji na njedebe nke iyi.