Riba:
- Zai iya bayyana menene yawo, nau'ikan taron da dalilin da yasa ake buƙata.
- max_tokens ya fahimci lokacin ƙarewa da dangantakar fitarwa mai tsayi 128K
- Zai iya yin zaɓin da ya dace tsakanin yawo da buƙatun da ba na gudana ba gwargwadon nauyin aiki
Wataƙila kun lura cewa a cikin mahaɗin tattaunawa, ana "buga" amsa ta kalma. Wannan ba na gani ba ne; Sakamakon wata dabara ce da ake kira yawo kuma galibi ya zama tilas don haɗawar LLM mai inganci. A cikin wannan naúrar, za ku koyi abin da kwarara yake, da waɗanne al'amuran da ya kunsa, dangantakarsa da dogon fitarwa da ƙarewar lokaci, da lokacin amfani da kwarara da lokacin da ba za a yi ba. Za mu rufe batun ta hanyar ainihin ayyuka na ƙwararru - mataimaki mai rai, samar da rahoto mai tsawo, sarrafa tsari.
Menene Flow?
Tare da buƙatar da ba ta gudana (mai daidaitawa), kuna jira har sai samfurin ya samar da duk amsa; Lokacin da aka shirya amsar, ta zo cikin yanki ɗaya. A cikin buƙatun yawo, uwar garken yana aika da martanin yanki guda ɗaya kamar yadda ƙirar ke haifarwa. A fasaha, ana yin wannan tare da abubuwan da aka aika da uwar garken (SSE - Abubuwan da aka aiko da Sabar, hanyar da uwar garken ke aika ƙananan abubuwan da suka faru a jere akan haɗin gwiwa).
Bambanci ya bayyana a cikin kwarewar mai amfani: akan amsawa wanda ke ɗaukar 8 seconds, mai amfani da ba rafi yana kallo a kan allo mara kyau don 8 seconds; Mai amfani yana ganin kalmomi na farko a cikin ~0.5 seconds kuma rubutun ya fara gudana. An ga jinkirin da mai amfani ke ji - yana raguwa sosai, yayin da jimlar lokacin ya rage baya canzawa.
Nau'in Abubuwan Tafiya
Yawo shine jerin abubuwan da suka faru. A bisa ra'ayi, magudanar ruwa na yau da kullun yana tafiya kamar haka:
lamarin
Ma'ana
sako_fara
An fara mayar da martani; Bayanin kan kai kamar samfuri da ID ya iso.
abun ciki_block_fara
An fara toshe abun ciki (misali rubutu).
abun ciki_block_delta
Wani ɗan ƙaramin rubutu (delta) ya iso; ka tattara wadannan
abun ciki_block_stop
block kammala
message_delta
Sabunta bayanan ƙarewa kamar stop_reason da amfani
sakon_tasha
Amsa ya ƙare
Lambar ku a jere tana haɗa guntun rubutu a cikin abubuwan da suka faru_block_delta; kun ƙare da ainihin rubutu iri ɗaya kamar amsawar da ba ta gudana ba. amfani (lambobin alama) yawanci suna bayyana a ƙarshen kwarara - kuna lura da farashi da zarar kwararar ta ƙare.
Tukwici: Yawancin SDKs na hukuma (Kitin Haɓaka Software - shirye-shiryen ɗakin karatu na mai bayarwa) suna ba da mataimaki wanda ke tattara muku rafi (misali stream.get_final_message()). Ba lallai ne ku sarrafa duk waƙoƙin da hannu ba; Yi amfani da wannan mataimaki idan kuna son cikakken rubutu, aiwatar da abubuwan da suka faru na mutum ɗaya amma don bugawa kai tsaye.
Dogon Amsoshi, max_tokens da Timeout
Na biyu kuma mafi fasaha sanadin yawo shine ƙarewar lokaci. Idan ba a gama buƙatar HTTP cikin ƙayyadadden lokaci ba, abokin ciniki ya sauke haɗin. Lokacin da kake buƙatar babban fitarwa daga samfurin (misali rahoton alamun 40,000), kiran da ba ya gudana zai iya wuce wannan iyaka da lokaci - buƙatar za ta kasa, kuma dole ne ku biya kuɗin da aka samar.
Samfuran zamani na iya fitar da alamun har zuwa 128,000 a cikin buƙatu ɗaya. Amma ƙa'idar babban yatsan ya bayyana a sarari: yi amfani da rafukan ruwa idan ƙimar 'max_tokens' ta yi girma (kusan sama da 16,000). Yawo yana kiyaye haɗin kai kuma yana hana ƙarewar lokaci; Za ku kuma ga ci gaba nan take.
- `max_tokens': Matsakaicin alamun fitarwa da samfurin zai iya samarwa; rufi mai wuya. Idan katsewa ya faru, ana dawo da stop_reason max_tokens.
- Tagar yanayi: Tagar da adadin shigarwar + fitarwa dole ne ya dace. max_tokens shine rufin fitarwa; Kar a hada su biyun.
Tsanaki: Jefa buƙatun marasa kwarara tare da manyan max_tokens babban kuskure ne a samarwa. Ba tare da amsa ba, haɗin yana raguwa, mai amfani yana ganin kuskure, kuma farashin alamar ya ɓace. Dogon fitarwa = rafi.
Yaushe Za a Guda kuma Lokacin Ba?
Matsayi
fifiko
Me yasa
Taɗi kai tsaye / mataimaki
kwarara
Faɗin jinkirin da aka gane, mai amfani yana ganin ci gaba
Dogon rahoto / samar da takardu
kwarara
Yana hana ƙarewar lokaci, yana ɗaukar babban fitarwa cikin aminci
Gajeren rarrabuwa (misali alamar kalma ɗaya)
babu kwarara
Abin da ake fitarwa ya riga ya ƙanƙanta; ƙarin rikitarwa ba dole ba
sarrafa tsari
mara kwarara/batch
Ba a nuna sakamako nan take; Duba sashi na 7
Mataki na atomatik (a bango)
Yawancin lokaci babu kwarara
Kuna wuce sakamakon zuwa mataki na gaba, babu nuni kai tsaye
Samfura / Samfuran da za a iya kwafi
Rafi da kansa ba gaggawa ba ne, amma faɗakarwa na da mahimmanci don sarrafa abubuwan da rafin ya samar. A cikin dogon lokaci da kuma samar da ruwa, ƙaddamar da tsarin daga gaba yana ƙaruwa da inganci da ganowa.
# Raba dogon rahoton zuwa sassa (domin a ga ci gaban da aka samu) Rubuta rahoton da kanun labarai masu zuwa, cikin wannan tsari. Fara kowane taken da '##':## Takaitawa## Nemo## Shawarwari## Matakai na gaba
# Ba da tsayin manufa don guje wa raguwa a cikin dogon samarwa. Jimlar rubutun zai zama kusan kalmomi 800. A kiyaye daidaitattun rabo; Kar a bar rabin jimla a karshen.
# Ba da jumla ta farko nan da nan ga mataimakin yawo. Ba da amsar jumla ɗaya kai tsaye da farko, sannan a shiga daki-daki. Don haka mai amfani yana ganin sakamako nan take yayin jira.
# Ci gaba da tsari mai tsawo (don haka za'a iya tantancewa daga baya) Fitar da abubuwan da aka fitar a cikin wadannan sassan sannan a yiwa kowane bangare alama da ''###' kai tsaye domin in tantance shi ta hanyar shirye-shirye: ### GABATARWA ### JIKI ### SOURCES
Rauni mai ƙarfi / ƙarfi mai ƙarfi (tsawon samarwa)
# WEAKW rubuta dogon rahoto dalla-dalla kan wannan batu.
# STRONG Rubuta rahoton kusan kalmomi 900 akan wannan batu. Kanun labarai: ## Takaitacciyar, ## Nazari, ## Hatsari, ## Shawarwari. Kowane taken ya zama matsakaicin sakin layi 3. Kar a bar rabin jimla a karshen.
Sigar mai ƙarfi; Yana ƙayyade tsawon, tsari da kuma ƙare ingancin gaba. Kamar yadda sassan ke shigowa cikin kwarara, mai amfani yana ganin ci gaba a fili kuma yana sarrafa tsawon kansa akan haɗarin katsewar ƙirar.
Mini Cases guda uku
Case 1 - Kokarin allo. Mataimakin abokin ciniki na ƙungiyar shawarwari yana amsawa ba tare da kwarara ba; Matsakaicin amsa yana ɗaukar daƙiƙa 7, masu amfani suna tambaya "yana daskare?" ya koka. Da zarar na shiga cikin kwarara, kalmar farko ta zo a cikin ~ 0.6 seconds; Jimlar lokaci ya kasance iri ɗaya, amma "a hankali" gunaguni sun kusan ɓacewa.
Case na 2 - Rahoton da ba a gama ba. Ƙungiyar kuɗi tana samun rahoton kwata mai shafuka 30 da aka samar; Tare da max_tokens: 30000, buƙatun da ba za ta gudana ba za ta makale a cikin lokacin abokin ciniki na 60 na biyu, buƙatar ba za ta gaza ba - kuma za a rubuta alamun da aka ƙirƙira zuwa daftari. Sun tafi tare da kwarara; haɗin ya kasance a raye, an ba da rahoton gabaɗaya, kuma an kawar da kashe kuɗi.
Case 3 - Gudun da ba dole ba. Ƙungiya mai aiki tana yiwa saƙon imel masu shigowa a matsayin "gaggawa/na yau da kullum"; Fitowar kalma ɗaya ce, amma sun saba amfani da kwarara. Gudun ya ba da wani fa'ida a cikin martanin kalma ɗaya, yana mai da lambar ta zama mai rikitarwa ba dole ba. Lokacin da na canza zuwa mara nauyi, lambar ta sauƙaƙa kuma yanayin ya kasance iri ɗaya. Darasi: yawo yana da mahimmanci a cikin fitarwa mai tsawo/rayuwa, ba ko'ina ba.
Kuskuren gama gari
- Ba yin amfani da rafuka cikin dogon fitarwa: Lokaci ya ƙare da kuma ɓarna farashin alamar.
- Amfani da yawo a cikin gajeren fitarwa: rikitarwa mara amfani, fa'idar sifili.
- Ba duba 'dalilin tsayawa' a ƙarshen rafi: an yanke amsa tare da max_tokens cikakke.
- Haɗin deltas daidai ba daidai ba: Taƙaitaccen jagora tare da mai taimakawa SDK yana haifar da kuskuren sassa / ɓacewa.
- Ƙoƙarin karanta 'amfani' tsakiyar rafi: Lambobin alamar yawanci suna bayyana a ƙarshe; Ci gaba da lura da farashi a ƙarshe.
- Kuskuren yawo don rage farashi: Yawo yana inganta kwarewa da juriya; Ba ya canza farashin alamar.
Zurfafa: Ragewar Ruwa da Juriya
Yawo shine haɗin kai kai tsaye; Wannan duka karfinsa ne da rauninsa. Idan haɗin ya faɗi a tsakiya (canzawar hanyar sadarwa, lokacin abokin ciniki), za ku riƙe rubutun da kuka tara ya zuwa yanzu, amma amsa ba zai cika ba. Ya kamata a shirya abokin ciniki mai inganci mai gudana don wannan: bai kamata ya ɗauki sashin rubutu a matsayin "amsar da aka kammala ba", kuma bai kamata ya ɗauki martanin da za a gama ba har sai ya ga taron saƙon_stop.
Na biyu dabara shi ne cewa kwarara ba ya canza farashin. Ko kun karɓi amsa tare da ko ba tare da yawo ba baya shafar farashin alamar; kwarara kawai yana inganta kwarewa da juriya. Don haka "idan muka je yawo, za su yi arha?" Amsar tambayar ita ce a'a - don farashi, dubi sashin 5th da 6th (zabin samfurin, cache).
Batu na uku shine don daidaita ma'auni mai amfani: tare da mataimakan raye-raye, saurin isowar kalmar farko (hangen jinkiri) yana da daraja sosai; Sabili da haka, tambayar samfurin don shigar da amsa kai tsaye kuma ya ba da ɗan gajeren sakamako na farko (ta hanyar faɗakarwar tsarin a cikin raka'a 4th) yana ninka fa'idar kwarara. Idan mai amfani ya ga wani abu mai ma'ana a cikin daƙiƙa na farko, suna jira da haƙuri don cikakkun bayanai masu zuwa. A gefe guda, kwararar ba ta da gudummawa ga ayyukan da ke gudana a baya, wanda abin da aka fitar ya tafi mataki na gaba na atomatik; Ma'auni ɗaya kawai shine cewa an kammala aikin daidai kuma gaba ɗaya.
A takaice
Yawo yana maido da martanin yanki guda ɗaya, yana rage jinkirin da ake gani da kuma hana ɓata lokaci akan manyan kayan aiki. Kusan wajibi ne don mataimaki mai rai da samar da daftarin aiki mai tsawo; Ba lallai ba ne don gajere / aikin bango. A cikin dogon samarwa, ƙaddamar da tsari da tsayin daka daga gaba tare da hanzari yana ƙaruwa duka inganci da ganowa; Lokacin da aka gama kwararar, ana bincika stop_reason da amfani.
Aikin aikace-aikace
Zaɓi yanayi guda biyu: rayuwa ɗaya/tsawon lokaci (misali rahoto ga abokin ciniki), ɗan gajeren lokaci/baya (misali tagging). (1) Yi yanke shawara kuma ku ba da hujja ko za ku yi amfani da kwarara don kowane. (2) Rubuta saƙon da ya sanya tsarin dogon rubutun (kantunan + tsayin manufa). (3) Ƙayyade ƙimar max_tokens. (4) Jera abin dubawar da za ku yi tare da stop_reason da amfani a ƙarshen kwarara.
jerin abubuwan dubawa
- [ ] Zan iya bayyana menene yawo da yadda yake rage jinkirin da ake gani.
- [ ] Na fahimci ainihin nau'ikan taron rafi da haɗin delta.
- [ ] Na san game da buƙatun don yawo tare da manyan max_tokens da dangantakar lokacin ƙarewa.
- [ ] Zan iya yanke shawarar wane nauyin aiki zan yi amfani da yawo da kuma wanda ba zan iya ba.
- [ ] Zan iya duba stop_reason da amfani a ƙarshen rafi.