Ọrụ Batch na Asynchronous Ọrụ

Uru:

• Na-ekpebi nhazi ogbe ibu ọrụ dabara adaba
• Na-aghọta ahịa ọnụ ahịa/latency dị n'etiti nhazi, asynchronous na nhazi ogbe
• Na-echepụta usoro ọrụ batch siri ike nke dabara custom_id na nsonaazụ

Ọtụtụ ntinye LLM na-elekwasị anya na ọnọdụ "dị ndụ" ebe onye ọrụ na-eche nzaghachi n'ihu ihuenyo. Mana ọtụtụ n'ime ọrụ ndị ọkachamara anaghị adị ndụ n'ezie: ịkpado puku kwuru puku akwụkwọ n'otu abalị, na-achịkọta mkpokọta data, na-ekewa ndekọ ndekọ oku niile na ebe nchekwa. N'okwu ndị a, ọ dịghị onye na-atụ anya azịza ozugbo; Ihe dị mkpa bụ ịrụcha ọrụ ahụ ọnụ ala na ntụkwasị obi. Batch bụ kpọmkwem maka ọrụ ndị a. Na nkeji a, ị ga-amụta ihe dị iche n'etiti synchronous, asynchronous, na nhazi nhazi, mgbe batch bụ nhọrọ ziri ezi, yana usoro siri ike nke na-eji obi ike dakọ custom_id na nsonaazụ ya.

Ụdị arụ ọrụ atọ

ọnọdụ

Kedu ka o si arụ ọrụ

igbu oge

Ọnụ ego a na-ahụkarị

ọrụ kwesịrị ekwesị

mekọrịta

Ị na-arịọ arịrịọ wee chere nzaghachi

sekọnd

Ọkọlọtọ

Mkparịta ụka dị ndụ, onye enyemaka ozugbo

asynchronous

Ị kwụ n'ahịrị ọrụ ahụ wee mara ọkwa mgbe ọ gwụchara.

Sekọnd–nkeji

Ọkọlọtọ

Ọrụ ndabere, usoro akpaaka

Ogbe

Na-eziga puku kwuru puku arịrịọ n'otu ngwugwu, wee nweta nsonaazụ ya

Nkeji – awa

A na-enwekarị mbelata

Ọnụ ọgụgụ dị elu, ọrụ na-egbu oge

Nhazi nhazi bụ nke a: ị na-eziga narị narị / puku kwuru puku arịrịọ dịka otu "ọrụ" nye onye na-eweta ya; Onye na-eweta ya na-ahazi ha n'ọsọ nke ya wee weghachi rịzọlt niile n'ụka ozugbo emechara. Na nloghachi, ị ga-enweta ihe abụọ: (1) ọnụ ahịa ọnụ ala dị ala, (2) ikike ịmegharị ụda dị elu n'enweghị nsogbu oke ọsọ. Ọnụahịa bụ na nsonaazụ adịghị abịa ozugbo, ma mgbe oge ụfọdụ gasịrị.

Kedu mgbe ị ga-esi batch, mgbe ọ bụghị?

Mkpebi a gbadara n'otu ajụjụ: onye ọrụ ọ na-eche nsonaazụ ugbu a?

• Mba, enwere m ike ijide ya → onye ndoro-ndoro ochichi. Nkpado abalị, nchịkọta ogbe, nhazi ọkwa, ime ka data, nyocha (eval) igbu.
• Ee, na-eche na ihuenyo → mmekọrịta. Mkparịta ụka dị ndụ, ndụmọdụ ozugbo, enyemaka mgbe ị na-ejuputa ụdị.

Ndụmọdụ: Ụdịdị abụọ nwere ike ibikọ ọnụ n'otu ngwaahịa. Onye ọrụ na-arụkọ ọrụ ọnụ na nkata dị ndụ; N'abalị, ị na-enye mkparịta ụka niile nke ụbọchị ahụ na batch maka nyocha dị mma. Ikewapụ "mkpa dị ndụ" na "mkpa mkpokọta" bụ mkpebi mbụ nke ụkpụrụ ụlọ.

Anatomi nke siri ike Batch Flow

Iwu teknụzụ kachasị mkpa nke nhazi ogbe bụ nsonaazụ dakọtara.

1. Nye arịrịọ ọ bụla 'ọdịnala_id' pụrụ iche. Nke a bụ NJ gị emepụtara nke na-achọpụta arịrịọ (dịka akwụkwọ ọnụahịa-2026-07-18-000431).
2. Nyefee ọrụ ahụ. Arịrịọ niile na-aga n'otu ngwugwu; nke ọ bụla nwere custom_id nke ya.
3. Nyochaa ọnọdụ ahụ. Ị na-arịọ maka ọkwa na etiti oge ruo mgbe arụchara ọrụ ahụ.
4. Dakọtara nsonaazụ ya na 'omenala_id'. Enwere ike iweghachite nsonaazụ n'usoro dị iche karịa usoro ntinye; yabụ adakọghị n'ọnọdụ mana site na custom_id nsonaazụ ọ bụla na-ebu.
5. Lelee ụdị nsonaazụ ọ bụla. Otu arịrịọ nwere ike ịga nke ọma, otu nwere ike ịda, otu nwere ike kubie ume. Usoro dabere na ịga nke ọma/ọdịda.

{"arịrịọ": [ {"custom_id": "akwụkwọ ọnụahịa-000431", "params": {"model": "claude-haiku-4-5", "max_tokens": 128, "system": "Hazie akwụkwọ ọnụahịa. weghachi JSON naanị.", "ozi": [{"role": "{{invoice_text}}" }] } }, {"custom_id": "akwụkwọ ọnụahịa-000432", "params": {"model": "claude-haiku-4-5", "max_tokens": 128, "sistemum": "Kwapụta akwụkwọ ọnụahịa", "Lọghachi" JSON naanị." "ọdịnaya": "{{akwụkwọ ọnụahịa_text_2}}" }] } ]}

Akpachara anya: rịzọlt dakọtara dabere n'usoro nrubeisi bụ mmejọ nke mbụ na batching. Echekwaghị kwụ n'ahịrị. Na-enweghị custom_id ị nweghị ike iji obi ike mara nsonaazụ nke akwụkwọ - na-adakọghị adaba na-eduga na data na-ezighi ezi.

Template nwere ike mbipụta

# omenala_id ọgbọ iwu (pụrụ iche na traceable) Usoro: <isture>-<ụbọchị>-<usoro>. Ọmụmaatụ: arịrịọ-20260718-000431Iwu: emela ugboro ugboro na ọrụ; Tinye ID ndekọ akụrụngwa na ya.

# Kaadị ọrụ Batch (nhazi oge ndebiri) Aha ọrụ: ............. Ọnụ ọgụgụ ndekọ: .............Nlereanya: ............. (ọrụ dị mfe → ụdị ngwa ngwa) Max_tokens maka arịrịọ: ............. Oge nnyefe oge a na-atụ anya ya: ......... hoursResult datching key: custom_idN'ọnọdụ nke njehie: gbalịa ọzọ / kwụ n'ahịrị / akụkọ.

# Otu arịrịọ ozugbo na batch (mkpụmkpụ na nhazi)Kpee akwụkwọ a. Naanị weghachi JSON a, na-aza:{"otu":"..."," ngwa ngwa":"low|medium|elu"}Akwụkwọ: """"{{akwụkwọ}}"""

# Nrụpụta pseudo-code maka nsonaazụ ọ bụla: ọ bụrụ result.status = "ihe ịga nke ọma": ndekọ = chọta( custom_id) chekwaa (ndekọ, nsonaazụ. mmepụta) ma ọ bụghị: add_to_fail( custom_id, result.error) # wee gbalịa ọzọ

Ngwa ngwa na-adịghị ike / ike siri ike (ichepụta ọrụ batch)

# WEAK (iche na-emebi emebi) Zipu akwụkwọ 10,000 iji jiri ụdị siri ike, chekwaa nsonaazụ eweghachiri n'usoro ha rutere.

# STRONG (iche na-adịgide adịgide) zipu akwụkwọ 10,000 n'otu ogbe nwere ụdị ngwa ngwa. Nye akwụkwọ ọ bụla omenala_id pụrụ iche nwere NJ ndekọ-isi iyi. Dakọtara nsonaazụ ya na custom_id; kwụ n'ahịrị ndị dara ada wee gbalịa ọzọ. Gbaa na windo abalị; Nnyefe nnyefe 6 awa.

Ụdị dị ike; Ọ na-akọwapụta nhọrọ nlereanya, igodo dakọtara, njikwa njehie na oge. Nke a bụ ihe dị iche na nhazi iri puku kwuru iri puku ndekọ n'enweghị nsogbu.

Obere obere atọ

Ikpe 1 - Nkpado abalị. Ndị otu e-azụmahịa ga-ahazi nyocha ngwaahịa 200,000 n'ime mkpado mmetụta. Mgbasa ozi mmekọrịta dị ndụ nọ n'okpuru oke ọsọ yana ọnụ ahịa. Ha na-ebu ọrụ ahụ n'ime abalị dị ka ogbe nwere ihe nlereanya ngwa ngwa; Ọnụ ego otu ahụ dara, ihe niile dị njikere n'ụtụtụ, na enweghị nsogbu oke ọsọ.

Ikpe 2 - Usoro mgbagwoju anya. Otu otu ndị nyocha weputara akụkọ 5,000 mana ha depụtara nsonaazụ ya na faịlụ n'usoro ha rutere. N'ihi na e weghachiri nsonaazụ ya n'usoro dị iche, ihe dị ka 900 n'ime 5,000 abstracts jikọtara ya na akụkọ na-ezighi ezi. Ha degharịrị ya na custom_id; edozi nsogbu na ahụmịhe a ghọrọ iwu na-adịgide adịgide: "Mgbe niile custom_id na ogbe."

Ikpe 3 - Njikere dị ndụ na ọnọdụ na-ezighi ezi. Otu nkwado nwara inye batch nzaghachi ndụ onye ọrụ tụrụ anya na ihuenyo; Ndị ọrụ gbahapụrụ n'ihi na nsonaazụ rutere nkeji ole na ole ka e mesịrị. Ha weghachiri ọrụ ndụ ahụ na mmekọrịta, na-ahapụ naanị nyocha nke ọma abalị na batch. Ihe nkuzi: ogbe abụghị maka nọrọ na njikere.

Mmejọ ndị nkịtị

• Nsonaazụ dabara na ọnọdụ: A naghị echekwa usoro; Jiri custom_id.
• Ịnyefe ọrụ ndụ na batch: Onye ọrụ enweghị ike ichere nkeji; ogbe bụ maka igbu oge ọrụ ndidi.
• Anaghị ejikwa ikpe njehie: Ụfọdụ arịrịọ nwere ike ịlaghachi na ọdịda dara/kubie ume; Tinye ya n'ahịrị dị iche wee nwaa ọzọ.
• Ihe nlereanya siri ike iji reflex na batch: Ngwa ngwa + ogbe bụ ngwakọta dị ọnụ ala na ọrụ dị mfe.
• Emeghị ka emebe custom_id traceable: Ọ bụrụ na enweghị ndekọ isi iyi agbakwunyere na ID ahụ, ọ na-esiri ike ijikọ nsonaazụ ya azụ.
• Ichefu ịlele ọnọdụ ahụ: Na-atụ anya nsonaazụ tupu arụ ọrụ ahụ agwụ; Lelee ọkwa mmecha.

Miri: Nleba anya ogbe na ijikwa obere ọdịda

Akụkụ kachasị tozuru okè nke nhazi nhazi bụ na ọ chọrọ echiche dị iche karịa oku onye ọ bụla: ọrụ nchịkọta bụ "usoro", ọ bụghị "mmemme". Na-eche na iri puku kwuru iri puku arịrịọ ga-aga nke ọma na-esighi ike; Nhazi ezi uche na-anabata ọdịda akụkụ site na mmalite. Ọkwa nke nsonaazụ ọ bụla nwere ike ịdị iche: ịga nke ọma, dara (dịka ntinye ezighi ezi), kagbuo ma ọ bụ kubie ume. Ọgba ọsọ siri ike na-ahazi ọkwa nke nsonaazụ ọ bụla iche iche ka ọ na-aga na ya, na-etinye ọdịda ndị ahụ n'ime "ntụgharị kwụ n'ahịrị" dị iche iche wee na-agba n'ahịrị ahụ iche.

Omume nke abụọ bụ ịmepụta maka idempotency (na-arụ otu ọrụ ugboro abụọ adịghị emerụ ahụ). Ọ bụrụ na akwụsịla ogbe ma malitegharịa ya, ịgaghị ahazigharị wee dee ndekọ ahaziri ugboro abụọ. Jide custom_id na ndekọ isi mmalite gị na-arụkwa ọrụ ebe a: "e hazilarị ndekọ a?" tupu ịchekwa nsonaazụ. Nyocha na-egbochi pịnye ugboro abụọ.

Isi ihe nke atọ bụ iji ogbe jiri akwagharị iyi egwu egwu. Ụfọdụ ọrụ nwere ma ndụ na batch akụkụ: mgbe onye ọrụ na-ebu akwụkwọ, ị na-enye ha nchịkọta mbido ngwa ngwa (synchronous), ma megharịa otu akwụkwọ ahụ maka nyocha miri emi n'abalị (batch). Iji nlezianya kewaa ụdịdị abụọ a na-ebuli ma ahụmịhe onye ọrụ yana ọnụ ahịa.

N'ikpeazụ, batching bụkwa ụzọ isi merie oke ọsọ (nkeji 8). Izipu olu dị elu na ọsọ na-arụkọ ọrụ ọnụ na-emepụta 429 mgbe niile, ebe ị na-eziga otu olu na batch na-ebufe oke nrụgide na nhazi oge nke onye na-eweta ya ma na-eme ka ọrụ ahụ dịkwuo amụma.

Na nchịkọta

Nhazi ogbe na-abụkarị ụdị dị ọnụ ala karịa ma sie ike maka ibu ọrụ na-anagide latency yana oke olu. Mkpebi ya bụ "onye ọrụ na-echere nsonaazụ ugbu a?" na-ekpebi ajụjụ ahụ. Iwu teknuzu kacha dị mkpa bụ ịnye arịrịọ ọ bụla omenala_id pụrụ iche, rịzọlt dakọtara site na ID karịa ọnọdụ, ma na-emeso ọganiihu/ọdịda nke ọ bụla nke ọ bụla iche.

Ọrụ ngwa

Họrọ ọrụ dị oke elu (dịka nhazi nhazi). (1) Kpebie ma ọrụ a ọ dị ndụ ka ọ bụ mkpokọta ma kwado ya. (2) Chepụta usoro custom_id (gụnyere ndekọ akụrụngwa). (3) Dejupụta kaadị ọrụ batch (ụdị, max_tokens, ndidi, amụma njehie). (4) Dee pseudocode nhazi nsonaazụ ka ịgụnye arịrịọ ndị dara ada.

ndetu

• [] Enwere m ike ịmata ọdịiche nke synchronous, asynchronous na batch ụdịdị na ọnụ ahịa/ngbu oge.
• [] Enwere m ike ikpebi ma ọrụ ọ dabara maka batch ma ọ bụ na ọ bụghị site na ịjụ ajụjụ ziri ezi.
• [ ] Ana m enye arịrịọ ọ bụla omenala_id pụrụ iche wee dakọọ nsonaazụ ya site na ID.
• [ ] Enwere m ike ijikwa nsonaazụ dara ada/ kubie ume iche.
• [] Amaara m uru dị n'ịhọrọ ụdị ngwa ngwa na ọrụ batch dị mfe.