Awọn anfani:
- Ṣe ipinnu iru sisẹ ipele iṣẹ ṣiṣe ni o dara fun
- Loye idiyele / iṣowo lairi laarin amuṣiṣẹpọ, asynchronous ati sisẹ ipele
- Ṣe apẹrẹ iṣan-iṣẹ ipele ti o lagbara ti o baamu custom_id si awọn abajade
Pupọ awọn iṣọpọ LLM ni idojukọ lori awọn oju iṣẹlẹ “ifiwe” nibiti olumulo kan n duro de esi ni iwaju iboju kan. Ṣugbọn pupọ julọ awọn iṣẹ ṣiṣe alamọdaju kii ṣe laaye nitootọ: fifi aami si ẹgbẹẹgbẹrun awọn iwe aṣẹ ni alẹ, ṣe akopọ gbogbo data, tito lẹtọ gbogbo awọn gbigbasilẹ ipe ni ile-ipamọ. Ninu awọn ọrọ wọnyi, ko si ẹnikan ti o nireti idahun lẹsẹkẹsẹ; Ohun pataki ni lati pari iṣẹ naa ni olowo poku ati igbẹkẹle. Batch jẹ deede fun awọn ẹru iṣẹ wọnyi. Ninu ẹyọ yii, iwọ yoo kọ iyatọ laarin amuṣiṣẹpọ, asynchronous, ati sisẹ ipele, nigbati ipele jẹ yiyan ti o tọ, ati ṣiṣan to lagbara ti o ni igboya baamu custom_id ati awọn abajade.
Awọn ipo Ṣiṣẹ mẹta
mode
Bawo ni o ṣiṣẹ
idaduro
Iye owo aṣoju
iṣẹ ti o yẹ
amuṣiṣẹpọ
O ṣe ibeere ati duro fun esi naa
iṣẹju-aaya
Standard
Iwiregbe ifiwe, oluranlọwọ lẹsẹkẹsẹ
asynchronous
O duro iṣẹ naa ki o gba iwifunni nigbati o ba ti pari.
Aaya – iseju
Standard
Awọn iṣẹ abẹlẹ, awọn igbesẹ adaṣe
Ipele
Firanṣẹ awọn ẹgbẹẹgbẹrun awọn ibeere ni package kan, lẹhinna gba awọn abajade
Awọn iṣẹju-wakati
Nigbagbogbo ẹdinwo
Iwọn-giga, awọn iṣẹ ifarada idaduro
Sise ipele jẹ eyi: o firanṣẹ awọn ọgọọgọrun/ẹgbẹẹgbẹrun awọn ibeere bi “iṣẹ” ẹyọkan si olupese; Olupese ṣe ilana wọn ni iyara tirẹ ati da gbogbo awọn abajade pada ni olopobobo ni kete ti o ti pari. Ni ipadabọ o gba awọn nkan meji: (1) iye owo ẹyọ ni gbogbogbo, (2) agbara lati gbe iwọn didun giga laisi nini lati koju awọn opin iyara. Iye owo naa ni pe awọn abajade ko wa lẹsẹkẹsẹ, ṣugbọn lẹhin igba diẹ.
Nigbawo lati Batch, Nigbati Ko ṣe?
Ipinnu naa wa si ibeere kan: Njẹ olumulo nduro fun abajade ni bayi?
- Rara, Mo le mu u → oludije ipele. Ifiṣamisi alẹ, akopọ ipele, isọdi pamosi, imudara data, igbelewọn (eval) ipaniyan.
- Bẹẹni, nduro loju iboju → amuṣiṣẹpọ. Iwiregbe ifiwe, imọran lẹsẹkẹsẹ, iranlọwọ nigbati o ba n kun awọn fọọmu.
Imọran: Awọn ipo meji le wa papọ ni ọja kanna. Olumulo ṣiṣẹ ni iṣọkan ni iwiregbe ifiwe; Ni alẹ, o fun gbogbo awọn ibaraẹnisọrọ ti ọjọ yẹn si ipele fun itupalẹ didara. Iyapa “aini alãye” lati “aini apapọ” jẹ ipinnu akọkọ ti faaji.
Anatomi ti Logan Batch Sisan
Ofin imọ-ẹrọ pataki julọ ti sisẹ ipele jẹ ibaamu abajade.
- Fun ibeere kọọkan ni alailẹgbẹ `aṣa_id`. Eyi ni ID ipilẹṣẹ rẹ ti o ṣe idanimọ ibeere naa (fun apẹẹrẹ risiti-2026-07-18-000431).
- Fi iṣẹ naa silẹ. Gbogbo awọn ibeere lọ ni package kan; kọọkan pẹlu awọn oniwe-ara custom_id.
- Yiyan ipo naa. O beere fun ipo ni awọn aaye arin titi ti iṣẹ naa yoo "ṣe."
- Baramu awọn abajade pẹlu `aṣa_id`. Awọn abajade le jẹ pada ni ọna ti o yatọ ju aṣẹ ifakalẹ lọ; nitorinaa ko baramu pẹlu ipo ṣugbọn nipasẹ custom_id abajade kọọkan n gbe.
- Ṣayẹwo iru abajade kọọkan. Ibeere kan le ṣaṣeyọri, ọkan le kuna, ọkan le pari. Ilana ti o da lori aṣeyọri / ikuna.
{"awọn ibeere": [ {"custom_id": "risiti-000431", "params": {"model": "claude-haiku-4-5", "max_tokens": 128, "system": "Ṣisọtọ iwe-owo. Pada JSON nikan.", "awọn ifiranṣẹ": [{"content": "{{invoice_text}}" }] } }, {"custom_id": "invoice-000432", "params": {"model": "claude-haiku-4-5", "max_tokens": 128, "system": "Sify risiti", "Pada JSON": "{messale only." "akoonu": "{{invoice_text_2}}" }] } } ]}
Išọra: Awọn abajade ibaramu ti o da lori aṣẹ ifakalẹ jẹ aṣiṣe nọmba akọkọ ni batching. A ko tọju isinyi. Laisi custom_id o ko le ni igboya mọ abajade wo ni o jẹ ti iwe-ibaramu aṣiṣe ni ipalọlọ yori si data ti ko tọ.
Awọn awoṣe Copiable
# Ofin iran aṣa_id (ayatọ ati itọpa) Ọna kika: <isture>-<ọjọ>-<tẹle>. Apeere: ìbéèrè-20260718-000431Ofin: maṣe tun ni iṣẹ; Fi ID igbasilẹ ohun elo sinu rẹ.
# Kaadi iṣẹ Batch (awoṣe eto iṣeto) Orukọ iṣẹ: ............. Nọmba awọn igbasilẹ: ............. Awoṣe: ............. (iṣẹ ti o rọrun → awoṣe yara) Max_tokens fun ibeere: ........
# Ibere ibeere ẹyọkan ni ipele (kukuru ati sikematiki) Ṣeto iwe-ipamọ yii. Kan da JSON yii pada, ni asọye:{"ẹka":"...","Ijakadi":"low|medium|giga"}Iwe: """{{{{ikument}}"""
# Abajade ilana pseudo-code fun abajade kọọkan: ti abajade.status == "aṣeyọri": igbasilẹ = wa(aṣa_id) fipamọ(igbasilẹ, abajade.output) bibẹẹkọ: add_to_fail(aṣa_id, esi.aṣiṣe) # lẹhinna gbiyanju lẹẹkansii
Ilọsiwaju alailagbara / itara to lagbara (apẹrẹ iṣẹ ipele)
# WEAK (apẹrẹ ẹlẹgẹ) Firanṣẹ awọn iwe aṣẹ 10,000 ni aṣẹ pẹlu awoṣe to lagbara, ṣafipamọ awọn abajade ti o pada ni aṣẹ ti wọn de.
# STRONG (apẹrẹ ti o tọ) Firanṣẹ awọn iwe aṣẹ 10,000 ni ipele kan pẹlu awoṣe iyara. Fun iwe-ipamọ kọọkan aṣa_id alailẹgbẹ ti o ni ID igbasilẹ-orisun ninu. Baramu awọn abajade pẹlu custom_id; ti isinyi awọn ti kuna ki o tun gbiyanju lẹẹkansi.Ṣiṣe ni window alẹ; Ifijiṣẹ 6 wakati.
Alagbara ti ikede; O ṣe asọye yiyan awoṣe, bọtini ibaramu, mimu aṣiṣe ati akoko. Eyi ni iyatọ ninu sisẹ awọn mewa ti ẹgbẹẹgbẹrun awọn igbasilẹ ni aabo.
Mẹta Mini igba
Case 1 - Alẹ tagging. Ẹgbẹ iṣowo e-commerce kan yoo to awọn atunyẹwo ọja 200,000 sinu awọn ami itara. Sisanwọle amuṣiṣẹpọ Live jẹ koko ọrọ si awọn opin iyara ati pe o jẹ idiyele. Wọn ti gbe iṣẹ naa sinu alẹ bi ipele kan pẹlu awoṣe ti o yara; Iye owo ẹyọ naa lọ silẹ, gbogbo ṣeto ti ṣetan ni owurọ, ati pe ko si awọn iṣoro opin iyara.
Case 2 - Bere fun iporuru. Apejọ ẹgbẹ iwadii kan ṣabọ awọn nkan 5,000, ṣugbọn kowe awọn abajade sinu awọn faili ni aṣẹ ti wọn de. Nitoripe a da awọn abajade pada ni ọna ti o yatọ, isunmọ 900 ti 5,000 awọn arosọ ni a sopọ mọ nkan ti ko tọ. Wọn ṣe atunṣe rẹ si custom_id; iṣoro ti yanju ati iriri yii di ofin titilai: "Nigbagbogbo custom_id ni ipele."
Ọran 3 - Imurasilẹ Live ni ipo aṣiṣe. Ẹgbẹ atilẹyin kan gbiyanju lati fun ipele awọn idahun ifiwe laaye olumulo ti o nireti loju iboju; Awọn olumulo kọ silẹ nitori awọn abajade ti de awọn iṣẹju nigbamii. Wọn gbe iṣẹ laaye pada si amuṣiṣẹpọ, nlọ nikan ni itupalẹ didara alẹ ni ipele naa. Ẹkọ: ipele kii ṣe fun imurasilẹ laaye.
Awọn aṣiṣe ti o wọpọ
- Awọn abajade ibamu nipasẹ ipo: Aṣẹ ko tọju; Lo custom_id.
- Gbigbe iṣẹ laaye si ipele: Olumulo ko le duro fun awọn iṣẹju; ipele jẹ fun idaduro awọn iṣẹ ifarada.
- Ko mimu awọn ọran aṣiṣe: Diẹ ninu awọn ibeere le pada kuna / pari; Fi sii sinu isinyi lọtọ ki o tun gbiyanju lẹẹkansi.
- Iṣatunṣe lilo awoṣe ti o lagbara ni ipele: Awoṣe iyara + ipele jẹ apapọ ti ko gbowolori ni awọn iṣẹ ti o rọrun.
- Kii ṣe itọpa aṣa_id: Ti ko ba si igbasilẹ orisun ti o fi sii sinu ID, o nira lati so abajade pada.
- Ngbagbe lati ṣayẹwo ipo naa: Nreti awọn esi ṣaaju ki iṣẹ naa ti pari; Ṣayẹwo ipo ipari.
Jinle: Ipele Abojuto ati Ṣiṣakoṣo Ikuna Apa kan
Apakan ti o dagba julọ ti sisẹ ipele ni pe o nilo iṣaro ti o yatọ ju awọn ipe kọọkan lọ: iṣẹ ipele kan jẹ “ilana”, kii ṣe “iṣẹlẹ”. A ro pe ẹgbẹẹgbẹrun awọn ibeere yoo ṣaṣeyọri gbogbo jẹ ẹlẹgẹ; Apẹrẹ ojulowo gba ikuna apa kan lati ibẹrẹ. Ipo ti abajade kọọkan le yatọ: aṣeyọri, kuna (fun apẹẹrẹ titẹ sii ti ko tọ), fagile tabi ti pari. Sisan ṣiṣan ti o lagbara kan ṣe ilana ipo ti abajade kọọkan lọtọ bi o ti nrìn nipasẹ rẹ, fi awọn ikuna sinu lọtọ “tun gbiyanju isinyi” ati ṣiṣe ti isinyi lọtọ.
Iwa keji ni lati ṣe apẹrẹ fun idempotency (pe ṣiṣe iṣẹ kanna lẹẹmeji ko fa ipalara eyikeyi). Ti ipele kan ba ni idilọwọ ati pe o tun bẹrẹ, o yẹ ki o ko tun ṣe ki o kọ lẹmeji awọn igbasilẹ ti a ti ni ilọsiwaju tẹlẹ. Dide custom_id si igbasilẹ orisun rẹ n ṣiṣẹ nibi paapaa: "Ṣe igbasilẹ yii ti ni ilọsiwaju tẹlẹ?" ṣaaju fifipamọ abajade. Ṣiṣayẹwo ṣe idilọwọ titẹ ilọpo meji.
Ojuami kẹta ni lati ta awọn ṣiṣan laaye pẹlu ipele. Diẹ ninu awọn iṣẹ ni awọn iwọn laaye ati ipele: nigbati olumulo ba gbe iwe kan, o fun wọn ni akopọ alakoko ni iyara (asopọmọra), ati tun ṣe iwe kanna fun itupalẹ jinlẹ ni alẹ (ipele). Yiyasọtọ awọn ipo meji ni oye ṣe iṣapeye iriri olumulo mejeeji ati idiyele.
Nikẹhin, batching tun jẹ ọna lati koju awọn opin iyara (ẹyọkan 8). Fifiranṣẹ iwọn didun giga ni ṣiṣan amuṣiṣẹpọ laaye n ṣe agbejade 429 igbagbogbo, lakoko ti o nfi iwọn didun kanna ranṣẹ si awọn gbigbe ipele diwọn titẹ si eto iṣeto ti olupese ati jẹ ki iṣẹ naa jẹ asọtẹlẹ diẹ sii.
Ni soki
Sisẹ ipele jẹ gbogbogbo din owo ati ipo ti o lagbara diẹ sii fun ifarada-lairi ati awọn ẹru iṣẹ iwọn-giga. Ipinnu rẹ ni "Ṣe olumulo nduro fun abajade ni bayi?" ipinnu ibeere. Ofin imọ-ẹrọ to ṣe pataki julọ ni lati fun ibeere kọọkan ni aṣa_id alailẹgbẹ, awọn abajade ibaamu nipasẹ ID dipo ipo, ati tọju aṣeyọri/ikuna abajade kọọkan lọtọ.
Ohun elo iṣẹ-ṣiṣe
Yan iṣẹ ti o ni iwọn giga (fun apẹẹrẹ. (1) Pinnu boya iṣẹ yii jẹ laaye tabi apapọ ki o ṣe idalare. (2) Ṣe apẹrẹ ọna kika custom_id (pẹlu igbasilẹ awọn orisun). (3) Fọwọsi kaadi iṣẹ ipele (awoṣe, max_tokens, ifarada, imulo aṣiṣe). (4) Kọ pseudocode sisẹ abajade lati pẹlu awọn ibeere ti o kuna.
akojọ ayẹwo
- [] Mo le ṣe iyatọ amuṣiṣẹpọ, asynchronous ati awọn ipo ipele lori iye owo/idaduro.
- [] Mo le pinnu boya iṣẹ kan dara fun ipele tabi kii ṣe nipa bibeere ibeere to tọ.
- [] Mo fun kọọkan ìbéèrè a oto custom_id ati ki o baramu awọn esi nipa ID.
- [] Mo le mu awọn esi ti o kuna/ti pari lọtọ.
- [] Mo mọ awọn anfani ti yiyan awoṣe yara ni awọn iṣẹ ipele ti o rọrun.