Daromadlar:
- Ommaviy ishlov berish qaysi ish yuklariga mos kelishini aniqlaydi
- Sinxron, asinxron va ommaviy ishlov berish o'rtasidagi xarajat/kechikish almashinuvini tushunadi
- Natijalarga custom_id mos keladigan mustahkam ommaviy ish oqimini ishlab chiqadi
Ko'pgina LLM integratsiyalari foydalanuvchi ekran oldida javob kutayotgan "jonli" stsenariylarga qaratilgan. Ammo professional ish yuklarining aksariyati aslida jonli emas: bir kechada minglab hujjatlarni belgilash, butun ma'lumotlar to'plamini umumlashtirish, arxivdagi barcha qo'ng'iroq yozuvlarini tasniflash. Bu masalalarda hech kim bir zumda javob kutmaydi; Muhimi, ishni arzon va ishonchli tarzda tugatishdir. To'plam aynan shu ish yuklari uchun. Ushbu bo'limda siz sinxron, asinxron va to'plamni qayta ishlash o'rtasidagi farqni bilib olasiz, qachonki to'plam to'g'ri tanlov bo'lsa va custom_id va natijalarga ishonchli tarzda mos keladigan mustahkam oqim.
Uchta ish rejimi
rejimi
Bu qanday ishlaydi
kechikish
Oddiy xarajat
mos ish
sinxron
Siz so'rov yuborasiz va javobni kutasiz
soniya
Standart
Jonli chat, tezkor yordamchi
asinxron
Siz ishni navbatga qo'yasiz va u tugashi haqida xabar olasiz.
soniyalar - daqiqalar
Standart
Fon vazifalari, avtomatlashtirish bosqichlari
To'plam
Bitta paketda minglab so'rovlarni yuboradi, keyin natijalarni oladi
Daqiqalar - soatlar
Odatda chegirmali
Yuqori hajmli, kechikishga chidamli ishlar
Ommaviy ishlov berish bu: siz yuzlab/minglab so‘rovlarni bitta “ish” sifatida provayderga yuborasiz; Provayder ularni o'z tezligida qayta ishlaydi va tugallangandan so'ng barcha natijalarni ommaviy ravishda qaytaradi. Buning evaziga siz ikkita narsaga ega bo'lasiz: (1) odatda birlik narxining pastligi, (2) tezlik cheklovlari bilan shug'ullanmasdan yuqori hajmni harakatlantirish qobiliyati. Narx shundaki, natijalar bir zumda emas, balki bir muncha vaqt o'tgach keladi.
Qachon to'plash kerak, qachon emas?
Qaror bitta savolga tushadi: foydalanuvchi hozir natijani kutyaptimi?
- Yo'q, men uni ushlab turaman → partiya nomzodi. Tungi teglash, partiyalarni umumlashtirish, arxiv tasnifi, ma'lumotlarni boyitish, baholash (baholash) bajarilishi.
- Ha, ekranda kutish → sinxronlash. Jonli suhbat, tezkor maslahat, shakllarni to'ldirishda yordam.
Maslahat: Bitta mahsulotda ikkita rejim birga bo'lishi mumkin. Foydalanuvchi jonli chatda sinxron ishlaydi; Kechasi siz o'sha kunning barcha suhbatlarini sifatli tahlil qilish uchun partiyaga berasiz. “Tirik ehtiyoj”ni “jamoa ehtiyoj”dan ajratish me’morchilikning birinchi qaroridir.
Kuchli partiya oqimining anatomiyasi
To'plamni qayta ishlashning eng muhim texnik qoidasi natijalarni moslashtirishdir.
- Har bir soʻrovga oʻziga xos “custom_id” bering. Bu soʻrovni aniqlaydigan siz yaratgan identifikatoringiz (masalan, invoice-2026-07-18-000431).
- Ishni topshiring. Barcha so'rovlar bitta paketga kiradi; ularning har biri o'z custom_id-ga ega.
- Vaziyatni so'rov qiling. Ish “bajarilgunicha” vaqti-vaqti bilan maqom so‘raysiz.
- Natijalarni “custom_id” bilan moslang. Natijalar topshirish tartibidan boshqacha tartibda qaytarilishi mumkin; shuning uchun hech qachon pozitsiya bo'yicha mos kelmang, lekin har bir natijani custom_id bilan moslashtirmang.
- Har bir natija turini tekshiring. Bitta so'rov muvaffaqiyatli bo'lishi mumkin, biri muvaffaqiyatsiz bo'lishi mumkin, biri muddati tugashi mumkin. Muvaffaqiyat / muvaffaqiyatsizlikka asoslangan jarayon.
{ "so'rovlar": [ { "custom_id": "invoice-000431", "params": { "model": "claude-haiku-4-5", "max_tokens": 128, "tizim": "Invoysni tasniflang. Faqat JSONni qaytaring.", "xabarlar": "{"er" "{{invoice_text}}" }] } }, { "custom_id": "invoice-000432", "params": { "model": "claude-haiku-4-5", "max_tokens": 128, "tizim": "Invoysni tasniflang. "Faqat "JSON"ni qaytaring", ":"er", ":". "content": "{{invoice_text_2}}" }] } } ]}
Diqqat: Natijalarni topshirish tartibiga ko'ra moslashtirish - bu to'plamdagi birinchi xatodir. Navbat saqlanmagan. Custom_idsiz siz qaysi natija qaysi hujjatga tegishli ekanligini ishonch bilan bila olmaysiz - noto'g'ri moslashish jimgina noto'g'ri ma'lumotlarga olib keladi.
Nusxalanadigan shablonlar
# custom_id yaratish qoidasi (noyob va kuzatilishi mumkin)Format: <isture>-<sana>-<sequence>. Misol: so'rov-20260718-000431Qoida: ishda hech qachon takrorlanmang; Unga resurs yozuvi identifikatorini joylashtiring.
# Partiya ish kartasi (rejalashtirish shabloni)Ish nomi: .............Yozuvlar soni: .............Model: ............. (oddiy ish → tezkor model)Soʻrov uchun maksimal_tokenlar: .............Kutilayotgan yetkazib berish vaqtiga tolerantlik: ......... soatNatijani moslashtirish kaliti: custom_idXato boʻlsa: qayta urinib koʻring / navbat / hisobot
# To'plamdagi yagona so'rov so'rovi (qisqa va sxematik) Ushbu hujjatni tasniflang. Shunchaki JSONni qaytaring, izoh qoldirib:{"kategori":"...","shoshilinch":"past|o'rta|yuqori"}Hujjat: """{{hujjat}}"""
# Har bir natija uchun psevdokodni qayta ishlash natijasi: agar result.status == "muvaffaqiyat" bo'lsa: rekord = toping(custom_id) saqlash(record, result.output) aks holda: add_to_fail(custom_id, result.error) # keyin qayta urinib ko'ring.
Zaif taklif / Kuchli taklif (to'plamli ish dizayni)
# ZAF (mo'rt dizayn)Kuchli model bilan 10 000 ta hujjatni tartibda yuboring, qaytarilgan natijalarni ular kelgan tartibda saqlang.
# KUCHLI (bardoshli dizayn) Tez model bilan 10 000 ta hujjatni bir partiyada yuboring. Har bir hujjatga manba yozuvi identifikatorini o'z ichiga olgan noyob custom_id bering. Natijalarni custom_id bilan moslang; muvaffaqiyatsiz bo'lganlarni navbatga qo'ying va qayta urinib ko'ring.Tungi oynada ishga tushirish; Yetkazib berish tolerantligi 6 soat.
Kuchli versiya; U model tanlashni, mos kalitni, xatolarni qayta ishlash va vaqtni oldindan belgilaydi. Bu o'n minglab yozuvlarni xavfsiz qayta ishlashdagi farq.
Uchta mini korpus
1-holat - tungi belgi. Elektron tijorat jamoasi 200 000 ta mahsulot sharhini hissiyot teglariga saralaydi. Jonli sinxron oqim tezlik cheklovlariga bog'liq edi va qimmatga tushdi. Ular ishni tunga qadar tez model bilan partiya sifatida olib borishdi; Birlik narxi tushdi, ertalab butun to'plam tayyor edi va tezlikni cheklash bilan bog'liq muammolar yo'q edi.
2-holat - Buyurtmaning chalkashligi. Tadqiqot guruhi 5 000 ta maqolaning konspektini tuzdi, ammo natijalarni ular kelgan tartibda fayllarga yozdi. Natijalar boshqa tartibda qaytarilganligi sababli, 5000 ta tezisdan taxminan 900 tasi notoʻgʻri maqola bilan bogʻlangan. Ular uni custom_id ga o'zgartirdilar; muammo hal qilindi va bu tajriba doimiy qoidaga aylandi: "Har doim to'plamda custom_id."
3-holat - noto'g'ri rejimda jonli kutish. Qo'llab-quvvatlash guruhi foydalanuvchi ekranda kutgan jonli javoblarni to'liq berishga harakat qildi; Natijalar bir necha daqiqadan keyin kelgani uchun foydalanuvchilar tark etishdi. Ular jonli ishni sinxronizatsiyaga o'tkazdilar va partiyada faqat tungi sifat tahlilini qoldirdilar. Dars: partiya jonli kutish uchun emas.
Umumiy xatolar
- Natijalarni pozitsiya bo'yicha moslashtirish: Buyurtma saqlanmaydi; custom_id dan foydalaning.
- Jonli ishni to'plamga o'tkazish: Foydalanuvchi bir necha daqiqa kuta olmaydi; partiya kechikishga bardoshli ishlar uchun mo'ljallangan.
- Xato holatlarini ko'rib chiqmaslik: Ba'zi so'rovlar muvaffaqiyatsiz/muddati o'tganligini qaytarishi mumkin; Uni alohida navbatga qo'ying va qayta urinib ko'ring.
- To'plamda kuchli modeldan foydalanish refleksi: Tez model + partiya oddiy ishlarda eng arzon kombinatsiyadir.
- custom_id kuzatilishi mumkin emas: Agar identifikatorga manba yozuvi kiritilmagan bo'lsa, natijani qayta bog'lash qiyin bo'ladi.
- Vaziyatni o'rganishni unutish: Ish tugagunga qadar natijalarni kutish; Tugatish holatini tekshiring.
Chuqurroq: To'plamni kuzatish va qisman muvaffaqiyatsizlikni boshqarish
Partiyani qayta ishlashning eng etuk jihati shundaki, u individual qo'ng'iroqlarga qaraganda boshqacha fikrlashni talab qiladi: ommaviy ish "voqea" emas, balki "jarayon" dir. O'n minglab so'rovlarning barchasi muvaffaqiyatli bo'ladi deb faraz qilish juda nozik; Haqiqiy dizayn boshidanoq qisman nosozlikni qabul qiladi. Har bir natijaning holati boshqacha bo'lishi mumkin: muvaffaqiyatli, muvaffaqiyatsiz (masalan, noto'g'ri kiritilgan), bekor qilingan yoki muddati tugagan. Kuchli oqim har bir natija holatini u orqali o'tayotganda alohida qayta ishlaydi, nosozliklarni alohida "qayta urinish navbatiga" qo'yadi va navbatni alohida ishga tushiradi.
Ikkinchi amaliyot - identifikatorni loyihalash (bir ishni ikki marta bajarish hech qanday zarar keltirmaydi). Agar to'plam uzilib qolsa va uni qayta ishga tushirsangiz, qayta ishlanmasligingiz va allaqachon qayta ishlangan yozuvlarni ikki marta yozmasligingiz kerak. custom_id-ni manba yozuvingizga bog'lash bu erda ham ishlaydi: "bu yozuv allaqachon qayta ishlanganmi?" natijani saqlashdan oldin. Tekshirish ikki marta yozishni oldini oladi.
Uchinchi nuqta - to'plam bilan jonli translatsiyalarni o'zgartirish. Ba'zi ishlar ham jonli, ham ommaviy o'lchamlarga ega: foydalanuvchi hujjatni yuklaganida, siz ularga tezkor dastlabki xulosani (sinxron) berasiz va tunda (to'plamda) chuqurroq tahlil qilish uchun bir xil hujjatni qayta ishlaysiz. Ikki rejimni ongli ravishda ajratish foydalanuvchi tajribasini ham, narxini ham optimallashtiradi.
Nihoyat, paketlash ham tezlik cheklovlari bilan shug'ullanishning bir usuli hisoblanadi (8-birlik). Jonli sinxron oqimda yuqori hajmni jo'natish doimiy 429 ni hosil qiladi, shu bilan birga bir xil hajmni paketli o'tkazmalarga yuborish bosimni provayderning o'z rejalashtirishiga cheklaydi va ishni yanada bashoratli qiladi.
qisqa bayoni; yakunida
Ommaviy ishlov berish, odatda, kechikishga chidamli va katta hajmli ish yuklari uchun arzonroq va mustahkamroq rejimdir. Uning qarori "foydalanuvchi hozir natijani kutyaptimi?" savolni aniqlaydi. Eng muhim texnik qoida - har bir so'rovga noyob custom_id ni berish, natijalarni joylashuvga emas, balki ID bo'yicha moslashtirish va har bir natijaning muvaffaqiyati/muvaffaqiyatsizligini alohida ko'rib chiqish.
Ilova vazifasi
Katta hajmli ishni tanlang (masalan, arxiv tasnifi). (1) Bu ish jonli yoki jamoaviymi, hal qiling va uni asoslang. (2) custom_id formatini loyihalash (resurs yozuvini ham qo'shing). (3) Ommaviy ish kartasini to'ldiring (model, max_tokens, bardoshlik, xato siyosati). (4) Muvaffaqiyatsiz so'rovlarni kiritish uchun natijani qayta ishlash psevdokodini yozing.
nazorat ro'yxati
- [ ] Narx/kechikish o‘qi bo‘yicha sinxron, asinxron va ommaviy rejimlarni ajrata olaman.
- [ ] Men toʻgʻri savol berish orqali ish toʻplamga mos keladimi yoki yoʻqligini hal qila olaman.
- [ ] Men har bir soʻrovga noyob custom_id beraman va natijalarni ID boʻyicha moslashtiraman.
- [ ] Muvaffaqiyatsiz/muddati o'tgan natijalarni alohida ko'rib chiqa olaman.
- [ ] Men oddiy ommaviy ishlarda tezkor modelni tanlashning afzalliklarini bilaman.