Gnóthachain:
- Is féidir a mhíniú cad is sruthú ann, cineálacha imeachtaí agus cén fáth a bhfuil gá leis.
- tuigeann max_tokens teorainn ama agus caidreamh aschuir 128K fada
- Is féidir leis an rogha ceart a dhéanamh idir iarratais sruthaithe agus iarratais neamhshruthaithe de réir an ualaigh oibre
B'fhéidir gur thug tú faoi deara go bhfuil an freagra "clóscríofa" focal ar fhocal i gcomhéadan comhrá. Ní borradh amhairc é seo; Tá sé mar thoradh ar theicníc ar a dtugtar sruthú agus is minic a bhíonn sé éigeantach do chomhtháthú LLM cáilíochta táirgeachta. San aonad seo, foghlaimeoidh tú cad is sreabhadh ann, cad iad na himeachtaí atá ann, an gaol atá aige le haschur fada agus teorainn ama, agus cathain is ceart sreabhadh a úsáid agus cathain nach ceart. Clúdóimid an t-ábhar trí thascanna fíor gairmí - cúntóir beo, giniúint tuairiscí fada, próiseáil baisc.
Cad is Sreabhadh ann?
Le hiarratas neamhshruthaithe (sioncrónach), fanann tú go dtí go dtáirgeann an tsamhail an freagra iomlán; Nuair a bhíonn an freagra réidh, tagann sé i bpíosa amháin. In iarratas sruthú, seolann an freastalaí an freagra píosa ar phíosa de réir mar a ghineann an tsamhail. Go teicniúil, déantar é seo le himeachtaí arna seoladh ag an bhfreastalaí (SSE - Imeachtaí Seolta Freastalaí, modh ina seolann an freastalaí imeachtaí beaga as a chéile thar nasc oscailte).
Tagann an difríocht chun solais i eispéireas an úsáideora: ar fhreagra a thógann 8 soicind, fanann an t-úsáideoir neamhshrutha ar scáileán bán ar feadh 8 soicind; Feiceann an t-úsáideoir sruthaithe na chéad fhocail i ~0.5 soicind agus tosaíonn an téacs ag sileadh. Laghdaítear an fhoighne a bhraitear - an fanacht a bhraitheann an t-úsáideoir - go mór, agus níl aon athrú ar an am iomlán.
Cineálacha Sreafa Imeachta
Seicheamh imeachtaí is ea sreabhadh. Go coincheapúil, téann sreabhadh tipiciúil mar seo:
eachtra
Brí
teachtaireacht_tús
Thosaigh an freagra; Tá eolas ceanntásca cosúil le samhail agus ID tagtha.
content_block_tús
Cuireadh tús le bloc ábhair (m.sh. téacs).
ábhar_bloc_delta
Tháinig píosa beag téacs (delta); bailíonn tú iad seo
ábhar_bloc_stad
bloc críochnaithe
teachtaireacht_delta
Faisnéis chríochnaithe nuashonraithe ar nós stop_reason agus úsáid
teachtaireacht_stad
Freagra os a chionn
Comhcheanglaíonn do chód go seicheamhach píosaí téacs in imeachtaí content_block_delta; beidh an téacs cruinn céanna agat agus an freagra neamhshruthaithe. Is gnách go mbíonn úsáid (uimhreacha comharthaí) soiléir ag deireadh an tsreafa - coinníonn tú súil ar na costais nuair a bhíonn an sreabhadh thart.
Leid: Soláthraíonn formhór na SDKanna oifigiúla (Trealamh Forbartha Bogearraí - leabharlann réamhdhéanta an tsoláthraí) cúntóir a bhailíonn an sruth duit (m.sh. stream.get_final_message()). Ní gá duit na rianta go léir a bhainistiú de láimh; Úsáid an cúntóir seo más mian leat an téacs iomlán, próiseáil imeachtaí aonair ach le haghaidh priontála beo.
Freagraí Fada, max_tokens agus Teorainn Ama
Is é an dara cúis theicniúil agus an chúis níos mó le sruthú ná teorainn ama. Mura gcríochnaítear iarratas HTTP laistigh de thréimhse áirithe ama, titeann an cliant an nasc. Nuair a iarrann tú aschur mór ón tsamhail (m.sh. tuairisc ar 40,000 comhartha), féadfaidh an glao neamhshreafa dul thar an teorainn seo agus an t-am istigh - teipfidh an t-iarratas, agus beidh ort íoc as na comharthaí a ghintear.
Is féidir le samhlacha nua-aimseartha suas le 128,000 comhartha a aschur in aon iarratas amháin. Ach tá an riail ghinearálta soiléir: bain úsáid as sruthanna má tá an luach `max_tokens` ard (thart ar 16,000). Coinníonn sruthú an nasc beo agus cuireann sé cosc ar amanna ama; Feicfidh tú dul chun cinn láithreach freisin.
- `max_tokens`: Uasmhéid comharthaí aschuir is féidir leis an tsamhail a tháirgeadh; uasteorainn chrua. Má tharlaíonn briseadh, cuirtear stop_reason max_tokens ar ais.
- Fuinneog an chomhthéacs: An fhuinneog ina gcaithfidh suim an ionchuir + an aschuir a bheith oiriúnach. is é max_tokens uasteorainn an aschuir; Ná measc an dá cheann.
Rabhadh: Is botún clasaiceach i dtáirgeadh é iarratais neamhshreafa a chaitheamh le max_tokens mór. Gan freagra, titeann an nasc, feiceann an t-úsáideoir earráid, agus cuirtear an costas comharthaí amú. Aschur fada = sruth.
Cathain le Sreabhadh agus Cathain Gan?
Stádas
rogha
Cén fáth
Comhrá beo / cúntóir
sreabhadh
Titeann latency braite, feiceann úsáideoir dul chun cinn
Tuairisc fhada / táirgeadh doiciméad
sreabhadh
Cosc ar am istigh, iompraíonn aschur mór go sábháilte
Aicmiú gairid (m.sh. clib aon fhocail)
gan sreabhadh
Tá an t-aschur beag cheana féin; castacht bhreise gan ghá
Próiseáil bhaisc
gan sreabhadh/baisc
Ní thaispeántar torthaí láithreach; Féach aonad 7
Céim uathoibrithe (sa chúlra)
De ghnáth gan aon sreabhadh
Cuireann tú an toradh ar aghaidh chuig an gcéad chéim eile, gan taispeáint beo
Leid/Teimpléid ar féidir a chóipeáil
Ní leid é an sruth féin, ach tá leideanna ríthábhachtach chun an t-aschur a tháirgeann an sruth a bhainistiú. I léirithe fada agus sreabha, méadaítear cáilíocht agus inrianaitheacht dá gcuirfí an struchtúr ón taobh tosaigh chun cinn.
# Roinn an tuairisc fhada ina gcodanna (ionas go mbeidh an dul chun cinn le feiceáil sa sreabhadh) Scríobh an tuairisc leis na ceannteidil seo a leanas, san ord cruinn seo. Tosaigh gach ceannteideal le '##':## Achoimre## Torthaí## Moltaí## Na chéad chéimeanna eile
# Tabhair an spriocfhad chun teascadh i dtáirgeadh fada a sheachaint. Timpeall 800 focal a bheidh sa téacs iomlán. Coinnigh na codanna cothrom; Ná fág leath abairt ag an deireadh.
# Tabhair an chéad abairt láithreach don chúntóir sruthú. Tabhair freagra díreach aon abairte ar dtús, ansin téigh go mion. Mar sin feiceann an t-úsáideoir toradh láithreach agus é ag fanacht.
# Coinnigh an t-aschur fada struchtúrtha (le gur féidir é a pharsáil níos déanaí) Aschuir an t-aschur sna míreanna seo agus marcáil ceanntásc '### ' ar leith ar gach roinn ionas gur féidir liom é a pharsáil go ríomhchláraithe: ### RÉAMHRÁ ### COMHLACHT ### SOURCES
Leid lag / leid láidir (táirgeadh fada)
# WEAK Scríobh tuairisc fhada mhionsonraithe ar an ábhar seo.
# STRONG Scríobh tuairisc tuairim is 900 focal ar an ábhar seo. Ceannteidil: ## Achoimre, ## Anailís, ## Rioscaí, ## Moltaí. Ba cheart 3 alt ar a mhéad a bheith i ngach ceannteideal. Ná fág leath abairt ag an deireadh.
Leagan cumhachtach; Cinneann sé an fad, an struchtúr agus an caighdeán bailchríoch roimh ré. De réir mar a thagann codanna sa sreabhadh, feiceann an t-úsáideoir an dul chun cinn go soiléir agus bainistíonn sé an fad é féin i gcoinne an riosca go gcuirfí isteach ar mhúnla.
Trí Chás Mini
Cás 1 — Gearán ar scáileán bán. Bhí cúntóir cliant fhoireann chomhairliúcháin ag freagairt gan sreabhadh; tógann an meánfhreagairt 7 soicind, iarrann úsáideoirí "an reoiteann sé?" rinne sé gearán. Nuair a chuaigh mé isteach sa sreabhadh, tháinig an chéad fhocal i ~0.6 soicind; D'fhan am iomlán mar a chéile, ach "mall" gearáin beagnach imithe.
Cás 2 — Tuarascáil as dáta. Bhí tuarascáil ráithe 30 leathanach á táirgeadh ag foireann airgeadais; Le max_tokens: 30000, rachadh an t-iarratas gan sreabhadh i bhfostú laistigh de 60 soicind cliant, theipfeadh ar an iarratas - agus scríobhfaí na comharthaí ginte chuig an sonrasc. Chuaigh siad leis an sreabhadh; D'fhan an nasc beo, seachadadh an tuarascáil ina hiomláine, agus cuireadh deireadh le costais amú.
Cás 3 — Sreabhadh neamhriachtanach. Bhí foireann oibríochtaí ag lipéadú ríomhphoist a bhí ag teacht isteach mar “phráinneach/rialta”; Focal amháin a bhí san aschur, ach ba ghnách leo sreabhadh. Níor thug an sreabhadh aon tairbhe don fhreagra aon fhocail, rud a chuir an cód casta gan ghá. Nuair a d'athraigh mé go dtí gan sreabhadh, simpligh an cód agus d'fhan an t-iompar mar a chéile. Ceacht: tá sruthú luachmhar in aschur fada/beo, ní i ngach áit.
Botúin choitianta
- Gan sruthanna a úsáid in aschur fada: Teorainn ama agus costas dearbhán amú.
- Ag baint úsáide as sruthú in aschur gearr: Castacht neamhriachtanach, sochar nialasach.
- Gan `stop_reason` a sheiceáil ag deireadh an tsrutha: meastar go bhfuil an freagra teasctha le max_tokens críochnaithe.
- Deiltí á gcumasc go mícheart: Táirgeann suimiú láimhe leis an cúntóir SDK earráid seicheamh/páirteanna ar iarraidh.
- Ag iarraidh `úsáid` a léamh i lár an tsrutha: Is gnách go mbíonn uimhreacha comharthaí soiléire ag an deireadh; Coinnigh súil ar chostais ag an deireadh.
- Sruthú mícheart le haghaidh gearradh costais: Feabhsaíonn sruthú taithí agus seasmhacht; Ní athraíonn sé an praghas comharthaí.
Níos doimhne: Sosanna Sreafa agus Athléimneacht
Is nasc beo é sruthú; Is é seo a neart agus a leochaileacht. Má thiteann an nasc sa lár (luaineacht líonra, teorainn ama na gcliant), coinneoidh tú an téacs atá bailithe agat go dtí seo, ach beidh an freagra neamhiomlán. Ba cheart cliant sruthaithe ar cháilíocht táirgthe a bheith ullamh chuige seo: níor cheart dó caitheamh leis an bpáirt-théacs mar “freagra comhlánaithe”, agus níor cheart go mbreathnódh sé ar an bhfreagra a bheith críochnaithe go dtí go bhfeiceann sé an teagmhas message_stop.
Is é an dara subtlety ná nach n-athraíonn an sreabhadh an costas. Cibé an bhfaigheann tú freagra le sruthú nó gan é, ní dhéanfaidh sé seo difear don phraghas chomhartha; ní fheabhsaíonn sreabhadh ach an taithí agus an seasmhacht. Mar sin “má théimid ag sruthú, an mbeidh siad níos saoire?” Is é an freagra ar an gceist ar bith - maidir le costas, féach ar an 5ú agus 6ú aonad (roghnú múnla, taisce).
Is é an tríú pointe ná cothromaíocht phraiticiúil a bhaint amach: le cúntóirí beo, tá an-luach ag teacht go tapa ar an gcéad fhocal (moill a fheictear); Mar sin, má iarrtar ar an tsamhail an freagra a chur isteach go díreach agus toradh gearr a thabhairt ar dtús (tríd an gcóras pras sa 4ú aonad) méadaítear tairbhe an tsreafa. Má fheiceann an t-úsáideoir rud éigin brí sa chéad soicind, fanann siad go foighneach ar na sonraí a leanann. Ar an láimh eile, níl aon ranníocaíocht ag an sreabhadh leis na poist a ritheann sa chúlra, agus téann a aschur go dtí an chéad chéim uathoibrithe eile; Is é an t-aon chritéar atá ann ná go gcríochnaítear an post i gceart agus go hiomlán.
Go hachomair
Aisghabhann sruthú an freagra píosa i ndiaidh a chéile, laghdaítear an fhoighne a bhraitear agus cuireann sé cosc ar amanna ar thréchur mór. Beagnach éigeantach maidir le cúntóir beo agus táirgeadh doiciméad fada; Níl gá leis le haghaidh obair ghearr/chúlra. I léirithe fada, méadaíonn an dá cháilíocht agus ar inrianaitheacht an struchtúr agus an fad ón tosaigh a fhorchur le pras; Nuair a bhíonn an sreabhadh críochnaithe, déantar stop_reason agus úsáid a sheiceáil go cinnte.
Tasc feidhmchláir
Roghnaigh dhá chás: ceann amháin beo/fada (m.sh. tuairisc don chustaiméir), ceann gearr/cúlra (m.sh. clibeáil). (1) Déan cinneadh agus údar an úsáidfidh tú sreabhadh do gach ceann díobh. (2) Scríobh leid a chuireann an struchtúr don script fhada (ceannteidil + spriocfhad). (3) Déan luachanna max_tokens a chinneadh. (4) Liostaigh na seiceálacha a dhéanfaidh tú le stop_reason agus úsáid ag deireadh an tsreafa.
seicliosta
- [ ] Is féidir liom a mhíniú cad is sruthú ann agus conas a laghdaíonn sé foighne braite.
- [ ] Thuig mé na bunchineálacha teagmhais a bhain leis an sruth agus an ceangal deilt.
- [ ] Tá a fhios agam faoin ngá atá le sruth le max_tokens móra agus an caidreamh Teorainn ama.
- [ ] Is féidir liom a chinneadh cén t-ualach oibre a úsáidfidh mé sruthú agus nach mbeidh mé in ann.
- [ ] Is féidir liom stop_reason agus úsáid a sheiceáil ag deireadh an tsrutha.