Awọn anfani:
- Le ṣe alaye kini ṣiṣanwọle jẹ, awọn iru iṣẹlẹ ati idi ti o fi nilo.
- max_tokens di akoko isunmọ ati ibatan iṣejade gigun 128K
- Le ṣe yiyan ti o tọ laarin ṣiṣanwọle ati awọn ibeere ti kii ṣe ṣiṣan ni ibamu si iṣẹ ṣiṣe
O le ti ṣe akiyesi pe ni wiwo iwiregbe, idahun jẹ “titẹ” ọrọ nipasẹ ọrọ. Eleyi jẹ ko kan visual Gbil; O jẹ abajade ti ilana ti a npe ni ṣiṣanwọle ati pe o jẹ dandan nigbagbogbo fun iṣọpọ LLM didara iṣelọpọ. Ninu ẹyọ yii, iwọ yoo kọ ẹkọ kini ṣiṣan jẹ, awọn iṣẹlẹ wo ni o ni, ibatan rẹ pẹlu iṣelọpọ gigun ati akoko ipari, ati igba lati lo sisan ati nigbati kii ṣe lati. A yoo bo koko naa nipasẹ awọn iṣẹ ṣiṣe gidi ti alamọdaju - oluranlọwọ laaye, iran ijabọ gigun, sisẹ ipele.
Kini Sisan?
Pẹlu ibeere ti kii ṣe ṣiṣanwọle (amuṣiṣẹpọ), o duro titi awoṣe yoo ṣe agbejade gbogbo esi; Nigbati idahun ba ti ṣetan, o de ni nkan kan. Ninu ibeere ṣiṣanwọle, olupin naa firanṣẹ nkan idahun nipasẹ nkan bi awoṣe ṣe n ṣe ipilẹṣẹ. Ni imọ-ẹrọ, eyi ni a ṣe pẹlu awọn iṣẹlẹ ti a firanṣẹ olupin (SSE — Awọn iṣẹlẹ ti a firanṣẹ Server, ọna kan ninu eyiti olupin n firanṣẹ awọn iṣẹlẹ kekere ni itẹlera lori asopọ ṣiṣi).
Iyatọ naa han gbangba ni iriri olumulo: lori idahun ti o gba awọn aaya 8, olumulo ti kii ṣe ṣiṣan n wo iboju òfo fun awọn aaya 8; Olumulo ṣiṣan n wo awọn ọrọ akọkọ ni ~ 0.5 iṣẹju-aaya ati ọrọ naa bẹrẹ ṣiṣan. Idaduro ti a rii-idaduro ti olumulo kan lara — dinku pupọ, lakoko ti akoko lapapọ ko yipada.
Iṣẹlẹ Orisi ti Sisan
Sisan jẹ ọkọọkan awọn iṣẹlẹ. Ni imọran, ṣiṣan aṣoju kan n lọ bi eleyi:
iṣẹlẹ
Itumo
ifiranṣẹ_bẹrẹ
Idahun naa bẹrẹ; Alaye akọsori gẹgẹbi awoṣe ati ID ti de.
akoonu_block_bẹrẹ
Àkọsílẹ akoonu (fun apẹẹrẹ ọrọ) bẹrẹ
akoonu_block_delta
A kekere nkan ti ọrọ (delta) de; o gba awọn wọnyi
akoonu_block_stop
Àkọsílẹ pari
ifiranṣẹ_delta
Alaye ipari imudojuiwọn gẹgẹbi stop_reason ati lilo
ifiranṣẹ_duro
Fesi pari
Koodu rẹ leralera daapọ awọn ege ọrọ ni akoonu_block_delta iṣẹlẹ; o pari pẹlu ọrọ gangan kanna gẹgẹbi idahun ti kii ṣe ṣiṣan. lilo (awọn nọmba ami) jẹ nigbagbogbo ko o ni opin sisan - o tọju abala awọn idiyele ni kete ti sisan naa ti pari.
Imọran: Pupọ awọn SDK ti oṣiṣẹ (Apo Idagbasoke Software — ile-ikawe ti a ṣe ti olupese) pese oluranlọwọ ti o gba ṣiṣan fun ọ (fun apẹẹrẹ stream.get_final_message()). O ko ni lati ṣakoso gbogbo awọn orin pẹlu ọwọ; Lo oluranlọwọ yii ti o ba fẹ ọrọ ni kikun, ṣe ilana awọn iṣẹlẹ kọọkan ṣugbọn fun titẹjade laaye.
Awọn idahun gigun, max_tokens ati Aago
Idi keji ati imọ-ẹrọ diẹ sii ti ṣiṣanwọle jẹ akoko ipari. Ti ibeere HTTP ko ba pari laarin akoko kan, alabara ju asopọ naa silẹ. Nigbati o ba beere abajade nla lati awoṣe (fun apẹẹrẹ ijabọ ti awọn ami ami 40,000), ipe ti kii ṣe sisan le kọja opin yii ati akoko jade - ibeere naa yoo kuna, ati pe iwọ yoo ni lati sanwo fun awọn ami ti ipilẹṣẹ.
Awọn awoṣe ode oni le gbejade to awọn ami ami 128,000 ni ibeere kan. Ṣugbọn ofin atanpako jẹ kedere: lo awọn ṣiṣan ti iye `max_tokens` ba ga (ni aijọju ju 16,000). Ṣiṣan ṣiṣan ntọju asopọ laaye ati idilọwọ awọn akoko ipari; Iwọ yoo tun rii ilọsiwaju lẹsẹkẹsẹ.
- `max_tokens`: Awọn ami igbejade ti o pọju ti awoṣe le gbejade; aja lile. Ti idalọwọduro ba waye, stop_reason max_tokens pada.
- Ferese ọrọ-ọrọ: Ferese ninu eyiti apao ti titẹ sii + gbọdọ baamu. max_tokens ni aja ti o wu; Maṣe dapọ awọn mejeeji.
Išọra: Jiju awọn ibeere ti kii ṣe sisan pẹlu max_tokens nla jẹ aṣiṣe Ayebaye ni iṣelọpọ. Laisi idahun, asopọ naa ṣubu, olumulo rii aṣiṣe kan, ati pe iye owo ami naa jẹ asan. Long o wu = san.
Nigbawo lati Ṣan ati Nigbawo Ko?
Ipo
ààyò
Kí nìdí
Live iwiregbe / Iranlọwọ
sisan
Ti fiyesi lairi silẹ, olumulo rii ilọsiwaju
Long Iroyin / gbóògì iwe
sisan
Ṣe idilọwọ idaduro akoko, gbejade iṣelọpọ nla lailewu
Ipinsi kukuru (fun apẹẹrẹ aami ọrọ kan)
ko si sisan
Ijade jẹ tẹlẹ kekere; afikun complexity kobojumu
Sise ipele
flowless / ipele
Awọn abajade ko han lẹsẹkẹsẹ; Wo ẹyọ 7
Igbesẹ adaṣe (ni abẹlẹ)
Nigbagbogbo ko si sisan
O kọja abajade si igbesẹ ti n tẹle, ko si ifihan laaye
Copiable Tọ / Awọn awoṣe
Oṣan naa funrararẹ kii ṣe itara, ṣugbọn awọn itara ṣe pataki fun ṣiṣakoso iṣelọpọ ti ṣiṣan naa ṣe. Ni awọn iṣelọpọ gigun ati ṣiṣan, fifi eto lati iwaju pọ si didara mejeeji ati wiwa kakiri.
# Pin ijabọ gigun si awọn apakan (ki ilọsiwaju naa han ni ṣiṣan) Kọ ijabọ naa pẹlu awọn akọle atẹle, ni ilana gangan yii. Bẹrẹ akọle kọọkan pẹlu '##':## Lakotan## Awọn awari## Awọn iṣeduro## Awọn igbesẹ atẹle
# Fun ipari ibi-afẹde lati yago fun gige ni iṣelọpọ pipẹ. Lapapọ ọrọ yoo jẹ isunmọ awọn ọrọ 800. Jeki awọn ipin iwọntunwọnsi; Maṣe fi idaji gbolohun silẹ ni ipari.
# Fun gbolohun akọkọ lẹsẹkẹsẹ fun oluranlọwọ ṣiṣanwọle. Fun idahun taara-ọrọ kan taara, lẹhinna lọ sinu awọn alaye. Nitorinaa olumulo naa rii abajade lẹsẹkẹsẹ lakoko ti o nduro.
# Jeki igbejade gigun ni iṣeto (ki o le ṣe atunto nigbamii) Jade abajade ni awọn apakan wọnyi ki o samisi apakan kọọkan pẹlu akọsori '###' lọtọ ki MO le ṣe atunto rẹ ni eto: ### IṢẸRỌ ### Ara ### Awọn orisun
Ilọsiwaju alailagbara / itara to lagbara (iṣelọpọ gigun)
# WEAKWrite gigun ati ijabọ alaye lori koko yii.
# STRONG Kọ ijabọ kan ti o to awọn ọrọ 900 lori koko yii. Awọn akọle: ## Lakotan, ## Analysis, ## Ewu, ## Awọn iṣeduro. Akọle kọọkan yẹ ki o jẹ ti o pọju awọn ìpínrọ 3. Maṣe fi idaji gbolohun silẹ ni ipari.
Alagbara ti ikede; O ṣe ipinnu ipari, eto ati didara ipari ni ilosiwaju. Bi awọn apakan ti wa ni ṣiṣan, olumulo n rii ilọsiwaju ni kedere ati ṣakoso gigun funrararẹ lodi si eewu idilọwọ awoṣe.
Mẹta Mini igba
Irú 1 - Òfo iboju ẹdun. Oluranlọwọ alabara ẹgbẹ alamọran kan n dahun laisi ṣiṣan; idahun apapọ gba awọn aaya 7, awọn olumulo beere "Ṣe o di?" o rojọ. Ni kete ti Mo wọle sinu ṣiṣan, ọrọ akọkọ wa ni ~ 0.6 awọn aaya; Lapapọ akoko wa kanna, ṣugbọn awọn ẹdun "lọra" fẹrẹ parẹ.
Ọran 2 - Iroyin ti igba atijọ. Ẹgbẹ kan ti iṣuna ni nini ijabọ mẹẹdogun oju-iwe 30 ti a ṣe; Pẹlu max_tokens: 30000, ibeere ti kii-sisan yoo di ni akoko ipari alabara iṣẹju-aaya 60, ibeere naa yoo kuna - ati pe awọn ami ti ipilẹṣẹ yoo kọ si risiti naa. Nwọn si lọ pẹlu awọn sisan; asopọ naa wa laaye, ijabọ naa ti jiṣẹ ni kikun, ati pe awọn idiyele asan ni a yọkuro.
Ọran 3 - Kobojumu sisan. Ẹgbẹ iṣẹ kan n ṣe aami awọn imeeli ti nwọle bi “akikanju/deede”; Ijade jẹ ọrọ kan, ṣugbọn wọn lo sisan nigbagbogbo. Sisan naa pese ko si anfani ni idahun ọrọ-ọkan, ṣiṣe koodu idiju lainidi. Nigbati mo yipada si sisan, koodu yepere ati ihuwasi wa kanna. Ẹkọ: ṣiṣanwọle jẹ niyelori ni iṣẹjade gigun / ifiwe, kii ṣe nibi gbogbo.
Awọn aṣiṣe ti o wọpọ
- Kii ṣe lilo awọn ṣiṣan ni iṣelọpọ gigun: Aago ati iye owo ami asan.
- Lilo ṣiṣanwọle ni iṣelọpọ kukuru: Idiju ti ko wulo, anfani odo.
- Ko ṣayẹwo `stop_reason` ni opin ṣiṣan naa: esi gedu pẹlu max_tokens ni a gba pe pipe.
- Awọn deltas ti ko tọ: Akopọ afọwọṣe pẹlu oluranlọwọ SDK ṣe agbejade lẹsẹsẹ/aṣiṣe awọn apakan ti o padanu.
- Ngbiyanju lati ka `lilo' aarin-sisan: Awọn nọmba tokini maa n han gbangba ni ipari; Tọju abala awọn idiyele ni ipari.
- Ṣiṣanṣe aṣiṣe fun gige-iye owo: Ṣiṣan ṣiṣan n ṣe iriri iriri ati ifarada; Ko yi iye owo tokini pada.
Jinle: Awọn fifọ ṣiṣan ati Resilience
Sisanwọle ni a ifiwe asopọ; Eyi jẹ mejeeji agbara ati ailagbara rẹ. Ti asopọ ba ṣubu ni aarin (iyipada nẹtiwọọki, akoko akoko alabara), iwọ yoo da ọrọ ti o ti ṣajọ sibẹ, ṣugbọn idahun yoo ko pe. Onibara ṣiṣan ti o ni agbara-didara yẹ ki o murasilẹ fun eyi: ko yẹ ki o tọju ọrọ apakan bi “idahun ti o pari”, tabi ko yẹ ki o ro idahun lati pari titi yoo fi rii iṣẹlẹ ifiranṣẹ_stop.
Iyatọ keji ni pe ṣiṣan ko yi idiyele pada. Boya o gba esi pẹlu tabi laisi ṣiṣanwọle ko ni ipa lori idiyele ami; ṣiṣan nikan ṣe ilọsiwaju iriri ati ifarada. Nitorinaa “ti a ba lọ ṣiṣanwọle, ṣe wọn yoo din owo?” Idahun si ibeere naa kii ṣe - fun idiyele, wo ẹyọ 5th ati 6th (aṣayan awoṣe, kaṣe).
Ojuami kẹta ni lati kọlu iwọntunwọnsi ti o wulo: pẹlu awọn oluranlọwọ laaye, dide ni iyara ti ọrọ akọkọ (idaduro ti a rii) ti ni idiyele pupọ; Nitorinaa, bibeere awoṣe lati tẹ idahun taara ati fun abajade kukuru ni akọkọ (nipasẹ eto eto ni ẹyọ 4th) pọ si anfani ti sisan. Ti olumulo ba rii nkan ti o nilari ni iṣẹju-aaya akọkọ, wọn duro sùúrù fun alaye ti o tẹle. Ni apa keji, ṣiṣan naa ko ni ilowosi si awọn iṣẹ ti o ṣiṣẹ ni abẹlẹ, abajade eyiti o lọ si igbesẹ adaṣe atẹle; Iwọn nikan ti o wa ni pe iṣẹ naa ti pari ni deede ati patapata.
Ni akojọpọ
Ṣiṣanwọle n gba nkan idahun nipasẹ ege, idinku airi ti a fiyesi ati idilọwọ awọn akoko akoko lori awọn igbejade nla. O fẹrẹ jẹ dandan fun oluranlọwọ laaye ati iṣelọpọ iwe gigun; Ko ṣe pataki fun iṣẹ kukuru / abẹlẹ. Ni awọn iṣelọpọ pipẹ, fifi eto ati ipari lati iwaju pẹlu itọka kan pọ si mejeeji didara ati wiwa kakiri; Nigbati sisan naa ba ti pari, stop_reason ati lilo ni pato ṣayẹwo.
Ohun elo iṣẹ-ṣiṣe
Yan awọn oju iṣẹlẹ meji: igbesi aye kan / gigun (fun apẹẹrẹ ijabọ si alabara), kukuru kan / abẹlẹ (fun apẹẹrẹ fifi aami si). (1) Ṣe ipinnu ati ṣe idalare boya iwọ yoo lo sisan fun ọkọọkan. (2) Kọ itọka kan ti o fi eto fun iwe afọwọkọ gigun (awọn akọle + ipari ibi-afẹde). (3) Mọ awọn iye max_tokens. (4) Ṣe atokọ kini awọn sọwedowo ti iwọ yoo ṣe pẹlu stop_reason ati lilo ni opin ṣiṣan naa.
akojọ ayẹwo
- [] Mo le ṣe alaye kini ṣiṣanwọle jẹ ati bii o ṣe dinku lairi ti a rii.
- [] Mo loye awọn iru iṣẹlẹ ipilẹ ti ṣiṣan ati didapọ delta.
- [] Mo mọ nipa iwulo lati sanwọle pẹlu awọn max_tokens nla ati ibatan akoko ipari.
- [] Mo le pinnu ninu iru iṣẹ ṣiṣe ti Emi yoo lo ṣiṣanwọle ati ninu eyiti Emi kii yoo.
- [] Mo le ṣayẹwo stop_reason ati lilo ni opin ṣiṣan naa.