Gnóthachain:
- Is féidir cur síos a dhéanamh ar struchtúr bunúsach iarratas LLM API (deireadhphointe, múnla, teachtaireachtaí, max_tokens)
- Tuigeann sé an difríocht idir róil chórais, róil úsáideora agus chúntóirí agus stair chomhrá gan stát
- Is féidir leis réimsí (bloic inneachair, stop_reason, úsáid) den fhreagra a cuireadh ar ais a léamh agus a léirmhíniú
I modúil roimhe seo, d’úsáideamar faisnéis shaorga ó fhuinneog comhrá. Ach más mian leat AI a leabú isteach i do tháirge, uathoibriú nó sreabhadh oibre féin, ní ghearrfaidh comhéadan comhrá é; Ní mór duit ceangal leis an tsamhail go ríomhchláraithe, is é sin, le cód nó le huirlis uathoibrithe. Is é ainm an droichid seo ná API (Comhéadan Ríomhchláraithe Iarratas, an conradh a ligeann do dhá bhogearraí labhairt le rialacha áirithe). Nuair a chríochnóidh tú an t-aonad seo, beidh a fhios agat cad is iarratas API LLM (Samhail Mhór Teanga) ann, cad iad na róil teachtaireachta a dhéanann, agus conas an freagra a léamh. Seo an bunús ar a dtógfar an chuid eile den mhodúl.
Conas a oibríonn an API?
Is é seo an sreabhadh bunúsach san API: seolann tú iarratas i bhformáid áirithe; Filleann an freastalaí freagra i bhformáid ar leith. I LLManna, is gnách glao HTTP (HTTP: prótacal caighdeánach chun iarratas-freagra a iompar ar an ngréasán) chuig seoladh amháin (an críochphointe, an seoladh seasta ar an bhfreastalaí a láimhseálann d'iarratas) a bhíonn anseo. Mar shampla, in API teachtaireachtaí, téann gach iarratas chuig seoladh amháin agus iompraítear sa chorp iad mar JSON (Nodaireacht Oibiachta JavaScript - formáid téacs ina bhfuil péirí eochair/luacha ar féidir le daoine agus le meaisíní iad a léamh).
In iarratas, sonraíonn tú na trí rud seo ar a laghad:
- Samhail: Cén múnla a úsáidfidh tú (m.sh. múnla tapa agus saor nó samhail chumhachtach).
- max_tokens : An líon uasta comharthaí (an t-aonad is lú ina ndéantar an téacs a phróiseáil, a phróiseáilfear go mion sa chéad aonad eile) is féidir leis an tsamhail a tháirgeadh; i.e. teorainn aschuir.
- teachtaireachtaí: Liosta de na teachtaireachtaí a dhéanann suas an comhrá.
Céim ar Chéim: Conas Iarratas a Shocrú
- Ullmhaigh an críochphointe agus na dintiúir. Cuireann tú d’eochair API (an teaghrán rúnda a chruthaíonn d’aitheantas) leis an iarratas i gceanntásc. Ní leabaíonn tú an eochair sa chód riamh; Clúdóimid stóráil shábháilte in aonad 9.
- Roghnaigh an tsamhail agus teorainn aschuir. Múnla éadrom + max_tokens beag le haghaidh tasc simplí; Múnla cumhachtach + teorainn níos mó le haghaidh tasc casta.
- Socraigh an liosta teachtaireachtaí. List the system instruction, user message, and past rounds (if any).
- Seol an t-iarratas agus parsáil an freagra. Léigh ábhar an téacs, stop an chúis, agus úsáid comharthaí ón JSON a cuireadh ar ais.
Róil Teachtaireachta: córas, úsáideoir, cúntóir
Is éard atá i gcomhrá ná teachtaireachtaí eagraithe i seicheamh, agus tá ról ag gach teachtaireacht. Cinneann an ról conas a dhéileálann an tsamhail leis an téacs sin.
Ról
Cé a scríobhann
Cuspóir
córas
Forbróir/oibreoir
Treoracha buan, pearsantacht agus rialacha a bhaineann le linn an chomhrá ar fad
úsáideoir
úsáideoir deiridh
Ceist nó ionchur reatha an úsáideora
cúntóir
samhail
Freagra tugtha ag an tsamhail (agus freagraí roimhe seo)
Tá ról an chórais ar fáil mar réimse córais ar leith sa chomhlacht iarratais i bhformhór na soláthróirí; tá an t-úsáideoir agus an cúntóir liostaithe go seicheamhach sa liosta teachtaireachtaí. Critical point: the system instruction is the high-level instruction, the user message is the request to be answered at that moment.
{ "model": "claude-opus-4-8", "max_tokens": 1024, "system": "Is cúntóir tacaíochta corparáidí thú. Tabhair freagra gearr, foirmiúil agus fíoraithe. Ná déan faisnéis nach bhfuil tú cinnte faoi.", "messages" : [ { "ról": "úsáideoir", "ábhar": "Conas a thosóidh mé mo phróiseas fillte?" } ]}
Tá an chaint gan stát
Seo an mhíthuiscint is coitianta: tá glaonna LLM API gan stát - ní choinníonn an freastalaí aon chuimhne idir dhá iarratas. Ní cuimhin leis an tsamhail d'iarratas roimhe seo. Má tá comhrá ilbhabhta ar bun agat, beidh ort babhtaí eile a sheoladh arís le gach iarratas nua. Is éard atá i "cuimhne" an tsamhail liosta de na teachtaireachtaí a sheol tú.
{ "model": "claude-opus-4-8", "max_tokens": 512, "teachtaireachtaí": [ { "ról": "úsáideoir", "ábhar" : "Dia duit, Deniz is ainm dom." }, { "ról" : "cúntóir", "content" : "Dia duit Deniz, conas is féidir liom cabhrú leat?" }, { "ról" : "úsáideoir", "content" : "Díreach a dúirt mé m'ainm, an cuimhin leat?" } ]}
Braitheann freagra ceart ar an tríú teachtaireacht ar an dá theachtaireacht roimhe seo a sheoladh. Mura seolann tú é, ní bheidh "Sea" ar eolas ag an múnla agus freagróidh sé mícheart. Bíonn tionchar díreach aige seo ar an gcostas freisin: dá fhad an chomhrá, is ea is mó an liosta, ídíonn gach iarratas níos mó comharthaí.
Leid: I gcomhráite fada, laghdaítear an costas agus an fhuinneog comhthéacs á chaomhnú trí sheanbhabhtaí a achoimriú agus a bhogadh (achoimre + na babhtaí beaga anuas) seachas an stair iomlán a sheoladh. Déanfaimid é seo a dhoimhniú in aonaid 6 agus 11.
Léigh an Freagra
Nuair a fhilleann an tsamhail freagra, faigheann tú réad struchtúrtha, ní gnáth-théacs. Réimsí tipiciúla:
{ " id " : " msg_01ABC...", "model": "claude-opus-4-8", "ról" : " cúntóir", " content" : [ { " type " : " text " , " text " : " Chun tuairisceán a thionscnamh, téigh go dtí an leathanach 'M'Orduithe' i do chuntas..." } ], "stop_reason" : " put_reason " : " put_reason " : " put_reason " : " put_reason " : " put_reason " : " put_reason " , " ken_reason " : " 47, "aschur_tokens": 88 }}
- ábhar: An freagra féin; Is liosta de bhlocanna ábhar é. Is é réimse téacs an bhloc téacs an freagra iarbhír.
- stop_reason: Cén fáth ar stop an tsamhail. deireadh_turn = deireadh nádúrtha; max_tokens = bhfostú ag teorainn aschuir (d'fhéadfadh an freagra a bheith neamhiomlán); diúltú = diúltaíodh ar chúiseanna slándála. Ba cheart go bhféachfadh do chód ar stop_reason i gcónaí ar dtús.
- úsáid: Uimhreacha comharthaí ionchuir agus aschuir. Tá sé mar bhunús le rianú costais agus teorainn.
Aird: Más max_tokens é stop_reason, níl an freagra críochnaithe. Ceann de na botúin is coitianta i dtáirgeadh ná é seo a chóireáil mar “freagra rathúil” agus leaththéacs a thaispeáint don úsáideoir. Méadaigh max_tokens nó bain úsáid as sruthú.
Leid lag / Pras láidir
Tasc céanna le dhá leid chórais éagsúla:
# WEAK Is cúntóir tú. Freagair na ceisteanna.
# STRONG Is cúntóir tacaíochta corparáidí thú. Rialacha:- Ag brath go hiomlán ar an bhfaisnéis sa doiciméad beartais a chuirtear ar fáil; Mura bhfuil sé sa doiciméad, abair "Níl an fhaisnéis seo agam, táim á threorú chuig an aonad ábhartha." - Níor cheart go rachadh na freagraí thar 3 abairt, go mbeidís foirmiúil agus soiléir. - Ná iarr sonraí pearsanta (uimhir aitheantais TC, uimhir chárta) agus ná déan arís. - Ná buille faoi thuairim nuair nach bhfuil tú cinnte.
Leagan cumhachtach; Sainíonn sé raon feidhme, foirm, lamháil sábháilteachta, agus iompar neamhchinnteachta. Tagann comhsheasmhacht aschuir na samhla go díreach ón soiléireacht seo.
Trí Chás Mini
Cás 1 - Bot tacaíochta (gaiste gan stát). Ghlac foireann ríomhthráchtála an bot beo; Nuair a dúirt an t-úsáideoir "cealaigh an t-ordú roimhe seo", rinne an bot "dearmad" an uimhir ordaithe. Cúis: bhí gach iarratas á sheoladh acu gan ach an teachtaireacht dheireanach. Réiteach: chuir siad na 6 bhabhta dheireanacha leis an liosta teachtaireachtaí. Toradh: coinníodh an comhthéacs, ach mhéadaigh ionchur in aghaidh an iarratais ó 40 comhartha go ~600 comhartha — clúdóimid an ceacht costais in aonad 2.
Cás 2 — Achoimre conartha neamhiomlán. Bhí conarthaí 10 leathanach leagtha amach ag foireann dlí; max_tokens : D'fhan 300 íseal, bhí achoimrí ag gearradh siar ar lár na habairte. stop_reason bhí max_tokens gach uair ach ní raibh aon duine ag lorg. méadaithe max_tokens go 1500 agus seiceáil stop_reason curtha leis; Tháinig laghdú ar an ráta achomair teasctha ó 18% go 0%.
Cás 3 — Róil a mheascadh. Bhí foireann mhargaíochta ag scríobh na dtreoracha go léir isteach sa teachtaireacht úsáideora, rud a d'fhág an córas bán. Nuair a bheadh ionchur úsáideora measctha le teagasc, bheadh an tsamhail ag cloí uaireanta le hordú an úsáideora chun "dearmad a dhéanamh ar na rialacha roimhe seo." Bhog siad rialacha buana chuig an gcóras; Trí ionchur úsáideora a scaradh ón teagasc, tháinig laghdú suntasach ar sháruithe rialacha.
Botúin choitianta
- Dearmad a sheoladh ar an am atá caite: Tá an tsamhail a chreidtear a "gan cuimhneamh"; cé go bhfuil sé gan stát. Iompraíonn tú an comhthéacs.
- Gan féachaint ar `stop_reason`: Meastar go bhfuil an freagra a cuireadh stop le max_tokens críochnaithe.
- An treoir a leabú in `úsáideoir`: Rialacha seasmhacha sa chóras; téann ionchur toirt chuig an úsáideoir. Cruthaíonn meascadh leochaileachtaí slándála.
- Cur amú `ábhar` le haghaidh teaghrán simplí: Is é an freagra ná liosta bloic; léigh réimse téacs an chéad bhloc téacs, fíoraigh a chineál sula bhfaighidh tú ábhar[0] le hinnéacs dall.
- An eochair a neadú sa chód: Úsáid athróg timpeallachta (aonad 9).
Níos doimhne: Bloic Ábhar agus Freagraí Ilpháirteacha
Tá tuiscint a fháil ar cén fáth gur liosta é an réimse ábhair sa fhreagra agus na hardghnéithe a dtiocfaidh tú trasna orthu níos déanaí. Uaireanta ní thugann an tsamhail bloc amháin téacs ar ais, ach roinnt bloic: bloc smaointeoireachta, agus bloc téacs ina dhiaidh; nó bloc téacs agus bloc úsáide uirlisí ina dhiaidh. Sin an fáth go bhfuil sé leochaileach ábhar[0] a chomhaireamh mar "freagra". Is é an cur chuige ceart ná dul tríd an liosta agus é a shórtáil de réir cineáil: bailíonn tú ábhar téacs na mbloc a bhfuil a réimse cineál téacs, agus déileálann tú le cineálacha eile (smaoineamh, uirlis) ar leithligh.
Is é an rud a dhéanann an t-idirdhealú seo go praiticiúil ná gur féidir leat réasúnaíocht an mhúnla a logáil (más ann dó) gan é a nochtadh don úsáideoir, glaonna uirlisí a atreorú chuig an loighic a scaradh, agus gan ach an freagra iarbhír a phriontáil ar an scáileán. De réir mar a théann an modúl ar aghaidh (go háirithe in aonaid 4 agus 11) feicfidh tú cé chomh húsáideach agus atá an blocstruchtúr seo chun aschur a bhailíochtú agus a threorú.
Pointe praiticiúil eile: is féidir leat rochtain a fháil ar an tsamhail chéanna ó ardáin soláthraithe éagsúla (API díreach, trí sholáthraí scamall). Cé go bhféadfadh an seoladh críochphointe agus formáid an fhíordheimhnithe athrú, fanann na bunchoincheapa mar róil teachtaireachta, easpa stát, agus struchtúr freagartha mar a chéile. Mar sin tá feidhm ag na bunghnéithe san aonad seo is cuma cén ardán a úsáideann tú.
Go hachomair
Cuimsíonn iarratas LLM API an tsamhail, teorainn aschuir, agus liosta teachtaireachta; cinneann róil (córas, úsáideoir, cúntóir) iompar an mhúnla. Tá glaonna gan stát: iompraíonn tú an comhthéacs le gach iarratas. Is réad struchtúrtha é an freagra; Tá léamh agus léirmhíniú an ábhair, stop_reason agus réimsí úsáide mar bhunús le marthanacht i dtáirgeadh.
Tasc feidhmchláir
Roghnaigh tasc ó do ghairm féin (m.sh. ríomhphost isteach a shórtáil, achoimrí gairide a chruthú). Ar phíosa páipéir: (1) scríobh an córas go pras le 4-5 rialacha, (2) socraigh teachtaireacht úsáideora samplach agus stair 2 bhabhta más ann dó, (3) cinnigh luach réasúnta do max_tokens agus scríobh an fírinniú, (4) liosta de na luachanna stop_reason a láimhseálfaidh tú sa fhreagra ar ais agus conas.
seicliosta
- [ ] Is féidir liom na trí chuid éigeantacha d'iarratas a chomhaireamh (múnla, max_tokens, teachtaireachtaí).
- [ ] Is féidir liom an difríocht idir róil an chórais, an úsáideora agus an róil chúntóra a mhíniú.
- [ ] Tá a fhios agam go bhfuil glaonna gan stát agus go gcaithfidh mé an t-am atá thart a iompar.
- Is féidir liom ábhar [ ], stop_reason agus réimsí úsáide a léamh agus trácht a dhéanamh orthu.
- [ ] Le max_tokens is féidir liom an freagra teasctha a thabhairt faoi deara agus a láimhseáil.