Awọn ẹya
1. LLM API Awọn ipilẹ: Ibeere, Idahun, ati Awọn ipa Ifiranṣẹ 2. Àmi ati Ifowoleri kannaa 3. Sisanwọle ati Gigun Idahun 4. Eto Tọ ati Awọn awoṣe awoṣe 5. Aṣayan awoṣe: Awoṣe ti o tọ fun iṣẹ ti o tọ 6. Imudara iye owo: Caching kiakia 7. Batch ati Asynchronous Workloads 8. Awọn ifilelẹ Iyara ati Iṣakoso Aṣiṣe Resilient 9. Iṣakoso bọtini aabo ati asiri 10. Automation Integration: n8n, Zapier ati Rii 11. Ipari-si-Ipari Gbóògì: Ijerisi, Abojuto ati Ethics
Ẹyọ 1 / 11

LLM API Awọn ipilẹ: Ibeere, Idahun, ati Awọn ipa Ifiranṣẹ

Awọn anfani:

  • Le ṣe apejuwe eto ipilẹ ti ibeere LLM API kan (ojuami ipari, awoṣe, awọn ifiranṣẹ, max_tokens)
  • Loye iyatọ laarin eto, olumulo ati awọn ipa oluranlọwọ ati itan-akọọlẹ ibaraẹnisọrọ ti orilẹ-ede
  • Le ka ati tumọ awọn aaye (awọn bulọọki akoonu, stop_reason, lilo) ti idahun ti o pada

Ninu awọn modulu iṣaaju, a lo oye atọwọda lati window iwiregbe kan. Ṣugbọn ti o ba fẹ fi sabe AI sinu ọja tirẹ, adaṣe tabi ṣiṣan iṣẹ, wiwo iwiregbe kii yoo ge; O nilo lati sopọ si awoṣe ni eto, iyẹn ni, pẹlu koodu tabi ohun elo adaṣe kan. Orukọ Afara yii jẹ API (Ibaraẹnisọrọ Eto Ohun elo, adehun ti o fun laaye sọfitiwia meji lati sọrọ pẹlu awọn ofin kan). Nigbati o ba pari ẹyọ yii, iwọ yoo mọ kini ibeere API LLM (Awoṣe Ede Large), kini awọn ipa ifiranṣẹ ṣe, ati bii o ṣe le ka esi naa. Eleyi jẹ awọn ipile lori eyi ti awọn iyokù ti awọn module yoo wa ni itumọ ti.

Bawo ni API Ṣiṣẹ?

Sisan ipilẹ ni API ni eyi: o fi ibeere ranṣẹ ni ọna kika kan; Olupin naa da esi pada ni ọna kika kan pato. Ni awọn LLM, eyi nigbagbogbo jẹ ipe HTTP (HTTP: Ilana boṣewa fun gbigbe idahun ibeere lori oju opo wẹẹbu) si adirẹsi ẹyọkan (ojuami ipari, adirẹsi ti o wa titi lori olupin ti o mu ibeere rẹ mu). Fun apẹẹrẹ, ni API fifiranṣẹ, gbogbo awọn ibeere lọ si adirẹsi kan ṣoṣo ati pe a gbe sinu ara bi JSON (Akọsilẹ Nkan JavaScript — ọna kika ọrọ ti o ni awọn orisii bọtini/iye ti o le jẹ kika nipasẹ eniyan ati ẹrọ).

Ninu ibeere kan, o pato o kere ju awọn nkan mẹta wọnyi:

  • Awoṣe: Awoṣe wo ni iwọ yoo lo (fun apẹẹrẹ iyara ati awoṣe olowo poku tabi awoṣe ti o lagbara).
  • max_tokens: Awọn ti o pọju nọmba ti àmi (awọn kere kuro ninu eyi ti awọn ọrọ ti wa ni ilọsiwaju, eyi ti yoo wa ni ilọsiwaju ninu awọn apejuwe ninu awọn tókàn kuro) ti awọn awoṣe le gbe awọn; ie o wu ifilelẹ.
  • awọn ifiranṣẹ: Akojọ awọn ifiranṣẹ ti o ṣe ibaraẹnisọrọ naa.

Igbesẹ nipasẹ Igbesẹ: Bi o ṣe le Ṣeto Ibeere kan

  1. Ṣetan aaye ipari ati awọn iwe-ẹri. O ṣafikun bọtini API rẹ (okun aṣiri ti o jẹri idanimọ rẹ) si ibeere ni akọsori kan. O ko fi sabe awọn bọtini ni awọn koodu; A yoo bo ibi ipamọ ailewu ni ẹyọ 9.
  2. Yan awoṣe ati opin ti o wu jade. Awoṣe Lightweight + kekere max_tokens fun iṣẹ-ṣiṣe ti o rọrun; Alagbara awoṣe + tobi iye to fun eka iṣẹ-ṣiṣe.
  3. Ṣeto akojọ ifiranṣẹ. List the system instruction, user message, and past rounds (if any).
  4. Fi ibeere ranṣẹ ki o ṣe itupalẹ esi naa. Ka akoonu ọrọ, da idi duro, ati lilo àmi lati JSON ti o pada.

Awọn ipa Ifiranṣẹ: eto, olumulo, oluranlọwọ

Ibaraẹnisọrọ ni awọn ifiranṣẹ ti a ṣeto ni ọkọọkan, ati pe ifiranṣẹ kọọkan ni ipa kan. Ipa naa pinnu bi awoṣe ṣe tọju ọrọ yẹn.

Ipa

Tani o kọ

Idi

eto

Olùgbéejáde / onišẹ

Awọn ilana ti o yẹ, eniyan ati awọn ofin ti o lo jakejado gbogbo ibaraẹnisọrọ

olumulo

opin olumulo

Ibeere olumulo lọwọlọwọ tabi titẹ sii

oluranlọwọ

awoṣe

Idahun ti a ṣe nipasẹ awoṣe (ati awọn idahun ti tẹlẹ)

Ipa eto wa bi aaye eto lọtọ ni ara ibeere ni ọpọlọpọ awọn olupese; olumulo ati oluranlọwọ ti wa ni akojọ lẹsẹsẹ ninu akojọ awọn ifiranṣẹ. Critical point: the system instruction is the high-level instruction, the user message is the request to be answered at that moment.

{"model": "claude-opus-4-8", "max_tokens": 1024, "system": "O jẹ oluranlọwọ atilẹyin ile-iṣẹ. Fun kukuru kan, lodo ati esi ti o daju. Maṣe ṣe alaye ti o ko ni idaniloju nipa.", "awọn ifiranṣẹ": [ {" ipa": "olumulo", "akoonu": "Bawo ni MO ṣe bẹrẹ?" }]}

Ọrọ ti wa ni State

Eyi ni aiṣedeede ti o wọpọ julọ: Awọn ipe LLM API ko ni ipinlẹ - olupin ko ni iranti laarin awọn ibeere meji. Awoṣe naa ko ranti ibeere rẹ ti tẹlẹ. Ti o ba n ṣeto iwiregbe olona-yika, iwọ yoo nilo lati fi awọn iyipo ti o kọja ranṣẹ pẹlu ibeere tuntun kọọkan. “iranti” awoṣe ni atokọ ti awọn ifiranṣẹ ti o firanṣẹ.

{"model": "claude-opus-4-8", "max_tokens": 512, "awọn ifiranṣẹ": [ {"ipa": "olumulo", "akoonu": "Kaabo, orukọ mi ni Deniz." }, { "role": "assistant", "content": "Hello Deniz, bawo ni MO ṣe le ran ọ lọwọ?" }, { "role": "olumulo", "akoonu": "Mo ṣẹṣẹ sọ orukọ mi, ṣe o ranti?" }]}

Idahun ifiranṣẹ kẹta ni deede da lori fifiranṣẹ awọn ifiranṣẹ iṣaaju mejeeji. Ti o ko ba firanṣẹ, awoṣe kii yoo mọ “Okun” ati pe yoo dahun ni aṣiṣe. Eyi tun ni ipa lori idiyele taara: ibaraẹnisọrọ to gun, atokọ naa tobi, ibeere kọọkan n gba awọn ami-ami diẹ sii.

Imọran: Ni awọn ibaraẹnisọrọ gigun, akopọ ati gbigbe awọn iyipo atijọ (akopọ + awọn iyipo diẹ ti o kẹhin) dipo fifiranṣẹ gbogbo itan-akọọlẹ dinku iye owo ati ṣetọju window ti o tọ. A yoo jinle eyi ni awọn ẹya 6 ati 11.

Ka Idahun naa

Nigbati awoṣe ba da esi pada, o gba ohun ti eleto, kii ṣe ọrọ itele. Awọn agbegbe ti o wọpọ:

{ "id": "msg_01ABC...", "model": "claude-opus-4-8", "role": "assistant", "content": [ {"type": "text", "text": "Lati pilẹṣẹ ipadabọ, lọ si oju-iwe 'Awọn aṣẹ Mi' ninu akọọlẹ rẹ..." } ], "stop_reason": "fi opin": "lopin" 47, "awọn ami-jade": 88}}

  • akoonu: Idahun ara; O jẹ atokọ ti awọn bulọọki akoonu. Aaye ọrọ ti bulọọki ọrọ jẹ idahun gangan.
  • stop_reason: Idi ti awoṣe duro. end_turn = adayeba opin; max_tokens = di ni opin iṣẹjade (idahun le jẹ pe); kþ = kọ fun awọn idi aabo. Koodu rẹ yẹ ki o ma wo stop_reason ni akọkọ.
  • lilo: Input ati wu àmi awọn nọmba. O jẹ ipilẹ ti idiyele ati ipasẹ opin.
Akiyesi: Ti stop_reason ba jẹ max_tokens, esi ko pari. Itoju eyi bi “idahun aṣeyọri” ati fifihan ọrọ idaji si olumulo jẹ ọkan ninu awọn aṣiṣe ti o wọpọ julọ ni iṣelọpọ. Boya awọn max_tokens pọ si tabi lo ṣiṣanwọle.

Ailagbara kiakia / Alagbara kiakia

Iṣẹ-ṣiṣe kanna pẹlu awọn eto eto oriṣiriṣi meji:

# WEAKO jẹ oluranlọwọ. Dahun awọn ibeere.

# STRONG O jẹ oluranlọwọ atilẹyin ile-iṣẹ. Awọn ofin: - Gbẹkẹle alaye nikan ninu iwe eto imulo ti a pese; Ti ko ba si ninu iwe-ipamọ, sọ "Emi ko ni alaye yii, Mo n darí rẹ si ẹyọkan ti o yẹ." - Awọn idahun ko yẹ ki o kọja awọn gbolohun ọrọ 3, jẹ deede ati kedere. - Maṣe beere fun data ti ara ẹni (nọmba ID TC, nọmba kaadi) ati maṣe tun ṣe. - Maṣe gboju nigba ti o ko ni idaniloju.

Alagbara ti ikede; O ṣalaye iwọn, fọọmu, ala ailewu, ati ihuwasi ni aidaniloju. Awọn aitasera ti awọn awoṣe o wu wa taara lati yi wípé.

Mẹta Mini igba

Ọran 1 - Atilẹyin bot (pakute aini ipinlẹ). Ẹgbẹ iṣowo e-commerce kan mu bot laaye; Nigbati olumulo ba sọ pe “fagilee aṣẹ ti tẹlẹ”, bot naa “gbagbe” nọmba ibere naa. Idi: wọn n firanṣẹ ibeere kọọkan pẹlu ifiranṣẹ to kẹhin nikan. Solusan: wọn ṣafikun awọn iyipo 6 to kẹhin si atokọ awọn ifiranṣẹ. Esi: ti o tọju ọrọ-ọrọ, ṣugbọn titẹ sii fun ibeere kan pọ lati awọn ami-ami 40 si ~ 600 awọn ami - a yoo bo ẹkọ idiyele ni ẹyọ 2.

Ọran 2 - Akopọ adehun ti ko pari. Ẹgbẹ kan ti ofin kan ni awọn iwe adehun oju-iwe 10 ti ṣe ilana; max_tokens: 300 wà kekere, Lakotan a ge si pa aarin-gbolohun. stop_reason je max_tokens ni gbogbo igba sugbon ko si eniti o nwa. pọ si max_tokens to 1500 ati fi kun stop_reason ayẹwo; Oṣuwọn akopọ gige gige dinku lati 18% si 0%.

Ọran 3 - Dapọ awọn ipa. Ẹgbẹ tita kan n kọ gbogbo awọn ilana sinu ifiranṣẹ olumulo, nlọ eto naa ṣofo. Nigbati iṣagbewọle olumulo ba dapọ pẹlu itọnisọna, awoṣe yoo ma tẹle aṣẹ olumulo nigba miiran lati “gbagbe awọn ofin iṣaaju.” Nwọn si gbe yẹ ofin si awọn eto; Nipa yiyatọ iṣagbewọle olumulo lati itọnisọna, awọn irufin ofin dinku ni pataki.

Awọn aṣiṣe ti o wọpọ

  • Ngbagbe lati firanṣẹ awọn ti o ti kọja: Awọn awoṣe ti wa ni ero lati "ko ranti"; nígbà tí ó jẹ́ aláìlẹ́gbẹ́. O gbe ọrọ-ọrọ naa.
  • Ko wiwo `stop_reason`: Idahun ti o duro pẹlu max_tokens ni a gba pe o pe.
  • Ifisi ilana naa ni `olumulo': Awọn ofin ti o tẹsiwaju sinu eto; titẹ sii lojukanna lọ si olumulo. Dapọ ṣẹda aabo vulnerabilities.
  • Aṣiṣe `akoonu` fun okun itele: Idahun si jẹ atokọ ti awọn bulọọki; ka aaye ọrọ ti bulọọki ọrọ akọkọ, ṣayẹwo iru rẹ ṣaaju gbigba akoonu[0] pẹlu atọka afọju.
  • Fifi bọtini sinu koodu: Lo oniyipada ayika (kuro 9).

Jinle: Awọn bulọọki Akoonu ati Awọn idahun Abala pupọ

Loye idi ti aaye akoonu ninu idahun jẹ atokọ jẹ ipilẹ si awọn ẹya ilọsiwaju ti iwọ yoo ba pade nigbamii. Nigbakuran awoṣe ko pada ko ni ẹyọkan ti ọrọ, ṣugbọn awọn bulọọki pupọ: Àkọsílẹ ti ero, atẹle nipa Àkọsílẹ ọrọ; tabi bulọọki ọrọ ti o tẹle nipasẹ bulọki lilo ohun elo. Ti o ni idi ti afọju kika akoonu[0] bi “idahun” jẹ ẹlẹgẹ. Ọna ti o tọ ni lati lọ nipasẹ atokọ naa ki o to lẹsẹsẹ nipasẹ iru: o gba akoonu ọrọ ti awọn bulọọki ti aaye iru rẹ jẹ ọrọ, ati tọju awọn iru miiran (ero, ọpa) lọtọ.

Ohun ti adayanri yii ṣe ni iṣe ni pe o le wọle ero awoṣe (ti o ba jẹ eyikeyi) laisi ṣiṣafihan si olumulo, awọn ipe ohun elo ṣe itọsọna si ọgbọn iyatọ, ati tẹjade idahun gangan loju iboju nikan. Bi awọn module progresses (paapa ni sipo 4 ati 11) o yoo ri bi o wulo yi Àkọsílẹ be fun a validating ati darí o wu.

Ojuami ilowo miiran: o le wọle si awoṣe kanna lati awọn iru ẹrọ olupese ti o yatọ (API taara, nipasẹ olupese awọsanma). Botilẹjẹpe adirẹsi ipari ati ọna kika ijẹrisi le yipada, awọn imọran ipilẹ gẹgẹbi awọn ipa ifiranṣẹ, aisi ipinlẹ, ati igbekalẹ idahun wa kanna. Nitorinaa awọn ipilẹ ti o wa ninu ẹyọkan lo laibikita iru ẹrọ ti o lo.

Ni akojọpọ

Ibeere API LLM kan ni awoṣe, opin iṣelọpọ, ati atokọ ifiranṣẹ; awọn ipa (eto, olumulo, oluranlọwọ) pinnu ihuwasi ti awoṣe. Awọn ipe ko ni ipinlẹ: o gbe ọrọ-ọrọ pẹlu ibeere kọọkan. Idahun naa jẹ nkan ti a ṣeto; Kika ati itumọ akoonu, stop_reason ati awọn aaye lilo jẹ ipilẹ ti agbara ni iṣelọpọ.

Ohun elo iṣẹ-ṣiṣe

Yan iṣẹ kan lati inu iṣẹ tirẹ (fun apẹẹrẹ yiyan imeeli ti nwọle, ṣiṣẹda awọn akojọpọ kukuru). Lori iwe kan: (1) kọ eto eto pẹlu awọn ofin 4-5, (2) ṣeto ifiranṣẹ olumulo apẹẹrẹ kan ati itan-akọọlẹ 2 ti o ba jẹ eyikeyi, (3) pinnu iye ti o tọ fun max_tokens ki o kọ idalare, (4) atokọ eyiti awọn idiyele ididuro_reason iwọ yoo mu ninu esi ti o pada ati bii.

akojọ ayẹwo

  • [] Mo ti le ka awọn mẹta dandan awọn ẹya ara ti a ìbéèrè (awoṣe, max_tokens, awọn ifiranṣẹ).
  • [] Mo le ṣe alaye iyatọ laarin eto, olumulo ati awọn ipa iranlọwọ.
  • [] Mo mọ pe awọn ipe ko ni ipinlẹ ati pe Mo nilo lati gbe ohun ti o kọja.
  • Mo le ka ati sọ asọye lori akoonu [], stop_reason ati awọn aaye lilo.
  • [] Pẹlu max_tokens Mo le ṣe akiyesi ati mu idahun ti a ti ge.
Itele