Qligħ:
- Jista' jiddeskrivi l-istruttura bażika ta' talba għall-API LLM (endpoint, mudell, messaġġi, max_tokens)
- Jifhem id-differenza bejn ir-rwoli tas-sistema, tal-utent u tal-assistent u l-istorja tal-konversazzjoni mingħajr stat
- Jista 'jaqra u jinterpreta oqsma (blokki tal-kontenut, stop_reason, użu) tar-rispons ritornat
Fil-moduli preċedenti, użajna intelliġenza artifiċjali minn tieqa taċ-chat. Imma jekk trid tiddaħħal l-AI fil-prodott, l-awtomazzjoni jew il-fluss tax-xogħol tiegħek stess, interface taċ-chat mhux se taqtagħha; Għandek bżonn tikkonnettja mal-mudell b'mod programmatiku, jiġifieri, b'kodiċi jew għodda ta 'awtomazzjoni. L-isem ta 'dan il-pont huwa API (Application Programming Interface, il-kuntratt li jippermetti żewġ softwer biex jitkellmu ma' ċerti regoli). Meta tispiċċa din l-unità, tkun taf x'jikkostitwixxi talba API LLM (Mudell tal-Lingwa Kbira), x'jagħmlu r-rwoli tal-messaġġi, u kif taqra r-rispons. Dan huwa l-pedament li fuqu se jinbena l-bqija tal-modulu.
Kif Taħdem l-API?
Il-fluss bażiku fl-API huwa dan: inti tibgħat talba f'ċertu format; Is-server jirritorna tweġiba f'format speċifiku. Fl-LLMs, din is-soltu tkun sejħa HTTP (HTTP: protokoll standard għall-ġarr tat-talba-rispons fuq il-web) għal indirizz wieħed (endpoint, l-indirizz fiss fuq is-server li jieħu ħsieb it-talba tiegħek). Pereżempju, f'API tal-messaġġi, it-talbiet kollha jmorru f'indirizz wieħed u jinġarru fil-korp bħala JSON (JavaScript Object Notation — format ta' test li jikkonsisti f'pari ta' ċavetta/valur li jistgħu jinqraw kemm mill-bnedmin kif ukoll mill-magni).
F'talba, inti tispeċifika mill-inqas dawn it-tliet affarijiet:
- Mudell: Liema mudell se tuża (eż. mudell veloċi u rħis jew mudell b'saħħtu).
- max_tokens: In-numru massimu ta 'tokens (l-iżgħar unità li fiha jiġi pproċessat it-test, li se jiġu pproċessati fid-dettall fl-unità li jmiss) li l-mudell jista' jipproduċi; jiġifieri limitu tal-produzzjoni.
- messaġġi: Lista ta' messaġġi li jiffurmaw il-konversazzjoni.
Pass pass: Kif Twaqqaf Talba
- Ipprepara l-endpoint u l-kredenzjali. Inti żżid iċ-ċavetta API tiegħek (is-sekwenza sigrieta li tagħti prova tal-identità tiegħek) mat-talba f'header. Qatt ma daħħal iċ-ċavetta fil-kodiċi; Aħna se nkopru ħażna sigura fl-unità 9.
- Agħżel il-mudell u l-limitu tal-produzzjoni. Mudell ħafif + max_tokens żgħar għal kompitu sempliċi; Mudell qawwi + limitu akbar għal kompitu kumpless.
- Stabbilixxi l-lista tal-messaġġi. List the system instruction, user message, and past rounds (if any).
- Ibgħat it-talba u analizza t-tweġiba. Aqra l-kontenut tat-test, waqqaf ir-raġuni, u l-użu tat-tokens mill-JSON ritornat.
Rwoli Messaġġ: sistema, utent, assistent
Konverżazzjoni tikkonsisti f'messaġġi rranġati f'sekwenza, u kull messaġġ għandu rwol. Ir-rwol jiddetermina kif il-mudell jittratta dak it-test.
Rwol
Min jikteb
Għan
sistema
Żviluppatur/operatur
Istruzzjonijiet permanenti, personalità u regoli li japplikaw matul il-konversazzjoni kollha
utent
utent aħħari
Il-mistoqsija jew l-input attwali tal-utent
assistent
mudell
Risposta prodotta mill-mudell (u tweġibiet preċedenti)
Ir-rwol tas-sistema huwa disponibbli bħala qasam tas-sistema separat fil-korp tat-talba fil-biċċa l-kbira tal-fornituri; l-utent u l-assistent huma elenkati b'mod sekwenzjali fil-lista tal-messaġġi. Critical point: the system instruction is the high-level instruction, the user message is the request to be answered at that moment.
{ "model": "claude-opus-4-8", "max_tokens": 1024, "system": "Int assistent ta' appoġġ korporattiv. Agħti tweġiba qasira, formali u verifikata. Tagħmelx informazzjoni li m'intix ċert dwarha.", "messages": [ { "role": "user", "content": "Kif nibda l-proċess tar-ritorn tiegħi?" } ]}
Id-diskors huwa Apolid
Hawn l-iktar kunċett żbaljat komuni: Sejħiet LLM API huma mingħajr stat — is-server ma jżomm l-ebda memorja bejn żewġ talbiet. Il-mudell ma jiftakarx it-talba preċedenti tiegħek. Jekk qed twaqqaf chat b'ħafna rawnds, ikollok bżonn terġa' tibgħat ir-rawnds tal-passat ma' kull talba ġdida. Il-"memorja" tal-mudell tikkonsisti f'lista ta' messaġġi li bgħatt.
{ "model": "claude-opus-4-8", "max_tokens": 512, "messages": [ { "role": "user", "content": "Hello, jien jisimni Deniz." }, { "role": "assistent", "content": "Hello Deniz, kif nista' ngħinek?" }, { "role": "user", "content": "Għadni kif għedt ismi, tiftakar?" } ]}
Li twieġeb it-tielet messaġġ b'mod korrett jiddependi fuq li int tibgħat iż-żewġ messaġġi preċedenti. Jekk ma tibgħathiex, il-mudell ma jkunx jaf "Sea" u jwieġeb ħażin. Dan jaffettwa wkoll direttament l-ispiża: iktar ma tkun itwal il-konversazzjoni, iktar tkun kbira l-lista, kull talba tikkonsma aktar tokens.
Tip: F'konversazzjonijiet twal, il-qosor u ċ-ċaqliq ta' rawnds qodma (sommarju + l-aħħar ftit rawnds) minflok ma tibgħat l-istorja kollha tnaqqas l-ispiża u tippreserva t-tieqa tal-kuntest. Se napprofondixxu dan fl-unitajiet 6 u 11.
Aqra t-Tweġiba
Meta l-mudell jirritorna tweġiba, tirċievi oġġett strutturat, mhux test sempliċi. Żoni tipiċi:
{ "id": "msg_01ABC...", "model": "claude-opus-4-8", "role": "assistent", "content": [ { "type": "text", "text": "Biex tibda ritorn, mur fil-paġna 'Ordnijiet Tiegħi' fil-kont tiegħek..." } ], "stop_reason": "in usage:_" "n:" 47, "output_tokens": 88 }}
- kontenut: Ir-rispons innifsu; Hija lista ta 'blokki ta' kontenut. Il-qasam tat-test tal-blokka tat-test huwa t-tweġiba attwali.
- stop_reason: Għaliex il-mudell waqaf. end_turn = tarf naturali; max_tokens = mwaħħla fil-limitu tal-output (ir-rispons jista 'jkun mhux komplut); rifjut = miċħud għal raġunijiet ta' sigurtà. Il-kodiċi tiegħek għandu dejjem iħares lejn stop_reason l-ewwel.
- użu: Numri tat-tokens tad-dħul u tal-ħruġ. Hija l-bażi tat-traċċar tal-ispiża u tal-limitu.
Attenzjoni: Jekk stop_reason huwa max_tokens, ir-rispons ma jitlestax. It-trattament ta 'dan bħala "rispons ta' suċċess" u li juri nofs test lill-utent huwa wieħed mill-iżbalji l-aktar komuni fil-produzzjoni. Jew iżżid max_tokens jew uża streaming.
Pront dgħajjef / Pront qawwi
L-istess kompitu b'żewġ prompts tas-sistema differenti:
# DGĦAJFInt assistent. Wieġeb il-mistoqsijiet.
# STRONGInt assistent ta' appoġġ korporattiv. Regoli:- Tistrieħ biss fuq l-informazzjoni fid-dokument tal-politika pprovdut; Jekk ma jkunx fid-dokument, għid "M'għandix din l-informazzjoni, qed nidderieġiha lill-unità rilevanti." - It-tweġibiet m'għandhomx jaqbżu 3 sentenzi, ikunu formali u ċari. - Titlobx għal data personali (numru tal-ID tat-TC, numru tal-karta) u tirrepetix. - Taqtax meta m'intix ċert.
Verżjoni qawwija; Jiddefinixxi l-ambitu, il-forma, il-marġni tas-sikurezza, u l-imġieba fl-inċertezza. Il-konsistenza tal-output tal-mudell ġejja direttament minn din iċ-ċarezza.
Tliet Każijiet Mini
Każ 1 — Appoġġ bot (nassa tal-apolidija). Tim tal-kummerċ elettroniku ħa l-bot ħaj; Meta l-utent qal "ikkanċella l-ordni preċedenti", il-bot "nesa" in-numru tal-ordni. Raġuni: kienu qed jibagħtu kull talba bl-aħħar messaġġ biss. Soluzzjoni: żiedu l-aħħar 6 rawnds mal-lista tal-messaġġi. Riżultat: il-kuntest ippreservat, iżda l-input għal kull talba żdied minn 40 token għal ~600 token — aħna nkopru l-lezzjoni tal-ispiża fl-unità 2.
Każ 2 — Sommarju tal-kuntratt mhux komplut. Tim legali kien qed ikollu kuntratti ta' 10 paġni deskritti fil-qosor; max_tokens: 300 baqgħu baxxi, is-sommarji kienu qed jaqtgħu nofs is-sentenza. stop_reason kien max_tokens kull darba iżda ħadd ma kien qed iħares. żied il-max_tokens għal 1500 u żied il-kontroll stop_reason; Ir-rata sommarja maqtugħa naqset minn 18% għal 0%.
Każ 3 — Taħlit ta' rwoli. Tim tal-marketing kien qed jikteb l-istruzzjonijiet kollha fil-messaġġ tal-utent, u ħalla s-sistema vojta. Meta l-input ta 'l-utent jitħallat ma' l-istruzzjoni, il-mudell xi drabi jikkonforma mal-kmand ta 'l-utent biex "jinsa r-regoli preċedenti." Huma ċċaqalqu regoli permanenti għas-sistema; Billi sseparat l-input tal-utent mill-istruzzjoni, il-ksur tar-regoli naqas b'mod sinifikanti.
Żbalji komuni
- Tinsa li tibgħat il-passat: Il-mudell huwa maħsub li "ma tiftakarx"; billi hija apolida. Int iġorr il-kuntest.
- Mhux qed tħares lejn `stop_reason`: Ir-rispons waqaf b'max_tokens jitqies komplut.
- Inkorporazzjoni tal-istruzzjoni f''utent': Regoli persistenti fis-sistema; input immedjat imur għand l-utent. It-taħlit joħloq vulnerabbiltajiet tas-sigurtà.
- Żbaljat `kontenut` għal string sempliċi: It-tweġiba hija lista ta 'blokki; aqra l-qasam tat-test tal-ewwel blokk tat-test, ivverifika t-tip tiegħu qabel ma tikseb kontenut[0] b'indiċi blind.
- Inkorporazzjoni taċ-ċavetta fil-kodiċi: Uża varjabbli ambjentali (unità 9).
Aktar fil-fond: Blokki tal-Kontenut u Tweġibiet b'ħafna Partijiet
Il-fehim għaliex il-qasam tal-kontenut fir-rispons huwa lista huwa fundamentali għall-karatteristiċi avvanzati li tiltaqa' magħhom aktar tard. Xi drabi l-mudell jirritorna mhux blokk wieħed ta 'test, iżda diversi blokki: blokk ta' ħsieb, segwit minn blokk ta 'test; jew blokk ta' test segwit minn blokk tal-użu tal-għodda. Huwa għalhekk li l-għadd bl-addoċċ tal-kontenut[0] bħala "tweġiba" huwa fraġli. L-approċċ korrett huwa li tgħaddi mill-lista u issortjaha skont it-tip: tiġbor il-kontenut tat-test ta 'blokki li l-qasam tat-tip tagħhom huwa test, u tittratta tipi oħra (ħsieb, għodda) separatament.
X'tagħmel din id-distinzjoni fil-prattika hija li tista' tilloggja r-raġunament tal-mudell (jekk ikun hemm) mingħajr ma tiżvelah lill-utent, tidderieġi mill-ġdid is-sejħiet tal-għodda għal loġika separata, u tipprintja biss it-tweġiba attwali fuq l-iskrin. Hekk kif il-modulu jimxi 'l quddiem (speċjalment fl-unitajiet 4 u 11) se tara kemm din l-istruttura tal-blokk hija utli għall-validazzjoni u d-direzzjoni tal-output.
Punt prattiku ieħor: tista' taċċessa l-istess mudell minn pjattaformi ta' fornituri differenti (API dirett, permezz ta' fornitur tal-cloud). Għalkemm l-indirizz tal-endpoint u l-format tal-awtentikazzjoni jistgħu jinbidlu, kunċetti bażiċi bħall-irwoli tal-messaġġi, l-apolidija, u l-istruttura tar-rispons jibqgħu l-istess. Allura l-baŜi f'din l-unità japplikaw irrispettivament minn liema pjattaforma tuża.
Fil-qosor
Talba LLM API tikkonsisti fil-mudell, il-limitu tal-output, u l-lista tal-messaġġi; rwoli (sistema, utent, assistent) jiddeterminaw l-imġiba tal-mudell. Is-sejħiet huma mingħajr stat: inti ġġorr il-kuntest ma' kull talba. Ir-rispons huwa oġġett strutturat; Il-qari u l-interpretazzjoni tal-oqsma tal-kontenut, stop_reason u l-użu huma l-bażi tad-durabilità fil-produzzjoni.
Kompitu ta' applikazzjoni
Agħżel kompitu mill-professjoni tiegħek stess (eż. issortjar l-e-mail deħlin, toħloq sommarji qosra). Fuq biċċa karta: (1) ikteb is-sistema fil-pront b'4-5 regoli, (2) waqqaf kampjun ta 'messaġġ tal-utent u storja ta' 2 rawnds jekk ikun hemm, (3) iddetermina valur raġonevoli għal max_tokens u ikteb il-ġustifikazzjoni, (4) elenka liema valuri stop_reason se tieħu ħsieb fir-rispons ritornat u kif.
lista ta' kontroll
- [ ] Kapaċi ngħodd it-tliet partijiet obbligatorji ta' talba (mudell, max_tokens, messaġġi).
- [ ] Kapaċi nispjega d-differenza bejn ir-rwoli tas-sistema, tal-utent u tal-assistent.
- [ ] Naf li sejħiet huma mingħajr stat u li għandi bżonn inġorr il-passat.
- Kapaċi naqra u nikkummenta dwar [ ] kontenut, stop_reason u oqsma tal-użu.
- [ ] B'max_tokens nista' ninnota u nittratta r-rispons maqtugħ.