Faida:
- Inaweza kuelezea muundo msingi wa ombi la LLM API (mwisho, modeli, ujumbe, max_tokens)
- Inaelewa tofauti kati ya majukumu ya mfumo, mtumiaji na msaidizi na historia ya mazungumzo isiyo na uraia
- Inaweza kusoma na kutafsiri sehemu (vizuizi vya yaliyomo, kuacha_sababu, matumizi) ya jibu lililorejeshwa
Katika moduli zilizopita, tulitumia akili ya bandia kutoka kwa dirisha la gumzo. Lakini ikiwa ungependa kupachika AI kwenye bidhaa yako mwenyewe, otomatiki au mtiririko wa kazi, kiolesura cha gumzo hakitaikata; Unahitaji kuunganisha kwa mfano kwa utaratibu, yaani, na msimbo au chombo cha automatisering. Jina la daraja hili ni API (Application Programming Interface, mkataba unaoruhusu programu mbili kuzungumza na sheria fulani). Ukimaliza kitengo hiki, utajua ni nini kinachojumuisha ombi la API ya LLM (Muundo wa Lugha Kubwa), ni majukumu gani ya ujumbe hufanya, na jinsi ya kusoma jibu. Huu ndio msingi ambao moduli iliyobaki itajengwa.
Je, API Inafanyaje Kazi?
Mtiririko wa kimsingi katika API ni huu: unatuma ombi katika umbizo fulani; Seva hurejesha jibu katika umbizo maalum. Katika LLMs, hii kawaida ni simu ya HTTP (HTTP: itifaki ya kawaida ya kubeba jibu la ombi kwenye wavuti) kwa anwani moja (mwisho, anwani isiyobadilika kwenye seva inayoshughulikia ombi lako). Kwa mfano, katika API ya ujumbe, maombi yote huenda kwa anwani moja na hubebwa katika mwili kama JSON (JavaScript Object Notation - umbizo la maandishi linalojumuisha jozi za vitufe/thamani ambazo zinaweza kusomwa na wanadamu na mashine).
Katika ombi, unabainisha angalau mambo haya matatu:
- Mfano: Utatumia modeli gani (k.m. modeli ya haraka na ya bei nafuu au modeli yenye nguvu).
- max_tokens: Idadi ya juu ya ishara (kitengo kidogo zaidi ambacho maandishi yanachakatwa, ambayo yatashughulikiwa kwa undani katika kitengo kinachofuata) ambacho mtindo unaweza kuzalisha; yaani kikomo cha pato.
- ujumbe: Orodha ya jumbe zinazounda mazungumzo.
Hatua kwa Hatua: Jinsi ya Kuweka Ombi
- Tayarisha mwisho na vitambulisho. Unaongeza ufunguo wako wa API (kamba ya siri inayothibitisha utambulisho wako) kwa ombi kwenye kichwa. Hujawahi kupachika ufunguo katika msimbo; Tutashughulikia hifadhi salama katika kitengo cha 9.
- Chagua kikomo cha mfano na pato. Mfano mwepesi + max_tokens ndogo kwa kazi rahisi; Muundo wa nguvu + kikomo kikubwa zaidi kwa kazi ngumu.
- Panga orodha ya ujumbe. List the system instruction, user message, and past rounds (if any).
- Tuma ombi na uchanganue jibu. Soma maudhui ya maandishi, sababu ya kuacha, na matumizi ya tokeni kutoka kwa JSON iliyorejeshwa.
Majukumu ya Ujumbe: mfumo, mtumiaji, msaidizi
Mazungumzo huwa na ujumbe uliopangwa kwa mfuatano, na kila ujumbe una jukumu. Jukumu huamua jinsi mtindo hushughulikia maandishi hayo.
Jukumu
Nani anaandika
Kusudi
mfumo
Msanidi/mendeshaji
Maagizo ya kudumu, utu na sheria zinazotumika katika mazungumzo yote
mtumiaji
mtumiaji wa mwisho
Swali la sasa la mtumiaji au ingizo
msaidizi
mfano
Majibu yaliyotolewa na modeli (na majibu yaliyotangulia)
Jukumu la mfumo linapatikana kama sehemu tofauti ya mfumo katika shirika la ombi katika watoa huduma wengi; mtumiaji na msaidizi wameorodheshwa kwa kufuatana katika orodha ya ujumbe. Critical point: the system instruction is the high-level instruction, the user message is the request to be answered at that moment.
{ "model": "claude-opus-4-8", "max_tokens": 1024, "system": "Wewe ni msaidizi wa usaidizi wa shirika. Toa jibu fupi, rasmi na lililothibitishwa. Usitunge maelezo ambayo huna uhakika nayo.", "messages": [ {"role": "user", "maudhui yanaanzaje": "Je, mchakato wangu wa kurejesha unaanzaje?" }]}
Hotuba haina uraia
Hapa kuna maoni potofu ya kawaida: Simu za LLM API hazina hali - seva haihifadhi kumbukumbu kati ya maombi mawili. Muundo haukumbuki ombi lako la awali. Ikiwa unaanzisha gumzo la raundi nyingi, utahitaji kutuma tena duru zilizopita kwa kila ombi jipya. "Kumbukumbu" ya mfano ina orodha ya ujumbe uliotuma.
{ "model": "claude-opus-4-8", "max_tokens": 512, "messages": [ { "role": "user", "content": "Hujambo, jina langu ni Deniz." }, { "role": "assistant", "content": "Hujambo Deniz, ninaweza kukusaidia vipi?" }, { "role": "user", "content": "Nimemaliza kusema jina langu, unakumbuka?" }]}
Kujibu ujumbe wa tatu kwa usahihi kunategemea wewe kutuma ujumbe wote wa awali. Ikiwa hutaituma, mfano hautajua "Bahari" na utajibu vibaya. Hii pia huathiri moja kwa moja gharama: kwa muda mrefu mazungumzo, orodha kubwa, kila ombi linatumia ishara zaidi.
Kidokezo: Katika mazungumzo marefu, kufupisha na kusogeza raundi za zamani (muhtasari + duru chache za mwisho) badala ya kutuma historia nzima hupunguza gharama na kuhifadhi dirisha la muktadha. Tutaongeza hii katika sehemu ya 6 na 11.
Soma Jibu
Wakati mtindo unarudisha jibu, unapokea kitu kilichopangwa, sio maandishi wazi. Maeneo ya kawaida:
{ "id": "msg_01ABC...", "model": "claude-opus-4-8", "role": "assistant", "content": [ { "type": "text", "text": "Ili kuanzisha urejeshaji, nenda kwenye ukurasa wa 'Maagizo Yangu' katika akaunti yako..." } ], "stop_turnkens": "inpust:": "end: 47, "output_tokens": 88 }}
- maudhui: Jibu lenyewe; Ni orodha ya vizuizi vya yaliyomo. Sehemu ya maandishi ya kizuizi cha maandishi ndio jibu halisi.
- stop_reason: Kwa nini mtindo ulisimama. end_turn = mwisho wa asili; max_tokens = imekwama kwenye kikomo cha matokeo (majibu yanaweza kuwa hayajakamilika); kukataa = kukataliwa kwa sababu za usalama. Nambari yako inapaswa kuangalia stop_reason kwanza.
- matumizi: Nambari za tokeni za kuingiza na kutoa. Ni msingi wa ufuatiliaji wa gharama na kikomo.
Angalizo: Ikiwa stop_reason ni max_tokens, jibu halijakamilika. Kuchukulia hili kama "jibu lililofanikiwa" na kuonyesha nusu ya maandishi kwa mtumiaji ni mojawapo ya makosa ya kawaida katika uzalishaji. Ongeza max_tokens au utumie utiririshaji.
Agizo dhaifu / Ukumbusho thabiti
Kazi sawa na vidokezo viwili tofauti vya mfumo:
# DHAIFUWewe ni msaidizi. Jibu maswali.
# STRONGWewe ni msaidizi wa usaidizi wa shirika. Kanuni:- Tegemea tu taarifa katika hati ya sera iliyotolewa; Ikiwa haipo kwenye waraka, sema "Sina habari hii, ninaielekeza kwa kitengo kinachohusika." - Majibu yasizidi sentensi 3, yawe rasmi na wazi. - Usiulize data ya kibinafsi (nambari ya kitambulisho cha TC, nambari ya kadi) na usirudia. - Usidhani wakati huna uhakika.
Toleo la nguvu; Inafafanua upeo, fomu, ukingo wa usalama, na tabia katika kutokuwa na uhakika. Uthabiti wa pato la mfano huja moja kwa moja kutoka kwa uwazi huu.
Kesi Tatu Ndogo
Kesi ya 1 - Msaada wa bot (mtego wa kutokuwa na utaifa). Timu ya e-commerce ilichukua roboti moja kwa moja; Wakati mtumiaji alisema "ghairi agizo la hapo awali", bot "ilisahau" nambari ya agizo. Sababu: walikuwa wakituma kila ombi na ujumbe wa mwisho tu. Suluhisho: waliongeza raundi 6 za mwisho kwenye orodha ya ujumbe. Matokeo: muktadha umehifadhiwa, lakini ingizo kwa kila ombi liliongezeka kutoka tokeni 40 hadi tokeni ~600 - tutashughulikia somo la gharama katika kitengo cha 2.
Kesi ya 2 - Muhtasari wa mkataba ambao haujakamilika. Timu ya wanasheria ilikuwa na mikataba ya kurasa 10 iliyoainishwa; max_tokens: 300 zilibaki chini, muhtasari ulikuwa ukikatizwa katikati ya sentensi. stop_reason ilikuwa max_tokens kila wakati lakini hakuna mtu aliyekuwa akitafuta. iliongeza max_tokens hadi 1500 na kuongeza hundi ya stop_reason; Kiwango cha muhtasari kilichopunguzwa kilipungua kutoka 18% hadi 0%.
Kesi 3 - Kuchanganya majukumu. Timu ya uuzaji ilikuwa ikiandika maagizo yote kwenye ujumbe wa mtumiaji, na kuacha mfumo wazi. Wakati ingizo la mtumiaji likichanganywa na maagizo, mtindo huo wakati mwingine ungetii amri ya mtumiaji ya "kusahau sheria za awali." Walihamisha sheria za kudumu kwenye mfumo; Kwa kutenganisha maoni ya mtumiaji kutoka kwa maagizo, ukiukaji wa sheria ulipungua sana.
Makosa ya kawaida
- Kusahau kutuma zamani: Mfano unafikiriwa "haukumbuki"; kumbe haina uraia. Unabeba muktadha.
- Bila kuangalia `stop_reason`: Jibu lililosimamishwa kwa max_tokeni linachukuliwa kuwa limekamilika.
- Kupachika maagizo katika `mtumiaji`: Kanuni endelevu kwenye mfumo; ingizo la papo hapo huenda kwa mtumiaji. Kuchanganya husababisha udhaifu wa usalama.
- Kukosea `maudhui` kwa mfuatano mtupu: Jibu ni orodha ya vizuizi; soma sehemu ya maandishi ya kizuizi cha maandishi cha kwanza, thibitisha aina yake kabla ya kupata yaliyomo[0] na faharasa ya upofu.
- Kupachika ufunguo katika msimbo: Tumia kibadilishaji cha mazingira (kitengo cha 9).
Kina zaidi: Vizuizi vya Maudhui na Majibu ya Sehemu Nyingi
Kuelewa ni kwa nini uga wa maudhui katika jibu ni orodha ni muhimu kwa vipengele vya kina utakavyokutana nacho baadaye. Wakati mwingine mfano haurudi kizuizi kimoja cha maandishi, lakini vitalu kadhaa: kizuizi cha kufikiri, ikifuatiwa na kizuizi cha maandishi; au kizuizi cha maandishi ikifuatiwa na kizuizi cha matumizi ya zana. Ndio maana kuhesabu kwa upofu yaliyomo[0] kama "jibu" ni dhaifu. Njia sahihi ni kupitia orodha na kuipanga kwa aina: unakusanya maandishi ya vizuizi ambavyo aina ya uwanja ni maandishi, na kutibu aina zingine (kufikiria, zana) tofauti.
Kile tofauti hii hufanya katika mazoezi ni kwamba unaweza kuweka hoja za modeli (ikiwa zipo) bila kuifunua kwa mtumiaji, kuelekeza simu za zana ili kutenganisha mantiki, na kuchapisha tu jibu halisi kwenye skrini. Kadiri moduli inavyoendelea (haswa katika vitengo 4 na 11) utaona jinsi muundo huu wa kuzuia ni muhimu kwa kuthibitisha na kuelekeza matokeo.
Jambo lingine la vitendo: unaweza kufikia mfano sawa kutoka kwa majukwaa tofauti ya watoa huduma (API ya moja kwa moja, kupitia mtoaji wa wingu). Ingawa anwani ya mwisho na umbizo la uthibitishaji linaweza kubadilika, dhana za kimsingi kama vile majukumu ya ujumbe, kutokuwa na utaifa, na muundo wa majibu hubakia vile vile. Kwa hivyo mambo ya msingi katika kitengo hiki yanatumika bila kujali ni jukwaa gani unatumia.
Kwa muhtasari
Ombi la LLM API lina modeli, kikomo cha matokeo, na orodha ya ujumbe; majukumu (mfumo, mtumiaji, msaidizi) huamua tabia ya mfano. Simu hazina uraia: unabeba muktadha na kila ombi. Jibu ni kitu kilichopangwa; Kusoma na kutafsiri yaliyomo, kuacha_sababu na nyanja za matumizi ndio msingi wa uimara katika uzalishaji.
Jukumu la maombi
Chagua kazi kutoka kwa taaluma yako mwenyewe (k.m. kupanga barua pepe zinazoingia, kuunda muhtasari mfupi). Kwenye karatasi: (1) andika kidokezo cha mfumo na sheria 4-5, (2) weka sampuli ya ujumbe wa mtumiaji na historia ya duru 2 ikiwa ipo, (3) tambua thamani inayofaa kwa max_tokens na uandike uhalalishaji, (4) orodha ambayo stop_reason maadili utakayoshughulikia katika jibu lililorejeshwa na jinsi gani.
orodha ya ukaguzi
- [ ] Ninaweza kuhesabu sehemu tatu za lazima za ombi (mfano, max_tokens, ujumbe).
- [ ] Ninaweza kueleza tofauti kati ya majukumu ya mfumo, mtumiaji na msaidizi.
- [ ] Ninajua kwamba simu hazina uraia na kwamba ninahitaji kubeba yaliyopita.
- Ninaweza kusoma na kutoa maoni kuhusu [ ] maudhui, stop_reason na sehemu za matumizi.
- [ ] Nikiwa na max_tokens ninaweza kugundua na kushughulikia jibu lililopunguzwa.