Uru:
- Ikike iji guzobe ihe owuwu igwe ojii nwere nchekwa LLM nke anaghị edebe igodo API na onye ahịa mana ọ na-aga site na proxy azụ azụ.
- Ikike ịde njikọta siri ike nke na-abawanye ọsọ a na-ahụta site na nkwanye ma jiri nwayọ na-ejikwa ọnọdụ dị ka nkwụsị oge, njehie netwọkụ na oke ọsọ.
- Ikike ibelata ọnụ ahịa site na ibelata akara ezigara ma jụọ mkpa ọ dị data nkeonwe tupu ọ banye n'igwe ojii.
Ngwa AI dị ike mana nwere oke. Mgbe ịchọrọ ịgbakwunye ezigbo “onye enyemaka nkata smart,” nchịkọta ederede ogologo, ma ọ bụ mmepụta ihe okike dị mgbagwoju anya na ngwa, ị ga-achọ ụdị ndị buru ibu na-adaba na ekwentị. Nke a bụ ebe igwe ojii AI na-abata: ngwa gị na-ejikọta na ụdị asụsụ buru ibu (LLM) site na API (Interface Programming Interface - ọkọlọtọ ọkọlọtọ ebe ngwanrọ abụọ na-eziga ma nata data n'etiti ibe ha). N'ime nkeji a, anyị ga-amụta ka esi ejikọta igwe ojii LLM n'ime ngwa mkpanaka n'ụzọ dị nchebe, ngwa ngwa na ọnụ ahịa. Ihe kachasị mkpa ga-abụ na nchekwa: ntinye LLM arụnyere na-ezighi ezi nwere ike ihichapụ igodo API gị wee nweta ụgwọ ruru puku kwuru puku pound.
Ọchịchị ọla edo nke ụkpụrụ ụlọ: debe igodo na onye ahịa
Njehie kacha dị ize ndụ enwere ike ịme na igwe ojii AI mwekota bụ itinye igodo API (paswọọdụ nzuzo nke nyere ikike iji ọrụ ahụ) ozugbo na koodu ngwa mkpanaka. A na-ebudata ngwa mkpanaaka na ngwaọrụ onye ọrụ yana enwere ike ịgụ koodu ahụ site na injinia reverse-ịtụle ngwa a chịkọtara na ịhụ ihe dị n'ime ya. Ọ bụrụ na igodo gị dị n'ime ngwa ahụ, mmadụ nwere ike wepụ ya wee rịọ arịrịọ na-akparaghị ókè na akaụntụ gị.
Ihe owuwu nke ọma bụ nke a: ngwa mkpanaka na-eziga arịrịọ na sava azụ azụ nke gị (ihe nkesa proxy ị na-achịkwa); Igodo ahụ na-ebi naanị na ihe nkesa; Ihe nkesa na-aga na ọrụ LLM wee weghachi nzaghachi na ngwa ahụ. Nke a middleware na-enyekwa nkwado ọsọ ọsọ, mgbochi mmegbu, na njikwa ọnụ ahịa.
Ụzọ
ebee ka igodo di
Nchekwa
Isi ihe dị na ngwa (FALSE)
Na ahịa, ọha
Ọ na-agbapụta, ụgwọ ahụ na-agbawa
Igodo dị na azụ azụ (TRUE)
Na ihe nkesa, zoro ezo
Nchekwa, enwere ike ịchịkwa
Kpachara anya: Mgbe ị na-arịọ AI maka ntinye igwe ojii LLM, ọ nwere ike iwepụta ihe atụ na-ede igodo ozugbo na koodu ngwa maka ịdị mma gị. Ebula ihe a ndụ. Jide n'aka na ị ga-etinye ahịrịokwu ahụ "Igodo API ekwesịghị ịdị na onye ahịa, gafere proxy azụ" na ngwa ngwa.
gụgharia: ịbawanye ọsọ echere
Azịza LLM nwere ike ịdị ogologo ma were sekọnd iji mepụta n'ozuzu ya. Ịhapụ onye ọrụ na-echere na ihuenyo oghere bụ ahụmahụ ọjọọ. Ihe ngwọta bụ nkwanye - igosipụta okwu azịza site na okwu, dị ka emepụtara ya. Onye ọrụ na-enyocha mkpoputa ederede, dịka ọ dị na ChatGPT; nke a na-abawanye n'ike n'ike n'ike n'ike n'ike n'ike n'ike na-aghọta ngwa ngwa na ire ụtọ. Flow na mobile pụtara ịgbakwụnye iberibe (tokens — mpempe ederede mepụtara site na ihe nlereanya) site na ihe nkesa na interface ka ha na-abata. Rịọ ọsọ ahụ nke ọma mgbe ị na-ebipụta ntinye na AI.
Ndụmọdụ: Tinye bọtịnụ "kwụsịtụ" na nzaghachi nkwanye. Onye ọrụ kwesịrị inwe ike ịkwụsị mmepụta mgbe ọ nwetara azịza ọ chọrọ; Nke a na-eme ka ahụmịhe ahụ dịkwuo mma ma na-ebelata ọnụ ahịa site n'ịbelata ọgbọ token na-enweghị isi. N'etiti azịza ogologo, onye ọrụ nwere ike achọtala azịza ha.
Ọnụ ego, igbu oge na njikwa njehie
Cloud LLM na-ebu ọnụ ego (ego kwa akara) yana ọnụ ahịa oge (latency) na arịrịọ ọ bụla. Ọzụzụ atọ dị mkpa. Cost: limit prompt and response length, do not send unnecessarily long system instructions, default to small and cheap model if possible. Latency: jiri gụgharia, tọọ oge nkwụsị, gwa onye ọrụ mara ma ọ bụrụ na netwọk adịghị nwayọ. Njehie: nkwụsị netwọk, ọrụ nwere ike ịlaghachi 429 (ọtụtụ arịrịọ) ma ọ bụ 500 (njehie nkesa); jikwaa nke ọ bụla nwayọ, emebila ngwa ahụ. Ọzọkwa, LLM mgbe ụfọdụ na-enye azịza na-enweghị isi ma ọ bụ na-ezighi ezi (nhụta anya); Tinye oyi akwa nke nkwenye nke azịza na mpaghara dị oke egwu.
Obere ikpe atọ
Ikpe 1 - igodo agbapụtala. Mmalite tinyere igodo OpenAI ozugbo na ngwa React Native iji pụta ngwa ngwa. Izu atọ ka ewepụtara ngwa ahụ, e megharịrị igodo ahụ wee were $2,400 mee ihe n'otu abalị. Ndị otu ahụ ga-ewepụ igodo ahụ wee guzobe proxy na-azụ azụ. Ihe nkuzi: ụzọ mkpirisi e mere maka ịdị mma ghọrọ ụzọ kachasị ọnụ.
Ikpe 2 - Dropout belatara na eruba. Ngwa agụmakwụkwọ bu ụzọ wepụta atụmatụ Q&A ya na-enweghị nkwanye ugwu; ndị ọrụ nọ na-apụ ma echere 6 sekọnd nke enweghị ọrụ. Mgbe agbakwunyere eruba, okwu mbụ malitere ịpụta na sekọnd 0.8, ọnụego agbahapụ gbadara site na 48% ruo 12%. Otu ụdị, otu ọsọ - naanị ọdịiche dị na ngosi.
Ikpe 3 - njikwa ọnụ ahịa. Otu ngwa na-eziga akụkọ nkata niile na ihe nlereanya ya na ozi onye ọrụ ọ bụla; N'ime ogologo mkparịta ụka, otu arịrịọ ruru akara 8,000, na-abawanye ọnụ ahịa. Site na izipu naanị ozi ole na ole ikpeazụ na nchịkọta, ndị otu ahụ belatara akara ngosi kwa arịrịọ site na 70%, na-ebelata ụgwọ ọnwa kwa ọnwa na nke atọ. Ihe nkuzi: tụọ ihe ị na-eziga.
Ngwa ngwa adịghị ike / Ike siri ike
Ngwa ngwa adịghị ike: "Tinye nkata dị ka ChatGPT na ngwa m."
Ike ngwa ngwa: "Tinye onye enyemaka nkata na ngwa iOS / Swift m. Architecture: ngwa ahụ na-eziga arịrịọ na azụ azụ nke m, igodo LLM API abụghị na CLIENT, ọ na-aga site na proxy. - Nzaghachi na-abịa nkwanye, gosipụtara okwu site na okwu - The 'Kwụsị' bọtịnụ na-akwụsị mmepụta - Ijikwa oge nkwụsịtụ, njehie netwọk, 429 na-eziga ozi n'oge ikpeazụ na ozi amara 6. + nchịkọta (njikwa ọnụ ahịa) Buru ụzọ kọwaa eserese ihe owuwu, wee nye onye ahịa na koodu proxy iche iche.
Ụdị ndebiri nwere ike iṅomi
Secure architecture template: "Chebe ígwé ojii LLM mwekota n'ime m [ikpo okwu] ngwa. Iwu: API igodo naanị na backend. Client -> my proxy -> LLM. Na proxy: nyocha, onye ọ bụla ọnụego ọnụego, rịọ ndekọ. Depụta ahịa na proxy ibu ọrụ iche iche, wee mbupụ koodu. "
Ndebiri gụgharia: "Tinye nzaghachi nkwanye na ihuenyo nkata a: - Tinye snippets na afụ ozi ka ha na-abịarute- Gosi cursor/animation mgbe ị na-ede - nwee bọtịnụ 'Kwụsị' kagbuo iyi - Chekwaa ederede akụkụ ma dọọ aka ná ntị ma ọ bụrụ na enwere njehie mgbe iyi ahụ na-agwụ [koodu dị adị]"
Nleba anya efu: "Welata ọnụ ahịa na nkwụsịtụ na ntinye LLM a: - Kedu ka m ga-esi ebelata akara ezigara (mbelata akụkọ ihe mere eme, nchịkọta)? - N'ọnọdụ nke obere obere/dị ọnụ ala karịa ihe nlereanya zuru ezu? - Tụnye oge nkwụsịtụ wee nwagharịa atụmatụ[koodu]"
Ndebiri nnabata mmejọ: "Mee ka oku LLM a bụrụ ihe na-adịgide adịgide: - omume dị iche maka enweghị netwọkụ, nkwụsị oge, 429 (oke ọnụego), 500 (ihe nkesa) - ozi na-abụghị teknụzụ, ozi ọma nye onye ọrụ- ndetu nkwenye megide ihe ize ndụ nke nhụsianya na nzaghachi dị egwu[koodu]"
Mmejọ ndị nkịtị
- Ịtinye igodo API n'ime ngwa ahụ. Ihe nchebe kachasị ọnụ na nke nkịtị; Igodo ahụ dabere na njedebe azụ.
- Anaghị eji eruba. Ịhapụ onye ọrụ na-eche ogologo azịza ga-achụpụ onye ọrụ.
- Jiri arịrịọ ọ bụla na-eziga akụkọ nkata niile. Ọ na-amụba ọnụ ahịa token na latency.
- Ịgafe ọnọdụ njehie. Ọ bụrụ na anabataghị 429/500/oge ngwụcha ngwa ngwa ga-ada ma ọ bụ ifriizi.
- N'ịtụle azịza LLM dị ka nke ziri ezi na-enweghị ajụjụ. Ihe nhụsianya ahụ dị adị; Tinye oyi akwa nkwenye na mpaghara dị oke egwu.
- Na-eziga data onye ọrụ na LLM na-adịghị mkpa. Jụọ ma achọrọ data nkeonwe ma ọ bụ na ekwesịrị kpuchie ya tupu ọ banye n'igwe ojii.
Na nchịkọta
Cloud LLM na-eweta ike dị ukwuu na-adabaghị na ngwaọrụ na ekwentị mkpanaaka, mana chọrọ nchekwa na ọzụzụ ọzụzụ. Iwu ọla edo: igodo API adịghị na onye ahịa, ọ na-aga site na proxy backend. Flow na-abawanye nke ukwuu aghọta ọsọ na njigide; Akwado site na "kwụsị" bọtịnụ. A na-ekpebi ọnụ ahịa ya site na ibelata akara ezigara; A na-enweta nkwụsi ike site na ijikwa ikpe niile nke njehie. Azịza LLM nwere ike ịgụnye ịhụ anya; N'ebe dị oke egwu, nkwenye dị mkpa ma nyochaa data nkeonwe tupu iziga ya na igwe ojii.
Ọrụ ngwa
Rịọ onye ahịa + nkwado proxy sitere na AI site na iji “ntụgharị ụkpụrụ ụlọ nchekwa” maka njirimara “nchịkọta ederede” ma ọ bụ “chat”. Nyochaa na igodo API dị naanị na azụ azụ n'ime imewe emepụtara. Wepụta opekata mpe ụzọ abụọ iji belata akara ezitere na “atụmatụ ọnụ-egbu oge” wee dee ozi ọma ka egosipụtara onye ọrụ maka ọnọdụ njehie (dịka ọmụmaatụ 429).
ndetu
- [ ] Achọpụtara m na igodo API bi na azụ azụ ọ bụghị na onye ahịa
- [] Emere m nzaghachi nzaghachi wee tinye bọtịnụ 'kwụsịtụ'
- [] Ejiri m oge nkwụsị, njehie netwọkụ, ọnọdụ 429 na 500
- [ ] Eji mbiri/nchịkọta gara aga belata akara ngosi e debere
- [ ] M tụlere nkwado megide ihe ize ndụ nke ịhụ anya na azịza LLM
- [] Achọpụtara m mkpa / ikpuchi data nkeonwe tupu m aga n'igwe ojii