Faida:
- Uwezo wa kuanzisha usanifu salama wa LLM wa wingu ambao hauweki ufunguo wa API kwa mteja lakini hupitia proksi ya nyuma.
- Uwezo wa kuandika miunganisho thabiti ambayo huongeza kasi inayoonekana na utiririshaji na kushughulikia kwa upole hali kama vile muda, hitilafu za mtandao na vikomo vya kasi.
- Uwezo wa kupunguza gharama kwa kufupisha ishara iliyotumwa na kuhoji umuhimu wa data ya kibinafsi kabla ya kwenda kwenye wingu.
AI ya kifaa ina nguvu lakini ina mipaka. Unapotaka kuongeza "msaidizi mahiri wa gumzo," muhtasari wa maandishi marefu, au uzalishaji changamano wa ubunifu kwenye programu, unahitaji miundo ambayo ni kubwa mno kutoshea kwenye simu. Hapa ndipo AI ya wingu inapotumika: programu yako inaunganishwa na muundo wa lugha kubwa (LLM) kupitia API (Kiolesura cha Kutayarisha Programu - kiolesura cha kawaida ambapo programu mbili hutuma na kupokea data). Katika kitengo hiki tutajifunza jinsi ya kuunganisha cloud LLM kwenye programu ya simu kwa njia salama, ya haraka na ya gharama. Mkazo mkubwa utakuwa kwenye usalama: muunganisho wa LLM uliosakinishwa vibaya unaweza kuvuja ufunguo wako wa API na kusababisha bili za maelfu ya pauni.
Kanuni ya dhahabu ya usanifu: kuweka ufunguo kwa mteja
Hitilafu hatari zaidi ambayo inaweza kufanywa katika ushirikiano wa AI ya wingu ni kupachika ufunguo wa API (nenosiri la siri linaloidhinisha kutumia huduma) moja kwa moja kwenye msimbo wa maombi ya simu. Programu za rununu hupakuliwa kwa kifaa cha mtumiaji na msimbo unaweza kusomwa kwa uhandisi wa kubadilisha - kuchanganua programu iliyokusanywa na kuona kilicho ndani yake. Ikiwa ufunguo wako uko ndani ya programu, mtu anaweza kuutoa na kutuma maombi bila kikomo kutoka kwa akaunti yako.
Usanifu sahihi ni huu: programu ya simu hutuma maombi kwa seva yako ya nyuma (seva ya wakala unayodhibiti); Kitufe kinakaa tu kwenye seva; Seva huenda kwa huduma ya LLM na kurejesha majibu kwa programu. Programu hii ya kati pia hutoa upunguzaji wa kasi, kuzuia matumizi mabaya, na udhibiti wa gharama.
Mbinu
ufunguo uko wapi
Usalama
Ufunguo uko kwenye programu (FALSE)
Katika mteja, hadharani
Inavuja, muswada unalipuka
Ufunguo uko kwenye mazingira ya nyuma (TRUE)
Kwenye seva, iliyofichwa
Salama, inayoweza kudhibitiwa
Tahadhari: Unapouliza AI kwa ushirikiano wa LLM ya wingu, inaweza kutoa mfano ambao huandika ufunguo moja kwa moja kwenye msimbo wa maombi kwa urahisi wako. Kamwe usichukue hii moja kwa moja. Hakikisha kuwa umejumuisha sentensi "Ufunguo wa API haupaswi kuwa kwenye mteja, pitia proksi ya nyuma" kwenye kidokezo.
Utiririshaji: kuongeza kasi inayotambulika
Majibu ya LLM yanaweza kuwa marefu na kuchukua sekunde kutoa kwa ukamilifu. Kumwacha mtumiaji akisubiri kwenye skrini tupu ni uzoefu mbaya. Suluhisho ni kutiririsha - kuonyesha jibu neno kwa neno, linapotolewa. Mtumiaji hufuatilia tahajia ya maandishi, kama katika ChatGPT; hii huongeza kasi inayofahamika na ufasaha. Kutiririka kwenye rununu kunamaanisha kuongeza vipande (ishara - kipande cha maandishi kinachotolewa na modeli) kutoka kwa seva hadi kiolesura vinapofika. Omba mtiririko wakati wa kuchapisha muunganisho wa AI.
Kidokezo: Ongeza kitufe cha "sitisha" katika jibu la kutiririsha. Mtumiaji anapaswa kuwa na uwezo wa kusimamisha uzalishaji anapopata jibu analotaka; Hii yote inaboresha uzoefu na inapunguza gharama kwa kukata kizazi kisicho cha lazima. Katikati ya jibu refu, mtumiaji anaweza kuwa tayari amepata jibu lake.
Gharama, ucheleweshaji na usimamizi wa makosa
Cloud LLM hubeba gharama ya pesa (ada kwa kila tokeni) na gharama ya muda (muda wa kusubiri) kwa kila ombi. Taaluma tatu ni muhimu. Cost: limit prompt and response length, do not send unnecessarily long system instructions, default to small and cheap model if possible. Muda wa kusubiri: tumia utiririshaji, weka muda wa kuisha, mjulishe mtumiaji ikiwa mtandao uko polepole. Hitilafu: kukatika kwa mtandao, huduma inaweza kurudi 429 (maombi mengi sana) au 500 (kosa la seva); shughulikia kila moja kwa upole, usivunje programu. Pia, LLM wakati mwingine inatoa majibu yasiyo na maana au yasiyo sahihi (hallucination); Ongeza safu ya uthibitishaji wa jibu katika maeneo muhimu.
kesi tatu ndogo
Kesi ya 1 - Kitufe kilichovuja. Kizindua kilipachika kitufe cha OpenAI moja kwa moja kwenye programu yake ya React Native ili kutoka haraka. Wiki tatu baada ya programu kutolewa, ufunguo ulirekebishwa na utumizi wa thamani ya $2,400 ulifanywa usiku mmoja. Timu ililazimika kubatilisha ufunguo na kuweka seva mbadala ya nyuma. Somo: njia ya mkato iliyochukuliwa kwa urahisi ikawa njia ya gharama kubwa zaidi.
Kesi ya 2 - Kuacha kumepungua kwa mtiririko. Programu ya elimu ilitoa kwanza kipengele chake cha Maswali na Majibu bila kutiririsha; watumiaji walikuwa wakiondoka baada ya sekunde 6 za kusubiri bila kufanya kitu. Wakati mtiririko ulipoongezwa, neno la kwanza lilianza kuonekana katika sekunde 0.8, na kiwango cha kuacha kilipungua kutoka 48% hadi 12%. Mfano sawa, kasi sawa - tofauti tu katika uwasilishaji.
Kesi ya 3 - Udhibiti wa gharama. Programu moja ilikuwa ikituma historia nzima ya soga kwa modeli na kila ujumbe wa mtumiaji; Katika mazungumzo marefu, ombi moja lilifikia tokeni 8,000, na kuongeza gharama. Kwa kutuma jumbe chache tu za mwisho na muhtasari, timu ilipunguza tokeni kwa kila ombi kwa 70%, na kupunguza bili ya kila mwezi hadi theluthi. Somo: pima unachotuma.
Mwongozo dhaifu / Mwongozo thabiti
Kidokezo dhaifu: "Ongeza gumzo kama ChatGPT kwenye programu yangu."
Kidokezo chenye nguvu: "Ongeza msaidizi wa gumzo kwenye programu yangu ya iOS/Swift. Usanifu: programu hutuma ombi kwa mazingira yangu ya nyuma, kitufe cha API cha LLM HAUPO kwenye MTEJA, hupitia proksi. - Jibu linakuja kutiririsha, kuonyeshwa neno baada ya neno - Kitufe cha 'Acha' kinakatiza uzalishaji - Shughulikia muda wa kuisha, hitilafu ya mtandao, fupisha hali ya mwisho ya mazungumzo, 50:409 na 429 hufupisha mwisho wa mazungumzo. Ujumbe 6 + muhtasari (udhibiti wa gharama)Eleza mchoro wa usanifu kwanza, kisha mpe mteja na msimbo wa proksi kando."
Violezo vinavyoweza kunakiliwa
Kiolezo cha usanifu salama:"Sanifu muunganisho wa wingu wa LLM kwenye programu yangu ya [jukwaa]. Kanuni: Kitufe cha API kwenye mazingira ya nyuma pekee. Mteja -> proksi yangu -> LLM. Katika seva mbadala: uthibitishaji, kikomo cha kiwango cha kila mtumiaji, omba kukata kumbukumbu. Orodhesha majukumu ya mteja na wakala kando, kisha uhamishe msimbo."
Kiolezo cha utiririshaji: "Ongeza jibu la kutiririsha kwenye skrini hii ya gumzo:- Ongeza vijisehemu kwenye kiputo cha ujumbe vinapofika- Onyesha kishale/uhuishaji unapoandika- Kuwa na kitufe cha 'Acha' kughairi mtiririko- Hifadhi maandishi kiasi na uonye ikiwa kuna hitilafu wakati mtiririko unaisha[msimbo uliopo]"
Kiolezo cha muda wa kusubiri kwa gharama:"Punguza gharama na muda wa kusubiri katika muunganisho huu wa LLM:- Je, ninawezaje kupunguza tokeni iliyotumwa (kifupi cha historia, muhtasari)?- Katika hali gani muundo mdogo/nafuu unatosha?- Pendekeza muda umekwisha na ujaribu tena mkakati[msimbo]"
Kiolezo cha uvumilivu wa hitilafu: "Fanya simu hii ya LLM iwe thabiti:- Tabia tofauti kwa kutokuwa na mtandao, kuisha kwa muda, 429 (kikomo cha kiwango), 500 (seva)- Ujumbe usio wa kiufundi, wa adabu kwa mtumiaji- Ujumbe wa Uthibitishaji dhidi ya hatari ya kuona ndoto katika majibu muhimu[code]"
Makosa ya kawaida
- Kupachika ufunguo wa API kwenye programu. Mdudu ghali zaidi na wa kawaida wa usalama; Ufunguo dhahiri uko kwenye mwisho wa nyuma.
- Sio kutumia mtiririko. Kumwacha mtumiaji akisubiri majibu marefu kutamfukuza mtumiaji.
- Inatuma historia nzima ya gumzo na kila ombi. Inazidisha gharama ya ishara na utulivu.
- Kukwepa masharti ya makosa. Ikiwa 429/500/muda umeisha hautashughulikiwa, programu itaacha kufanya kazi au kuganda.
- Kwa kuzingatia jibu la LLM kama sahihi bila swali. Maoni ni ya kweli; Ongeza safu ya uthibitishaji katika eneo muhimu.
- Kutuma data ya mtumiaji kwa LLM isiyo ya lazima. Uliza ikiwa data ya kibinafsi inahitajika au inapaswa kufunikwa kabla ya kwenda kwenye wingu.
Kwa muhtasari
Cloud LLM huleta uwezo mkubwa ambao hauendani na kifaa kwenye simu ya mkononi, lakini inahitaji usalama na nidhamu ya gharama. Kanuni ya dhahabu: Ufunguo wa API hauko kwenye mteja kamwe, hupitia proksi ya nyuma. Mtiririko huongeza sana kasi inayojulikana na uhifadhi; Inasaidiwa na kitufe cha "kuacha". Gharama imedhamiriwa kwa kufupisha ishara iliyotumwa; Ustahimilivu hupatikana kwa kushughulikia kesi zote za makosa kwa uzuri. Majibu ya LLM yanaweza kujumuisha maono; Katika maeneo muhimu, uthibitishaji ni muhimu na data ya kibinafsi inakaguliwa kabla ya kuituma kwa wingu.
Jukumu la maombi
Omba muundo wa seva mbadala wa mteja + kutoka kwa AI ukitumia "Kiolezo cha usanifu salama" kwa kipengele cha "muhtasari wa maandishi" au "chat". Thibitisha kuwa ufunguo wa API unakaa tu kwenye mazingira ya nyuma katika muundo uliotengenezwa. Kisha toa angalau njia mbili za kupunguza tokeni iliyotumwa na "Mchoro wa kucheleweshwa kwa Gharama" na uandike ujumbe wa heshima utakaoonyeshwa kwa mtumiaji kwa hali ya hitilafu (k.m. 429).
orodha ya ukaguzi
- [ ] Nilithibitisha kuwa ufunguo wa API hukaa nyuma na si kwenye kiteja
- [ ] Nilitiririsha majibu na kuongeza kitufe cha 'sitisha'
- [ ] Nilishughulikia muda wa kuisha, hitilafu ya mtandao, hali 429 na 500
- [ ] Nilipunguza tokeni iliyowasilishwa kwa ufupisho/muhtasari uliopita
- [ ] Nilizingatia uthibitisho dhidi ya hatari ya ndoto katika jibu la LLM
- [ ] Nilikagua hitaji/ufichaji wa data ya kibinafsi kabla ya kwenda kwenye wingu