Girdeji:
- Müşderide API açaryny saklamaýan, ýöne arka proksi arkaly geçýän ygtybarly bulut LLM arhitekturasyny döretmek ukyby
- Akym bilen kabul edilen tizligi ýokarlandyrýan we wagt gutarmagy, tor ýalňyşlyklary we tizlik çäkleri ýaly ýagdaýlary ýuwaşlyk bilen dolandyrmak üçin ygtybarly integrasiýa ýazmak ukyby;
- Iberilen nyşany gysgaltmak we buluda gitmezden ozal şahsy maglumatlaryň zerurlygyny sorag etmek arkaly çykdajylary azaltmak ukyby
Enjamda AI güýçli, ýöne çäklidir. Bir programma hakykatdanam “akylly söhbetdeşlik kömekçisi”, uzyn tekst jemlemesi ýa-da çylşyrymly döredijilik önümini goşmak isleseňiz, telefona gabat gelmeýän gaty uly modeller gerek. Ine, bulut AI oýnaýar: programmaňyz API (Programma Programma Interfeýsi - iki programma üpjünçiligi biri-birine maglumat iberýän we alýan adaty interfeýs) arkaly uly dil modeline (LLM) birikýär. Bu bölümde “bulut LLM” -ni ykjam programma howpsuz, çalt we tygşytly usulda nädip birikdirmelidigini öwreneris. Howpsuzlyga esasy üns berler: nädogry gurlan LLM integrasiýasy, API açaryňyzy syzdyryp, müňlerçe funt sterlinge sebäp bolup biler.
Arhitekturanyň altyn düzgüni: açary müşderide saklaň
Bulut AI integrasiýasynda goýberilip bilinjek iň howply ýalňyşlyk, API açaryny (hyzmaty ulanmaga ygtyýar berýän gizlin parol) gönüden-göni ykjam programma koduna salmakdyr. Jübi goşundylary ulanyjynyň enjamyna göçürilýär we kody ters in engineeringenerçilik arkaly okap bolýar - düzülen programmany seljermek we içindäki zatlary görmek. Açaryňyz programmanyň içinde bolsa, kimdir biri ony çykaryp, hasabyňyzdan çäksiz haýyşlar edip biler.
Dogry arhitektura şeýledir: ykjam programma öz arka serweriňize (gözegçilik edýän proksi serweriňize) haýyşlar iberýär; Açar diňe serwerde ýerleşýär; Serwer LLM hyzmatyna gidýär we programma jogap berýär. Bu orta programma, şeýle hem tizligi ýapmagy, hyýanatçylykly hereketleriň öňüni almagy we çykdajylary gözegçilikde saklaýar.
Çemeleşme
açar nirede
Howpsuzlyk
Esasy programmada (ALALSEYŞ)
Müşderide, köpçülige
Syzdy, kanun ýaryldy
Açar arkada (TRUE)
Serwerde gizlenen
Ygtybarly, dolandyryp bolýan
Üns beriň: AI-den bulut LLM integrasiýasyny sorasaňyz, amatly bolmagy üçin açary gönüden-göni programma koduna ýazýan mysal döredip biler. Hiç haçan muny göni efirde almaň. Soragda "API açary müşderide bolmaly däl, arkadaky proksi-den geçiň" sözlemini hökman goşuň.
Akym: duýulýan tizligi ýokarlandyrmak
LLM jogaplary uzyn bolup biler we doly öndürmek üçin birnäçe sekunt gerek bolar. Ulanyjyny boş ekranda garaşmak erbet tejribe. Çözüw akymly - jogap sözüni döredilişi ýaly söz bilen görkezmek. Ulanyjy, ChatGPT-de bolşy ýaly, tekstiň ýazylyşyna gözegçilik edýär; bu duýulýan tizligi we arassalygy ep-esli ýokarlandyrýar. Jübi telefonyndaky akym, serwerden gelýänçä interfeýsine bölekleri (bellikler - model tarapyndan öndürilen tekst bölegi) goşmagy aňladýar. AI-e integrasiýa çap edilende akymy aç-açan haýyş ediň.
Maslahat: Akymyň jogabyna "pauza" düwmesini goşuň. Ulanyjy islän jogabyny alanda önümçiligi bes etmegi başarmaly; Bularyň ikisi hem tejribäni gowulandyrýar we gereksiz token neslini kesip çykdajylary azaldýar. Uzyn jogabyň ortasynda ulanyjy öz jogabyny eýýäm tapan bolmagy mümkin.
Bahasy, gijikdirilmegi we ýalňyş dolandyryşy
“Cloud LLM” her haýyş bilen pul bahasyny (belgi üçin töleg) we wagt bahasyny (gijä galmagy) göterýär. Üç ders hökmanydyr. Cost: limit prompt and response length, do not send unnecessarily long system instructions, default to small and cheap model if possible. Gijä galmak: akymdan peýdalanyň, wagt gutar, tor haýal bolsa ulanyja habar beriň. Roralňyşlyk: toruň kesilmegi, hyzmat 429 (gaty köp haýyş) ýa-da 500 (serwer ýalňyşlygy) yzyna gaýdyp biler; hersini ýuwaşlyk bilen dolandyryň, programmany ýykmaň. Şeýle hem, LLM käwagt manysyz ýa-da nädogry (galýusinasiýa) jogap berýär; Kritiki ugurlarda jogaby barlamak üçin bir gatlak goşuň.
üç sany kiçi halat
1-nji waka - Syzdyrylan açar. Bir başlangyç, çalt çykmak üçin göni “React Native” programmasyna OpenAI düwmesini ýerleşdirdi. Programma çykandan üç hepde soň, açar tersine ineredener edildi we bir gije 2400 dollar bahasy ulanyldy. Topar açary ýatyrmaly we arkadaky proksi düzmeli boldy. Sapak: amatlylyk üçin alnan gysga ýol iň gymmat ugra öwrüldi.
2-nji hadysa - Akym bilen azaldy. Bilim programmasy ilki bilen sorag-jogap aýratynlygyny akymsyz çykardy; ulanyjylar 6 sekunt boş garaşmakdan soň çykýardylar. Akym goşulanda, ilkinji söz 0,8 sekuntda peýda bolup başlady we terk etmegiň derejesi 48% -den 12% -e çenli azaldy. Birmeňzeş model, şol bir tizlik - diňe görkezişdäki tapawut.
3-nji hadysa - çykdajylara gözegçilik. Bir programma, ähli ulanyjy habary bilen ähli söhbetdeşlik taryhyny modele iberýärdi; Uzyn gepleşiklerde ýekeje haýyş 8000 nyşana ýetdi we çykdajylary ýokarlandyrdy. Topar diňe soňky birnäçe habary we gysgaça mazmuny ibermek bilen, her haýyş boýunça bellikleri 70% azaldyp, aýlyk tölegiň üçden birine çenli azaldyldy. Sapak: iberýän zadyňyzy ölçäň.
Gowşak haýyş / Güýçli haýyş
Gowşak haýyş: "Programmamyza ChatGPT ýaly söhbet goşuň."
Güýçli teklip: "IOS / Swift programmamyza söhbetdeşlik kömekçisini goşuň. Arhitektura: programma öz arkamyza haýyş iberýär, LLM API açary Müşderide ýok, proksi arkaly geçýär. - Jogap akymly bolýar, söz bilen görkezilýär -" Dur "düwmesi önümçiligi kesýär - Wagtyň gutarmagy, tor ýalňyşlygy, 429 we 500 ýagdaý gysgaça düşündiriş soň müşderä we proksi kody aýratyn beriň. "
Göçürip boljak galyplar
Ygtybarly arhitektura şablony: "Meniň [platforma] programmamyza bulut LLM integrasiýasyny düzüň. Düzgün: API açary diňe arka tarapda. Müşderi -> meniň proksi -> LLM. Proksi: tassyklamak, ulanyjy başyna baha çäklendirmesi, hasaba alynmagyny haýyş ediň. Müşderi we proksi jogapkärçiligini aýratyn sanawlaň, soňra kody eksport ediň."
Akym şablony: "Bu söhbetdeşlik ekranyna akymly jogap goşuň: - Gelenlerinde habar köpügine parçalar goşuň - ingazanyňyzda kursory / animasiýany görkeziň -" Stop "düwmesini goýuň - akymy ýatyryň - Bölekleýin teksti saklaň we akym gutaranda ýalňyşlyk bar bolsa duýduryş beriň.
Çykdajylaryň gijä galmagy şablony: "Bu LLM integrasiýasynda çykdajylary we gijä galmagy azaldyň: - Iberilen belligi (taryhy gysgaltma, gysgaça mazmun) nädip azaltmaly? - Haýsy ýagdaýda kiçi / arzan model ýeterlik? - Wagt gutarmagy we gaýtadan synanyşmagyň strategiýasyny [kod] teklip ediň."
Nädogry çydamlylyk şablony: "Bu LLM jaňyny çydamly ediň: - Tor, wagt gutarma, 429 (nyrh çäkleri), 500 (serwer) üçin aýratyn hereket - Ulanyja tehniki däl, mylakatly habar - Kritiki jogaplarda galýusinasiýa töwekgelçiligini barlamak belligi."
Adaty ýalňyşlyklar
- Programma API açaryny ornaşdyrmak. Iň gymmat we umumy howpsuzlyk ýalňyşlygy; Açar hökman arka tarapynda.
- Akymy ulanmaýar. Ulanyjyny uzak jogaplara garaşmak, ulanyjyny daşlaşdyrar.
- Çat taryhyny her haýyş bilen ibermek. Token bahasyny we gijä galmagy köpeldýär.
- Erroralňyşlyk şertlerinden aýlanyp geçmek. 429/500 / wagt gutarmasa, programma heläk bolar ýa-da doňar.
- LLM jogabyny soragsyz dogry hasaplamak. Galýusinasiýa hakyky; Kritiki ýere barlamak gatlagyny goşuň.
- Gereksiz LLM-e ulanyjy maglumatlaryny ibermek. Buluda gitmezden ozal şahsy maglumatlaryň gerekdigini ýa-da maskalanmalydygyny soraň.
Gysgaça
“Cloud LLM” enjama ykjam däl, ýöne howpsuzlyk we çykdajy düzgün-nyzamyny talap edýän ajaýyp mümkinçilikleri getirýär. Altyn düzgün: API açary hiç wagt müşderide däl, arka proksi arkaly geçýär. Akym duýulýan tizligi we saklamagy ep-esli ýokarlandyrýar; "Dur" düwmesi bilen goldanýar. Bahasy iberilen nyşany gysgaltmak arkaly kesgitlenýär; Çydamlylyk, ähli ýalňyşlyk ýagdaýlaryny sypaýylyk bilen çözmek arkaly gazanylýar. LLM jogaplarynda galýusinasiýa bolup biler; Kritiki ýerlerde barlamak möhümdir we buluda ibermezden ozal şahsy maglumatlar gözden geçirilýär.
Programma meselesi
“Tekst jemlemek” ýa-da “söhbet” aýratynlygy üçin “Howpsuz arhitektura şablony” ulanyp, AI-den müşderi + arka proksi dizaýnyny soraň. API açarynyň diňe döredilen dizaýnda arka tarapda ýaşaýandygyny barlaň. Soňra "Çykdajylary gijikdirmek nagşy" bilen iberilen nyşany azaltmagyň azyndan iki usulyny çykaryň we säwlik ýagdaýy üçin ulanyja görkeziljek mylakatly habary ýazyň (meselem 429).
gözegçilik sanawy
- [] API açarynyň müşderide däl-de, arka tarapda ýaşaýandygyny tassykladym
- [] Jogap akymyny etdim we 'pauza' düwmesini goşdum
- [] Wagt gutarmagy, tor ýalňyşlygy, 429 we 500 ýagdaýy çözdüm
- [] Geçen gysgaltma / gysgaça mazmun bilen tabşyrylan nyşany azaltdym
- [] LLM jogabynda galýusinasiýa töwekgelçiligine garşy barlagy göz öňünde tutdum
- [] Buluda gitmezden ozal şahsy maglumatlaryň zerurlygyny / maskasyny barladym