Qazanclar:
- API açarını müştəridə saxlamayan, lakin arxa proksi vasitəsilə keçən təhlükəsiz bulud LLM arxitekturasını yaratmaq bacarığı
- Axın ilə qəbul edilən sürəti artıran möhkəm inteqrasiyalar yazmaq və fasilələr, şəbəkə xətaları və sürət məhdudiyyətləri kimi vəziyyətləri yumşaq bir şəkildə idarə etmək bacarığı
- Göndərilən tokeni qısaltmaqla xərcləri azaltmaq və şəxsi məlumatların buludlara keçməzdən əvvəl zəruriliyini sual altına almaq imkanı
Cihazda AI güclü, lakin məhduddur. Tətbiqə həqiqətən “ağıllı söhbət köməkçisi”, uzun mətn xülasəsi və ya mürəkkəb yaradıcı məhsul əlavə etmək istədiyiniz zaman sizə telefona sığmayacaq qədər böyük modellər lazımdır. Bulud AI burada işə düşür: tətbiqiniz API (Application Programming Interface – iki proqram təminatının bir-birinə məlumat göndərdiyi və qəbul etdiyi standart interfeys) vasitəsilə böyük dil modelinə (LLM) qoşulur. Bu bölmədə biz bulud LLM-ni təhlükəsiz, sürətli və qənaətcil şəkildə mobil proqrama necə inteqrasiya edəcəyimizi öyrənəcəyik. Təhlükəsizliyə əsas diqqət yetiriləcək: səhv quraşdırılmış LLM inteqrasiyası sizin API açarınızı sızdıra və minlərlə funt-sterlinq dəyərində fakturalarla nəticələnə bilər.
Memarlığın qızıl qaydası: açarı müştəridə saxlayın
Bulud AI inteqrasiyasında edilə biləcək ən təhlükəli səhv API açarını (xidmətdən istifadəyə icazə verən gizli parol) birbaşa mobil proqram koduna daxil etməkdir. Mobil proqramlar istifadəçinin cihazına endirilir və kodu əks mühəndislik üsulu ilə oxumaq olar — tərtib edilmiş proqramın təhlili və onun daxilində nə olduğunu görmək. Açarınız tətbiqin içərisindədirsə, kimsə onu çıxara və hesabınızdan limitsiz sorğular göndərə bilər.
Düzgün arxitektura belədir: mobil proqram sorğuları öz arxa serverinizə (nəzarət etdiyiniz proxy server) göndərir; Açar yalnız serverdə yerləşir; Server LLM xidmətinə gedir və proqrama cavabı qaytarır. Bu ara proqram həmçinin sürətin məhdudlaşdırılmasını, sui-istifadənin qarşısının alınmasını və xərclərə nəzarəti təmin edir.
yanaşma
açar haradadır
Təhlükəsizlik
Açar proqramdadır (YANLIŞ)
Müştəridə, ictimai
Sızdırır, hesab partlayır
Açar arxa tərəfdədir (TRUE)
Serverdə gizlidir
Təhlükəsiz, idarə olunan
Diqqət: Siz AI-dən bulud LLM inteqrasiyası üçün müraciət etdikdə, o, rahatlığınız üçün açarı birbaşa proqram koduna yazan bir nümunə yarada bilər. Bunu heç vaxt canlı qəbul etməyin. Tələbdə "APİ açarı müştəridə olmamalıdır, arxa proksi vasitəsilə keçin" cümləsini daxil etməyinizə əmin olun.
Axın: qəbul edilən sürəti artırmaq
LLM cavabları uzun ola bilər və bütövlükdə hazırlamaq üçün saniyələr çəkə bilər. İstifadəçini boş ekranda gözləmək pis bir təcrübədir. Həll axındır — yaradıldığı kimi cavabı sözbəsöz göstərir. İstifadəçi ChatGPT-də olduğu kimi mətnin orfoqrafiyasına nəzarət edir; bu, qəbul edilən sürəti və axıcılığı kəskin şəkildə artırır. Mobildə axın, serverdən interfeysə gələn kimi parçaların (tokenlər — model tərəfindən hazırlanmış mətn parçası) əlavə edilməsi deməkdir. AI ilə inteqrasiyanı çap edərkən axını açıq şəkildə tələb edin.
İpucu: Axın cavabında "fasilə" düyməsini əlavə edin. İstifadəçi istədiyi cavabı aldıqda istehsalı dayandıra bilməlidir; Bu, həm təcrübəni yaxşılaşdırır, həm də lazımsız token istehsalını azaltmaqla xərcləri azaldır. Uzun cavabın ortasında istifadəçi artıq öz cavabını tapmış ola bilər.
Xərc, gecikmə və səhvlərin idarə edilməsi
Cloud LLM hər bir sorğu ilə pul xərcini (bir nişanə görə ödəniş) və vaxt dəyərini (gecikmə) daşıyır. Üç fən vacibdir. Cost: limit prompt and response length, do not send unnecessarily long system instructions, default to small and cheap model if possible. Gecikmə: axından istifadə edin, fasilə təyin edin, şəbəkə yavaş olarsa istifadəçini xəbərdar edin. Xəta: şəbəkə kəsilməsi, xidmət 429 (çox sorğu) və ya 500 (server xətası) qaytara bilər; hər biri ilə yumşaq davranın, proqramı sındırmayın. Həmçinin, LLM bəzən mənasız və ya yanlış (hallüsinasiya) cavablar verir; Kritik sahələrdə cavabın yoxlanılması qatını əlavə edin.
üç mini qutu
Case 1 - Açar sızdırıldı. Bir başlanğıc sürətli çıxmaq üçün OpenAI açarını birbaşa React Native tətbiqinə yerləşdirdi. Tətbiq buraxıldıqdan üç həftə sonra açar tərs dizayn edildi və bir gecədə 2400 dollar dəyərində istifadə edildi. Komanda açarı geri götürməli və arxa proksi qurmalı idi. Dərs: rahatlıq üçün götürülmüş qısa yol ən bahalı marşrut oldu.
2-ci hal – Düşmə axını ilə azalıb. Bir təhsil proqramı ilk olaraq sual-cavab funksiyasını yayımsız buraxdı; istifadəçilər 6 saniyəlik boş gözləmədən sonra çıxış edirdilər. Axın əlavə edildikdə, ilk söz 0,8 saniyədə görünməyə başladı və imtina nisbəti 48% -dən 12% -ə düşdü. Eyni model, eyni sürət - sadəcə təqdimat fərqi.
3-cü hal – Xərclərə nəzarət. Bir proqram bütün söhbət tarixçəsini hər istifadəçi mesajı ilə modelə göndərirdi; Uzun söhbətlərdə tək bir sorğu 8000 tokenə çatdı və dəyəri şişirdi. Yalnız son bir neçə mesajı və xülasəni göndərməklə, komanda hər sorğu üçün tokenləri 70% azaldıb, aylıq hesabı üçdə birinə endirdi. Dərs: göndərdiklərinizi ölçün.
Zəif məlumat / Güclü göstəriş
Zəif göstəriş: "Tətbiqimə ChatGPT kimi söhbət əlavə edin."
Güclü göstəriş: "Mənim iOS/Swift tətbiqimə söhbət köməkçisi əlavə edin. Arxitektura: proqram mənim öz arxa planıma sorğu göndərir, LLM API açarı MÜŞTƏRİDƏ DEYİL, o, proksi vasitəsilə keçir. - Cavab axın edir, sözbəsəm göstərilir - 'Stop' düyməsi istehsalı dayandırır - İdarəetmə vaxtı, şəbəkə xətası və qısa tarixçə 409s. son 6 mesajı göndər + xülasə (xərc nəzarəti) Əvvəlcə arxitektura diaqramını izah edin, sonra müştəri və proksi kodu ayrıca verin."
Kopyalana bilən şablonlar
Təhlükəsiz arxitektura şablonu:"Mənim [platforma] tətbiqimə bulud LLM inteqrasiyasını dizayn edin. Qayda: API açarı yalnız backenddə. Müştəri -> mənim proxy -> LLM. Proksidə: autentifikasiya, hər istifadəçi üçün tarif limiti, sorğu qeydi. Müştəri və proksi məsuliyyətlərini ayrıca siyahıya salın, sonra kodu ixrac edin."
Yayım şablonu: "Bu söhbət ekranına axın cavabı əlavə edin: - Mesaj qabarcığına gələn kimi fraqmentlər əlavə edin - Yazarkən kursor/animasiya göstərin - "Dayandır" düyməsi yayımı ləğv edin - Mətni qismən qoruyun və axın bitən zaman xəta baş verərsə xəbərdar edin[mövcud kod]"
Xərc-gecikmə şablonu:"Bu LLM inteqrasiyasında maya dəyərini və gecikməni azaldın:- Göndərilən tokeni necə azalda bilərəm (tarixin abbreviaturası, xülasə)?- Hansı halda daha kiçik/ucuz model kifayətdir?- Vaxt aşımı və yenidən cəhd strategiyasını təklif edin[kod]"
Xətaya dözümlülük şablonu: "Bu LLM zəngini davamlı edin: - Şəbəkə olmadan ayrı davranış, fasilə, 429 (dərəcə limiti), 500 (server) - İstifadəçiyə texniki olmayan, nəzakətli mesaj - Kritik cavablarda halüsinasiya riskinə qarşı doğrulama qeydi[kod]"
Ümumi səhvlər
- API açarının tətbiqə daxil edilməsi. Ən bahalı və ümumi təhlükəsizlik səhvi; Açar mütləq arxa tərəfdə yerləşir.
- Axın istifadə etməmək. İstifadəçini uzun cavablar gözləməyə buraxmaq istifadəçini uzaqlaşdıracaq.
- Hər sorğu ilə bütün söhbət tarixçəsini göndərmək. Token qiymətini və gecikmə müddətini artırır.
- Səhv şərtlərindən yan keçmək. 429/500/taymoutu nəzərə alınmazsa, proqram çökəcək və ya donacaq.
- LLM cavabını sualsız düzgün hesab edirik. Halüsinasiya realdır; Kritik sahədə doğrulama təbəqəsi əlavə edin.
- İstifadəçi məlumatlarının lazımsız LLM-ə göndərilməsi. Şəxsi məlumatların buluda keçməzdən əvvəl tələb olunduğunu və ya maskalanmalı olub olmadığını soruşun.
Xülasə
Cloud LLM mobil telefona cihaza uyğun gəlməyən, lakin təhlükəsizlik və xərc intizamı tələb edən böyük imkanlar gətirir. Qızıl qayda: API açarı heç vaxt müştəridə olmur, o, backend proxy-dən keçir. Axın, qəbul edilən sürəti və saxlama qabiliyyətini əhəmiyyətli dərəcədə artırır; "Stop" düyməsi ilə dəstəklənir. Xərc göndərilən tokenin qısaldılması ilə müəyyən edilir; Dözümlülük bütün səhv hallarını zərifliklə idarə etməklə əldə edilir. LLM cavablarına halüsinasiyalar daxil ola bilər; Kritik sahələrdə doğrulama vacibdir və şəxsi məlumatlar buluda göndərilməzdən əvvəl nəzərdən keçirilir.
Tətbiq tapşırığı
"Mətn xülasəsi" və ya "chat" funksiyası üçün "Təhlükəsiz arxitektura şablonundan" istifadə edərək süni intellektdən müştəri + backend proksi dizaynını tələb edin. API açarının yalnız yaradılan dizaynda arxa hissədə yerləşdiyini yoxlayın. Sonra "Xərc-gecikmə nümunəsi" ilə göndərilən nişanı azaltmağın ən azı iki yolunu çıxarın və xəta vəziyyəti üçün istifadəçiyə göstəriləcək nəzakətli mesajı yazın (məsələn, 429).
yoxlama siyahısı
- [ ] API açarının müştəridə deyil, arxa hissədə olduğunu təsdiqlədim
- [ ] Cavab axını etdim və "fasilə" düyməsini əlavə etdim
- [ ] Taymout, şəbəkə xətası, 429 və 500 vəziyyətlərini idarə etdim
- [ ] Təqdim edilmiş nişanı keçmiş abbreviatura/xülasə ilə azaldım
- [ ] Mən LLM cavabında halüsinasiyalar riskinə qarşı doğrulama hesab etdim
- [ ] Mən buluda getməzdən əvvəl şəxsi məlumatların zəruriliyini/maskalanmasını yoxladım