Daromadlar:
- Mijozda API kalitini saqlamaydigan, ammo proksi-server orqali o'tadigan xavfsiz bulutli LLM arxitekturasini yaratish qobiliyati
- Oqim orqali idrok etilgan tezlikni oshiradigan mustahkam integratsiyalarni yozish va vaqt tugashi, tarmoq xatolari va tezlik cheklovlari kabi vaziyatlarni ehtiyotkorlik bilan hal qilish qobiliyati
- Yuborilgan tokenni qisqartirish va shaxsiy ma'lumotlarning bulutga o'tishidan oldin zarurligini shubha ostiga qo'yish orqali xarajatlarni kamaytirish qobiliyati
Qurilmadagi AI kuchli, ammo cheklangan. Haqiqiy “aqlli suhbat yordamchisi”ni, uzun matnni umumlashtirishni yoki ilovaga murakkab ijodiy ishlab chiqarishni qo‘shmoqchi bo‘lsangiz, telefonga sig‘maydigan darajada katta modellar kerak bo‘ladi. Bu erda bulutli AI o'ynaydi: ilovangiz API (Application Programming Interface - ikkita dastur bir-biriga ma'lumotlarni yuboradigan va qabul qiladigan standart interfeys) orqali katta til modeliga (LLM) ulanadi. Ushbu bo'limda biz bulutli LLMni mobil ilovaga xavfsiz, tez va xarajatni hisobga olgan holda qanday qilib integratsiya qilishni o'rganamiz. Asosiy e'tibor xavfsizlikka qaratiladi: noto'g'ri o'rnatilgan LLM integratsiyasi API kalitingizning sizib chiqishi va minglab funt sterlingga teng bo'lgan to'lovlarga olib kelishi mumkin.
Arxitekturaning oltin qoidasi: kalitni mijozda saqlang
Bulutli AI integratsiyasida qilinishi mumkin bo'lgan eng xavfli xato - bu API kalitini (xizmatdan foydalanishga ruxsat beruvchi maxfiy parol) to'g'ridan-to'g'ri mobil ilova kodiga joylashtirish. Mobil ilovalar foydalanuvchi qurilmasiga yuklab olinadi va kodni teskari muhandislik orqali o‘qish mumkin — kompilyatsiya qilingan ilovani tahlil qilish va uning ichida nima borligini ko‘rish. Agar kalitingiz ilova ichida boʻlsa, kimdir uni chiqarib olishi va hisobingizdan cheksiz soʻrovlar yuborishi mumkin.
To'g'ri arxitektura quyidagicha: mobil ilova so'rovlarni o'z serveringizga (siz boshqaradigan proksi-server) yuboradi; Kalit faqat serverda joylashgan; Server LLM xizmatiga o'tadi va ilovaga javobni qaytaradi. Ushbu vositachi dastur, shuningdek, tezlikni cheklash, suiiste'mollikning oldini olish va xarajatlarni nazorat qilishni ta'minlaydi.
Yondashuv
kalit qayerda
Xavfsizlik
Kalit ilovada (FALSE)
Mijozda, ommaviy
U oqadi, hisob portlaydi
Kalit orqa tomonda (TRUE)
Serverda, yashirin
Xavfsiz, boshqariladigan
Diqqat: AIdan bulutli LLM integratsiyasini so'raganingizda, u sizga qulaylik uchun kalitni to'g'ridan-to'g'ri dastur kodiga yozadigan misol keltirishi mumkin. Buni hech qachon jonli olib bormang. So'rovda "API kaliti mijozda bo'lmasligi kerak, proksi-server orqali o'ting" jumlasini kiritganingizga ishonch hosil qiling.
Oqim: qabul qilingan tezlikni oshirish
LLM javoblari uzoq bo'lishi mumkin va ularni to'liq ishlab chiqish uchun bir necha soniya kerak bo'ladi. Foydalanuvchini bo'sh ekranda kutish yomon tajriba. Yechim oqimdir - javob so'zma-so'z ko'rsatiladi, chunki u yaratilgan. Foydalanuvchi ChatGPT-da bo'lgani kabi matnning imlosini nazorat qiladi; bu idrok etilgan tezlik va ravonlikni keskin oshiradi. Mobil telefondagi oqim serverdan interfeysga bo'laklarni (tokenlar - model tomonidan ishlab chiqarilgan matn bo'lagi) ular kelishi bilan qo'shishni anglatadi. AIga integratsiyani chop etishda oqimni aniq so'rang.
Maslahat: Oqimli javobda “pauza” tugmasini qo‘shing. Foydalanuvchi o'zi xohlagan javobni olganida ishlab chiqarishni to'xtata olishi kerak; Bu keraksiz token ishlab chiqarishni qisqartirish orqali tajribani yaxshilaydi va xarajatlarni kamaytiradi. Uzoq javobning o'rtasida foydalanuvchi o'z javobini allaqachon topgan bo'lishi mumkin.
Xarajatlar, kechikishlar va xatolarni boshqarish
Cloud LLM har bir so'rov uchun pul xarajatlarini (token uchun to'lov) va vaqt xarajatlarini (kechikish) oladi. Uchta fan muhim ahamiyatga ega. Cost: limit prompt and response length, do not send unnecessarily long system instructions, default to small and cheap model if possible. Kechikish: oqimdan foydalaning, vaqt tugashini belgilang, tarmoq sekin bo'lsa, foydalanuvchini xabardor qiling. Xato: tarmoq uzilishi, xizmat 429 (juda ko'p so'rovlar) yoki 500 (server xatosi) qaytarishi mumkin; Ularning har birini ehtiyotkorlik bilan ishlating, ilovani buzmang. Shuningdek, LLM ba'zan ma'nosiz yoki noto'g'ri (gallyutsinatsiya) javoblar beradi; Muhim sohalarda javobni tekshirish qatlamini qo'shing.
uchta mini holat
1-holat - sizib ketgan kalit. Startap tezkor chiqish uchun OpenAI kalitini to‘g‘ridan-to‘g‘ri React Native ilovasiga o‘rnatdi. Ilova chiqarilgandan uch hafta o'tgach, kalit teskari ishlab chiqilgan va bir kechada 2400 dollarlik foydalanishga erishilgan. Jamoa kalitni qaytarib olishi va proksi-serverni o'rnatishi kerak edi. Dars: qulaylik uchun olingan yorliq eng qimmat marshrutga aylandi.
2-holat - Oqim bilan o'qishni tashlab ketish kamaydi. Taʼlim ilovasi birinchi marta oʻzining Savol-javob funksiyasini oqimsiz chiqardi; foydalanuvchilar 6 soniya bo'sh kutishdan keyin chiqishdi. Oqim qo'shilganda, birinchi so'z 0,8 soniyada paydo bo'la boshladi va tark etish darajasi 48% dan 12% gacha tushdi. Xuddi shu model, bir xil tezlik - taqdimotdagi farq.
3-holat - Xarajatlarni nazorat qilish. Bitta ilova barcha chat tarixini har bir foydalanuvchi xabari bilan modelga yuborgan; Uzoq suhbatlarda bitta so'rov 8 000 ta tokenga etib, narxni oshirdi. Oxirgi bir nechta xabarlar va xulosani yuborish orqali jamoa har bir so'rov uchun tokenlarni 70% ga qisqartirdi va oylik hisobni uchdan biriga qisqartirdi. Dars: yuborgan narsangizni o'lchang.
Zaif taklif / Kuchli taklif
Zaif taklif: "Mening ilovamga ChatGPT kabi chat qo'shing."
Kuchli so'rov: "Mening iOS/Swift ilovamga chat yordamchisini qo'shing. Arxitektura: ilova o'z serverimga so'rov yuboradi, LLM API kaliti MIJODA EMAS, u proksi-server orqali o'tadi. - Javob oqimli keladi, so'zma-so'z ko'rsatiladi - "To'xtatish" tugmasi ishlab chiqarishni to'xtatadi - Ishlash vaqti tugashi, tarmoqdagi xatolik, qisqacha 409 chat tarixi: 409 oxirgi 6 ta xabarni yuboring + xulosa (xarajat nazorati)Avval arxitektura diagrammasini tushuntiring, keyin mijoz va proksi-kodni alohida-alohida bering."
Nusxalanadigan shablonlar
Xavfsiz arxitektura shabloni: "Mening [platforma] ilovamga bulutli LLM integratsiyasini loyihalash. Qoida: API kaliti faqat backendda. Mijoz -> mening proksim -> LLM. Proksi-serverda: autentifikatsiya, har bir foydalanuvchi tezligi chegarasi, so‘rovlar jurnali. Mijoz va proksi-server mas’uliyatini alohida ro‘yxatga kiriting, keyin kodni eksport qiling."
Striming shablon: "Ushbu chat ekraniga oqimli javob qo‘shing:- Xabar qabariqiga kelishi bilan parchalar qo‘shing- Yozayotganda kursor/animatsiyani ko‘rsating- “To‘xtatish” tugmasi oqimni bekor qiling- Matnning qisman saqlansin va oqim tugashida xatolik yuz bersa, ogohlantiring[mavjud kod]"
Xarajat-kechikish shabloni:"Ushbu LLM integratsiyasida xarajat va kechikishni kamaytiring:- Yuborilgan tokenni qanday kamaytirishim mumkin (tarixning qisqartmasi, xulosasi)?- Qaysi holatda kichikroq/arzonroq model yetarli?- Vaqt tugashini va qayta urinib ko‘rish strategiyasini taklif qiling[kod]"
Xatolarga chidamlilik shabloni: "Ushbu LLM qo'ng'irog'ini bardoshli qiling: - Tarmoqsiz, vaqt tugashi uchun alohida xatti-harakatlar, 429 (stavka chegarasi), 500 (server) - Texnik bo'lmagan, foydalanuvchiga xushmuomalalik bilan xabar - Tanqidiy javoblarda gallyutsinatsiya xavfini tasdiqlovchi eslatma[kod]"
Umumiy xatolar
- API kalitini ilovaga kiritish. Eng qimmat va keng tarqalgan xavfsizlik xatosi; Kalit, albatta, orqa tomonda yotadi.
- Oqim ishlatilmaydi. Foydalanuvchini uzoq javoblarni kutishda qoldirish foydalanuvchini uzoqlashtiradi.
- Har bir so'rov bilan butun chat tarixini yuborish. Bu token narxini va kechikish vaqtini oshiradi.
- Xatolik shartlarini chetlab o'tish. Agar 429/500/vaqt tugashiga e'tibor berilmasa, dastur ishlamay qoladi yoki muzlab qoladi.
- LLM javobini savolsiz to'g'ri deb hisoblash. Gallyutsinatsiya haqiqiydir; Kritik sohada tasdiqlash qatlamini qo'shing.
- Foydalanuvchi ma'lumotlarini keraksiz LLMga yuborish. Shaxsiy ma'lumotlar bulutga o'tishdan oldin talab qilinadimi yoki maskalanishi kerakligini so'rang.
qisqa bayoni; yakunida
Cloud LLM qurilmaga mos kelmaydigan ajoyib imkoniyatlarni mobil qurilmaga olib keladi, lekin xavfsizlik va xarajat intizomini talab qiladi. Oltin qoida: API kaliti hech qachon mijozda bo'lmaydi, u proksi-server orqali o'tadi. Oqim sezilgan tezlikni va ushlab turishni sezilarli darajada oshiradi; "To'xtatish" tugmasi bilan qo'llab-quvvatlanadi. Xarajat yuborilgan tokenni qisqartirish orqali aniqlanadi; Chidamlilikka barcha xatolik holatlarini ehtiyotkorlik bilan hal qilish orqali erishiladi. LLM javoblari gallyutsinatsiyalarni o'z ichiga olishi mumkin; Muhim sohalarda tekshirish muhim va shaxsiy ma'lumotlar bulutga yuborishdan oldin ko'rib chiqiladi.
Ilova vazifasi
“Matnni umumlashtirish” yoki “chat” funksiyasi uchun “Xavfsiz arxitektura shablonidan” foydalangan holda AI-dan mijoz + proksi-server dizaynini so'rang. API kaliti faqat yaratilgan dizayndagi backendda joylashganligini tekshiring. Keyin "Xarajat-kechikish namunasi" bilan yuborilgan tokenni kamaytirishning kamida ikkita usulini ajratib oling va xato holati (masalan, 429) uchun foydalanuvchiga ko'rsatiladigan muloyim xabarni yozing.
nazorat ro'yxati
- [ ] API kaliti mijozda emas, balki backendda joylashganligini tasdiqladim
- [ ] Men javobni uzatdim va “pauza” tugmasini qo‘shdim
- [ ] Vaqt tugashi, tarmoq xatosi, 429 va 500 holatlarini ko'rib chiqdim
- [ ] Men taqdim etilgan tokenni oʻtgan qisqartma/xulosa bilan qisqartirdim
- [ ] Men LLM javobida gallyutsinatsiyalar xavfiga qarshi tekshirishni ko'rib chiqdim
- [ ] Bulutga kirishdan oldin shaxsiy maʼlumotlarning zarurligini/maskalanishini tekshirdim