ትርፍ፡
- የኤፒአይ ቁልፍን በደንበኛው ላይ የማያስቀምጥ ነገር ግን በኋለኛ-መጨረሻ ፕሮክሲ ውስጥ የሚያልፍ ደህንነቱ የተጠበቀ የደመና LLM አርክቴክቸር የመመስረት ችሎታ።
- የተገነዘበውን ፍጥነት በዥረት የሚጨምሩ እና እንደ ጊዜ ማብቂያዎች ፣ የአውታረ መረብ ስህተቶች እና የፍጥነት ገደቦች ያሉ ሁኔታዎችን በእርጋታ የሚያስተናግዱ ጠንካራ ውህደቶችን የመፃፍ ችሎታ።
- የተላከውን ማስመሰያ በማሳጠር ወጪውን የመቀነስ ችሎታ እና ወደ ደመናው ከመሄዱ በፊት የግል መረጃን አስፈላጊነት ይጠይቁ
በመሣሪያ ላይ AI ኃይለኛ ነው ነገር ግን የተወሰነ ነው። በእውነቱ “ስማርት ቻት ረዳት”፣ ረጅም የጽሁፍ ማጠቃለያ ወይም ውስብስብ የፈጠራ ምርትን ወደ መተግበሪያ ማከል ሲፈልጉ ከስልክ ጋር ለመገጣጠም በጣም ትልቅ የሆኑ ሞዴሎችን ያስፈልግዎታል። ደመና AI ወደ ጨዋታ የሚያስገባው ይህ ነው፡ መተግበሪያዎ ከትልቅ የቋንቋ ሞዴል (LLM) ጋር በኤፒአይ ይገናኛል (የመተግበሪያ ፕሮግራሚንግ በይነገጽ - ሁለት ሶፍትዌሮች እርስ በርስ የሚላኩበት እና የሚቀበሉበት መደበኛ በይነገጽ)። በዚህ ክፍል ደመና LLMን ከሞባይል አፕሊኬሽን ጋር ደህንነቱ በተጠበቀ፣ ፈጣን እና ወጪ ቆጣቢ በሆነ መንገድ እንዴት ማዋሃድ እንደምንችል እንማራለን። ወሳኙ አጽንዖት በደህንነት ላይ ይሆናል፡ በስህተት የተጫነ LLM ውህደት የኤፒአይ ቁልፍዎን ሊያፈስ እና በሺዎች ፓውንድ የሚቆጠር ሂሳቦችን ሊያስከትል ይችላል።
ወርቃማው የስነ-ህንፃ ህግ-ቁልፉን በደንበኛው ላይ ያስቀምጡ
በደመና AI ውህደት ውስጥ ሊፈጠር የሚችለው በጣም አደገኛ ስህተት የኤፒአይ ቁልፍን (አገልግሎቱን ለመጠቀም የሚያስችል ሚስጥራዊ የይለፍ ቃል) በቀጥታ ወደ ሞባይል መተግበሪያ ኮድ ማስገባት ነው። የሞባይል አፕሊኬሽኖች ወደ ተጠቃሚው መሳሪያ ይወርዳሉ እና ኮዱ በተገላቢጦሽ ምህንድስና ሊነበብ ይችላል - የተጠናቀረውን አፕሊኬሽን መተንተን እና በውስጡ ያለውን ማየት። ቁልፍዎ በመተግበሪያው ውስጥ ከሆነ፣ አንድ ሰው አውጥቶ ከመለያዎ ላይ ያልተገደበ ጥያቄ ሊያቀርብ ይችላል።
ትክክለኛው አርክቴክቸር ይህ ነው፡ የሞባይል አፕሊኬሽኑ ጥያቄዎችን ወደ ራስህ ደጋፊ አገልጋይ ይልካል (እርስዎ የሚቆጣጠሩት ተኪ አገልጋይ)። ቁልፉ በአገልጋዩ ላይ ብቻ ይኖራል; አገልጋዩ ወደ LLM አገልግሎት ሄዶ ምላሹን ወደ ማመልከቻው ይመልሳል። ይህ መሃከለኛ ዌር የፍጥነት መቆጣጠሪያን፣ አላግባብ መጠቀምን መከላከል እና የዋጋ ቁጥጥርን ያቀርባል።
አቀራረብ
ቁልፉ የት ነው
ደህንነት
ቁልፉ በመተግበሪያው ውስጥ ነው (FALSE)
በደንበኛ ፣ በአደባባይ
ይፈስሳል፣ ሂሳቡ ይፈነዳል።
ቁልፉ ከኋላ (TRUE) ውስጥ ነው
በአገልጋዩ ላይ, ተደብቋል
አስተማማኝ, መቆጣጠር የሚችል
ማስጠንቀቂያ፡ AI ለCloud LLM ውህደት ስትጠይቁ፣ ለርስዎ ምቾት ቁልፉን በቀጥታ ወደ መተግበሪያ ኮድ የሚጽፍ ምሳሌ ሊያወጣ ይችላል። ይህንን በፍፁም በቀጥታ አይውሰዱ። በጥያቄው ውስጥ "የኤፒአይ ቁልፉ በደንበኛው ላይ መሆን የለበትም፣ በኋለኛው ፕሮክሲ በኩል ይሂዱ" የሚለውን ዓረፍተ ነገር ማካተትዎን ያረጋግጡ።
ዥረት: የተገነዘበውን ፍጥነት መጨመር
የኤልኤልኤም መልሶች ረጅም ሊሆኑ እና ሙሉ ለሙሉ ለማምረት ሰከንዶች ሊወስዱ ይችላሉ። ተጠቃሚውን በባዶ ስክሪን ላይ መጠበቅን መተው መጥፎ ተሞክሮ ነው። መፍትሄው በዥረት እየለቀቀ ነው - የመልሱን ቃል በቃላት ማሳየት፣ እንደተፈጠረ። ተጠቃሚው እንደ ChatGPT የጽሑፉን አጻጻፍ ይከታተላል; ይህ የማስተዋል ፍጥነት እና ቅልጥፍናን በእጅጉ ይጨምራል። በሞባይል ላይ ፍሰት ማለት ቁርጥራጮች (ቶከኖች - በአምሳያው የተሰራውን የጽሑፍ ቁራጭ) ከአገልጋዩ ወደ መገናኛው እንደደረሱ ማከል ማለት ነው። ውህደትን ወደ AI በሚታተምበት ጊዜ ፍሰቱን በግልፅ ይጠይቁ።
ጠቃሚ ምክር፡ በዥረት ምላሹ ውስጥ የ"አፍታ አቁም" ቁልፍን ጨምር። ተጠቃሚው የሚፈልገውን መልስ ሲያገኝ ምርቱን ማቆም መቻል አለበት; ይህ ሁለቱም ልምድን ያሻሽላል እና አላስፈላጊ ቶከን ትውልድን በመቁረጥ ወጪን ይቀንሳል። በረዥሙ መልስ መካከል ተጠቃሚው ቀድሞውኑ መልሱን አግኝቶ ሊሆን ይችላል።
ወጪ፣ መዘግየት እና የስህተት አስተዳደር
ክላውድ LLM የገንዘብ ወጪን (ክፍያ በአንድ ማስመሰያ) እና የጊዜ ወጪ (ዘግይቶ) ከእያንዳንዱ ጥያቄ ጋር ይይዛል። ሶስት የትምህርት ዓይነቶች አስፈላጊ ናቸው. ወጪ፡ ፈጣን እና የምላሽ ርዝመትን ይገድቡ፣ አላስፈላጊ ረጅም የስርዓት መመሪያዎችን አይላኩ፣ ከተቻለ አነስተኛ እና ርካሽ ሞዴል ነባሪ። የቆይታ ጊዜ፡ ዥረትን ተጠቀም፣ ጊዜው የሚያበቃበትን ጊዜ አዘጋጅ፣ አውታረመረብ ቀርፋፋ ከሆነ ተጠቃሚን አሳውቅ። ስህተት: የአውታረ መረብ መቋረጥ, አገልግሎት 429 (በጣም ብዙ ጥያቄዎች) ወይም 500 (የአገልጋይ ስህተት) ሊመለስ ይችላል; እያንዳንዱን በእርጋታ ይያዙ ፣ መተግበሪያውን አያበላሹት። እንዲሁም፣ LLM አንዳንድ ጊዜ ትርጉም የለሽ ወይም የተሳሳቱ መልሶች ይሰጣል። ወሳኝ በሆኑ ቦታዎች ላይ የመልሱን ማረጋገጫ ንብርብር ያክሉ።
ሶስት ጥቃቅን ጉዳዮች
ጉዳይ 1 - የፈሰሰ ቁልፍ። አንድ ጀማሪ በፍጥነት ለመውጣት የOpenAI ቁልፍን በቀጥታ ወደ React Native መተግበሪያ ገብቷል። አፕሊኬሽኑ ከተለቀቀ ከሶስት ሳምንታት በኋላ ቁልፉ ተቀልብሶ 2,400 ዶላር ዋጋ ያለው ጥቅም ላይ ውሏል። ቡድኑ ቁልፉን መሻር እና የደጋፊ ፕሮክሲ ማዘጋጀት ነበረበት። ትምህርት፡ ለምቾት የተወሰደው አቋራጭ መንገድ በጣም ውድ መንገድ ሆነ።
ጉዳይ 2 - ማቋረጥ በፍሰት ቀንሷል። አንድ የትምህርት መተግበሪያ የጥያቄ እና መልስ ባህሪውን ያለ ዥረት ለመጀመሪያ ጊዜ ለቋል። ተጠቃሚዎች ከ6 ሰከንድ ስራ ፈትነት በኋላ እየወጡ ነበር። ፍሰት ሲጨመር የመጀመሪያው ቃል በ0.8 ሰከንድ ውስጥ መታየት ጀመረ እና የመተው መጠን ከ 48% ወደ 12% ወርዷል። ተመሳሳይ ሞዴል, ተመሳሳይ ፍጥነት - የአቀራረብ ልዩነት ብቻ ነው.
ጉዳይ 3 - የዋጋ ቁጥጥር. አንድ መተግበሪያ በእያንዳንዱ የተጠቃሚ መልእክት ሙሉውን የውይይት ታሪክ ወደ ሞዴል ይልክ ነበር; በረዥም ንግግሮች ውስጥ፣ አንድ ጥያቄ 8,000 ቶከኖች ደርሷል፣ ይህም ወጪውን ጨምሯል። የመጨረሻዎቹን ጥቂት መልዕክቶች እና ማጠቃለያ ብቻ በመላክ፣ ቡድኑ የአንድን ጥያቄ ቶከኖች በ70% ቀንሷል፣ ይህም ወርሃዊ ሂሳቡን ወደ ሶስተኛ ቀንሷል። ትምህርት፡ የላኩትን ይለኩ።
ደካማ ጥያቄ / ጠንካራ ጥያቄ
ደካማ ጥያቄ፡ "እንደ ChatGPT ያለ ውይይት ወደ መተግበሪያዬ አክል።"
ኃይለኛ ጥያቄ፡ "በእኔ iOS/Swift መተግበሪያ ላይ የውይይት ረዳትን ጨምር። አርክቴክቸር፡ አፕሊኬሽኑ ለራሴ ደጋፊ ጥያቄ ይልካል፣ LLM API ቁልፍ በደንበኛው ላይ አይደለም፣ በፕሮክሲው በኩል ያልፋል። + ማጠቃለያ (የዋጋ ቁጥጥር)የሥነ ሕንፃ ሥዕላዊ መግለጫውን መጀመሪያ ያብራሩ፣ ከዚያ ለደንበኛው እና የተኪ ኮድ ለየብቻ ይስጡ።
ሊገለበጡ የሚችሉ አብነቶች
ደህንነቱ የተጠበቀ የአርክቴክቸር አብነት፡ "የደመና LLM ውህደትን በእኔ [የመድረክ ላይ] መተግበሪያ ውስጥ ንድፍ። ደንብ፡ የኤፒአይ ቁልፍ በኋለኛ ክፍል ውስጥ ብቻ። ደንበኛ -> የእኔ ተኪ -> LLM። በፕሮክሲ፡ የማረጋገጫ፣ የተጠቃሚ መጠን ገደብ፣ መግባትን ጠይቅ። ደንበኛን እና የተኪ ኃላፊነቶችን ለየብቻ ይዘርዝሩ እና ኮዱን ወደ ውጭ ላክ።"
የዥረት ቅንብር አብነት፡ "በዚህ የውይይት ስክሪን ላይ የዥረት ምላሾችን አክል፡- በመልእክቱ አረፋ ላይ ሲደርሱ ቅንጣቢዎችን ጨምር - በሚተይቡበት ጊዜ ጠቋሚ/አኒሜሽን ያሳዩ - ዥረቱን አቁም" ቁልፍ ይኑርህ - ከፊል ጽሁፍ አቆይ እና ዥረቱ እያለቀ ሳለ ስህተት ካለ አስጠንቅቅ[ነባሩ ኮድ]"
የዋጋ መዘግየት አብነት፡"በዚህ የኤልኤልኤም ውህደት ወጭን እና መዘግየትን ቀንስ፡- የተላከውን ማስመሰያ እንዴት እቀንስ (የታሪክ ምህፃረ ቃል፣ ማጠቃለያ)? - በዚህ አጋጣሚ አነስተኛ/ርካሽ ሞዴል በቂ ነው? - ጊዜው የሚያበቃበትን ጊዜ ጠቁም እና ስልት እንደገና ይሞክሩ[ኮድ]"
የስህተት መቻቻል አብነት፡ "ይህን የኤል.ኤም.ኤል ጥሪ የሚቋቋም ያድርጉት፡- ለየትኛውም አውታረ መረብ የተለየ ባህሪ፣ ጊዜ ያለፈበት፣ 429 (ተመን ገደብ)፣ 500 (አገልጋይ) - ቴክኒካል ያልሆነ፣ ጨዋነት ያለው መልእክት ለተጠቃሚ - ወሳኝ በሆኑ ምላሾች ውስጥ የማሰብ አደጋን የሚከላከል የማረጋገጫ ማስታወሻ[ኮድ]"
የተለመዱ ስህተቶች
- በመተግበሪያው ውስጥ የኤፒአይ ቁልፍን በመክተት ላይ። በጣም ውድ እና የተለመደው የደህንነት ስህተት; ቁልፉ በእርግጠኝነት በጀርባው ጫፍ ላይ ይገኛል.
- ፍሰት አለመጠቀም። ተጠቃሚውን ረጅም መልሶች እንዲጠብቅ መተው ተጠቃሚውን ያባርራል።
- ከእያንዳንዱ ጥያቄ ጋር ሙሉውን የውይይት ታሪክ በመላክ ላይ። የማስመሰያ ወጪን እና መዘግየትን ያበዛል።
- የስህተት ሁኔታዎችን ማለፍ። 429/500/የጊዜ ማብቂያ ካልተፈታ አፕሊኬሽኑ ይሰናከላል ወይም ይቀዘቅዛል።
- የኤል.ኤም.ኤል. መልሱን ያለምንም ጥያቄ ትክክል እንደሆነ በመመልከት. ቅዠቱ እውነት ነው; ወሳኝ በሆነ ቦታ ላይ የማረጋገጫ ንብርብር ያክሉ።
- የተጠቃሚ ውሂብ ወደ አላስፈላጊ LLM በመላክ ላይ። ወደ ደመናው ከመሄዱ በፊት የግል መረጃ ይፈለግ ወይም መደበቅ እንዳለበት ይጠይቁ።
በማጠቃለያው
ክላውድ LLM በመሣሪያው ላይ ለሞባይል የማይመጥኑ ጥሩ ችሎታዎችን ያመጣል፣ነገር ግን ደህንነትን እና የወጪ ዲሲፕሊንን ይፈልጋል። ወርቃማው ህግ፡ የኤፒአይ ቁልፉ መቼም በደንበኛው ላይ የለም፣ በኋለኛው ፕሮክሲ በኩል ያልፋል። ፍሰት የተገነዘበውን ፍጥነት እና ማቆየት በእጅጉ ይጨምራል; በ "አቁም" ቁልፍ የተደገፈ። ወጪው የተላከውን ማስመሰያ በማሳጠር ይወሰናል; ሁሉንም የስህተት ጉዳዮችን በጸጋ በማስተናገድ ጽናትን ማግኘት ይቻላል። የኤልኤልኤም መልሶች ቅዠቶችን ሊያካትቱ ይችላሉ። ወሳኝ በሆኑ አካባቢዎች፣ ማረጋገጥ አስፈላጊ ነው እና የግል ውሂብ ወደ ደመና ከመላክዎ በፊት ይገመገማል።
የመተግበሪያ ተግባር
ለ"ጽሑፍ ማጠቃለያ" ወይም "ቻት" ባህሪ "ደህንነቱ የተጠበቀ የአርክቴክቸር አብነት" በመጠቀም ደንበኛን + የጀርባ ተኪ ንድፍ ይጠይቁ። የኤፒአይ ቁልፉ በተፈጠረ ንድፍ ውስጥ በጀርባ ውስጥ ብቻ እንደሚኖር ያረጋግጡ። ከዚያም በ"Cost-delay pattern" የተላከውን ማስመሰያ ለመቀነስ ቢያንስ ሁለት መንገዶችን ያውጡ እና ለስህተት ሁኔታ (ለምሳሌ 429) ለተጠቃሚው እንዲታይ ጨዋነት ያለው መልእክት ይፃፉ።
የማረጋገጫ ዝርዝር
- [ ] የኤፒአይ ቁልፉ በደንበኛው ላይ ሳይሆን በጀርባው ውስጥ እንደሚኖር አረጋግጫለሁ።
- [ ] ምላሹን በዥረት እንዲለቀቅ አድርጌያለሁ እና 'ለአፍታ አቁም' ቁልፍ ጨመርኩ።
- [] የጊዜ ማብቂያ፣ የአውታረ መረብ ስህተት፣ 429 እና 500 ሁኔታዎችን ተቆጣጠርኩ።
- [ ] የገባውን ማስመሰያ ካለፈው ምህፃረ ቃል/ማጠቃለያ ጋር ቀነስኩት
- [ ] በኤልኤልኤም መልስ ውስጥ ከቅዠት ስጋት አንጻር ማረጋገጫን አስቤ ነበር።
- [ ] ወደ ደመና ከመሄዴ በፊት የግል መረጃን አስፈላጊነት/ጭንብል አረጋገጥኩ።