ஆதாயங்கள்:
- பாதுகாப்பான கிளவுட் எல்எல்எம் கட்டமைப்பை நிறுவும் திறன், இது ஏபிஐ விசையை கிளையண்டில் வைத்திருக்காது, ஆனால் பின்-இறுதி ப்ராக்ஸி வழியாக செல்லும்
- ஸ்ட்ரீமிங் மூலம் உணரப்பட்ட வேகத்தை அதிகரிக்கும் மற்றும் நேரமுடிவுகள், நெட்வொர்க் பிழைகள் மற்றும் வேக வரம்புகள் போன்ற சூழ்நிலைகளை மெதுவாகக் கையாளும் வலுவான ஒருங்கிணைப்புகளை எழுதும் திறன்
- அனுப்பப்பட்ட டோக்கனைக் குறைப்பதன் மூலம் செலவைக் குறைக்கும் திறன் மற்றும் மேகக்கணிக்குச் செல்லும் முன் தனிப்பட்ட தரவின் அவசியத்தை கேள்விக்குள்ளாக்குகிறது
சாதனத்தில் AI சக்தி வாய்ந்தது ஆனால் வரம்புக்குட்பட்டது. ஒரு பயன்பாட்டில் உண்மையிலேயே “ஸ்மார்ட் அரட்டை உதவியாளர்,” நீண்ட உரை சுருக்கம் அல்லது சிக்கலான படைப்புத் தயாரிப்பைச் சேர்க்க விரும்பினால், மொபைலில் பொருத்த முடியாத அளவுக்கு பெரிய மாதிரிகள் உங்களுக்குத் தேவைப்படும். இங்குதான் கிளவுட் ஏஐ செயல்பாட்டுக்கு வருகிறது: உங்கள் பயன்பாடு ஒரு பெரிய மொழி மாதிரியுடன் (எல்எல்எம்) ஏபிஐ (அப்ளிகேஷன் புரோகிராமிங் இன்டர்ஃபேஸ் - இரண்டு மென்பொருட்கள் ஒன்றுக்கொன்று தரவை அனுப்பும் மற்றும் பெறும் நிலையான இடைமுகம்) மூலம் இணைக்கிறது. இந்த யூனிட்டில் கிளவுட் எல்.எல்.எம்-ஐ மொபைல் பயன்பாட்டில் எவ்வாறு ஒருங்கிணைப்பது என்பதை பாதுகாப்பான, வேகமான மற்றும் செலவு-நிச்சயமான முறையில் கற்றுக்கொள்வோம். முக்கியமான முக்கியத்துவம் பாதுகாப்பில் இருக்கும்: தவறாக நிறுவப்பட்ட LLM ஒருங்கிணைப்பு உங்கள் API விசையை கசியவிடலாம் மற்றும் ஆயிரக்கணக்கான பவுண்டுகள் மதிப்புள்ள பில்களை விளைவிக்கும்.
கட்டிடக்கலையின் பொற்கால விதி: கிளையண்டில் சாவியை வைத்திருங்கள்
கிளவுட் ஏஐ ஒருங்கிணைப்பில் செய்யக்கூடிய மிக ஆபத்தான தவறு, ஏபிஐ விசையை (சேவையைப் பயன்படுத்துவதை அங்கீகரிக்கும் ரகசிய கடவுச்சொல்) நேரடியாக மொபைல் பயன்பாட்டுக் குறியீட்டில் உட்பொதிப்பதாகும். மொபைல் பயன்பாடுகள் பயனரின் சாதனத்தில் பதிவிறக்கம் செய்யப்படுகின்றன, மேலும் குறியீட்டை ரிவர்ஸ் இன்ஜினியரிங் மூலம் படிக்கலாம் - தொகுக்கப்பட்ட பயன்பாட்டைப் பாகுபடுத்தி அதன் உள்ளே என்ன இருக்கிறது என்பதைப் பார்க்கவும். உங்கள் சாவி பயன்பாட்டிற்குள் இருந்தால், யாராவது அதைப் பிரித்தெடுத்து உங்கள் கணக்கிலிருந்து வரம்பற்ற கோரிக்கைகளை செய்யலாம்.
சரியான கட்டமைப்பு இதுதான்: மொபைல் பயன்பாடு உங்கள் சொந்த பின்தள சேவையகத்திற்கு கோரிக்கைகளை அனுப்புகிறது (நீங்கள் கட்டுப்படுத்தும் ப்ராக்ஸி சர்வர்); விசை சேவையகத்தில் மட்டுமே உள்ளது; சேவையகம் LLM சேவைக்குச் சென்று பயன்பாட்டிற்கான பதிலை வழங்குகிறது. இந்த மிடில்வேர் வேகக் கட்டுப்பாடு, முறைகேடு தடுப்பு மற்றும் செலவுக் கட்டுப்பாடு ஆகியவற்றையும் வழங்குகிறது.
அணுகுமுறை
சாவி எங்கே
பாதுகாப்பு
முக்கிய பயன்பாட்டில் உள்ளது (FALSE)
வாடிக்கையாளர், பொது
அது கசிகிறது, பில் வெடிக்கிறது
சாவி பின்தளத்தில் உள்ளது (TRUE)
சர்வரில், மறைக்கப்பட்டுள்ளது
பாதுகாப்பானது, கட்டுப்படுத்தக்கூடியது
எச்சரிக்கை: கிளவுட் எல்எல்எம் ஒருங்கிணைப்புக்கு AIயிடம் நீங்கள் கேட்கும் போது, அது உங்கள் வசதிக்காக நேரடியாக பயன்பாட்டுக் குறியீட்டில் விசையை எழுதும் உதாரணத்தை உருவாக்கலாம். இதை ஒருபோதும் நேரலையில் எடுக்காதீர்கள். "API விசை கிளையண்டில் இருக்கக்கூடாது, பின்தளத்தில் ப்ராக்ஸி வழியாக செல்லவும்" என்ற வாக்கியத்தை வரியில் சேர்க்க மறக்காதீர்கள்.
ஸ்ட்ரீமிங்: உணரப்பட்ட வேகத்தை அதிகரிக்கும்
எல்.எல்.எம் பதில்கள் நீண்டதாகவும், முழுமையடைய சில வினாடிகள் ஆகவும் இருக்கும். பயனரை வெற்றுத் திரையில் காத்திருப்பது ஒரு மோசமான அனுபவம். தீர்வு ஸ்ட்ரீமிங் ஆகும் - பதிலை வார்த்தைக்கு வார்த்தையாகக் காண்பிக்கும். ChatGPT இல் உள்ளதைப் போல, உரையின் எழுத்துப்பிழையை பயனர் கண்காணிக்கிறார்; இது வியத்தகு முறையில் உணரப்பட்ட வேகம் மற்றும் சரளத்தை அதிகரிக்கிறது. மொபைலில் ஃப்ளோ என்பது சேவையகத்திலிருந்து இடைமுகத்திற்கு வரும் போது துண்டுகளை (டோக்கன்கள் - மாதிரியால் உருவாக்கப்பட்ட உரையின் துண்டு) சேர்ப்பதாகும். AI உடன் ஒருங்கிணைப்பை அச்சிடும்போது வெளிப்படையாக ஓட்டத்தைக் கோரவும்.
உதவிக்குறிப்பு: ஸ்ட்ரீமிங் பதிலில் "இடைநிறுத்தம்" பொத்தானைச் சேர்க்கவும். அவர் விரும்பிய பதிலைப் பெறும்போது பயனர் உற்பத்தியை நிறுத்த முடியும்; இது அனுபவத்தை மேம்படுத்துகிறது மற்றும் தேவையற்ற டோக்கன் உருவாக்கத்தைக் குறைப்பதன் மூலம் செலவைக் குறைக்கிறது. நீண்ட பதிலின் நடுவில், பயனர் ஏற்கனவே தங்கள் பதிலைக் கண்டுபிடித்திருக்கலாம்.
செலவு, தாமதம் மற்றும் பிழை மேலாண்மை
கிளவுட் எல்எல்எம் ஒவ்வொரு கோரிக்கையிலும் பணச் செலவு (டோக்கனுக்குக் கட்டணம்) மற்றும் நேரச் செலவு (தாமதம்) ஆகியவற்றைக் கொண்டுள்ளது. மூன்று துறைகள் அவசியம். Cost: limit prompt and response length, do not send unnecessarily long system instructions, default to small and cheap model if possible. தாமதம்: ஸ்ட்ரீமிங்கைப் பயன்படுத்தவும், நேரத்தை அமைக்கவும், நெட்வொர்க் மெதுவாக இருந்தால் பயனருக்குத் தெரிவிக்கவும். பிழை: நெட்வொர்க் செயலிழப்பு, சேவை 429 (அதிகமான கோரிக்கைகள்) அல்லது 500 (சேவையகப் பிழை); ஒவ்வொன்றையும் மெதுவாகக் கையாளுங்கள், பயன்பாட்டை செயலிழக்கச் செய்யாதீர்கள். மேலும், LLM சில நேரங்களில் அர்த்தமற்ற அல்லது தவறான (மாயத்தோற்றம்) பதில்களை அளிக்கிறது; முக்கியமான பகுதிகளில் பதிலின் சரிபார்ப்பு அடுக்கைச் சேர்க்கவும்.
மூன்று சிறிய வழக்குகள்
வழக்கு 1 - கசிந்த விசை. ஒரு ஸ்டார்ட்அப் விரைவாக வெளியேற OpenAI விசையை அதன் ரியாக்ட் நேட்டிவ் பயன்பாட்டில் நேரடியாக உட்பொதித்தது. பயன்பாடு வெளியிடப்பட்ட மூன்று வாரங்களுக்குப் பிறகு, விசை தலைகீழாக பொறிக்கப்பட்டது மற்றும் ஒரே இரவில் $2,400 மதிப்புள்ள பயன்பாடு செய்யப்பட்டது. குழு சாவியைத் திரும்பப் பெற்று, பின்தளத்தில் ப்ராக்ஸியை அமைக்க வேண்டும். பாடம்: வசதிக்காக எடுக்கப்பட்ட குறுக்குவழி மிகவும் விலையுயர்ந்த பாதையாக மாறியது.
வழக்கு 2 - ஓட்டத்துடன் கைவிடுதல் குறைந்தது. ஒரு கல்விப் பயன்பாடானது அதன் கேள்வி பதில் அம்சத்தை ஸ்ட்ரீமிங் இல்லாமல் முதலில் வெளியிட்டது; 6 வினாடிகள் செயலற்ற காத்திருப்புக்குப் பிறகு பயனர்கள் வெளியேறினர். ஓட்டம் சேர்க்கப்படும் போது, முதல் வார்த்தை 0.8 வினாடிகளில் தோன்றத் தொடங்கியது, மேலும் கைவிடப்பட்ட விகிதம் 48% இலிருந்து 12% ஆக குறைந்தது. அதே மாதிரி, அதே வேகம் — விளக்கக்காட்சியில் ஒரு வித்தியாசம்.
வழக்கு 3 - செலவு கட்டுப்பாடு. ஒரு பயன்பாடானது, ஒவ்வொரு பயனர் செய்தியுடன் முழு அரட்டை வரலாற்றையும் மாதிரிக்கு அனுப்புகிறது; நீண்ட உரையாடல்களில், ஒரு கோரிக்கை 8,000 டோக்கன்களை எட்டியது, இது செலவை உயர்த்தியது. கடைசி சில செய்திகள் மற்றும் சுருக்கத்தை அனுப்புவதன் மூலம், குழு ஒரு கோரிக்கைக்கான டோக்கன்களை 70% குறைத்து, மாதாந்திர கட்டணத்தை மூன்றில் ஒரு பங்காகக் குறைத்தது. பாடம்: நீங்கள் அனுப்புவதை அளவிடவும்.
பலவீனமான வரியில் / வலுவான வரியில்
பலவீனமான அறிவுறுத்தல்: "என்னுடைய பயன்பாட்டில் ChatGPT போன்ற அரட்டையைச் சேர்."
சக்திவாய்ந்த அறிவுறுத்தல்: "எனது iOS/Swift பயன்பாட்டிற்கு அரட்டை உதவியாளரைச் சேர்க்கவும். கட்டிடக்கலை: பயன்பாடு எனது சொந்த பின்தளத்திற்கு ஒரு கோரிக்கையை அனுப்புகிறது, LLM API விசை கிளையண்டில் இல்லை, அது ப்ராக்ஸி வழியாகச் செல்கிறது. - பதில் ஸ்ட்ரீமிங் வருகிறது, வார்த்தைக்கு வார்த்தை காட்டப்படும் - 'நிறுத்து' பொத்தான் உற்பத்தியை குறுக்கிடுகிறது - 50040 காலக்கெடுவைக் கையாள்வதில் பிழை. அரட்டை வரலாறு: கடைசி 6 செய்திகளை அனுப்பவும் + சுருக்கம் (செலவு கட்டுப்பாடு) முதலில் கட்டடக்கலை வரைபடத்தை விளக்குங்கள், பின்னர் கிளையன்ட் மற்றும் ப்ராக்ஸி குறியீட்டை தனித்தனியாக வழங்கவும்."
நகலெடுக்கக்கூடிய வார்ப்புருக்கள்
பாதுகாப்பான கட்டிடக்கலை டெம்ப்ளேட்:"எனது [பிளாட்ஃபார்ம்] பயன்பாட்டில் கிளவுட் LLM ஒருங்கிணைப்பை வடிவமைக்கவும். விதி: API விசை பின்தளத்தில் மட்டுமே. கிளையண்ட் -> எனது ப்ராக்ஸி -> LLM. ப்ராக்ஸியில்: அங்கீகாரம், ஒவ்வொரு பயனருக்கும் வீத வரம்பு, உள்நுழைவு கோரிக்கை. கிளையன்ட் மற்றும் ப்ராக்ஸி குறியீட்டை தனித்தனியாகப் பட்டியலிடவும், பின்னர் பொறுப்புகள் தனித்தனியாக ஏற்றுமதி செய்யவும்."
ஸ்ட்ரீமிங் டெம்ப்ளேட்: "இந்த அரட்டைத் திரையில் ஸ்ட்ரீமிங் பதிலைச் சேர்க்கவும்:- செய்தி குமிழியில் துணுக்குகளைச் சேர்க்கவும்- தட்டச்சு செய்யும் போது கர்சர்/அனிமேஷனைக் காட்டு- 'நிறுத்து' பொத்தான் ஸ்ட்ரீமை ரத்துசெய்யவும்- ஸ்ட்ரீம் முடிவடையும் போது பிழை ஏற்பட்டால் எச்சரிக்கவும்[இருக்கும் குறியீடு]"
செலவு-தாமத டெம்ப்ளேட்:"இந்த LLM ஒருங்கிணைப்பில் செலவு மற்றும் தாமதத்தைக் குறைத்தல்:- அனுப்பப்பட்ட டோக்கனை எவ்வாறு குறைப்பது (வரலாறு சுருக்கம், சுருக்கம்)?- இதில் சிறிய/மலிவான மாதிரி போதுமானது?- காலக்கெடுவை பரிந்துரைத்து உத்தியை மீண்டும் முயற்சிக்கவும்[குறியீடு]"
தவறு சகிப்புத்தன்மை டெம்ப்ளேட்: "இந்த LLM அழைப்பை மீள்தன்மையடையச் செய்யுங்கள்:- நெட்வொர்க் இல்லாத தனி நடத்தை, காலக்கெடு, 429 (விகித வரம்பு), 500 (சர்வர்)- தொழில்நுட்பம் அல்லாத, பயனருக்கு கண்ணியமான செய்தி- முக்கியமான பதில்களில்[குறியீடு] மாயத்தோற்றம் ஏற்படும் அபாயத்திற்கு எதிராக சரிபார்ப்பு குறிப்பு"
பொதுவான தவறுகள்
- பயன்பாட்டில் API விசையை உட்பொதித்தல். மிகவும் விலையுயர்ந்த மற்றும் பொதுவான பாதுகாப்பு பிழை; முக்கிய நிச்சயமாக பின் இறுதியில் உள்ளது.
- ஓட்டத்தைப் பயன்படுத்துவதில்லை. நீண்ட பதில்களுக்காக பயனரைக் காத்திருக்க வைப்பது பயனரை விரட்டிவிடும்.
- ஒவ்வொரு கோரிக்கையிலும் முழு அரட்டை வரலாற்றையும் அனுப்புகிறது. இது டோக்கன் செலவு மற்றும் தாமதத்தை பெருக்குகிறது.
- பிழை நிலைமைகளைத் தவிர்ப்பது. 429/500/நேரம் முடிவடையவில்லை என்றால், பயன்பாடு செயலிழந்துவிடும் அல்லது முடக்கப்படும்.
- கேள்வியின்றி எல்எல்எம் பதிலை சரியானதாகக் கருதுதல். மாயத்தோற்றம் உண்மையானது; முக்கியமான பகுதியில் சரிபார்ப்பு அடுக்கைச் சேர்க்கவும்.
- தேவையற்ற LLMக்கு பயனர் தரவை அனுப்புகிறது. தனிப்பட்ட தரவு தேவையா அல்லது மேகக்கணிக்குச் செல்லும் முன் மறைக்கப்பட வேண்டுமா எனக் கேட்கவும்.
சுருக்கமாக
Cloud LLM ஆனது சாதனத்தில் பொருந்தாத சிறந்த திறன்களை மொபைலுக்குக் கொண்டுவருகிறது, ஆனால் பாதுகாப்பு மற்றும் செலவு ஒழுக்கம் தேவைப்படுகிறது. கோல்டன் ரூல்: API விசை எப்போதும் கிளையண்டில் இருக்காது, அது பின்தள ப்ராக்ஸி வழியாக செல்கிறது. ஓட்டம் உணரப்பட்ட வேகம் மற்றும் தக்கவைப்பை பெரிதும் அதிகரிக்கிறது; "நிறுத்து" பொத்தான் ஆதரிக்கிறது. அனுப்பப்பட்ட டோக்கனைக் குறைப்பதன் மூலம் செலவு தீர்மானிக்கப்படுகிறது; எல்லா பிழை வழக்குகளையும் நேர்த்தியாகக் கையாள்வதன் மூலம் பின்னடைவு அடையப்படுகிறது. LLM பதில்களில் மாயத்தோற்றங்கள் இருக்கலாம்; முக்கியமான பகுதிகளில், சரிபார்ப்பு அவசியம் மற்றும் தனிப்பட்ட தரவு மேகக்கணிக்கு அனுப்பும் முன் மதிப்பாய்வு செய்யப்படும்.
விண்ணப்ப பணி
"உரை சுருக்கம்" அல்லது "அரட்டை" அம்சத்திற்காக "பாதுகாப்பான கட்டிடக்கலை டெம்ப்ளேட்டை" பயன்படுத்தி AI இலிருந்து கிளையன்ட் + பின்தளத்தில் ப்ராக்ஸி வடிவமைப்பைக் கோரவும். உருவாக்கப்பட்ட வடிவமைப்பில் API விசை பின்தளத்தில் மட்டுமே உள்ளது என்பதைச் சரிபார்க்கவும். பின்னர் "செலவு-தாமத முறை" மூலம் அனுப்பப்பட்ட டோக்கனைக் குறைக்க குறைந்தபட்சம் இரண்டு வழிகளைப் பிரித்தெடுத்து, ஒரு பிழை நிலைக்காக (எ.கா. 429) பயனருக்குக் காண்பிக்கப்படும் கண்ணியமான செய்தியை எழுதவும்.
சரிபார்ப்பு பட்டியல்
- [ ] API விசை பின்தளத்தில் உள்ளது மற்றும் கிளையண்டில் இல்லை என்பதை நான் சரிபார்த்தேன்
- [ ] நான் பதில் ஸ்ட்ரீமிங் செய்து 'இடைநிறுத்தம்' பொத்தானைச் சேர்த்தேன்
- [ ] நான் நேரம் முடிந்தது, நெட்வொர்க் பிழை, 429 மற்றும் 500 சூழ்நிலைகளைக் கையாண்டேன்
- [ ] கடந்தகால சுருக்கம்/சுருக்கத்துடன் சமர்ப்பிக்கப்பட்ட டோக்கனைக் குறைத்தேன்
- [ ] LLM பதிலில் மாயத்தோற்றம் ஏற்படும் அபாயத்திற்கு எதிரான சரிபார்ப்பை நான் கருதினேன்
- [ ] மேகக்கணிக்குச் செல்வதற்கு முன் தனிப்பட்ட தரவின் அவசியத்தை/மாஸ்க்கிங்கைச் சரிபார்த்தேன்