നേട്ടങ്ങൾ:
- ക്ലയൻ്റിൽ API കീ സൂക്ഷിക്കാത്തതും എന്നാൽ ഒരു ബാക്ക് എൻഡ് പ്രോക്സിയിലൂടെ കടന്നുപോകുന്നതുമായ ഒരു സുരക്ഷിത ക്ലൗഡ് LLM ആർക്കിടെക്ചർ സ്ഥാപിക്കാനുള്ള കഴിവ്
- സ്ട്രീമിംഗ് ഉപയോഗിച്ച് മനസ്സിലാക്കാവുന്ന വേഗത വർദ്ധിപ്പിക്കുകയും സമയപരിധികൾ, നെറ്റ്വർക്ക് പിശകുകൾ, വേഗത പരിധികൾ എന്നിവ പോലുള്ള സാഹചര്യങ്ങൾ സൌമ്യമായി കൈകാര്യം ചെയ്യുകയും ചെയ്യുന്ന ശക്തമായ സംയോജനങ്ങൾ എഴുതാനുള്ള കഴിവ്
- അയച്ച ടോക്കൺ ചുരുക്കി ക്ലൗഡിലേക്ക് പോകുന്നതിന് മുമ്പ് വ്യക്തിഗത ഡാറ്റയുടെ ആവശ്യകതയെ ചോദ്യം ചെയ്യുന്നതിലൂടെ ചെലവ് കുറയ്ക്കാനുള്ള കഴിവ്
ഉപകരണത്തിലെ AI ശക്തമാണെങ്കിലും പരിമിതമാണ്. നിങ്ങൾക്ക് ഒരു യഥാർത്ഥ "സ്മാർട്ട് ചാറ്റ് അസിസ്റ്റൻ്റ്", ദൈർഘ്യമേറിയ വാചക സംഗ്രഹം അല്ലെങ്കിൽ സങ്കീർണ്ണമായ ക്രിയേറ്റീവ് പ്രൊഡക്ഷൻ എന്നിവ ഒരു ആപ്പിലേക്ക് ചേർക്കാൻ താൽപ്പര്യപ്പെടുമ്പോൾ, നിങ്ങൾക്ക് ഫോണിൽ ഉൾക്കൊള്ളിക്കാൻ കഴിയാത്തത്ര വലിപ്പമുള്ള മോഡലുകൾ ആവശ്യമാണ്. ഇവിടെയാണ് ക്ലൗഡ് AI പ്രവർത്തിക്കുന്നത്: നിങ്ങളുടെ ആപ്ലിക്കേഷൻ ഒരു API (അപ്ലിക്കേഷൻ പ്രോഗ്രാമിംഗ് ഇൻ്റർഫേസ് - രണ്ട് സോഫ്റ്റ്വെയറുകൾ പരസ്പരം ഡാറ്റ അയയ്ക്കുകയും സ്വീകരിക്കുകയും ചെയ്യുന്ന സ്റ്റാൻഡേർഡ് ഇൻ്റർഫേസ്) വഴി ഒരു വലിയ ഭാഷാ മോഡലിലേക്ക് (LLM) കണക്റ്റ് ചെയ്യുന്നു. സുരക്ഷിതവും വേഗതയേറിയതും ചെലവ് ബോധമുള്ളതുമായ രീതിയിൽ ഒരു മൊബൈൽ ആപ്ലിക്കേഷനിലേക്ക് ക്ലൗഡ് LLM എങ്ങനെ സംയോജിപ്പിക്കാമെന്ന് ഈ യൂണിറ്റിൽ നമ്മൾ പഠിക്കും. സുരക്ഷയ്ക്കായിരിക്കും നിർണായക ഊന്നൽ: തെറ്റായി ഇൻസ്റ്റാൾ ചെയ്ത LLM സംയോജനം നിങ്ങളുടെ API കീ ചോർത്തുകയും ആയിരക്കണക്കിന് പൗണ്ട് വിലമതിക്കുന്ന ബില്ലുകൾക്ക് കാരണമാവുകയും ചെയ്യും.
വാസ്തുവിദ്യയുടെ സുവർണ്ണ നിയമം: താക്കോൽ ക്ലയൻ്റിൽ സൂക്ഷിക്കുക
ക്ലൗഡ് AI സംയോജനത്തിൽ സംഭവിക്കാവുന്ന ഏറ്റവും അപകടകരമായ തെറ്റ്, മൊബൈൽ ആപ്ലിക്കേഷൻ കോഡിലേക്ക് നേരിട്ട് API കീ (സേവനം ഉപയോഗിക്കാൻ അനുവദിക്കുന്ന രഹസ്യ പാസ്വേഡ്) ഉൾച്ചേർക്കുക എന്നതാണ്. മൊബൈൽ ആപ്ലിക്കേഷനുകൾ ഉപയോക്താവിൻ്റെ ഉപകരണത്തിലേക്ക് ഡൗൺലോഡ് ചെയ്യപ്പെടുകയും കോഡ് റിവേഴ്സ് എഞ്ചിനീയറിംഗ് ഉപയോഗിച്ച് വായിക്കുകയും ചെയ്യാം - സമാഹരിച്ച ആപ്ലിക്കേഷൻ പാഴ്സ് ചെയ്യുകയും അതിനുള്ളിൽ എന്താണെന്ന് കാണുകയും ചെയ്യുന്നു. നിങ്ങളുടെ കീ ആപ്പിനുള്ളിലാണെങ്കിൽ, ആർക്കെങ്കിലും അത് എക്സ്ട്രാക്റ്റുചെയ്യാനും നിങ്ങളുടെ അക്കൗണ്ടിൽ നിന്ന് പരിധിയില്ലാത്ത അഭ്യർത്ഥനകൾ നടത്താനും കഴിയും.
ശരിയായ ആർക്കിടെക്ചർ ഇതാണ്: മൊബൈൽ ആപ്ലിക്കേഷൻ നിങ്ങളുടെ സ്വന്തം ബാക്കെൻഡ് സെർവറിലേക്ക് (നിങ്ങൾ നിയന്ത്രിക്കുന്ന പ്രോക്സി സെർവർ) അഭ്യർത്ഥനകൾ അയയ്ക്കുന്നു; കീ സെർവറിൽ മാത്രം വസിക്കുന്നു; സെർവർ LLM സേവനത്തിലേക്ക് പോകുകയും ആപ്ലിക്കേഷൻ്റെ പ്രതികരണം നൽകുകയും ചെയ്യുന്നു. ഈ മിഡിൽവെയർ സ്പീഡ് ക്യാപ്പിംഗ്, ദുരുപയോഗം തടയൽ, ചെലവ് നിയന്ത്രണം എന്നിവയും നൽകുന്നു.
സമീപിക്കുക
താക്കോൽ എവിടെയാണ്
സുരക്ഷ
കീ ആപ്ലിക്കേഷനിലാണ് (FALSE)
ക്ലയൻ്റിൽ, പൊതു
ചോരുന്നു, ബിൽ പൊട്ടിത്തെറിക്കുന്നു
കീ ബാക്കെൻഡിലാണ് (TRUE)
സെർവറിൽ, മറച്ചിരിക്കുന്നു
സുരക്ഷിതമായ, നിയന്ത്രിക്കാവുന്ന
മുന്നറിയിപ്പ്: നിങ്ങൾ ക്ലൗഡ് LLM സംയോജനത്തിനായി AI-യോട് ആവശ്യപ്പെടുമ്പോൾ, നിങ്ങളുടെ സൗകര്യാർത്ഥം ആപ്ലിക്കേഷൻ കോഡിലേക്ക് കീ നേരിട്ട് എഴുതുന്ന ഒരു ഉദാഹരണം അത് സൃഷ്ടിച്ചേക്കാം. ഇത് ഒരിക്കലും ലൈവായി എടുക്കരുത്. പ്രോംപ്റ്റിൽ "API കീ ക്ലയൻ്റിലായിരിക്കരുത്, ബാക്കെൻഡ് പ്രോക്സിയിലൂടെ പോകുക" എന്ന വാചകം ഉൾപ്പെടുത്തുന്നത് ഉറപ്പാക്കുക.
സ്ട്രീമിംഗ്: മനസ്സിലാക്കിയ വേഗത വർദ്ധിപ്പിക്കുക
LLM ഉത്തരങ്ങൾ ദൈർഘ്യമേറിയതും മുഴുവനായും തയ്യാറാക്കാൻ നിമിഷങ്ങൾ എടുക്കും. ഒരു ശൂന്യമായ സ്ക്രീനിൽ ഉപയോക്താവിനെ കാത്തിരിക്കുന്നത് ഒരു മോശം അനുഭവമാണ്. പരിഹാരം സ്ട്രീമിംഗ് ആണ് - ജനറേറ്റ് ചെയ്യുന്നതുപോലെ, ഉത്തരം ഓരോ വാക്കും പ്രദർശിപ്പിക്കുന്നു. ChatGPT-ൽ ഉള്ളതുപോലെ ഉപയോക്താവ് വാചകത്തിൻ്റെ അക്ഷരവിന്യാസം നിരീക്ഷിക്കുന്നു; ഇത് ഗ്രഹിച്ച വേഗതയും ഒഴുക്കും നാടകീയമായി വർദ്ധിപ്പിക്കുന്നു. സെർവറിൽ നിന്ന് ഇൻ്റർഫേസിലേക്ക് എത്തുമ്പോൾ കഷണങ്ങൾ (ടോക്കണുകൾ - മോഡൽ നിർമ്മിച്ച വാചകത്തിൻ്റെ ഭാഗം) ചേർക്കുന്നതാണ് മൊബൈലിലെ ഫ്ലോ അർത്ഥമാക്കുന്നത്. AI-യിലേക്കുള്ള സംയോജനം അച്ചടിക്കുമ്പോൾ ഒഴുക്ക് വ്യക്തമായി അഭ്യർത്ഥിക്കുക.
നുറുങ്ങ്: സ്ട്രീമിംഗ് പ്രതികരണത്തിൽ ഒരു "താൽക്കാലികമായി നിർത്തുക" ബട്ടൺ ചേർക്കുക. ഉപയോക്താവിന് ആവശ്യമുള്ള ഉത്തരം ലഭിക്കുമ്പോൾ ഉത്പാദനം നിർത്താൻ കഴിയണം; ഇത് അനുഭവം മെച്ചപ്പെടുത്തുകയും അനാവശ്യമായ ടോക്കൺ ജനറേഷൻ വെട്ടിച്ചുരുക്കി ചെലവ് കുറയ്ക്കുകയും ചെയ്യുന്നു. ദൈർഘ്യമേറിയ ഉത്തരത്തിൻ്റെ മധ്യത്തിൽ, ഉപയോക്താവ് ഇതിനകം ഉത്തരം കണ്ടെത്തിയിരിക്കാം.
ചെലവ്, കാലതാമസം, പിശക് മാനേജ്മെൻ്റ്
ക്ലൗഡ് LLM ഓരോ അഭ്യർത്ഥനയ്ക്കൊപ്പവും പണച്ചെലവും (ഓരോ ടോക്കണിനും ഫീസ്) സമയ ചെലവും (ലേറ്റൻസി) വഹിക്കുന്നു. മൂന്ന് അച്ചടക്കങ്ങൾ അത്യന്താപേക്ഷിതമാണ്. Cost: limit prompt and response length, do not send unnecessarily long system instructions, default to small and cheap model if possible. ലേറ്റൻസി: സ്ട്രീമിംഗ് ഉപയോഗിക്കുക, സമയപരിധി സജ്ജീകരിക്കുക, നെറ്റ്വർക്ക് മന്ദഗതിയിലാണെങ്കിൽ ഉപയോക്താവിനെ അറിയിക്കുക. പിശക്: നെറ്റ്വർക്ക് തകരാർ, സേവനം 429 (വളരെയധികം അഭ്യർത്ഥനകൾ) അല്ലെങ്കിൽ 500 (സെർവർ പിശക്) നൽകാം; ഓരോന്നും സൌമ്യമായി കൈകാര്യം ചെയ്യുക, ആപ്പ് ക്രാഷ് ചെയ്യരുത്. കൂടാതെ, LLM ചിലപ്പോൾ അർത്ഥശൂന്യമായ അല്ലെങ്കിൽ തെറ്റായ (ഭ്രമാത്മക) ഉത്തരങ്ങൾ നൽകുന്നു; നിർണായക മേഖലകളിൽ ഉത്തരത്തിൻ്റെ സ്ഥിരീകരണത്തിൻ്റെ ഒരു പാളി ചേർക്കുക.
മൂന്ന് മിനി കേസുകൾ
കേസ് 1 - ചോർന്ന കീ. ഒരു സ്റ്റാർട്ടപ്പ് അതിൻ്റെ റിയാക്റ്റ് നേറ്റീവ് ആപ്പിൽ നേരിട്ട് ഓപ്പൺഎഐ കീ ഉൾച്ചേർത്തു. ആപ്പ് പുറത്തിറങ്ങി മൂന്നാഴ്ച കഴിഞ്ഞപ്പോൾ, കീ റിവേഴ്സ് എൻജിനീയറിങ് ചെയ്യുകയും $2,400 മൂല്യമുള്ള ഉപയോഗം ഒറ്റരാത്രികൊണ്ട് ഉണ്ടാക്കുകയും ചെയ്തു. ടീമിന് കീ അസാധുവാക്കി ഒരു ബാക്കെൻഡ് പ്രോക്സി സജ്ജീകരിക്കേണ്ടി വന്നു. പാഠം: സൗകര്യാർത്ഥം എടുത്ത കുറുക്കുവഴി ഏറ്റവും ചെലവേറിയ റൂട്ടായി മാറി.
കേസ് 2 - ഒഴുക്കിനൊപ്പം കൊഴിഞ്ഞുപോക്ക് കുറഞ്ഞു. ഒരു വിദ്യാഭ്യാസ ആപ്പ് ആദ്യം അതിൻ്റെ ചോദ്യോത്തര ഫീച്ചർ സ്ട്രീമിംഗ് ഇല്ലാതെ പുറത്തിറക്കി; 6 സെക്കൻഡ് നിഷ്ക്രിയ കാത്തിരിപ്പിന് ശേഷം ഉപയോക്താക്കൾ പുറത്തുകടക്കുകയായിരുന്നു. ഒഴുക്ക് ചേർത്തപ്പോൾ, ആദ്യ വാക്ക് 0.8 സെക്കൻഡിൽ പ്രത്യക്ഷപ്പെടാൻ തുടങ്ങി, ഉപേക്ഷിക്കൽ നിരക്ക് 48% ൽ നിന്ന് 12% ആയി കുറഞ്ഞു. ഒരേ മോഡൽ, അതേ വേഗത - അവതരണത്തിലെ വ്യത്യാസം മാത്രം.
കേസ് 3 - ചെലവ് നിയന്ത്രണം. ഒരു ആപ്പ് എല്ലാ ഉപയോക്തൃ സന്ദേശങ്ങൾക്കൊപ്പവും മുഴുവൻ ചാറ്റ് ചരിത്രവും മോഡലിലേക്ക് അയയ്ക്കുകയായിരുന്നു; ദൈർഘ്യമേറിയ സംഭാഷണങ്ങളിൽ, ഒറ്റ അഭ്യർത്ഥന 8,000 ടോക്കണുകളിൽ എത്തി, ചെലവ് പെരുപ്പിച്ചു. അവസാനത്തെ കുറച്ച് സന്ദേശങ്ങളും ഒരു സംഗ്രഹവും അയയ്ക്കുന്നതിലൂടെ, ടീം ഓരോ അഭ്യർത്ഥനയുടെയും ടോക്കണുകൾ 70% കുറച്ചു, പ്രതിമാസ ബിൽ മൂന്നിലൊന്നായി കുറച്ചു. പാഠം: നിങ്ങൾ അയയ്ക്കുന്നത് അളക്കുക.
ദുർബലമായ പ്രോംപ്റ്റ് / ശക്തമായ പ്രോംപ്റ്റ്
ദുർബലമായ നിർദ്ദേശം: "എൻ്റെ ആപ്പിലേക്ക് ChatGPT പോലുള്ള ഒരു ചാറ്റ് ചേർക്കുക."
ശക്തമായ നിർദ്ദേശം: "എൻ്റെ iOS/Swift ആപ്ലിക്കേഷനിലേക്ക് ഒരു ചാറ്റ് അസിസ്റ്റൻ്റ് ചേർക്കുക. ആർക്കിടെക്ചർ: ആപ്ലിക്കേഷൻ എൻ്റെ സ്വന്തം ബാക്കെൻഡിലേക്ക് ഒരു അഭ്യർത്ഥന അയയ്ക്കുന്നു, LLM API കീ ക്ലയൻ്റിലില്ല, അത് പ്രോക്സിയിലൂടെ കടന്നുപോകുന്നു. - പ്രതികരണം സ്ട്രീമിംഗ് വരുന്നു, വാക്ക് വാക്കിൽ പ്രദർശിപ്പിക്കുന്നു - 'നിർത്തുക' ബട്ടൺ ഉൽപ്പാദനത്തെ തടസ്സപ്പെടുത്തുന്നു - നെറ്റ്വർക്ക് സാഹചര്യം ചെറുതാക്കുന്നു, പ്രശ്നം 5042 സമയപരിധി കുറയ്ക്കുന്നു. ചാറ്റ് ചരിത്രം: അവസാന 6 സന്ദേശങ്ങൾ അയയ്ക്കുക + സംഗ്രഹം (ചെലവ് നിയന്ത്രണം) ആദ്യം ആർക്കിടെക്ചറൽ ഡയഗ്രം വിശദീകരിക്കുക, തുടർന്ന് ക്ലയൻ്റിനും പ്രോക്സി കോഡും പ്രത്യേകം നൽകുക."
പകർത്താവുന്ന ടെംപ്ലേറ്റുകൾ
സുരക്ഷിത ആർക്കിടെക്ചർ ടെംപ്ലേറ്റ്:"എൻ്റെ [പ്ലാറ്റ്ഫോം] ആപ്ലിക്കേഷനിലേക്ക് ക്ലൗഡ് LLM സംയോജനം രൂപകൽപ്പന ചെയ്യുക. റൂൾ: API കീ ബാക്കെൻഡിൽ മാത്രം. ക്ലയൻ്റ് -> എൻ്റെ പ്രോക്സി -> LLM. പ്രോക്സിയിൽ: പ്രാമാണീകരണം, ഓരോ ഉപയോക്താവിനും നിരക്ക് പരിധി, ലോഗിംഗ് അഭ്യർത്ഥിക്കുക. ക്ലയൻ്റ് ലിസ്റ്റ്, പ്രോക്സി കോഡ് പ്രത്യേകം കയറ്റുമതി ചെയ്യുക, തുടർന്ന് ഉത്തരവാദിത്തങ്ങൾ.
സ്ട്രീമിംഗ് ടെംപ്ലേറ്റ്: "ഈ ചാറ്റ് സ്ക്രീനിലേക്ക് ഒരു സ്ട്രീമിംഗ് പ്രതികരണം ചേർക്കുക:- സന്ദേശ ബബിളിലേക്ക് സ്നിപ്പെറ്റുകൾ ചേർക്കുക- ടൈപ്പ് ചെയ്യുമ്പോൾ ഒരു കഴ്സർ/ആനിമേഷൻ കാണിക്കുക- 'നിർത്തുക' ബട്ടൺ സ്ട്രീം റദ്ദാക്കുക- സ്ട്രീം അവസാനിക്കുമ്പോൾ [നിലവിലുള്ള കോഡ്] ഒരു പിശക് ഉണ്ടെങ്കിൽ മുന്നറിയിപ്പ് നൽകുക"
കോസ്റ്റ്-ലേറ്റൻസി ടെംപ്ലേറ്റ്:"ഈ LLM സംയോജനത്തിൽ ചെലവും ലേറ്റൻസിയും കുറയ്ക്കുക:- അയച്ച ടോക്കൺ എങ്ങനെ കുറയ്ക്കാം (ചരിത്രത്തിൻ്റെ ചുരുക്കെഴുത്ത്, സംഗ്രഹം)?- ഏത് സാഹചര്യത്തിലാണ് ചെറിയ/വിലകുറഞ്ഞ മോഡൽ മതിയാകുന്നത്?- സമയപരിധി നിർദ്ദേശിച്ച് തന്ത്രം വീണ്ടും ശ്രമിക്കൂ[കോഡ്]"
തെറ്റ് സഹിഷ്ണുത ടെംപ്ലേറ്റ്: "ഈ LLM കോൾ പ്രതിരോധശേഷിയുള്ളതാക്കുക:- നെറ്റ്വർക്ക് ഇല്ലാത്തതിന് പ്രത്യേക പെരുമാറ്റം, കാലഹരണപ്പെടൽ, 429 (നിരക്ക് പരിധി), 500 (സെർവർ)- സാങ്കേതികമല്ലാത്തതും ഉപയോക്താക്കൾക്ക് മര്യാദയുള്ളതുമായ സന്ദേശം- നിർണായകമായ മറുപടികളിൽ[കോഡ്] ഭ്രമാത്മകതയ്ക്കെതിരെയുള്ള പരിശോധനാ കുറിപ്പ്"
സാധാരണ തെറ്റുകൾ
- ആപ്ലിക്കേഷനിൽ API കീ ഉൾച്ചേർക്കുന്നു. ഏറ്റവും ചെലവേറിയതും സാധാരണവുമായ സുരക്ഷാ ബഗ്; താക്കോൽ തീർച്ചയായും പിൻഭാഗത്താണ്.
- ഒഴുക്ക് ഉപയോഗിക്കുന്നില്ല. ദീർഘമായ ഉത്തരങ്ങൾക്കായി ഉപയോക്താവിനെ കാത്തിരിക്കുന്നത് ഉപയോക്താവിനെ അകറ്റും.
- ഓരോ അഭ്യർത്ഥനയ്ക്കൊപ്പവും മുഴുവൻ ചാറ്റ് ചരിത്രവും അയയ്ക്കുന്നു. ഇത് ടോക്കൺ ചെലവും കാലതാമസവും വർദ്ധിപ്പിക്കുന്നു.
- പിശക് വ്യവസ്ഥകൾ മറികടക്കുന്നു. 429/500/ടൈമൗട്ട് അഡ്രസ് ചെയ്തില്ലെങ്കിൽ ആപ്ലിക്കേഷൻ ക്രാഷ് ചെയ്യുകയോ മരവിപ്പിക്കുകയോ ചെയ്യും.
- ചോദ്യം കൂടാതെ LLM ഉത്തരം ശരിയാണെന്ന് കണക്കാക്കുന്നു. ഹാലുസിനേഷൻ യഥാർത്ഥമാണ്; ക്രിട്ടിക്കൽ ഏരിയയിൽ വെരിഫിക്കേഷൻ ലെയർ ചേർക്കുക.
- അനാവശ്യ LLM-ലേക്ക് ഉപയോക്തൃ ഡാറ്റ അയയ്ക്കുന്നു. ക്ലൗഡിലേക്ക് പോകുന്നതിന് മുമ്പ് വ്യക്തിഗത ഡാറ്റ ആവശ്യമാണോ അതോ മാസ്ക് ചെയ്യണമോ എന്ന് ചോദിക്കുക.
ചുരുക്കത്തിൽ
ക്ലൗഡ് LLM മൊബൈലിലേക്ക് ഉപകരണത്തിൽ അനുയോജ്യമല്ലാത്ത മികച്ച കഴിവുകൾ കൊണ്ടുവരുന്നു, എന്നാൽ സുരക്ഷയും ചെലവ് അച്ചടക്കവും ആവശ്യമാണ്. സുവർണ്ണ നിയമം: API കീ ഒരിക്കലും ക്ലയൻ്റിലില്ല, അത് ബാക്കെൻഡ് പ്രോക്സിയിലൂടെ കടന്നുപോകുന്നു. ഒഴുക്ക് ഗ്രഹിച്ച വേഗതയും നിലനിർത്തലും വളരെയധികം വർദ്ധിപ്പിക്കുന്നു; "നിർത്തുക" ബട്ടൺ പിന്തുണയ്ക്കുന്നു. അയച്ച ടോക്കൺ ചുരുക്കിയാണ് ചെലവ് നിർണ്ണയിക്കുന്നത്; എല്ലാ പിശക് കേസുകളും ഭംഗിയായി കൈകാര്യം ചെയ്യുന്നതിലൂടെ പ്രതിരോധശേഷി കൈവരിക്കാനാകും. LLM ഉത്തരങ്ങളിൽ ഭ്രമാത്മകത ഉൾപ്പെട്ടേക്കാം; നിർണായക മേഖലകളിൽ, സ്ഥിരീകരണം അത്യാവശ്യമാണ്, ക്ലൗഡിലേക്ക് അയയ്ക്കുന്നതിന് മുമ്പ് വ്യക്തിഗത ഡാറ്റ അവലോകനം ചെയ്യും.
ആപ്ലിക്കേഷൻ ടാസ്ക്
"ടെക്സ്റ്റ് സംഗ്രഹം" അല്ലെങ്കിൽ "ചാറ്റ്" സവിശേഷതയ്ക്കായി "സുരക്ഷിത ആർക്കിടെക്ചർ ടെംപ്ലേറ്റ്" ഉപയോഗിച്ച് AI-യിൽ നിന്ന് ഒരു ക്ലയൻ്റ് + ബാക്കെൻഡ് പ്രോക്സി ഡിസൈൻ അഭ്യർത്ഥിക്കുക. ജനറേറ്റ് ചെയ്ത ഡിസൈനിലെ ബാക്കെൻഡിൽ മാത്രമേ API കീ ഉള്ളൂ എന്ന് പരിശോധിക്കുക. തുടർന്ന് "കോസ്റ്റ്-ഡിലേ പാറ്റേൺ" ഉപയോഗിച്ച് അയച്ച ടോക്കൺ കുറയ്ക്കുന്നതിന് കുറഞ്ഞത് രണ്ട് വഴികളെങ്കിലും എക്സ്ട്രാക്റ്റ് ചെയ്ത് ഒരു പിശക് അവസ്ഥയ്ക്കായി ഉപയോക്താവിന് പ്രദർശിപ്പിക്കുന്നതിന് മാന്യമായ സന്ദേശം എഴുതുക (ഉദാ. 429).
ചെക്ക്ലിസ്റ്റ്
- [ ] API കീ ബാക്കെൻഡിലാണെന്നും ക്ലയൻ്റിലല്ലെന്നും ഞാൻ പരിശോധിച്ചു
- [ ] ഞാൻ പ്രതികരണം സ്ട്രീമിംഗ് ആക്കുകയും ഒരു 'താൽക്കാലികമായി നിർത്തുക' ബട്ടൺ ചേർക്കുകയും ചെയ്തു
- [ ] ഞാൻ കാലഹരണപ്പെടൽ, നെറ്റ്വർക്ക് പിശക്, 429, 500 സാഹചര്യങ്ങൾ എന്നിവ കൈകാര്യം ചെയ്തു
- [ ] കഴിഞ്ഞ ചുരുക്കെഴുത്ത്/സംഗ്രഹം ഉപയോഗിച്ച് ഞാൻ സമർപ്പിച്ച ടോക്കൺ കുറച്ചു
- [ ] LLM ഉത്തരത്തിലെ ഭ്രമാത്മകതയുടെ അപകടസാധ്യതയ്ക്കെതിരായ സാധൂകരണം ഞാൻ പരിഗണിച്ചു
- [ ] ക്ലൗഡിലേക്ക് പോകുന്നതിന് മുമ്പ് വ്യക്തിഗത ഡാറ്റയുടെ ആവശ്യകത/മറയ്ക്കൽ ഞാൻ പരിശോധിച്ചു