ಲಾಭಗಳು:
- ಕ್ಲೈಂಟ್ನಲ್ಲಿ API ಕೀಲಿಯನ್ನು ಇಟ್ಟುಕೊಳ್ಳದ ಆದರೆ ಬ್ಯಾಕ್-ಎಂಡ್ ಪ್ರಾಕ್ಸಿ ಮೂಲಕ ಹಾದುಹೋಗುವ ಸುರಕ್ಷಿತ ಕ್ಲೌಡ್ LLM ಆರ್ಕಿಟೆಕ್ಚರ್ ಅನ್ನು ಸ್ಥಾಪಿಸುವ ಸಾಮರ್ಥ್ಯ
- ಸ್ಟ್ರೀಮಿಂಗ್ನೊಂದಿಗೆ ಗ್ರಹಿಸಿದ ವೇಗವನ್ನು ಹೆಚ್ಚಿಸುವ ಮತ್ತು ಸಮಯ ಮೀರುವಿಕೆಗಳು, ನೆಟ್ವರ್ಕ್ ದೋಷಗಳು ಮತ್ತು ವೇಗ ಮಿತಿಗಳಂತಹ ಸಂದರ್ಭಗಳನ್ನು ನಿಧಾನವಾಗಿ ನಿಭಾಯಿಸುವ ದೃಢವಾದ ಸಂಯೋಜನೆಗಳನ್ನು ಬರೆಯುವ ಸಾಮರ್ಥ್ಯ
- ಕಳುಹಿಸಿದ ಟೋಕನ್ ಅನ್ನು ಕಡಿಮೆ ಮಾಡುವ ಮೂಲಕ ವೆಚ್ಚವನ್ನು ಕಡಿಮೆ ಮಾಡುವ ಸಾಮರ್ಥ್ಯ ಮತ್ತು ಕ್ಲೌಡ್ಗೆ ಹೋಗುವ ಮೊದಲು ವೈಯಕ್ತಿಕ ಡೇಟಾದ ಅಗತ್ಯವನ್ನು ಪ್ರಶ್ನಿಸುವುದು
ಸಾಧನದ AI ಶಕ್ತಿಯುತವಾಗಿದೆ ಆದರೆ ಸೀಮಿತವಾಗಿದೆ. ನೀವು ನಿಜವಾಗಿಯೂ "ಸ್ಮಾರ್ಟ್ ಚಾಟ್ ಅಸಿಸ್ಟೆಂಟ್," ದೀರ್ಘ ಪಠ್ಯ ಸಾರಾಂಶ ಅಥವಾ ಸಂಕೀರ್ಣ ಸೃಜನಶೀಲ ಉತ್ಪಾದನೆಯನ್ನು ಅಪ್ಲಿಕೇಶನ್ಗೆ ಸೇರಿಸಲು ಬಯಸಿದಾಗ, ನಿಮಗೆ ಫೋನ್ನಲ್ಲಿ ಹೊಂದಿಕೊಳ್ಳಲು ತುಂಬಾ ದೊಡ್ಡದಾದ ಮಾದರಿಗಳು ಬೇಕಾಗುತ್ತವೆ. ಇಲ್ಲಿ ಕ್ಲೌಡ್ AI ಕಾರ್ಯರೂಪಕ್ಕೆ ಬರುತ್ತದೆ: ನಿಮ್ಮ ಅಪ್ಲಿಕೇಶನ್ API (ಅಪ್ಲಿಕೇಶನ್ ಪ್ರೋಗ್ರಾಮಿಂಗ್ ಇಂಟರ್ಫೇಸ್ - ಎರಡು ಸಾಫ್ಟ್ವೇರ್ ಡೇಟಾವನ್ನು ಪರಸ್ಪರ ಕಳುಹಿಸುವ ಮತ್ತು ಸ್ವೀಕರಿಸುವ ಪ್ರಮಾಣಿತ ಇಂಟರ್ಫೇಸ್) ಮೂಲಕ ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಗೆ (LLM) ಸಂಪರ್ಕಿಸುತ್ತದೆ. ಕ್ಲೌಡ್ LLM ಅನ್ನು ಮೊಬೈಲ್ ಅಪ್ಲಿಕೇಶನ್ಗೆ ಸುರಕ್ಷಿತ, ವೇಗದ ಮತ್ತು ವೆಚ್ಚ-ಪ್ರಜ್ಞೆಯ ರೀತಿಯಲ್ಲಿ ಹೇಗೆ ಸಂಯೋಜಿಸುವುದು ಎಂಬುದನ್ನು ಈ ಘಟಕದಲ್ಲಿ ನಾವು ಕಲಿಯುತ್ತೇವೆ. ಭದ್ರತೆಯ ಮೇಲೆ ನಿರ್ಣಾಯಕ ಒತ್ತು ನೀಡಲಾಗುವುದು: ತಪ್ಪಾಗಿ ಸ್ಥಾಪಿಸಲಾದ LLM ಏಕೀಕರಣವು ನಿಮ್ಮ API ಕೀಲಿಯನ್ನು ಸೋರಿಕೆ ಮಾಡಬಹುದು ಮತ್ತು ಸಾವಿರಾರು ಪೌಂಡ್ಗಳ ಮೌಲ್ಯದ ಬಿಲ್ಗಳಿಗೆ ಕಾರಣವಾಗಬಹುದು.
ವಾಸ್ತುಶಿಲ್ಪದ ಸುವರ್ಣ ನಿಯಮ: ಕ್ಲೈಂಟ್ನಲ್ಲಿ ಕೀಲಿಯನ್ನು ಇರಿಸಿ
ಕ್ಲೌಡ್ AI ಏಕೀಕರಣದಲ್ಲಿ ಮಾಡಬಹುದಾದ ಅತ್ಯಂತ ಅಪಾಯಕಾರಿ ತಪ್ಪು ಎಂದರೆ API ಕೀಯನ್ನು (ಸೇವೆಯನ್ನು ಬಳಸಲು ಅಧಿಕಾರ ನೀಡುವ ರಹಸ್ಯ ಪಾಸ್ವರ್ಡ್) ನೇರವಾಗಿ ಮೊಬೈಲ್ ಅಪ್ಲಿಕೇಶನ್ ಕೋಡ್ಗೆ ಎಂಬೆಡ್ ಮಾಡುವುದು. ಮೊಬೈಲ್ ಅಪ್ಲಿಕೇಶನ್ಗಳನ್ನು ಬಳಕೆದಾರರ ಸಾಧನಕ್ಕೆ ಡೌನ್ಲೋಡ್ ಮಾಡಲಾಗುತ್ತದೆ ಮತ್ತು ಕೋಡ್ ಅನ್ನು ರಿವರ್ಸ್ ಇಂಜಿನಿಯರಿಂಗ್ ಮೂಲಕ ಓದಬಹುದು — ಸಂಕಲಿಸಿದ ಅಪ್ಲಿಕೇಶನ್ ಅನ್ನು ಪಾರ್ಸ್ ಮಾಡುವುದು ಮತ್ತು ಅದರೊಳಗೆ ಏನಿದೆ ಎಂದು ನೋಡುವುದು. ನಿಮ್ಮ ಕೀ ಅಪ್ಲಿಕೇಶನ್ನೊಳಗೆ ಇದ್ದರೆ, ಯಾರಾದರೂ ಅದನ್ನು ಹೊರತೆಗೆಯಬಹುದು ಮತ್ತು ನಿಮ್ಮ ಖಾತೆಯಿಂದ ಅನಿಯಮಿತ ವಿನಂತಿಗಳನ್ನು ಮಾಡಬಹುದು.
ಸರಿಯಾದ ಆರ್ಕಿಟೆಕ್ಚರ್ ಇದು: ಮೊಬೈಲ್ ಅಪ್ಲಿಕೇಶನ್ ನಿಮ್ಮ ಸ್ವಂತ ಬ್ಯಾಕೆಂಡ್ ಸರ್ವರ್ಗೆ ವಿನಂತಿಗಳನ್ನು ಕಳುಹಿಸುತ್ತದೆ (ನೀವು ನಿಯಂತ್ರಿಸುವ ಪ್ರಾಕ್ಸಿ ಸರ್ವರ್); ಕೀಲಿಯು ಸರ್ವರ್ನಲ್ಲಿ ಮಾತ್ರ ಇರುತ್ತದೆ; ಸರ್ವರ್ LLM ಸೇವೆಗೆ ಹೋಗುತ್ತದೆ ಮತ್ತು ಅಪ್ಲಿಕೇಶನ್ಗೆ ಪ್ರತಿಕ್ರಿಯೆಯನ್ನು ಹಿಂದಿರುಗಿಸುತ್ತದೆ. ಈ ಮಿಡಲ್ವೇರ್ ಸ್ಪೀಡ್ ಕ್ಯಾಪಿಂಗ್, ದುರುಪಯೋಗ ತಡೆಗಟ್ಟುವಿಕೆ ಮತ್ತು ವೆಚ್ಚ ನಿಯಂತ್ರಣವನ್ನು ಸಹ ಒದಗಿಸುತ್ತದೆ.
ಅಪ್ರೋಚ್
ಕೀ ಎಲ್ಲಿದೆ
ಭದ್ರತೆ
ಕೀ ಅಪ್ಲಿಕೇಶನ್ನಲ್ಲಿದೆ (FALSE)
ಕ್ಲೈಂಟ್ನಲ್ಲಿ, ಸಾರ್ವಜನಿಕ
ಇದು ಸೋರಿಕೆಯಾಗುತ್ತದೆ, ಬಿಲ್ ಸ್ಫೋಟಗೊಳ್ಳುತ್ತದೆ
ಕೀ ಬ್ಯಾಕೆಂಡ್ನಲ್ಲಿದೆ (ಸತ್ಯ)
ಸರ್ವರ್ನಲ್ಲಿ, ಮರೆಮಾಡಲಾಗಿದೆ
ಸುರಕ್ಷಿತ, ನಿಯಂತ್ರಿಸಬಹುದಾದ
ಎಚ್ಚರಿಕೆ: ನೀವು ಕ್ಲೌಡ್ LLM ಏಕೀಕರಣಕ್ಕಾಗಿ AI ಅನ್ನು ಕೇಳಿದಾಗ, ನಿಮ್ಮ ಅನುಕೂಲಕ್ಕಾಗಿ ಅಪ್ಲಿಕೇಶನ್ ಕೋಡ್ಗೆ ನೇರವಾಗಿ ಕೀಲಿಯನ್ನು ಬರೆಯುವ ಉದಾಹರಣೆಯನ್ನು ಅದು ಉತ್ಪಾದಿಸಬಹುದು. ಇದನ್ನು ಎಂದಿಗೂ ಲೈವ್ ತೆಗೆದುಕೊಳ್ಳಬೇಡಿ. ಪ್ರಾಂಪ್ಟ್ನಲ್ಲಿ "API ಕೀ ಕ್ಲೈಂಟ್ನಲ್ಲಿ ಇರಬಾರದು, ಬ್ಯಾಕೆಂಡ್ ಪ್ರಾಕ್ಸಿ ಮೂಲಕ ಹೋಗಿ" ಎಂಬ ವಾಕ್ಯವನ್ನು ಸೇರಿಸಲು ಮರೆಯದಿರಿ.
ಸ್ಟ್ರೀಮಿಂಗ್: ಗ್ರಹಿಸಿದ ವೇಗವನ್ನು ಹೆಚ್ಚಿಸುವುದು
LLM ಉತ್ತರಗಳು ದೀರ್ಘವಾಗಿರಬಹುದು ಮತ್ತು ಅವುಗಳ ಸಂಪೂರ್ಣತೆಯನ್ನು ಉತ್ಪಾದಿಸಲು ಸೆಕೆಂಡುಗಳನ್ನು ತೆಗೆದುಕೊಳ್ಳಬಹುದು. ಬಳಕೆದಾರರನ್ನು ಖಾಲಿ ಪರದೆಯ ಮೇಲೆ ಕಾಯುವುದು ಕೆಟ್ಟ ಅನುಭವವಾಗಿದೆ. ಪರಿಹಾರವು ಸ್ಟ್ರೀಮಿಂಗ್ ಆಗಿದೆ - ಉತ್ತರವನ್ನು ಪದದ ಮೂಲಕ ಪ್ರದರ್ಶಿಸುತ್ತದೆ, ಅದು ಉತ್ಪತ್ತಿಯಾದಂತೆ. ChatGPT ನಲ್ಲಿರುವಂತೆ ಬಳಕೆದಾರರು ಪಠ್ಯದ ಕಾಗುಣಿತವನ್ನು ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡುತ್ತಾರೆ; ಇದು ಗ್ರಹಿಸಿದ ವೇಗ ಮತ್ತು ನಿರರ್ಗಳತೆಯನ್ನು ನಾಟಕೀಯವಾಗಿ ಹೆಚ್ಚಿಸುತ್ತದೆ. ಮೊಬೈಲ್ನಲ್ಲಿ ಹರಿವು ಎಂದರೆ ಸರ್ವರ್ನಿಂದ ಇಂಟರ್ಫೇಸ್ಗೆ ಅವು ಬಂದಂತೆ ತುಣುಕುಗಳನ್ನು (ಟೋಕನ್ಗಳು - ಮಾದರಿಯಿಂದ ಉತ್ಪತ್ತಿಯಾಗುವ ಪಠ್ಯದ ತುಣುಕು) ಸೇರಿಸುವುದು. AI ಗೆ ಏಕೀಕರಣವನ್ನು ಮುದ್ರಿಸುವಾಗ ಹರಿವನ್ನು ಸ್ಪಷ್ಟವಾಗಿ ವಿನಂತಿಸಿ.
ಸಲಹೆ: ಸ್ಟ್ರೀಮಿಂಗ್ ಪ್ರತಿಕ್ರಿಯೆಯಲ್ಲಿ "ವಿರಾಮ" ಬಟನ್ ಅನ್ನು ಸೇರಿಸಿ. ಬಳಕೆದಾರನು ತಾನು ಬಯಸಿದ ಉತ್ತರವನ್ನು ಪಡೆದಾಗ ಉತ್ಪಾದನೆಯನ್ನು ನಿಲ್ಲಿಸಲು ಸಾಧ್ಯವಾಗುತ್ತದೆ; ಇದು ಅನುಭವವನ್ನು ಸುಧಾರಿಸುತ್ತದೆ ಮತ್ತು ಅನಗತ್ಯ ಟೋಕನ್ ಉತ್ಪಾದನೆಯನ್ನು ಕಡಿತಗೊಳಿಸುವ ಮೂಲಕ ವೆಚ್ಚವನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ. ದೀರ್ಘ ಉತ್ತರದ ಮಧ್ಯದಲ್ಲಿ, ಬಳಕೆದಾರರು ತಮ್ಮ ಉತ್ತರವನ್ನು ಈಗಾಗಲೇ ಕಂಡುಕೊಂಡಿರಬಹುದು.
ವೆಚ್ಚ, ವಿಳಂಬ ಮತ್ತು ದೋಷ ನಿರ್ವಹಣೆ
ಕ್ಲೌಡ್ LLM ಪ್ರತಿ ವಿನಂತಿಯೊಂದಿಗೆ ಹಣದ ವೆಚ್ಚವನ್ನು (ಪ್ರತಿ ಟೋಕನ್ಗೆ ಶುಲ್ಕ) ಮತ್ತು ಸಮಯದ ವೆಚ್ಚವನ್ನು (ಲೇಟೆನ್ಸಿ) ಒಯ್ಯುತ್ತದೆ. ಮೂರು ಶಿಸ್ತುಗಳು ಅತ್ಯಗತ್ಯ. Cost: limit prompt and response length, do not send unnecessarily long system instructions, default to small and cheap model if possible. ಸುಪ್ತತೆ: ಸ್ಟ್ರೀಮಿಂಗ್ ಬಳಸಿ, ಸಮಯ ಮೀರಿದೆ, ನೆಟ್ವರ್ಕ್ ನಿಧಾನವಾಗಿದ್ದರೆ ಬಳಕೆದಾರರಿಗೆ ಸೂಚಿಸಿ. ದೋಷ: ನೆಟ್ವರ್ಕ್ ಸ್ಥಗಿತ, ಸೇವೆಯು 429 (ಹಲವು ವಿನಂತಿಗಳು) ಅಥವಾ 500 (ಸರ್ವರ್ ದೋಷ) ಹಿಂತಿರುಗಿಸಬಹುದು; ಪ್ರತಿಯೊಂದನ್ನು ನಿಧಾನವಾಗಿ ನಿರ್ವಹಿಸಿ, ಅಪ್ಲಿಕೇಶನ್ ಅನ್ನು ಕ್ರ್ಯಾಶ್ ಮಾಡಬೇಡಿ. ಅಲ್ಲದೆ, LLM ಕೆಲವೊಮ್ಮೆ ಅರ್ಥಹೀನ ಅಥವಾ ತಪ್ಪಾದ (ಭ್ರಮೆ) ಉತ್ತರಗಳನ್ನು ನೀಡುತ್ತದೆ; ನಿರ್ಣಾಯಕ ಪ್ರದೇಶಗಳಲ್ಲಿ ಉತ್ತರದ ಪರಿಶೀಲನೆಯ ಪದರವನ್ನು ಸೇರಿಸಿ.
ಮೂರು ಸಣ್ಣ ಪ್ರಕರಣಗಳು
ಪ್ರಕರಣ 1 - ಸೋರಿಕೆಯಾದ ಕೀ. ಒಂದು ಸ್ಟಾರ್ಟಪ್ ವೇಗವಾಗಿ ಹೊರಬರಲು OpenAI ಕೀಯನ್ನು ನೇರವಾಗಿ ತನ್ನ ರಿಯಾಕ್ಟ್ ಸ್ಥಳೀಯ ಅಪ್ಲಿಕೇಶನ್ಗೆ ಎಂಬೆಡ್ ಮಾಡಿದೆ. ಅಪ್ಲಿಕೇಶನ್ ಬಿಡುಗಡೆಯಾದ ಮೂರು ವಾರಗಳ ನಂತರ, ಕೀಲಿಯನ್ನು ರಿವರ್ಸ್ ಇಂಜಿನಿಯರಿಂಗ್ ಮಾಡಲಾಯಿತು ಮತ್ತು $2,400 ಮೌಲ್ಯದ ಬಳಕೆಯನ್ನು ರಾತ್ರಿಯಿಡೀ ಮಾಡಲಾಯಿತು. ತಂಡವು ಕೀಯನ್ನು ಹಿಂತೆಗೆದುಕೊಳ್ಳಬೇಕಾಗಿತ್ತು ಮತ್ತು ಬ್ಯಾಕೆಂಡ್ ಪ್ರಾಕ್ಸಿಯನ್ನು ಹೊಂದಿಸಬೇಕಾಗಿತ್ತು. ಪಾಠ: ಅನುಕೂಲಕ್ಕಾಗಿ ತೆಗೆದುಕೊಂಡ ಶಾರ್ಟ್ಕಟ್ ಅತ್ಯಂತ ದುಬಾರಿ ಮಾರ್ಗವಾಗಿದೆ.
ಪ್ರಕರಣ 2 - ಹರಿವಿನೊಂದಿಗೆ ಡ್ರಾಪ್ಔಟ್ ಕಡಿಮೆಯಾಗಿದೆ. ಶಿಕ್ಷಣ ಅಪ್ಲಿಕೇಶನ್ ಮೊದಲು ಸ್ಟ್ರೀಮಿಂಗ್ ಇಲ್ಲದೆಯೇ ಅದರ ಪ್ರಶ್ನೋತ್ತರ ವೈಶಿಷ್ಟ್ಯವನ್ನು ಬಿಡುಗಡೆ ಮಾಡಿತು; 6 ಸೆಕೆಂಡುಗಳ ಐಡಲ್ ವೇಟಿಂಗ್ ನಂತರ ಬಳಕೆದಾರರು ನಿರ್ಗಮಿಸುತ್ತಿದ್ದಾರೆ. ಹರಿವನ್ನು ಸೇರಿಸಿದಾಗ, ಮೊದಲ ಪದವು 0.8 ಸೆಕೆಂಡುಗಳಲ್ಲಿ ಕಾಣಿಸಿಕೊಳ್ಳಲು ಪ್ರಾರಂಭಿಸಿತು, ಮತ್ತು ತ್ಯಜಿಸುವಿಕೆಯ ಪ್ರಮಾಣವು 48% ರಿಂದ 12% ಕ್ಕೆ ಇಳಿಯಿತು. ಅದೇ ಮಾದರಿ, ಅದೇ ವೇಗ - ಪ್ರಸ್ತುತಿಯಲ್ಲಿ ಕೇವಲ ವ್ಯತ್ಯಾಸ.
ಪ್ರಕರಣ 3 - ವೆಚ್ಚ ನಿಯಂತ್ರಣ. ಒಂದು ಅಪ್ಲಿಕೇಶನ್ ಸಂಪೂರ್ಣ ಚಾಟ್ ಇತಿಹಾಸವನ್ನು ಪ್ರತಿ ಬಳಕೆದಾರರ ಸಂದೇಶದೊಂದಿಗೆ ಮಾದರಿಗೆ ಕಳುಹಿಸುತ್ತಿದೆ; ಸುದೀರ್ಘ ಸಂಭಾಷಣೆಗಳಲ್ಲಿ, ಒಂದು ವಿನಂತಿಯು 8,000 ಟೋಕನ್ಗಳನ್ನು ತಲುಪಿತು, ವೆಚ್ಚವನ್ನು ಹೆಚ್ಚಿಸಿತು. ಕೊನೆಯ ಕೆಲವು ಸಂದೇಶಗಳು ಮತ್ತು ಸಾರಾಂಶವನ್ನು ಕಳುಹಿಸುವ ಮೂಲಕ, ತಂಡವು ಪ್ರತಿ ವಿನಂತಿಗೆ ಟೋಕನ್ಗಳನ್ನು 70% ರಷ್ಟು ಕಡಿಮೆ ಮಾಡಿತು, ಮಾಸಿಕ ಬಿಲ್ ಅನ್ನು ಮೂರನೇ ಒಂದು ಭಾಗಕ್ಕೆ ಇಳಿಸಿತು. ಪಾಠ: ನೀವು ಕಳುಹಿಸುವದನ್ನು ಅಳೆಯಿರಿ.
ದುರ್ಬಲ ಪ್ರಾಂಪ್ಟ್ / ಬಲವಾದ ಪ್ರಾಂಪ್ಟ್
ದುರ್ಬಲ ಪ್ರಾಂಪ್ಟ್: "ನನ್ನ ಅಪ್ಲಿಕೇಶನ್ಗೆ ChatGPT ನಂತಹ ಚಾಟ್ ಅನ್ನು ಸೇರಿಸಿ."
ಶಕ್ತಿಯುತ ಪ್ರಾಂಪ್ಟ್: "ನನ್ನ iOS/Swift ಅಪ್ಲಿಕೇಶನ್ಗೆ ಚಾಟ್ ಸಹಾಯಕವನ್ನು ಸೇರಿಸಿ. ಆರ್ಕಿಟೆಕ್ಚರ್: ಅಪ್ಲಿಕೇಶನ್ ನನ್ನ ಸ್ವಂತ ಬ್ಯಾಕೆಂಡ್ಗೆ ವಿನಂತಿಯನ್ನು ಕಳುಹಿಸುತ್ತದೆ, LLM API ಕೀ ಕ್ಲೈಂಟ್ನಲ್ಲಿಲ್ಲ, ಅದು ಪ್ರಾಕ್ಸಿ ಮೂಲಕ ಹೋಗುತ್ತದೆ. - ಪ್ರತಿಕ್ರಿಯೆಯು ಸ್ಟ್ರೀಮಿಂಗ್ ಬರುತ್ತದೆ, ಪದದಿಂದ ಪದವನ್ನು ಪ್ರದರ್ಶಿಸುತ್ತದೆ - 'ನಿಲ್ಲಿಸು' ಬಟನ್ ಉತ್ಪಾದನೆಯನ್ನು ಅಡ್ಡಿಪಡಿಸುತ್ತದೆ - ನೆಟ್ವರ್ಕ್ ಪರಿಸ್ಥಿತಿಯನ್ನು ಕಡಿಮೆಗೊಳಿಸುತ್ತದೆ ಮತ್ತು 5042 ಸಮಯಾವಧಿ ದೋಷವನ್ನು ನಿಭಾಯಿಸುತ್ತದೆ. ಚಾಟ್ ಇತಿಹಾಸ: ಕೊನೆಯ 6 ಸಂದೇಶಗಳನ್ನು ಕಳುಹಿಸಿ + ಸಾರಾಂಶ (ವೆಚ್ಚ ನಿಯಂತ್ರಣ) ಆರ್ಕಿಟೆಕ್ಚರಲ್ ರೇಖಾಚಿತ್ರವನ್ನು ಮೊದಲು ವಿವರಿಸಿ, ನಂತರ ಕ್ಲೈಂಟ್ ಮತ್ತು ಪ್ರಾಕ್ಸಿ ಕೋಡ್ ಅನ್ನು ಪ್ರತ್ಯೇಕವಾಗಿ ನೀಡಿ."
ನಕಲು ಮಾಡಬಹುದಾದ ಟೆಂಪ್ಲೇಟ್ಗಳು
ಸುರಕ್ಷಿತ ಆರ್ಕಿಟೆಕ್ಚರ್ ಟೆಂಪ್ಲೇಟ್:"ನನ್ನ [ಪ್ಲಾಟ್ಫಾರ್ಮ್] ಅಪ್ಲಿಕೇಶನ್ಗೆ ಕ್ಲೌಡ್ LLM ಏಕೀಕರಣವನ್ನು ವಿನ್ಯಾಸಗೊಳಿಸಿ. ನಿಯಮ: API ಕೀ ಬ್ಯಾಕೆಂಡ್ನಲ್ಲಿ ಮಾತ್ರ. ಕ್ಲೈಂಟ್ -> ನನ್ನ ಪ್ರಾಕ್ಸಿ -> LLM. ಪ್ರಾಕ್ಸಿಯಲ್ಲಿ: ದೃಢೀಕರಣ, ಪ್ರತಿ-ಬಳಕೆದಾರರ ದರ ಮಿತಿ, ಲಾಗಿಂಗ್ ವಿನಂತಿ. ಕ್ಲೈಂಟ್ ಮತ್ತು ಪ್ರಾಕ್ಸಿ ಕೋಡ್ ಅನ್ನು ಪ್ರತ್ಯೇಕವಾಗಿ ರಫ್ತು ಮಾಡಿ."
ಸ್ಟ್ರೀಮಿಂಗ್ ಟೆಂಪ್ಲೇಟ್: "ಈ ಚಾಟ್ ಪರದೆಗೆ ಸ್ಟ್ರೀಮಿಂಗ್ ಪ್ರತಿಕ್ರಿಯೆಯನ್ನು ಸೇರಿಸಿ:- ಸಂದೇಶದ ಬಬಲ್ಗೆ ತುಣುಕುಗಳನ್ನು ಸೇರಿಸಿ- ಟೈಪ್ ಮಾಡುವಾಗ ಕರ್ಸರ್/ಅನಿಮೇಶನ್ ಅನ್ನು ತೋರಿಸಿ- 'ನಿಲ್ಲಿಸು' ಬಟನ್ ಸ್ಟ್ರೀಮ್ ಅನ್ನು ರದ್ದುಗೊಳಿಸಿ- ಭಾಗಶಃ ಪಠ್ಯವನ್ನು ಸಂರಕ್ಷಿಸಿ ಮತ್ತು ಸ್ಟ್ರೀಮ್ ಕೊನೆಗೊಳ್ಳುತ್ತಿರುವಾಗ ದೋಷವಿದ್ದರೆ ಎಚ್ಚರಿಸಿ[ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ಕೋಡ್]"
ವೆಚ್ಚ-ಸುಪ್ತತೆ ಟೆಂಪ್ಲೇಟ್:"ಈ LLM ಏಕೀಕರಣದಲ್ಲಿ ವೆಚ್ಚ ಮತ್ತು ಸುಪ್ತತೆಯನ್ನು ಕಡಿಮೆ ಮಾಡಿ:- ನಾನು ಕಳುಹಿಸಿದ ಟೋಕನ್ ಅನ್ನು ಹೇಗೆ ಕಡಿಮೆ ಮಾಡುವುದು (ಇತಿಹಾಸದ ಸಂಕ್ಷೇಪಣ, ಸಾರಾಂಶ)?- ಯಾವ ಸಂದರ್ಭದಲ್ಲಿ ಚಿಕ್ಕದಾದ/ಅಗ್ಗದ ಮಾದರಿಯು ಸಾಕಾಗುತ್ತದೆ?- ಸಮಯ ಮೀರುವಿಕೆಯನ್ನು ಸೂಚಿಸಿ ಮತ್ತು ತಂತ್ರವನ್ನು ಮರುಪ್ರಯತ್ನಿಸಿ[ಕೋಡ್]"
ತಪ್ಪು ಸಹಿಷ್ಣುತೆಯ ಟೆಂಪ್ಲೇಟ್: "ಈ LLM ಕರೆಯನ್ನು ಸ್ಥಿತಿಸ್ಥಾಪಕವಾಗಿಸಿ:- ಯಾವುದೇ ನೆಟ್ವರ್ಕ್ಗಾಗಿ ಪ್ರತ್ಯೇಕ ನಡವಳಿಕೆ, ಸಮಯ ಮೀರುವಿಕೆ, 429 (ದರ ಮಿತಿ), 500 (ಸರ್ವರ್)- ತಾಂತ್ರಿಕವಲ್ಲದ, ಬಳಕೆದಾರರಿಗೆ ಸಭ್ಯ ಸಂದೇಶ- ನಿರ್ಣಾಯಕ ಪ್ರತ್ಯುತ್ತರಗಳಲ್ಲಿ ಭ್ರಮೆಯ ಅಪಾಯದ ವಿರುದ್ಧ ಪರಿಶೀಲನೆ ಟಿಪ್ಪಣಿ[ಕೋಡ್]"
ಸಾಮಾನ್ಯ ತಪ್ಪುಗಳು
- ಅಪ್ಲಿಕೇಶನ್ಗೆ API ಕೀಯನ್ನು ಎಂಬೆಡ್ ಮಾಡಲಾಗುತ್ತಿದೆ. ಅತ್ಯಂತ ದುಬಾರಿ ಮತ್ತು ಸಾಮಾನ್ಯ ಭದ್ರತಾ ದೋಷ; ಕೀಲಿಯು ಖಂಡಿತವಾಗಿಯೂ ಹಿಂಭಾಗದಲ್ಲಿ ಇರುತ್ತದೆ.
- ಹರಿವನ್ನು ಬಳಸುತ್ತಿಲ್ಲ. ದೀರ್ಘ ಉತ್ತರಗಳಿಗಾಗಿ ಬಳಕೆದಾರರನ್ನು ಕಾಯುವುದನ್ನು ಬಿಡುವುದು ಬಳಕೆದಾರರನ್ನು ದೂರ ಓಡಿಸುತ್ತದೆ.
- ಪ್ರತಿ ವಿನಂತಿಯೊಂದಿಗೆ ಸಂಪೂರ್ಣ ಚಾಟ್ ಇತಿಹಾಸವನ್ನು ಕಳುಹಿಸಲಾಗುತ್ತಿದೆ. ಇದು ಟೋಕನ್ ವೆಚ್ಚ ಮತ್ತು ಸುಪ್ತತೆಯನ್ನು ಗುಣಿಸುತ್ತದೆ.
- ದೋಷ ಪರಿಸ್ಥಿತಿಗಳನ್ನು ಬೈಪಾಸ್ ಮಾಡುವುದು. 429/500/ಟೈಮ್ಔಟ್ ಅನ್ನು ತಿಳಿಸದಿದ್ದರೆ ಅಪ್ಲಿಕೇಶನ್ ಕ್ರ್ಯಾಶ್ ಆಗುತ್ತದೆ ಅಥವಾ ಫ್ರೀಜ್ ಆಗುತ್ತದೆ.
- ಪ್ರಶ್ನೆಯಿಲ್ಲದೆ LLM ಉತ್ತರವನ್ನು ಸರಿಯಾಗಿ ಪರಿಗಣಿಸುವುದು. ಭ್ರಮೆ ನಿಜ; ನಿರ್ಣಾಯಕ ಪ್ರದೇಶದಲ್ಲಿ ಪರಿಶೀಲನೆ ಪದರವನ್ನು ಸೇರಿಸಿ.
- ಬಳಕೆದಾರರ ಡೇಟಾವನ್ನು ಅನಗತ್ಯ LLM ಗೆ ಕಳುಹಿಸಲಾಗುತ್ತಿದೆ. ವೈಯಕ್ತಿಕ ಡೇಟಾ ಅಗತ್ಯವಿದೆಯೇ ಅಥವಾ ಕ್ಲೌಡ್ಗೆ ಹೋಗುವ ಮೊದಲು ಅದನ್ನು ಮಾಸ್ಕ್ ಮಾಡಬೇಕೇ ಎಂದು ಕೇಳಿ.
ಸಾರಾಂಶದಲ್ಲಿ
ಕ್ಲೌಡ್ LLM ಮೊಬೈಲ್ಗೆ ಸಾಧನದಲ್ಲಿ ಹೊಂದಿಕೆಯಾಗದ ಉತ್ತಮ ಸಾಮರ್ಥ್ಯಗಳನ್ನು ತರುತ್ತದೆ, ಆದರೆ ಭದ್ರತೆ ಮತ್ತು ವೆಚ್ಚದ ಶಿಸ್ತಿನ ಅಗತ್ಯವಿರುತ್ತದೆ. ಸುವರ್ಣ ನಿಯಮ: API ಕೀ ಎಂದಿಗೂ ಕ್ಲೈಂಟ್ನಲ್ಲಿಲ್ಲ, ಅದು ಬ್ಯಾಕೆಂಡ್ ಪ್ರಾಕ್ಸಿ ಮೂಲಕ ಹೋಗುತ್ತದೆ. ಹರಿವು ಹೆಚ್ಚು ಗ್ರಹಿಸಿದ ವೇಗ ಮತ್ತು ಧಾರಣವನ್ನು ಹೆಚ್ಚಿಸುತ್ತದೆ; "ಸ್ಟಾಪ್" ಬಟನ್ ಮೂಲಕ ಬೆಂಬಲಿತವಾಗಿದೆ. ಕಳುಹಿಸಿದ ಟೋಕನ್ ಅನ್ನು ಕಡಿಮೆ ಮಾಡುವ ಮೂಲಕ ವೆಚ್ಚವನ್ನು ನಿರ್ಧರಿಸಲಾಗುತ್ತದೆ; ಎಲ್ಲಾ ದೋಷ ಪ್ರಕರಣಗಳನ್ನು ಆಕರ್ಷಕವಾಗಿ ನಿರ್ವಹಿಸುವ ಮೂಲಕ ಸ್ಥಿತಿಸ್ಥಾಪಕತ್ವವನ್ನು ಸಾಧಿಸಲಾಗುತ್ತದೆ. LLM ಉತ್ತರಗಳು ಭ್ರಮೆಗಳನ್ನು ಒಳಗೊಂಡಿರಬಹುದು; ನಿರ್ಣಾಯಕ ಪ್ರದೇಶಗಳಲ್ಲಿ, ಪರಿಶೀಲನೆ ಅತ್ಯಗತ್ಯ ಮತ್ತು ವೈಯಕ್ತಿಕ ಡೇಟಾವನ್ನು ಕ್ಲೌಡ್ಗೆ ಕಳುಹಿಸುವ ಮೊದಲು ಪರಿಶೀಲಿಸಲಾಗುತ್ತದೆ.
ಅಪ್ಲಿಕೇಶನ್ ಕಾರ್ಯ
"ಪಠ್ಯ ಸಾರಾಂಶ" ಅಥವಾ "ಚಾಟ್" ವೈಶಿಷ್ಟ್ಯಕ್ಕಾಗಿ "ಸುರಕ್ಷಿತ ಆರ್ಕಿಟೆಕ್ಚರ್ ಟೆಂಪ್ಲೇಟ್" ಅನ್ನು ಬಳಸಿಕೊಂಡು AI ನಿಂದ ಕ್ಲೈಂಟ್ + ಬ್ಯಾಕೆಂಡ್ ಪ್ರಾಕ್ಸಿ ವಿನ್ಯಾಸವನ್ನು ವಿನಂತಿಸಿ. ರಚಿಸಿದ ವಿನ್ಯಾಸದಲ್ಲಿ API ಕೀಯು ಬ್ಯಾಕೆಂಡ್ನಲ್ಲಿ ಮಾತ್ರ ಇದೆ ಎಂದು ಪರಿಶೀಲಿಸಿ. ನಂತರ "ವೆಚ್ಚ-ವಿಳಂಬ ಮಾದರಿ" ಯೊಂದಿಗೆ ಕಳುಹಿಸಲಾದ ಟೋಕನ್ ಅನ್ನು ಕಡಿಮೆ ಮಾಡಲು ಕನಿಷ್ಠ ಎರಡು ಮಾರ್ಗಗಳನ್ನು ಹೊರತೆಗೆಯಿರಿ ಮತ್ತು ದೋಷ ಸ್ಥಿತಿಗಾಗಿ ಬಳಕೆದಾರರಿಗೆ ಪ್ರದರ್ಶಿಸಲು ಸಭ್ಯ ಸಂದೇಶವನ್ನು ಬರೆಯಿರಿ (ಉದಾ. 429).
ಪರಿಶೀಲನಾಪಟ್ಟಿ
- [ ] API ಕೀಯು ಬ್ಯಾಕೆಂಡ್ನಲ್ಲಿದೆ ಮತ್ತು ಕ್ಲೈಂಟ್ನಲ್ಲಿ ಅಲ್ಲ ಎಂದು ನಾನು ಪರಿಶೀಲಿಸಿದ್ದೇನೆ
- [ ] ನಾನು ಪ್ರತಿಕ್ರಿಯೆಯನ್ನು ಸ್ಟ್ರೀಮಿಂಗ್ ಮಾಡಿದ್ದೇನೆ ಮತ್ತು 'ವಿರಾಮ' ಬಟನ್ ಅನ್ನು ಸೇರಿಸಿದ್ದೇನೆ
- [ ] ನಾನು ಸಮಯ ಮೀರುವಿಕೆ, ನೆಟ್ವರ್ಕ್ ದೋಷ, 429 ಮತ್ತು 500 ಸನ್ನಿವೇಶಗಳನ್ನು ನಿಭಾಯಿಸಿದೆ
- [ ] ನಾನು ಸಲ್ಲಿಸಿದ ಟೋಕನ್ ಅನ್ನು ಹಿಂದಿನ ಸಂಕ್ಷೇಪಣ/ಸಾರಾಂಶದೊಂದಿಗೆ ಕಡಿಮೆ ಮಾಡಿದೆ
- [ ] ನಾನು LLM ಉತ್ತರದಲ್ಲಿ ಭ್ರಮೆಗಳ ಅಪಾಯದ ವಿರುದ್ಧ ಮೌಲ್ಯೀಕರಣವನ್ನು ಪರಿಗಣಿಸಿದೆ
- [ ] ನಾನು ಕ್ಲೌಡ್ಗೆ ಹೋಗುವ ಮೊದಲು ವೈಯಕ್ತಿಕ ಡೇಟಾದ ಅಗತ್ಯತೆ/ಮರೆಮಾಚುವಿಕೆಯನ್ನು ಪರಿಶೀಲಿಸಿದ್ದೇನೆ