ನಿರಂತರ ಮಾನಿಟರಿಂಗ್, ವೀಕ್ಷಣೆ ಮತ್ತು ಡ್ರಿಫ್ಟ್

ಲಾಭಗಳು:

• ಬಳಕೆ, ಭದ್ರತೆ, ಗುಣಮಟ್ಟ ಮತ್ತು ಕಾರ್ಯಕ್ಷಮತೆಯ ಸಂಕೇತಗಳನ್ನು ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡುವ ಮೆಟ್ರಿಕ್‌ಗಳನ್ನು ವ್ಯಾಖ್ಯಾನಿಸುವ ಸಾಮರ್ಥ್ಯ
• ಬೇಸ್‌ಲೈನ್ ಮತ್ತು ಮಾದರಿಯೊಂದಿಗೆ ಔಟ್‌ಪುಟ್ ಗುಣಮಟ್ಟದ ಡ್ರಿಫ್ಟ್ ಅನ್ನು ಪತ್ತೆಹಚ್ಚುವ ಸಾಮರ್ಥ್ಯ
• ವೈಪರೀತ್ಯಗಳು ಮತ್ತು ಜೈಲ್ ಬ್ರೇಕ್ ಅಲೆಗಳಿಗೆ ಎಚ್ಚರಿಕೆ ಮತ್ತು ಪ್ರತಿಕ್ರಿಯೆ ಲೂಪ್ ಅನ್ನು ಹೊಂದಿಸುವ ಸಾಮರ್ಥ್ಯ

AI ವ್ಯವಸ್ಥೆಯನ್ನು ಉತ್ಪಾದನೆಗೆ ಹಾಕುವುದು ಪ್ರಾರಂಭ, ಅಂತ್ಯವಲ್ಲ. ಮಾದರಿಯು ಒಂದೇ ಆಗಿದ್ದರೂ ಸಹ, ಪ್ರಪಂಚವು ಬದಲಾಗುತ್ತದೆ: ಬಳಕೆದಾರರ ನಡವಳಿಕೆ, ಒಳಬರುವ ಡೇಟಾ, ದಾಳಿ ತಂತ್ರಗಳು ಮತ್ತು ವ್ಯವಹಾರ ಸಂದರ್ಭಗಳು ನಿರಂತರವಾಗಿ ಬದಲಾಗುತ್ತಿವೆ. ನಿನ್ನೆಯ ಸರಿಯಾದ ಉತ್ತರ ಇಂದು ತಪ್ಪಾಗಿರಬಹುದು. ಆದ್ದರಿಂದ ಭದ್ರತೆಯ ಅಂತಿಮ ಸ್ತಂಭವು ನಿರಂತರ ಮೇಲ್ವಿಚಾರಣೆ ಮತ್ತು ವೀಕ್ಷಣೆಯಾಗಿದೆ - ಸಿಸ್ಟಮ್ ಒಳಗೆ ಏನು ನಡೆಯುತ್ತಿದೆ ಎಂಬುದನ್ನು ಹೊರಗಿನಿಂದ ನೋಡುವ ಸಾಮರ್ಥ್ಯ. ಈ ಘಟಕದಲ್ಲಿ, ಯಾವ ಮೆಟ್ರಿಕ್‌ಗಳನ್ನು ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡಬೇಕು, ಔಟ್‌ಪುಟ್ ಗುಣಮಟ್ಟದ ಡ್ರಿಫ್ಟ್ ಅನ್ನು ಹೇಗೆ ಸೆರೆಹಿಡಿಯುವುದು ಮತ್ತು ವೈಪರೀತ್ಯಗಳಿಗೆ ಹೇಗೆ ಎಚ್ಚರಿಕೆ ನೀಡಬೇಕು ಎಂಬುದನ್ನು ನಾವು ಕಲಿಯುತ್ತೇವೆ.

ನಿರಂತರ ಮಾನಿಟರಿಂಗ್ ಏಕೆ?

ಶಾಸ್ತ್ರೀಯ ಸಾಫ್ಟ್‌ವೇರ್‌ನಲ್ಲಿ, "ಇದು ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆಯೇ" ಎಂಬುದು ಬೈನರಿ ಪ್ರಶ್ನೆಯಾಗಿದೆ: ಅದು ಉತ್ತರಿಸುತ್ತದೆ ಅಥವಾ ಇಲ್ಲ. AI ಯಲ್ಲಿ, ಸಿಸ್ಟಮ್ "ಕೆಲಸ" ಎಂದು ತೋರುತ್ತಿರುವಾಗ ಅದು ಮೌನವಾಗಿ ಹದಗೆಡಬಹುದು: ಉತ್ತರಗಳು ನಿಧಾನವಾಗಿ ತಪ್ಪಾಗುತ್ತವೆ, ವೆಚ್ಚಗಳು ಹೆಚ್ಚಾಗುತ್ತವೆ, ಜೈಲ್ ಬ್ರೇಕ್ ಪ್ರಯತ್ನಗಳು ಹೆಚ್ಚಾಗುತ್ತವೆ. ಇವುಗಳನ್ನು ಸೆರೆಹಿಡಿಯುವ ಏಕೈಕ ಮಾರ್ಗವೆಂದರೆ ಸರಿಯಾದ ಸಂಕೇತಗಳನ್ನು ನಿರಂತರವಾಗಿ ಅಳೆಯುವುದು.

ಗಮನ: ಅತ್ಯಂತ ಅಪಾಯಕಾರಿ ಅಸಮರ್ಪಕ ಕಾರ್ಯವು ಮೌನವಾಗಿದೆ, ಗದ್ದಲದ ಅಲ್ಲ. ಸಿಸ್ಟಮ್ ದೋಷಗಳನ್ನು ಎಸೆಯುವುದಿಲ್ಲ, ಅದರ ಗುಣಮಟ್ಟವು ಕಡಿಮೆಯಾಗುತ್ತದೆ. ನೀವು ಮಾನಿಟರಿಂಗ್ ಅನ್ನು ಹೊಂದಿಸದಿದ್ದರೆ, ಮೊದಲು ಗಮನಿಸುವುದು ನಿಮ್ಮ ಗ್ರಾಹಕರು ಅಥವಾ ಲೆಕ್ಕಪರಿಶೋಧಕರೇ ಹೊರತು ನೀವು ಅಲ್ಲ.

ವೀಕ್ಷಿಸಲು ನಾಲ್ಕು ಸಿಗ್ನಲ್ ಕುಟುಂಬಗಳು

• ಬಳಕೆ ಮತ್ತು ವೆಚ್ಚ: ವಿನಂತಿಯ ಪರಿಮಾಣ, ಟೋಕನ್ ಬಳಕೆ, ಪ್ರತಿ ಬಳಕೆದಾರರಿಗೆ ವೆಚ್ಚ. ಹಠಾತ್ ಜಿಗಿತ; ಇದು ದುರುಪಯೋಗದ ಸಂಕೇತ, ಲೂಪಿ ಏಕೀಕರಣ ಅಥವಾ ಸೋರುವ ಸ್ವಿಚ್ ಆಗಿರಬಹುದು.
• ಭದ್ರತಾ ಸಂಕೇತಗಳು: ಜೈಲ್ ಬ್ರೇಕ್/ಇಂಜೆಕ್ಷನ್ ಪ್ರಯತ್ನಗಳು, ವಾಹನದ ಕರೆಗಳನ್ನು ತಿರಸ್ಕರಿಸಲಾಗಿದೆ, ದೃಢೀಕರಣ ದೋಷಗಳು. ಹೆಚ್ಚಳವು ಸಕ್ರಿಯ ದಾಳಿಯ ಪ್ರಚಾರವನ್ನು ಸೂಚಿಸುತ್ತದೆ.
• ಗುಣಮಟ್ಟ ಮತ್ತು ಡ್ರಿಫ್ಟ್: ಕಾಲಾನಂತರದಲ್ಲಿ ಔಟ್ಪುಟ್ ಗುಣಮಟ್ಟದಲ್ಲಿ ಇಳಿಕೆ (ಡ್ರಿಫ್ಟ್). ಉದಾಹರಣೆಗೆ, ಪರಿಶೀಲನೆ ಪಾಸ್ ದರ, ಮಾನವ ಅನುಮೋದನೆಯಲ್ಲಿ ತಿದ್ದುಪಡಿ ದರ, ಬಳಕೆದಾರರ ತೃಪ್ತಿ.
• ಕಾರ್ಯಕ್ಷಮತೆ: ಸುಪ್ತತೆ, ದೋಷ ಪ್ರಮಾಣ, ಸಮಯ ಮೀರಿದೆ. ಇದು ಬಳಕೆದಾರರ ಅನುಭವ ಮತ್ತು ವೆಚ್ಚದ ಮೇಲೆ ನೇರವಾಗಿ ಪರಿಣಾಮ ಬೀರುತ್ತದೆ.

ಡ್ರಿಫ್ಟ್ ಎಂದರೇನು ಮತ್ತು ಅದನ್ನು ಹೇಗೆ ಹಿಡಿಯುವುದು?

ಡ್ರಿಫ್ಟ್ ಎಂದರೆ ಮಾದರಿಯ ಒಳಹರಿವು ಅಥವಾ ಔಟ್‌ಪುಟ್‌ನ ಗುಣಮಟ್ಟವು ಕಾಲಾನಂತರದಲ್ಲಿ ಗಮನಿಸದೆ ಬದಲಾಗುವುದು. ಎರಡು ವಿಧಗಳಿವೆ: ಡೇಟಾ ಡ್ರಿಫ್ಟ್ (ಒಳಬರುವ ವಿನಂತಿಗಳ ವಿತರಣೆ ಬದಲಾವಣೆಗಳು - ಹೊಸ ವಿಷಯ, ಹೊಸ ಭಾಷೆ) ಮತ್ತು ಗುಣಮಟ್ಟದ ಡ್ರಿಫ್ಟ್ (ಅದೇ ಕೆಲಸಕ್ಕಾಗಿ ಔಟ್ಪುಟ್ ಕ್ರಮೇಣ ಕೆಟ್ಟದಾಗುತ್ತದೆ). ಸೆರೆಹಿಡಿಯಲು ಬೇಸ್‌ಲೈನ್ ಅಗತ್ಯವಿದೆ: ಸಿಸ್ಟಮ್ ಆರೋಗ್ಯಕರವಾಗಿದ್ದಾಗ ಸಾಮಾನ್ಯ ಶ್ರೇಣಿಯ ಮೆಟ್ರಿಕ್‌ಗಳನ್ನು ರೆಕಾರ್ಡ್ ಮಾಡಿ; ವಿಚಲನವು ಎಚ್ಚರಿಕೆಯಾಗಲಿ.

ಹಂತ ಹಂತವಾಗಿ: ಮಾನಿಟರಿಂಗ್ ಅನ್ನು ಹೊಂದಿಸಲಾಗುತ್ತಿದೆ

1. ಬೇಸ್ಲೈನ್ ಅನ್ನು ಅಳೆಯಿರಿ. ಸಿಸ್ಟಮ್ ಆರೋಗ್ಯಕರವಾಗಿದ್ದಾಗ ಪ್ರತಿ ಸಂಕೇತದ ಸಾಮಾನ್ಯ ಶ್ರೇಣಿಯನ್ನು ರೆಕಾರ್ಡ್ ಮಾಡಿ.
2. ಮಿತಿ ಮತ್ತು ಎಚ್ಚರಿಕೆಯನ್ನು ವಿವರಿಸಿ. ಯಾವ ವಿಚಲನವು ಯಾರಿಗೆ ಮತ್ತು ಹೇಗೆ ಎಚ್ಚರಿಕೆ ನೀಡುತ್ತದೆ?
3. ಮಾದರಿ + ಮಾನವ ತಪಾಸಣೆ. ನಿಯಮಿತವಾಗಿ ಔಟ್‌ಪುಟ್‌ಗಳ ಮಾದರಿಯನ್ನು ಮಾನವ ವಿಮರ್ಶೆ ಮಾಡಿ (ಗುಣಮಟ್ಟದ ಡ್ರಿಫ್ಟ್ ಸಾಮಾನ್ಯವಾಗಿ ಮಾತ್ರ ಗೋಚರಿಸುತ್ತದೆ).
4. ಡ್ಯಾಶ್‌ಬೋರ್ಡ್ ಅನ್ನು ಸ್ಥಾಪಿಸಿ. ಒಂದು ಪರದೆಯಲ್ಲಿ ನಾಲ್ಕು ಸಿಗ್ನಲ್ ಕುಟುಂಬಗಳನ್ನು ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡಿ.
5. ಪ್ರತಿಕ್ರಿಯೆ ಲೂಪ್. ಮೇಲ್ವಿಚಾರಣೆಯಿಂದ ಪ್ರಾಂಪ್ಟ್/ನಿಯಂತ್ರಣ ಸುಧಾರಣೆಗೆ ಸಂಶೋಧನೆಗಳನ್ನು ಕಟ್ಟಿಕೊಳ್ಳಿ.

ನಾಲ್ಕು ನಕಲು ಮಾಡಬಹುದಾದ ಟೆಂಪ್ಲೇಟ್‌ಗಳು

ಗುಣಮಟ್ಟದ ಮಾದರಿ ಮೌಲ್ಯಮಾಪನ ಪ್ರಾಂಪ್ಟ್ (LLM-ಆಸ್-ಜಡ್ಜ್‌ನೊಂದಿಗೆ ಡ್ರಿಫ್ಟ್ ಟ್ರ್ಯಾಕಿಂಗ್):

ಈ ವಾರದಿಂದ 20 ಯಾದೃಚ್ಛಿಕ ಮುದ್ರಣಗಳನ್ನು ಕೆಳಗೆ ನೀಡಲಾಗಿದೆ. ಪ್ರತಿಯೊಂದನ್ನು "ಒಳ್ಳೆಯದು / ಸ್ವೀಕಾರಾರ್ಹ / ಕೆಟ್ಟದು" ಎಂದು ರೇಟ್ ಮಾಡಿ ಮತ್ತು ಸಣ್ಣ ಸಮರ್ಥನೆಯನ್ನು ಬರೆಯಿರಿ. ಅಂತಿಮವಾಗಿ ನಾನು ಕೆಟ್ಟ ದರವನ್ನು ಕಳೆದ ವಾರದ ದರದೊಂದಿಗೆ ಹೋಲಿಸುತ್ತೇನೆ; ಈ ವಾರ ಎದ್ದುಕಾಣುವ ಮಾದರಿ (ಅದೇ ರೀತಿಯ ತಪ್ಪುಗಳ ಪುನರಾವರ್ತನೆ) ಇದ್ದರೆ, ಅದನ್ನು ಗುರುತಿಸಿ.<outputs>{{ examples }}</outputs>

ಅಸಂಗತ ಸಾರಾಂಶ ಪ್ರಾಂಪ್ಟ್:

ಕೆಳಗಿನ ದೈನಂದಿನ ಮೆಟ್ರಿಕ್‌ಗಳನ್ನು ಪರೀಕ್ಷಿಸಿ: ವಿನಂತಿಗಳ ಸಂಖ್ಯೆ, ಟೋಕನ್‌ಗಳು, ವೆಚ್ಚ, ಟೂಲ್ ಕರೆ ತಿರಸ್ಕರಿಸಲಾಗಿದೆ, ಜೈಲ್ ಬ್ರೇಕ್ ಪ್ರಯತ್ನಗಳು, ಸರಾಸರಿ ಸುಪ್ತತೆ. ಬೇಸ್‌ಲೈನ್‌ನಿಂದ 30% ಕ್ಕಿಂತ ಹೆಚ್ಚು ವ್ಯತ್ಯಾಸವಾಗುವ ಯಾವುದೇ ಮೆಟ್ರಿಕ್ ಅನ್ನು "ANOMALIT" ಎಂದು ಗುರುತಿಸಿ ಮತ್ತು ಸಂಭವನೀಯ ಕಾರಣವನ್ನು ಅಂದಾಜು ಮಾಡಿ (ದಾಳಿ, ದೋಷ, ನಿಂದನೆ).<metrics>{{ daily_data }}</metrics>

ಅಲಾರ್ಮ್ ಥ್ರೆಶೋಲ್ಡ್ ವ್ಯಾಖ್ಯಾನ ನಿಯಮ:

ಪ್ರತಿ ಸಿಗ್ನಲ್‌ಗೆ ಅಲಾರಮ್‌ಗಳನ್ನು ವಿವರಿಸಿ:- ವೆಚ್ಚ: ದೈನಂದಿನ ಸರಾಸರಿ 2x ಮೀರಿದರೆ -> ಹೆಚ್ಚಿನ ಆದ್ಯತೆಯ ಎಚ್ಚರಿಕೆ- ಜೈಲ್ ಬ್ರೇಕ್ ಪ್ರಯತ್ನಗಳು: ಪ್ರತಿ ಗಂಟೆಗೆ 10 ಮೀರಿದರೆ -> ಭದ್ರತಾ ತಂಡವನ್ನು ಸೂಚಿಸಿ- ಪರಿಶೀಲನೆ ಪಾಸ್ ದರ: 90% ಕ್ಕಿಂತ ಕಡಿಮೆಯಾದರೆ -> ಗುಣಮಟ್ಟದ ವಿಮರ್ಶೆ- ಸುಪ್ತತೆ: p95 2x ಗುರಿಯನ್ನು ಮೀರಿದರೆ -> ಕಾರ್ಯಕ್ಷಮತೆ ವಿಮರ್ಶೆ

ಡ್ರಿಫ್ಟ್ ಸಂಶೋಧನಾ ಪ್ರಾಂಪ್ಟ್:

ಕಳೆದ 2 ವಾರಗಳಲ್ಲಿ ಪರಿಶೀಲನೆ ಪಾಸ್ ದರವು 94% ರಿಂದ 78% ಕ್ಕೆ ಇಳಿದಿದೆ. ಈ ಪ್ರಶ್ನೆಗಳಿಗೆ ಉತ್ತರಿಸಲು ನನಗೆ ಸಹಾಯ ಮಾಡಿ: (1) ಒಳಬರುವ ವಿನಂತಿಗಳಲ್ಲಿ ಹೊಸ ವಿಷಯ/ಭಾಷೆ/ಫಾರ್ಮ್ಯಾಟ್ ಕಾಣಿಸಿಕೊಂಡಿದೆಯೇ? (2) ದೋಷಗಳು ನಿರ್ದಿಷ್ಟ ವರ್ಗದಲ್ಲಿ ಕೇಂದ್ರೀಕೃತವಾಗಿವೆಯೇ? (3) ಸಮಯವು ಪ್ರಾಂಪ್ಟ್ / ಮಾಡೆಲ್ / ಟೂಲ್ ಬದಲಾವಣೆಯೊಂದಿಗೆ ಹೊಂದಿಕೆಯಾಗುತ್ತದೆಯೇ? ಪ್ರತಿಯೊಂದಕ್ಕೂ ಪರಿಶೀಲಿಸಬೇಕಾದ ಡೇಟಾವನ್ನು ಹೆಸರಿಸಿ.

ದುರ್ಬಲ ಪ್ರಾಂಪ್ಟ್ / ಬಲವಾದ ಪ್ರಾಂಪ್ಟ್

ಕಳಪೆ ವಿಧಾನ

ಬಲವಾದ ವಿಧಾನ

"ತಪ್ಪು ಇದ್ದರೆ, ನಾವು ನೋಡುತ್ತೇವೆ"

ಬೇಸ್‌ಲೈನ್ + ಥ್ರೆಶೋಲ್ಡ್ + ಪೂರ್ವಭಾವಿ ಎಚ್ಚರಿಕೆ

ಸಿಸ್ಟಂ ನಿಂತಿದೆಯೇ ಎಂದು ಪರಿಶೀಲಿಸಲಾಗುತ್ತಿದೆ.

ನಾಲ್ಕು ಕುಟುಂಬಗಳ ಸಂಕೇತಗಳ ಮೇಲ್ವಿಚಾರಣೆ (ಬಳಕೆ, ಭದ್ರತೆ, ಗುಣಮಟ್ಟ, ಕಾರ್ಯಕ್ಷಮತೆ)

ಔಟ್‌ಪುಟ್ ಗುಣಮಟ್ಟವನ್ನು ಸ್ಯಾಂಪಲ್ ಮಾಡುತ್ತಿಲ್ಲ

ನಿಯಮಿತ ಮಾನವ ಮಾದರಿ + LLM-ನ್ಯಾಯಾಧೀಶರಾಗಿ

ಮೆಟ್ರಿಕ್‌ಗಳನ್ನು ಸಂಗ್ರಹಿಸಿ ನೋಡುತ್ತಿಲ್ಲ

ಡ್ಯಾಶ್‌ಬೋರ್ಡ್ + ಪ್ರತಿಕ್ರಿಯೆ ಲೂಪ್

ಮೂರು ಮಿನಿ ಪ್ರಕರಣಗಳು

ಪ್ರಕರಣ 1 - ವೆಚ್ಚದ ಎಚ್ಚರಿಕೆಯು ಸೋರಿಕೆಯಾಗುವ ಕೀಲಿಯನ್ನು ಹಿಡಿದಿದೆ. ಕಂಪನಿಯ ದೈನಂದಿನ ಟೋಕನ್ ವೆಚ್ಚವು ರಾತ್ರೋರಾತ್ರಿ ಮೂರು ಪಟ್ಟು ಹೆಚ್ಚಾಗಿದೆ. ಥ್ರೆಶೋಲ್ಡ್ ಅಲಾರಂ ಭದ್ರತಾ ತಂಡವನ್ನು ಎಚ್ಚರಿಸಿತು; ಬೋಟ್‌ನಿಂದ ಪರೀಕ್ಷಾ ಕೀ ಸೋರಿಕೆಯಾಗಿದೆ ಮತ್ತು ಬಳಸಲಾಗಿದೆ ಎಂದು ತನಿಖೆಯು ತೋರಿಸಿದೆ. ಕೀಲಿಯನ್ನು 25 ನಿಮಿಷಗಳಲ್ಲಿ ಹಿಂತೆಗೆದುಕೊಳ್ಳಲಾಯಿತು; ಅಲಾರಾಂ ಇಲ್ಲದೇ ಇದ್ದಿದ್ದರೆ ತಿಂಗಳಾಂತ್ಯದಲ್ಲಿ ಬಿಲ್ ಗಮನಕ್ಕೆ ಬರುತ್ತಿತ್ತು.

ಪ್ರಕರಣ 2 - ಸೈಲೆಂಟ್ ಗುಣಮಟ್ಟದ ಡ್ರಿಫ್ಟ್. ಮೂರು ವಾರಗಳಲ್ಲಿ ಬೆಂಬಲ ಸಹಾಯಕರ ಪರಿಶೀಲನೆಯ ಪಾಸ್ ದರವು ಸದ್ದಿಲ್ಲದೆ 95% ರಿಂದ 80% ಕ್ಕೆ ಇಳಿದಿದೆ. ಸಾಪ್ತಾಹಿಕ ಮಾದರಿಯು ಇದನ್ನು ಸೆರೆಹಿಡಿಯಿತು; ಕಾರಣವೆಂದರೆ ಗ್ರಾಹಕರು ಹೊಸ ಉತ್ಪನ್ನದ ಬಗ್ಗೆ ಕೇಳಲು ಪ್ರಾರಂಭಿಸಿದರು ಮತ್ತು ಮಾದರಿಯ ಜ್ಞಾನದ ಮೂಲವು ಅಪೂರ್ಣವಾಗಿತ್ತು. ಜ್ಞಾನದ ಮೂಲವನ್ನು ನವೀಕರಿಸಿದಾಗ ದರವು ಚೇತರಿಸಿಕೊಂಡಿದೆ.

ಪ್ರಕರಣ 3 - ಜೈಲ್ ಬ್ರೇಕ್ ವೇವ್ ಮುಂಚೆಯೇ ಇತ್ತು. ಸಹಾಯಕನ ಮೇಲೆ ಮಾಡಿದ ಇಂಜೆಕ್ಷನ್ ಪ್ರಯತ್ನಗಳು ಒಂದು ದಿನದಲ್ಲಿ ಗಂಟೆಗೆ 2 ರಿಂದ 40 ಕ್ಕೆ ಹೆಚ್ಚಾಯಿತು. ಭದ್ರತಾ ಎಚ್ಚರಿಕೆಯನ್ನು ಪ್ರಚೋದಿಸಲಾಗಿದೆ; ವ್ಯವಸ್ಥೆಯನ್ನು ಭೇದಿಸುವ "ಪಾಕವಿಧಾನ" ವನ್ನು ವೇದಿಕೆಯಲ್ಲಿ ಹಂಚಿಕೊಂಡಿರುವುದು ಕಂಡುಬಂದಿದೆ. ತಂಡವು ರಕ್ಷಣಾ ಪ್ರಾಂಪ್ಟ್ ಮತ್ತು ದರ-ಸೀಮಿತ ಅನುಮಾನಾಸ್ಪದ ಖಾತೆಗಳನ್ನು ನವೀಕರಿಸಿದೆ; ನಿಜವಾದ ಸೋರಿಕೆಯಾಗುವ ಮೊದಲು ಅಲೆಯು ಸತ್ತುಹೋಯಿತು.

ಸಲಹೆ: ಕೇವಲ ಮೆಷಿನ್ ಮೆಟ್ರಿಕ್‌ಗಳಿಗಾಗಿ ನೆಲೆಗೊಳ್ಳಬೇಡಿ. ಗುಣಮಟ್ಟದ ದಿಕ್ಚ್ಯುತಿಯು ಸಾಮಾನ್ಯವಾಗಿ ಮಾದರಿ ಔಟ್‌ಪುಟ್‌ಗಳನ್ನು ಮನುಷ್ಯ ಓದುವ ಮೂಲಕ ಹಿಡಿಯಲಾಗುತ್ತದೆ. ವಾರಕ್ಕೆ 15-20 ಯಾದೃಚ್ಛಿಕ ಮುದ್ರಣಗಳನ್ನು ಪರಿಶೀಲಿಸುವ ಒಂದು ಸಣ್ಣ ದಿನಚರಿಯು ಅತ್ಯಂತ ದುಬಾರಿ ಮೂಕ ವೈಫಲ್ಯಗಳನ್ನು ಮೊದಲೇ ಹಿಡಿಯುತ್ತದೆ.

ಸಾಮಾನ್ಯ ತಪ್ಪುಗಳು

• ಅದನ್ನು ಉತ್ಪಾದನೆಗೆ ಒಳಪಡಿಸುವುದಿಲ್ಲ ಮತ್ತು ಮೇಲ್ವಿಚಾರಣೆಯನ್ನು ಹೊಂದಿಸುವುದು ("ಇದು ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತಿದೆ, ಸರಿ").
• ಬೇಸ್ಲೈನ್ ​​ಅನ್ನು ಅಳೆಯದೆ ಅಸಂಗತತೆಯನ್ನು ಗುರುತಿಸಲು ಸಾಧ್ಯವಾಗುವುದಿಲ್ಲ.
• "ಇದು ನಿಂತಿದೆಯೇ" ಎಂದು ಮಾತ್ರ ನೋಡುವ ಮೂಲಕ ಗುಣಮಟ್ಟದ ಡ್ರಿಫ್ಟ್ ಅನ್ನು ಕಳೆದುಕೊಳ್ಳುತ್ತದೆ.
• ಮಾನವನ ಕಣ್ಣುಗಳ ಮೂಲಕ ಔಟ್‌ಪುಟ್ ಗುಣಮಟ್ಟವನ್ನು ಸ್ಯಾಂಪಲ್ ಮಾಡುತ್ತಿಲ್ಲ.
• ಅಲಾರಾಂ ಅನ್ನು ಎತ್ತುವುದಿಲ್ಲ ಮತ್ತು ಗ್ರಾಹಕರು/ಮೇಲ್ವಿಚಾರಕರಿಂದ ಸಮಸ್ಯೆಯನ್ನು ಕಂಡುಹಿಡಿಯುವುದು.
• ಮೇಲ್ವಿಚಾರಣಾ ಸಂಶೋಧನೆಗಳನ್ನು ಸುಧಾರಣೆಗೆ ಸಂಪರ್ಕಿಸುತ್ತಿಲ್ಲ (ಪ್ರತಿಕ್ರಿಯೆ ಲೂಪ್ ಇಲ್ಲ).

ಸಾರಾಂಶದಲ್ಲಿ

• AI ವ್ಯವಸ್ಥೆಗಳು ಸದ್ದಿಲ್ಲದೆ ಹದಗೆಡಬಹುದು; ಅತ್ಯಂತ ಅಪಾಯಕಾರಿ ಅಸಮರ್ಪಕ ಕಾರ್ಯವು ದೋಷಗಳನ್ನು ಎಸೆಯುವುದಿಲ್ಲ, ಆದರೆ ಗುಣಮಟ್ಟವನ್ನು ಮಾತ್ರ ಕಡಿಮೆ ಮಾಡುತ್ತದೆ.
• ನಾಲ್ಕು ಕುಟುಂಬಗಳ ಸಂಕೇತಗಳನ್ನು ಟ್ರ್ಯಾಕ್ ಮಾಡಿ: ಬಳಕೆ/ವೆಚ್ಚ, ಸುರಕ್ಷತೆ, ಗುಣಮಟ್ಟ/ಡ್ರಿಫ್ಟ್ ಮತ್ತು ಕಾರ್ಯಕ್ಷಮತೆ.
• ಡ್ರಿಫ್ಟ್ (ಕಾಲಾಂತರದಲ್ಲಿ ಇನ್‌ಪುಟ್ ಅಥವಾ ಔಟ್‌ಪುಟ್ ಗುಣಮಟ್ಟದ ಡ್ರಿಫ್ಟ್) ಅನ್ನು ಬೇಸ್‌ಲೈನ್‌ಗೆ ಹೋಲಿಸಿದರೆ ಮಾತ್ರ ಸೆರೆಹಿಡಿಯಲಾಗುತ್ತದೆ.
• ಯಂತ್ರದ ಮೆಟ್ರಿಕ್‌ಗಳ ಜೊತೆಗೆ ನಿಯಮಿತ ಮಾನವ ಮಾದರಿಯು ಗುಣಮಟ್ಟದ ಡ್ರಿಫ್ಟ್ ಅನ್ನು ಸೆರೆಹಿಡಿಯುತ್ತದೆ.
• ಅಲಾರಾಂ ಮತ್ತು ಪ್ರತಿಕ್ರಿಯೆ ಲೂಪ್‌ಗೆ ಮೇಲ್ವಿಚಾರಣೆಯನ್ನು ಸಂಪರ್ಕಿಸಿ; ಅಳೆಯುವುದು ಮತ್ತು ನೋಡದಿರುವುದು ಮೇಲ್ವಿಚಾರಣೆಯಲ್ಲ.

ಅಪ್ಲಿಕೇಶನ್ ಕಾರ್ಯ

ನಿಮ್ಮ ಸ್ವಂತ AI ಸಿಸ್ಟಮ್‌ಗಾಗಿ ನಾಲ್ಕು ಸಿಗ್ನಲ್ ಕುಟುಂಬಗಳಿಂದ ಕನಿಷ್ಠ ಒಂದು ಮೆಟ್ರಿಕ್ ಅನ್ನು ಆಯ್ಕೆಮಾಡಿ ಮತ್ತು ಅವುಗಳ ಪ್ರಸ್ತುತ (ಅಥವಾ ಅಂದಾಜು) ಬೇಸ್‌ಲೈನ್‌ಗಳನ್ನು ಬರೆಯಿರಿ. ಪ್ರತಿ ಮೆಟ್ರಿಕ್‌ಗೆ ಎಚ್ಚರಿಕೆಯ ಮಿತಿಯನ್ನು ವಿವರಿಸಿ. ನಂತರ ನಿಮ್ಮ ಕೊನೆಯ ಸೆಮಿಸ್ಟರ್‌ನ 15 ಔಟ್‌ಪುಟ್‌ಗಳನ್ನು ತೆಗೆದುಕೊಳ್ಳಿ ಮತ್ತು ಮೇಲಿನ ಮಾದರಿ ಪ್ರಾಂಪ್ಟ್‌ನೊಂದಿಗೆ ಅವುಗಳನ್ನು ಸ್ಕೋರ್ ಮಾಡಿ; "ಕೆಟ್ಟ" ದರವನ್ನು ಗಮನಿಸಿ. ಭವಿಷ್ಯದಲ್ಲಿ ಡ್ರಿಫ್ಟ್ ಅನ್ನು ಹೋಲಿಸಲು ಇದು ನಿಮ್ಮ ಮೊದಲ ಬೇಸ್‌ಲೈನ್ ಆಗಿರಲಿ.

ಪರಿಶೀಲನಾಪಟ್ಟಿ

• [ ] ನಾನು ನಾಲ್ಕು ಸಂಕೇತ ಕುಟುಂಬಗಳಿಂದ ಮೆಟ್ರಿಕ್‌ಗಳನ್ನು ವ್ಯಾಖ್ಯಾನಿಸಿದ್ದೇನೆ (ಬಳಕೆ, ಭದ್ರತೆ, ಗುಣಮಟ್ಟ, ಕಾರ್ಯಕ್ಷಮತೆ).
• [ ] ನಾನು ಪ್ರತಿ ಮೆಟ್ರಿಕ್‌ಗೆ ಬೇಸ್‌ಲೈನ್ ಮತ್ತು ಅಲಾರಾಂ ಥ್ರೆಶೋಲ್ಡ್ ಅನ್ನು ಹೊಂದಿಸಿದ್ದೇನೆ.
• [ ] ನಾನು ನಿಯಮಿತವಾಗಿ ಮಾನವ ಕಣ್ಣುಗಳ ಮೂಲಕ ಔಟ್‌ಪುಟ್ ಗುಣಮಟ್ಟವನ್ನು ಸ್ಯಾಂಪಲ್ ಮಾಡುತ್ತೇನೆ.
• [ ] ನಾನು ಡಿಸ್ಪ್ಲೇ ಪ್ಯಾನೆಲ್ನೊಂದಿಗೆ ಒಂದೇ ಪರದೆಯ ಮೇಲೆ ಸಂಕೇತಗಳನ್ನು ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡುತ್ತೇನೆ.
• [ ] ಅಲಾರ್ಮ್ ವೈಪರೀತ್ಯಗಳು ಮತ್ತು ಜೈಲ್ ಬ್ರೇಕ್ ಅಲೆಗಳಿಗಾಗಿ ಭದ್ರತಾ ತಂಡಕ್ಕೆ ಹೋಗುತ್ತದೆ.
• [ ] ನಾನು ಪ್ರಾಂಪ್ಟ್/ನಿಯಂತ್ರಣ ಸುಧಾರಣೆಗೆ ಮೇಲ್ವಿಚಾರಣಾ ಸಂಶೋಧನೆಗಳನ್ನು ಕಾರಣವೆಂದು ಹೇಳುತ್ತೇನೆ.