ಪುನರುತ್ಪಾದನೆ ಮತ್ತು ಅಂತ್ಯದಿಂದ ಅಂತ್ಯದ ಯೋಜನೆ: ಎಲ್ಲವನ್ನೂ ಸಂಯೋಜಿಸುವುದು

ಲಾಭಗಳು:

• ನಾಲ್ಕು ಸ್ತಂಭಗಳೊಂದಿಗೆ ಪುನರುತ್ಪಾದನೆಯನ್ನು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳುವ ಸಾಮರ್ಥ್ಯ (ಬೀಜ ಸ್ಥಿರೀಕರಣ, ಡೇಟಾ ಆವೃತ್ತಿ, ಮಾಧ್ಯಮ ಘನೀಕರಣ, ಪ್ರಯೋಗ ಮೇಲ್ವಿಚಾರಣೆ) ಮತ್ತು ಅದೇ ರನ್ ಅನ್ನು ಪುನರಾವರ್ತಿಸಿದಾಗ ಅದೇ ಫಲಿತಾಂಶವನ್ನು ಉಂಟುಮಾಡುತ್ತದೆ
• ಮಾಡ್ಯೂಲ್‌ನ ಎಲ್ಲಾ ನಿಲುಗಡೆಗಳನ್ನು (ಮೆಟ್ರಿಕ್ಸ್, ಡೇಟಾ, ಮಾಡೆಲ್, LLM ಘಟಕಗಳು, ಇವಾಲ್, ಫೇರ್‌ನೆಸ್, ಸೆಕ್ಯುರಿಟಿ, ಡಿಸ್ಟ್ರಿಬ್ಯೂಷನ್, ಮಾನಿಟರಿಂಗ್) ಎಂಡ್-ಟು-ಎಂಡ್ ಸರಪಳಿಯಲ್ಲಿ ಸಂಯೋಜಿಸುವ ಸಾಮರ್ಥ್ಯ
• ಪ್ರತಿ ನಿಲ್ದಾಣದಲ್ಲಿ ನಿರ್ಣಾಯಕ ನಿರ್ಧಾರವು ಮಾನವನೊಂದಿಗೆ ಉಳಿದಿದೆ ಎಂದು ಪರಿಶೀಲಿಸುವ ಸಾಮರ್ಥ್ಯ ಮತ್ತು ಯೋಜನೆಯನ್ನು ಲೆಕ್ಕಪರಿಶೋಧನೆಯ ರೀತಿಯಲ್ಲಿ ದಾಖಲಿಸುವುದು

ML ಯೋಜನೆಯ ಅತ್ಯಂತ ಕಪಟ ವೈಫಲ್ಯವು ಕುಸಿತವಲ್ಲ; "ಮತ್ತೆ ಅದೇ ಫಲಿತಾಂಶವನ್ನು ಪಡೆಯುತ್ತಿಲ್ಲ." ಮೂರು ತಿಂಗಳ ಹಿಂದೆ ನೀವು ಉತ್ಪಾದನೆಗೆ ಒಳಪಡಿಸಿದ ಮಾದರಿಯ ಸ್ಕೋರ್ ಅನ್ನು ನೀವು ಇಂದು ಪುನರುತ್ಪಾದಿಸಲು ಸಾಧ್ಯವಾಗದಿದ್ದರೆ, ನೀವು ನಿಜವಾಗಿಯೂ ಆ ಮಾದರಿಯನ್ನು ನಿಯಂತ್ರಿಸುವುದಿಲ್ಲ. ಈ ಮುಚ್ಚುವ ಘಟಕದಲ್ಲಿ, ನಾವು ಪುನರುತ್ಪಾದನೆಯನ್ನು ಆಳಗೊಳಿಸುತ್ತೇವೆ: ಅದೇ ಫಲಿತಾಂಶವನ್ನು ಅದೇ ಇನ್‌ಪುಟ್‌ಗಳೊಂದಿಗೆ ವಿಶ್ವಾಸಾರ್ಹವಾಗಿ ಪಡೆಯುವ ಸಾಮರ್ಥ್ಯ ಮತ್ತು ಸಂಪೂರ್ಣ ಮಾಡ್ಯೂಲ್ ಅನ್ನು ಎಂಡ್-ಟು-ಎಂಡ್ ಪ್ರಾಜೆಕ್ಟ್ ಶಿಸ್ತಿನಲ್ಲಿ ಸಂಯೋಜಿಸುವ ಸಾಮರ್ಥ್ಯ.

ಪುನರುತ್ಪಾದನೆ ಏಕೆ ಕಷ್ಟ

ಸಾಮಾನ್ಯ ಸಾಫ್ಟ್‌ವೇರ್‌ನಲ್ಲಿ, ಅದೇ ಕೋಡ್ ಒಂದೇ ಔಟ್‌ಪುಟ್ ಅನ್ನು ನೀಡುತ್ತದೆ. ML ನಲ್ಲಿ ಫಲಿತಾಂಶವನ್ನು ನಿರ್ಧರಿಸುವ ಹಲವು ಅಸ್ಥಿರಗಳಿವೆ:

• ಯಾದೃಚ್ಛಿಕತೆ: ಡೇಟಾ ಷಫಲಿಂಗ್, ತೂಕದ ಆರಂಭ, ಡೇಟಾ ವಿಭಜನೆ - ಎಲ್ಲವೂ ಯಾದೃಚ್ಛಿಕತೆಯನ್ನು ಅವಲಂಬಿಸಿವೆ.
• ಡೇಟಾ: ಒಂದೇ ಕೋಡ್ ವಿಭಿನ್ನ ಡೇಟಾ ಆವೃತ್ತಿಯೊಂದಿಗೆ ವಿಭಿನ್ನ ಮಾದರಿಯನ್ನು ಉತ್ಪಾದಿಸುತ್ತದೆ.
• ಪರಿಸರ: ಲೈಬ್ರರಿ ಆವೃತ್ತಿಗಳು, ಹಾರ್ಡ್‌ವೇರ್ (ಸಿಪಿಯು/ಜಿಪಿಯು), ಆಪರೇಟಿಂಗ್ ಸಿಸ್ಟಮ್ ಸಹ ಫಲಿತಾಂಶವನ್ನು ಬದಲಾಯಿಸಬಹುದು.
• ಹಿಡನ್ ಕೇಸ್: ಉಳಿಸದ ಹೈಪರ್‌ಪ್ಯಾರಾಮೀಟರ್, ಹಸ್ತಚಾಲಿತ ಪ್ರಿಪ್ರೊಸೆಸಿಂಗ್ ಹಂತ, ಗಮನಿಸದ ಆಯ್ಕೆ.

ಪುನರುತ್ಪಾದನೆಯು "ಹೊಂದಲು ಸಂತೋಷವಾಗಿದೆ" ಆದರೆ ವೈಜ್ಞಾನಿಕ ಮತ್ತು ಎಂಜಿನಿಯರಿಂಗ್ ಕಡ್ಡಾಯವಾಗಿದೆ. ಪುನರುತ್ಪಾದಿಸಲಾಗದ ಫಲಿತಾಂಶವು ಸಾಬೀತುಪಡಿಸಲಾಗದ ಹಕ್ಕು.

ಪುನರುತ್ಪಾದನೆಯ ನಾಲ್ಕು ಸ್ತಂಭಗಳು

1. ಯಾದೃಚ್ಛಿಕತೆಯನ್ನು ಸರಿಪಡಿಸಿ. ಎಲ್ಲಾ ಯಾದೃಚ್ಛಿಕ ಬೀಜಗಳನ್ನು ಒಂದೇ ಸ್ಥಳದಲ್ಲಿ ಹೊಂದಿಸಿ: ಡೇಟಾ ವಿಭಜನೆ, ಮಾದರಿ ಪ್ರಾರಂಭ, ಡೇಟಾ ಷಫಲಿಂಗ್. ಸ್ಥಿರ ಬೀಜವು "ನೀವು ಅದೇ ರನ್ ಅನ್ನು ಪುನರಾವರ್ತಿಸಿದಾಗ ಅದೇ ಫಲಿತಾಂಶ" ಖಾತರಿಯ ಆಧಾರವಾಗಿದೆ.

2. ಡೇಟಾವನ್ನು ಆವೃತ್ತಿ ಮಾಡಿ. ಪ್ರತಿ ಪ್ರಯೋಗವನ್ನು ಯಾವ ಡೇಟಾ ಆವೃತ್ತಿಯೊಂದಿಗೆ ನಡೆಸಲಾಗಿದೆ ಎಂಬುದನ್ನು ರೆಕಾರ್ಡ್ ಮಾಡಿ (ಘಟಕ 2 ರಲ್ಲಿ ಡೇಟಾ ಆವೃತ್ತಿ). "ಇತ್ತೀಚಿನ ಡೇಟಾ" ಅಸ್ಪಷ್ಟವಾಗಿದೆ; "ಡೇಟಾ ಆವೃತ್ತಿ v3, ಹ್ಯಾಶ್ abc123" ನಿಖರವಾಗಿದೆ.

3. ಮಧ್ಯಮವನ್ನು ಫ್ರೀಜ್ ಮಾಡಿ. ಎಲ್ಲಾ ಅವಲಂಬನೆಗಳನ್ನು ಅವುಗಳ ನಿಖರವಾದ ಆವೃತ್ತಿಗಳಿಗೆ ಪಿನ್ ಮಾಡಿ (ಉದಾಹರಣೆಗೆ numpy==1.26.4 ನಂತಹ ನಿಖರವಾದ ಆವೃತ್ತಿಗಳು requirements.txt, ಅಥವಾ ಕಂಟೇನರ್ ಇಮೇಜ್). "ಇತ್ತೀಚಿನ ಆವೃತ್ತಿ" ಒಂದು ದಿನ ಎಲ್ಲವನ್ನೂ ಮುರಿಯುತ್ತದೆ.

4. ಎಲ್ಲವನ್ನೂ ಟ್ರ್ಯಾಕ್ ಮಾಡಿ (ಪ್ರಯೋಗ ಟ್ರ್ಯಾಕಿಂಗ್). ಪ್ರತಿ ಪ್ರಯೋಗಕ್ಕಾಗಿ ಸ್ವಯಂಚಾಲಿತವಾಗಿ ಉಳಿಸಿ: ಕೋಡ್ ಆವೃತ್ತಿ (git ಕಮಿಟ್), ಡೇಟಾ ಆವೃತ್ತಿ, ಎಲ್ಲಾ ಹೈಪರ್‌ಪ್ಯಾರಾಮೀಟರ್‌ಗಳು, ಮೆಟ್ರಿಕ್‌ಗಳು ಮತ್ತು ಔಟ್‌ಪುಟ್ ರಚನೆಗಳು. MLflow, Weights & Biases ನಂತಹ ಪ್ರಯೋಗ ಟ್ರ್ಯಾಕಿಂಗ್ ಪರಿಕರಗಳು ಇದನ್ನು ವ್ಯವಸ್ಥಿತವಾಗಿ ಮಾಡುತ್ತವೆ. ನೋಂದಣಿ ಇಲ್ಲದೆ, "ಯಾವ ಸೆಟ್ಟಿಂಗ್ ಉತ್ತಮವಾಗಿದೆ" ಎಂಬ ಪ್ರಶ್ನೆಗೆ ಉತ್ತರವಿಲ್ಲ.

ಎಚ್ಚರಿಕೆ: "ನಾನು ನಂತರ ನೆನಪಿಸಿಕೊಳ್ಳುತ್ತೇನೆ" ಎಂಬುದು ಅತ್ಯಂತ ದುಬಾರಿ ತಪ್ಪು. ಎರಡು ವಾರಗಳ ನಂತರ ನೀವು ಯಾವ ಬೀಜ, ಯಾವ ಡೇಟಾ, ಯಾವ ಹೈಪರ್‌ಪ್ಯಾರಾಮೀಟರ್ ಅನ್ನು ಬಳಸಿದ್ದೀರಿ ಎಂದು ನಿಮಗೆ ನೆನಪಿರುವುದಿಲ್ಲ. ಸ್ವಯಂಚಾಲಿತ ಟ್ರ್ಯಾಕಿಂಗ್ ಮೆಮೊರಿಯ ಮೇಲಿನ ಅವಲಂಬನೆಯನ್ನು ನಿವಾರಿಸುತ್ತದೆ.

ದುರ್ಬಲ ವಿಧಾನ / ಬಲವಾದ ವಿಧಾನ

ದುರ್ಬಲ: "ನಾನು ಅತ್ಯುತ್ತಮ ಮಾದರಿಯನ್ನು ಕಂಡುಕೊಂಡಿದ್ದೇನೆ, ಅದು ನೋಟ್ಬುಕ್ನಲ್ಲಿದೆ, ಅದರ ಸ್ಕೋರ್ 89% ಎಂದು ನಾನು ಭಾವಿಸುತ್ತೇನೆ."

ಸ್ಟ್ರಾಂಗ್: "ಪ್ರಯೋಗ ಟ್ರ್ಯಾಕಿಂಗ್ ಟೂಲ್‌ನಲ್ಲಿ #147 ರನ್ ಮಾಡಿ: git commit a3f9c, ಡೇಟಾ ಆವೃತ್ತಿ v3 (hash abc123), ಬೀಜ 42, ಎಲ್ಲಾ ಹೈಪರ್‌ಪ್ಯಾರಾಮೀಟರ್‌ಗಳನ್ನು ನೋಂದಾಯಿಸಲಾಗಿದೆ, PR-AUC 0.887 ಅನ್ನು ಪರೀಕ್ಷಿಸಿ. ನಾನು ಅದೇ ಆಜ್ಞೆಯನ್ನು ಮತ್ತೆ ಚಲಾಯಿಸಿದಾಗ, ನಾನು ಸ್ವಲ್ಪಮಟ್ಟಿಗೆ ಅದೇ ಫಲಿತಾಂಶವನ್ನು ಪಡೆಯುತ್ತೇನೆ. ಮಾದರಿಯು ರೆಜಿಸ್ಟ್ರಿಯಲ್ಲಿ ಈ ರನ್ ಅನ್ನು ಅವಲಂಬಿಸಿರುತ್ತದೆ."

ವ್ಯತ್ಯಾಸ: ಬಲವಾದ ವಿಧಾನದಲ್ಲಿ ಫಲಿತಾಂಶವು ಮೆಮೊರಿಯನ್ನು ಆಧರಿಸಿಲ್ಲ, ಆದರೆ ಸ್ಥಿರ ಮತ್ತು ಮೇಲ್ವಿಚಾರಣೆ ಸರಪಳಿಯ ಮೇಲೆ. ಪ್ರತಿಯೊಬ್ಬರೂ ಪ್ರತಿ ಬಾರಿಯೂ ಅದೇ ಫಲಿತಾಂಶವನ್ನು ಉಂಟುಮಾಡಬಹುದು.

ಎಂಡ್-ಟು-ಎಂಡ್ ಯೋಜನೆ: ಮಾಡ್ಯೂಲ್ ಸಂಯೋಜನೆ

ಈಗ ಸಂಪೂರ್ಣ ಮಾಡ್ಯೂಲ್ ಅನ್ನು ಒಂದೇ ಯೋಜನೆಯ ಹರಿವಿನಲ್ಲಿ ಸಂಯೋಜಿಸೋಣ. ನಿಜವಾದ ML ವ್ಯವಸ್ಥೆಯು ಈ ನಿಲುಗಡೆಗಳ ಮೂಲಕ ಹೋಗುತ್ತದೆ ಮತ್ತು ಪ್ರತಿ ನಿಲ್ದಾಣವು ಹಿಂದಿನದನ್ನು ನಿರ್ಮಿಸುತ್ತದೆ:

1. ಸಮಸ್ಯೆಯ ವ್ಯಾಖ್ಯಾನ: ನಾವು ಏನು ಪರಿಹರಿಸುತ್ತಿದ್ದೇವೆ, ಯಶಸ್ಸನ್ನು ಅಳೆಯುವುದು ಹೇಗೆ (ಘಟಕ 3: ಸರಿಯಾದ ಮೆಟ್ರಿಕ್, ವ್ಯವಹಾರ ಸಂದರ್ಭ). ಮೆಟ್ರಿಕ್ ಮತ್ತು ಮಿತಿ ಪ್ರಾರಂಭದಿಂದಲೂ ಸ್ಪಷ್ಟವಾಗಿದೆ.
2. ಡೇಟಾ ಪೈಪ್‌ಲೈನ್: ಸಂಗ್ರಹಣೆ, ಮೌಲ್ಯೀಕರಣ, ಶುದ್ಧೀಕರಣ, ಸೋರಿಕೆ-ಮುಕ್ತ ವಿಭಜನೆ, ಆವೃತ್ತಿ (ಘಟಕ 2).
3. ಮಾದರಿ ಅಭಿವೃದ್ಧಿ: ತರಬೇತಿ, ಬೇಸ್ಲೈನ್ ​​ಹೋಲಿಕೆ, ಅಡ್ಡ-ಮೌಲ್ಯಮಾಪನ, ಹಾರ್ಡ್ ಬೀಜ (ಘಟಕ 3 + ಈ ಘಟಕ).
4. LLM ಘಟಕಗಳು (ಅನ್ವಯಿಸಿದರೆ): RAG (ಘಟಕ 4) ಮತ್ತು/ಅಥವಾ ಏಜೆಂಟ್‌ಗಳು (ಘಟಕ 5); ಅಗತ್ಯವಿದ್ದರೆ ಉತ್ತಮ-ಟ್ಯೂನಿಂಗ್ (ಘಟಕ 6).
5. ಮೌಲ್ಯಮಾಪನ: ಎಡ್ಜ್ ಮತ್ತು ಸೆಕ್ಯುರಿಟಿ ಕೇಸ್‌ಗಳೊಂದಿಗೆ ಇವಾಲ್ ಕ್ಲಸ್ಟರ್, LLM ಸಿಸ್ಟಮ್‌ಗಳಲ್ಲಿ ಮಲ್ಟಿ-ಲೇಯರ್ ಇವಾಲ್ (ಯುನಿಟ್ 8).
6. ನ್ಯಾಯ ಮತ್ತು ನೀತಿಶಾಸ್ತ್ರದ ಆಡಿಟ್: ಉಪಗುಂಪು ವಿಶ್ಲೇಷಣೆ, ಮಾದರಿ ಕಾರ್ಡ್, ವಿವರಣೆ (ಘಟಕ 10).
7. ಭದ್ರತಾ ಆಡಿಟ್: ಪ್ರಾಂಪ್ಟ್ ಇಂಜೆಕ್ಷನ್, ಗೌಪ್ಯತೆ, ಪೂರೈಕೆ ಸರಪಳಿ (ಘಟಕ 9).
8. ವಿತರಣೆ: ಪ್ಯಾಕೇಜಿಂಗ್, ಕ್ರಮೇಣ ವಿತರಣೆ, ರೋಲ್ಬ್ಯಾಕ್, ಮಾಡೆಲ್ ರಿಜಿಸ್ಟ್ರಿ (ಘಟಕ 7).
9. ಮಾನಿಟರಿಂಗ್: ಮೂರು-ಪದರದ ಮಾನಿಟರಿಂಗ್, ಡ್ರಿಫ್ಟ್ ಅಲಾರಂಗಳು (ಘಟಕ 8).
10. ಪುನರುತ್ಪಾದನೆ: ಬೀಜ, ಡೇಟಾ ಆವೃತ್ತಿ, ಮಾಧ್ಯಮ ಮತ್ತು ಸಂಪೂರ್ಣ ಸರಪಳಿಯ ಉದ್ದಕ್ಕೂ ಪ್ರಯೋಗ ಟ್ರ್ಯಾಕಿಂಗ್ (ಈ ಘಟಕ).

ಈ ಹರಿವಿನಲ್ಲಿ, AI ಪ್ರತಿ ನಿಲ್ದಾಣದಲ್ಲಿ ವೇಗವರ್ಧಕ ಮತ್ತು ನೀಲನಕ್ಷೆ ಜನರೇಟರ್ ಆಗಿದೆ; ಆದರೆ ಮೆಟ್ರಿಕ್ ಆಯ್ಕೆ, ಡೇಟಾ ನಿರ್ಧಾರಗಳು, ನ್ಯಾಯೋಚಿತ ಆದ್ಯತೆ, ನಿಯೋಜನೆ ಮಿತಿ ಮತ್ತು ಬಿಡುಗಡೆಯ ಅನುಮೋದನೆ - ನಿರ್ಣಾಯಕ ನಿರ್ಧಾರಗಳು ಮಾನವನೊಂದಿಗೆ ಉಳಿಯುತ್ತವೆ. ಇದು ಮಾಡ್ಯೂಲ್ನ ಮೂಲತತ್ವವಾಗಿದೆ.

ದಾಖಲೆ: ಭವಿಷ್ಯವು ನಿಮಗೆ ಧನ್ಯವಾದಗಳು

ಉತ್ತಮ ML ಪ್ರಾಜೆಕ್ಟ್ ದಾಖಲೆಗಳು. ಕನಿಷ್ಠ, ಈ ಕೆಳಗಿನವುಗಳನ್ನು ಬರೆಯಬೇಕು: ಸಮಸ್ಯೆ ಮತ್ತು ಯಶಸ್ಸಿನ ಮಾನದಂಡಗಳು, ಡೇಟಾ ಮೂಲ ಮತ್ತು ಆವೃತ್ತಿ, ಮಾದರಿ ಆಯ್ಕೆಗಳು ಮತ್ತು ಸಮರ್ಥನೆಗಳು, ಮೌಲ್ಯಮಾಪನ ಫಲಿತಾಂಶಗಳು (ಉಪಗುಂಪುಗಳನ್ನು ಒಳಗೊಂಡಂತೆ), ತಿಳಿದಿರುವ ಮಿತಿಗಳು ಮತ್ತು ಅಪಾಯಗಳು, ನಿಯೋಜನೆ ಮತ್ತು ಮರುಪಡೆಯುವಿಕೆ ಕಾರ್ಯವಿಧಾನ, ಮೇಲ್ವಿಚಾರಣೆ ಯೋಜನೆ. ಈ ಡಾಕ್ಯುಮೆಂಟ್ ಆರು ತಿಂಗಳ ನಂತರ ಯೋಜನೆಗೆ ಹಿಂತಿರುಗುವ ವ್ಯಕ್ತಿಯ (ಬಹುಶಃ ಅದು ನೀವೇ) ಉತ್ತಮ ಸ್ನೇಹಿತ.

ಮೂರು ಸಣ್ಣ ಪ್ರಕರಣಗಳು

ಪ್ರಕರಣ 1 - ಕಳೆದುಹೋದ ಫಲಿತಾಂಶ. ಒಬ್ಬ ಇಂಜಿನಿಯರ್ ಉತ್ತಮ ಮಾದರಿಗೆ ತರಬೇತಿ ನೀಡಿದರು, ಆದರೆ ಅವರು ಬೀಜವನ್ನು ಸರಿಪಡಿಸಲಿಲ್ಲ ಮತ್ತು ಡೇಟಾ ಆವೃತ್ತಿಯನ್ನು ಉಳಿಸಲಿಲ್ಲ. ಅವನು ಕೆಲಸವನ್ನು ತೊರೆದಾಗ, ಆ ಫಲಿತಾಂಶವನ್ನು ಯಾರೂ ಪುನರುತ್ಪಾದಿಸಲು ಸಾಧ್ಯವಾಗಲಿಲ್ಲ; ಮಾದರಿಯು "ಕಪ್ಪು ಪೆಟ್ಟಿಗೆಯ ದಂತಕಥೆ"ಯಾಯಿತು ಮತ್ತು ಅಂತಿಮವಾಗಿ ಮೊದಲಿನಿಂದ ನಿರ್ಮಿಸಲಾಯಿತು. ವಾರಗಳು ವ್ಯರ್ಥವಾದವು. ಪಾಠ: ಪುನರುತ್ಪಾದಿಸಲಾಗದ ಫಲಿತಾಂಶವು ಅಸ್ತಿತ್ವದಲ್ಲಿಲ್ಲದ ಫಲಿತಾಂಶವಾಗಿದೆ.

ಪ್ರಕರಣ 2 - ಪರಿಸರ ಕುಸಿತ. ಒಂದು ತಂಡವು ಅವಲಂಬನೆಗಳನ್ನು ಸರಿಪಡಿಸಿಲ್ಲ. ಲೈಬ್ರರಿಯನ್ನು ಸ್ವಯಂಚಾಲಿತವಾಗಿ ನವೀಕರಿಸಿದಾಗ, ಮಾದರಿಯ ಔಟ್‌ಪುಟ್‌ಗಳು ಮೌನವಾಗಿ ಬದಲಾಗುತ್ತವೆ ಮತ್ತು ಉತ್ಪಾದನೆಯು ಅಡ್ಡಿಪಡಿಸುತ್ತದೆ. ಸಮಸ್ಯೆ ಕಂಡು ಹಿಡಿಯಲು ದಿನ ಬೇಕಾಯಿತು. ಅವಲಂಬನೆಗಳನ್ನು ಫ್ರೀಜ್ ಮಾಡಿದಾಗ ಮತ್ತು ನಿರ್ಣಾಯಕ ಆವೃತ್ತಿಗಳೊಂದಿಗೆ ಕಂಟೈನರೈಸ್ ಮಾಡಿದಾಗ, ಸಮಸ್ಯೆ ಮತ್ತೆ ಸಂಭವಿಸಲಿಲ್ಲ. ಪಾಠ: ಪರಿಸರವನ್ನು ಫ್ರೀಜ್ ಮಾಡಿ.

ಪ್ರಕರಣ 3 - ಮೇಲ್ವಿಚಾರಣೆಯ ಶಕ್ತಿ. ಪ್ರತಿ ಪ್ರಯೋಗವನ್ನು ತಂಡವು ಸ್ವಯಂಚಾಲಿತವಾಗಿ ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡುತ್ತದೆ. ಮೂರು ತಿಂಗಳ ನಂತರ, ನಿಯಂತ್ರಕ ಲೆಕ್ಕಪರಿಶೋಧನೆಯ ಸಮಯದಲ್ಲಿ, ಅವರು "ಯಾವ ಡೇಟಾದೊಂದಿಗೆ, ಯಾವ ಸೆಟ್ಟಿಂಗ್‌ಗಳೊಂದಿಗೆ, ಯಾವ ಗುಂಪುಗಳಲ್ಲಿ ಯಾವ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಪಡೆದುಕೊಂಡಿದೆ?" ಎಂಬ ಪ್ರಶ್ನೆಗೆ ಅವರು ಉತ್ತರಿಸಿದರು. ನಿಮಿಷಗಳಲ್ಲಿ ಪೂರ್ಣ ರೆಕಾರ್ಡಿಂಗ್ ಜೊತೆಗೆ. ತಪಾಸಣೆ ಸುಗಮವಾಗಿ ನಡೆದಿದೆ. ಪಾಠ: ಮೇಲ್ವಿಚಾರಣೆ ಅನುಸರಣೆ ಸಾಧನವಾಗಿದೆ, ಕೇವಲ ಎಂಜಿನಿಯರಿಂಗ್ ಅಲ್ಲ.

ನಕಲು ಮಾಡಬಹುದಾದ ಟೆಂಪ್ಲೇಟ್‌ಗಳು

ಈ ML ಪ್ರಾಜೆಕ್ಟ್‌ಗಾಗಿ ಪುನರುತ್ಪಾದನೆಯನ್ನು ಪರೀಕ್ಷಿಸಿ.- ಎಲ್ಲಾ ಯಾದೃಚ್ಛಿಕ ಬೀಜಗಳನ್ನು ಸ್ಥಿರಗೊಳಿಸಲಾಗಿದೆಯೇ (ವಿಭಜನೆ, ಪ್ರಾರಂಭ, ಷಫಲ್)?- ಡೇಟಾ ಆವೃತ್ತಿಯಾಗಿದೆಯೇ?- ಅವಲಂಬನೆಗಳನ್ನು ನಿಖರವಾದ ಆವೃತ್ತಿಗಳಿಗೆ ಫ್ರೀಜ್ ಮಾಡಲಾಗಿದೆಯೇ?- ಪ್ರತಿ ಪ್ರಯೋಗವನ್ನು (ಕೋಡ್ ಕಮಿಟ್, ಡೇಟಾ, ಹೈಪರ್‌ಪ್ಯಾರಾಮೀಟರ್, ಮೆಟ್ರಿಕ್) ಟ್ರ್ಯಾಕ್ ಮಾಡಲಾಗಿದೆಯೇ? ಪ್ರತಿ ಕಾಣೆಯಾದ ಕಾಲಮ್‌ಗೆ ಅದನ್ನು ಹೇಗೆ ಸರಿಪಡಿಸುವುದು ಎಂಬುದರ ಕುರಿತು ಕಾಂಕ್ರೀಟ್ ಹಂತಗಳನ್ನು ಬರೆಯಿರಿ. ಪ್ರಾಜೆಕ್ಟ್ ರಚನೆ: [ವಿವರಣೆ]

ಈ ಎಂಡ್ ಟು ಎಂಡ್ ಎಂಎಲ್ ಪ್ರಾಜೆಕ್ಟ್‌ಗಾಗಿ ಪ್ಲಾನ್ ಅಸ್ಥಿಪಂಜರವನ್ನು ತಯಾರಿಸಿ. ಸಮಸ್ಯೆ: [ವಿವರಣೆ] ಕೆಳಗಿನ ನಿಲ್ದಾಣಗಳನ್ನು ಕವರ್ ಮಾಡಿ ಮತ್ತು ಪ್ರತಿ ನಿಲ್ದಾಣದಲ್ಲಿ ಮಾನವ ನಿರ್ಧಾರ ಎಲ್ಲಿದೆ ಎಂದು ಗುರುತಿಸಿ: ಸಮಸ್ಯೆ/ಮೆಟ್ರಿಕ್, ಪೈಪ್‌ಲೈನ್, ಮಾದರಿ, (RAG/ಏಜೆಂಟ್/ಫೈನ್-ಟ್ಯೂನ್?), ಎವಾಲ್, ನ್ಯಾಯೋಚಿತತೆ, ಭದ್ರತೆ, ವಿತರಣೆ, ಮೇಲ್ವಿಚಾರಣೆ, ಪುನರುತ್ಪಾದನೆ. ಪ್ರತಿ ನಿಲುಗಡೆಗೆ ಮುಖ್ಯ ಅಪಾಯ ಮತ್ತು ಪರಿಶೀಲನೆ ಹಂತವನ್ನು ಬರೆಯಿರಿ.

ಈ ಯೋಜನೆಗಾಗಿ ತಾಂತ್ರಿಕ ದಾಖಲಾತಿ ಟೆಂಪ್ಲೇಟ್ ಅನ್ನು ತಯಾರಿಸಿ. ವಿಭಾಗಗಳು: ಸಮಸ್ಯೆ+ಯಶಸ್ಸಿನ ಮಾನದಂಡ, ಡೇಟಾ (ಮೂಲ+ಆವೃತ್ತಿ), ಮಾದರಿ ಆಯ್ಕೆಗಳು+ಸಮರ್ಥನೆ, ಮೌಲ್ಯಮಾಪನ (ಉಪಗುಂಪುಗಳನ್ನು ಒಳಗೊಂಡಂತೆ), ತಿಳಿದಿರುವ ಮಿತಿಗಳು+ಅಪಾಯಗಳು, ನಿಯೋಜನೆ+ಹಿಂತಿರುಗುವಿಕೆ, ಮಾನಿಟರಿಂಗ್ ಯೋಜನೆ. ಪ್ರತಿ ವಿಭಾಗಕ್ಕೆ ಭರ್ತಿ ಮಾಡಬೇಕಾದ ಕ್ಷೇತ್ರಗಳನ್ನು ಪ್ರಶ್ನೆಗಳಾಗಿ ನೀಡಿ.

ನನ್ನ ಪ್ರಯೋಗ ಮಾನಿಟರಿಂಗ್ ಸೆಟಪ್ ಅನ್ನು ಪರಿಶೀಲಿಸಿ: ಪ್ರತಿ ರನ್‌ನಲ್ಲಿ ಇದು ಸ್ವಯಂ-ಉಳಿಸಲ್ಪಟ್ಟಿದೆಯೇ: git ಕಮಿಟ್, ಡೇಟಾ ಆವೃತ್ತಿ/ಹ್ಯಾಶ್, ಎಲ್ಲಾ ಹೈಪರ್‌ಪ್ಯಾರಾಮೀಟರ್‌ಗಳು, ಎಲ್ಲಾ ಮೆಟ್ರಿಕ್‌ಗಳು, ಪರಿಸರ (ಲೈಬ್ರರಿ ಆವೃತ್ತಿಗಳು)? ನಾನು ಮತ್ತೆ ಅದೇ ಓಟವನ್ನು ನಡೆಸಿದಾಗ ಅದೇ ಫಲಿತಾಂಶವನ್ನು ನಾನು ಪಡೆಯುತ್ತೇನೆಯೇ? ಸೆಟಪ್: [ವಿವರಣೆ]. ದೋಷಗಳು ಮತ್ತು ತಿದ್ದುಪಡಿಗಳನ್ನು ಪಟ್ಟಿ ಮಾಡಿ.

ಪುನರುತ್ಪಾದನೆ ಕಾಲಮ್‌ಗಳ ಕೋಷ್ಟಕ

ಕಾಲಮ್

ಏನು ಸ್ಥಿರವಾಗಿದೆ

ವಾಹನ ಉದಾಹರಣೆ

ಯಾದೃಚ್ಛಿಕತೆ

ಎಲ್ಲಾ ಬೀಜಗಳು

ಬೀಜ ಸೆಟ್ಟಿಂಗ್

ಡೇಟಾ

ಡೇಟಾ ಆವೃತ್ತಿ/ಹ್ಯಾಶ್

ಡಿವಿಸಿ

ಪರಿಸರ

ಲೈಬ್ರರಿ ಆವೃತ್ತಿಗಳು

ಅವಶ್ಯಕತೆಗಳು ಪಿನ್, ಡಾಕರ್

ಮಾನಿಟರಿಂಗ್

ಕೋಡ್+ಡೇಟಾ+ಸೆಟ್ಟಿಂಗ್+ಮೆಟ್ರಿಕ್

MLflow, W&B

ಸಾಮಾನ್ಯ ತಪ್ಪುಗಳು

• ಬೀಜವನ್ನು ಸರಿಪಡಿಸುವುದಿಲ್ಲ. ಫಲಿತಾಂಶವನ್ನು ಪುನರಾವರ್ತಿಸಲಾಗುವುದಿಲ್ಲ.
• ಡೇಟಾ ಆವೃತ್ತಿಯನ್ನು ಉಳಿಸುತ್ತಿಲ್ಲ. "ಯಾವ ಡೇಟಾದೊಂದಿಗೆ?" ಉತ್ತರಿಸದೆ ಉಳಿದಿದೆ.
• ವ್ಯಸನಗಳನ್ನು ಘನೀಕರಿಸುವುದಿಲ್ಲ. ನವೀಕರಣವು ಎಲ್ಲವನ್ನೂ ಮೌನವಾಗಿ ಮುರಿಯುತ್ತದೆ.
• ಪ್ರಯೋಗಗಳನ್ನು ನೆನಪಿಗೆ ಬಿಡುವುದು. ಎರಡು ವಾರಗಳ ನಂತರ ಏನೂ ನೆನಪಿಲ್ಲ.
• ನಿರ್ಣಾಯಕ ನಿರ್ಧಾರಗಳನ್ನು ಕೃತಕ ಬುದ್ಧಿಮತ್ತೆಗೆ ಬಿಡುವುದು. ಮೆಟ್ರಿಕ್‌ಗಳು, ನ್ಯಾಯ ಮತ್ತು ವಿತರಣೆ ನಿರ್ಧಾರಗಳು ಜನರೊಂದಿಗೆ ಉಳಿಯಬೇಕು.
• ದಸ್ತಾವೇಜನ್ನು ಮುಂದೂಡುವುದು. ಭವಿಷ್ಯದ ತಂಡ (ಮತ್ತು ನೀವು) ಬೆಲೆಯನ್ನು ಪಾವತಿಸಿ.

ಸಾರಾಂಶದಲ್ಲಿ

ಪುನರುತ್ಪಾದನೆಯು ಗಂಭೀರ ML ಇಂಜಿನಿಯರಿಂಗ್‌ನ ಸಹಿಯಾಗಿದೆ: ಪುನರುತ್ಪಾದಿಸಲಾಗದ ಫಲಿತಾಂಶವು ಸಾಬೀತಾಗದ ಹಕ್ಕು. ಇದು ನಾಲ್ಕು ಕಾಲಮ್‌ಗಳೊಂದಿಗೆ ಬರುತ್ತದೆ - ಯಾದೃಚ್ಛಿಕತೆಯನ್ನು ಸರಿಪಡಿಸಿ, ಆವೃತ್ತಿ ಡೇಟಾ, ಫ್ರೀಜ್ ಪರಿಸರ, ಪ್ರತಿ ಪ್ರಯೋಗವನ್ನು ಟ್ರ್ಯಾಕ್ ಮಾಡಿ. ಎಂಡ್-ಟು-ಎಂಡ್ ಯೋಜನೆಯು ಈ ಮಾಡ್ಯೂಲ್‌ನ ಎಲ್ಲಾ ನಿಲುಗಡೆಗಳನ್ನು (ಮೆಟ್ರಿಕ್, ಡೇಟಾ, ಮಾಡೆಲ್, LLM ಘಟಕಗಳು, ಇವಾಲ್, ಫೇರ್‌ನೆಸ್, ಸೆಕ್ಯುರಿಟಿ, ಡಿಸ್ಟ್ರಿಬ್ಯೂಷನ್, ಮಾನಿಟರಿಂಗ್) ಅಂತರ್ಸಂಪರ್ಕಿತ ಸರಪಳಿಯಲ್ಲಿ ಸಂಯೋಜಿಸುತ್ತದೆ; ಕೃತಕ ಬುದ್ಧಿಮತ್ತೆಯು ಪ್ರತಿ ನಿಲ್ದಾಣದಲ್ಲಿ ವೇಗವರ್ಧಕವಾಗಿದೆ, ಆದರೆ ನಿರ್ಣಾಯಕ ನಿರ್ಧಾರಗಳು ಮಾನವನೊಂದಿಗೆ ಉಳಿಯುತ್ತವೆ. ಎಲ್ಲವನ್ನೂ ದಾಖಲಿಸಿ — ಭವಿಷ್ಯದ ತಂಡ ಮತ್ತು ಲೆಕ್ಕಪರಿಶೋಧನೆಗಾಗಿ. ಈ ಶಿಸ್ತು ಮಾಡ್ಯೂಲ್‌ನಾದ್ಯಂತ ನೀವು ಕಲಿಯುವ ಎಲ್ಲವನ್ನೂ ಉಳಿಸಿಕೊಳ್ಳುವ ಚೌಕಟ್ಟಾಗಿದೆ.

ಅಪ್ಲಿಕೇಶನ್ ಕಾರ್ಯ

ನಾಲ್ಕು ಪುನರುತ್ಪಾದನೆ ಸ್ತಂಭಗಳ ವಿರುದ್ಧ ML ಯೋಜನೆಯನ್ನು ಪರಿಶೀಲಿಸಿ: ಬೀಜಗಳು ಬದಲಾಗುವುದಿಲ್ಲವೇ, ಡೇಟಾ ಆವೃತ್ತಿಯಾಗಿದೆಯೇ, ಪರಿಸರವು ಫ್ರೀಜ್ ಆಗಿದೆಯೇ, ಪ್ರಯೋಗಗಳನ್ನು ಟ್ರ್ಯಾಕ್ ಮಾಡಲಾಗಿದೆಯೇ? ಯಾವುದೇ ಕಾಣೆಯಾದ ಕಾಲಮ್‌ಗಳನ್ನು ಸರಿಪಡಿಸಿ ಮತ್ತು ನೀವು ಒಂದೇ ರನ್ ಅನ್ನು ಎರಡು ಬಾರಿ ಚಲಾಯಿಸಬಹುದು ಮತ್ತು ಅದೇ ಫಲಿತಾಂಶವನ್ನು ಪಡೆಯಬಹುದು ಎಂದು ಸಾಬೀತುಪಡಿಸಿ. ನಂತರ ಒಂದು ಪುಟದಲ್ಲಿ ಯೋಜನೆಯ ಅಂತ್ಯದಿಂದ ಅಂತ್ಯದ ಹರಿವನ್ನು (10 ನಿಲ್ದಾಣಗಳು) ಔಟ್‌ಪುಟ್ ಮಾಡಿ ಮತ್ತು ಪ್ರತಿ ನಿಲ್ದಾಣದಲ್ಲಿ "ಮಾನವ ನಿರ್ಧಾರ ಎಲ್ಲಿದೆ" ಎಂದು ಗುರುತಿಸಿ. ಅಂತಿಮವಾಗಿ, ಸಣ್ಣ ತಾಂತ್ರಿಕ ದಸ್ತಾವೇಜನ್ನು ಕರಡು ಬರೆಯಿರಿ.

ಪರಿಶೀಲನಾಪಟ್ಟಿ

• [ ] ಎಲ್ಲಾ ಯಾದೃಚ್ಛಿಕ ಬೀಜಗಳನ್ನು ನಿವಾರಿಸಲಾಗಿದೆ.
• [ ] ಪ್ರತಿ ಪ್ರಯೋಗದೊಂದಿಗೆ ಡೇಟಾ ಆವೃತ್ತಿ/ಹ್ಯಾಶ್ ಅನ್ನು ದಾಖಲಿಸಲಾಗುತ್ತದೆ.
• [ ] ಅವಲಂಬನೆಗಳನ್ನು ಫರ್ಮ್ ಆವೃತ್ತಿಗಳಿಗೆ ಫ್ರೀಜ್ ಮಾಡಲಾಗುತ್ತದೆ (ಪಿನ್/ಕಂಟೇನರ್).
• [ ] ಪ್ರತಿಯೊಂದು ಪ್ರಯೋಗವನ್ನು ಸ್ವಯಂಚಾಲಿತವಾಗಿ ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡಲಾಗುತ್ತದೆ (ಕೋಡ್+ಡೇಟಾ+ಸೆಟ್ಟಿಂಗ್+ಮೆಟ್ರಿಕ್).
• [ ] ನಾನು ಅದೇ ಓಟವನ್ನು ಪುನರಾವರ್ತಿಸಿದಾಗ, ನಾನು ಅದೇ ಫಲಿತಾಂಶವನ್ನು ಪಡೆಯುತ್ತೇನೆ.
• [ ] ಅಂತ್ಯದಿಂದ ಅಂತ್ಯದ ಹರಿವಿನಲ್ಲಿ ನಿರ್ಣಾಯಕ ನಿರ್ಧಾರಗಳನ್ನು ಮನುಷ್ಯರು ಮಾಡುತ್ತಾರೆ ಎಂದು ನಾನು ಪರಿಶೀಲಿಸಿದ್ದೇನೆ ಮತ್ತು ದಾಖಲಿಸಿದ್ದೇನೆ.

ಮಾಡ್ಯೂಲ್ ಪರೀಕ್ಷೆ

1. ಎಂಎಲ್ ಇಂಜಿನಿಯರ್ ಆಗಿ, ವರ್ಕ್‌ಫ್ಲೋನಲ್ಲಿ ಕೃತಕ ಬುದ್ಧಿಮತ್ತೆಯನ್ನು ಇರಿಸುವಾಗ ಉತ್ತಮ ವಿಧಾನ ಯಾವುದು?

• ಎ) ಕಡಿಮೆ ಅಪಾಯದ ವ್ಯವಹಾರಗಳಲ್ಲಿ AI ವೇಗವರ್ಧಕವಾಗಿದೆ; ಮೆಟ್ರಿಕ್‌ಗಳು, ಡೇಟಾ ಮತ್ತು ಉತ್ಪಾದನೆಯಂತಹ ನಿರ್ಣಾಯಕ ನಿರ್ಧಾರಗಳನ್ನು ಮೌಲ್ಯೀಕರಿಸಲಾಗುತ್ತದೆ ಮತ್ತು ಮಾನವನಿಗೆ ಬಿಡಲಾಗುತ್ತದೆ ✔
• ಬಿ) AI ಔಟ್‌ಪುಟ್‌ಗಳು ಉತ್ತಮವಾಗಿ ಕಾಣುವವರೆಗೆ, ಪರಿಶೀಲನೆಯ ಅಗತ್ಯವಿಲ್ಲ
• ಸಿ) ಕೃತಕ ಬುದ್ಧಿಮತ್ತೆಗೆ ಮಾದರಿಯನ್ನು ಉತ್ಪಾದಿಸುವ ನಿರ್ಧಾರವನ್ನು ಬಿಡುವುದು ಸಮಯವನ್ನು ಉಳಿಸುತ್ತದೆ.
• ಡಿ) ಕೃತಕ ಬುದ್ಧಿಮತ್ತೆ ಪಠ್ಯವನ್ನು ಬರೆಯಲು ಮಾತ್ರ ಉಪಯುಕ್ತವಾಗಿದೆ, ಇದು ಡೇಟಾ ಮತ್ತು ಮಾದರಿ ಕೆಲಸದೊಂದಿಗೆ ಯಾವುದೇ ಸಂಬಂಧವನ್ನು ಹೊಂದಿಲ್ಲ

ವಿವರಣೆ: AI ಎಂಬುದು ಕಡಿಮೆ-ಅಪಾಯದ, ಸುಲಭವಾಗಿ ಪರಿಶೀಲಿಸಿದ ಕಾರ್ಯಗಳಾದ ಕೋಡ್, ಡೇಟಾ ಡೈಜೆಸ್ಟ್‌ಗಳು ಮತ್ತು ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳಿಗೆ ಪ್ರಬಲ ವೇಗವರ್ಧಕವಾಗಿದೆ; ಆದಾಗ್ಯೂ, ಹಣ, ಗೌಪ್ಯತೆ ಮತ್ತು ಕಾನೂನು ಹೊಣೆಗಾರಿಕೆಯ ಮೇಲೆ ಪರಿಣಾಮ ಬೀರುವ ನಿರ್ಧಾರಗಳ ಜವಾಬ್ದಾರಿ, ಉದಾಹರಣೆಗೆ ಮೆಟ್ರಿಕ್ ಆಯ್ಕೆ, ಯಾವ ಡೇಟಾ ತರಬೇತಿಗೆ ಹೋಗುತ್ತದೆ ಮತ್ತು ಮಾದರಿಯನ್ನು ಉತ್ಪಾದನೆಗೆ ಒಳಪಡಿಸುವುದು, ಅರ್ಹ ಇಂಜಿನಿಯರ್ ಮತ್ತು ತಂಡದ ಮೇಲೆ ಇರುತ್ತದೆ. ಪ್ರತಿ ಔಟ್‌ಪುಟ್ ಅನ್ನು ಪರಿಶೀಲನೆ ಇಲ್ಲದೆ ಬಳಸಬಾರದು.

2. ಡೇಟಾ ಪೈಪ್‌ಲೈನ್‌ನ ಆರಂಭದಲ್ಲಿ ಸ್ಕೀಮಾ ಮೌಲ್ಯೀಕರಣವನ್ನು ಏಕೆ ಇರಿಸಲಾಗುತ್ತದೆ?

• ಎ) ಏಕೆಂದರೆ ಇದು ನೇರವಾಗಿ ಮಾದರಿಯ ನಿಖರತೆಯನ್ನು ಹೆಚ್ಚಿಸುತ್ತದೆ
• ಬಿ) ಏಕೆಂದರೆ ಇದು ಡೇಟಾ ಆವೃತ್ತಿಯನ್ನು ಅನಗತ್ಯಗೊಳಿಸುತ್ತದೆ
• ಸಿ) ಏಕೆಂದರೆ ಇದು ದೋಷಪೂರಿತ ಡೇಟಾವನ್ನು ಆರಂಭಿಕ ಮತ್ತು ಅಗ್ಗದ ಹಂತದಲ್ಲಿ ಹಿಡಿಯುತ್ತದೆ ಮತ್ತು ಮುಂದಿನ ಹಂತಗಳಲ್ಲಿ ಸೋರಿಕೆಯಾಗದಂತೆ ತಡೆಯುತ್ತದೆ ✔
• ಡಿ) ಏಕೆಂದರೆ ಇದು ಲೇಬಲ್ ಮಾಡುವ ಅಗತ್ಯವನ್ನು ನಿವಾರಿಸುತ್ತದೆ

ವಿವರಣೆ: ಹಿಂದಿನ ಭ್ರಷ್ಟ ಡೇಟಾ ಸಿಕ್ಕಿಬಿದ್ದರೆ, ಅದನ್ನು ಸರಿಪಡಿಸಲು ಅಗ್ಗವಾಗಿದೆ. ಸ್ಕೀಮಾ ಮೌಲ್ಯೀಕರಣವು ರೇಖೆಯ ಆರಂಭದಲ್ಲಿ ನಿರೀಕ್ಷಿತ ಪ್ರಕಾರ ಮತ್ತು ಶ್ರೇಣಿಯ ಹೊರಗಿನ ಡೇಟಾವನ್ನು ತಿರಸ್ಕರಿಸುವ ಮೂಲಕ ತರಬೇತಿ ಅಥವಾ ಉತ್ಪಾದನೆಗೆ ಮೌನವಾಗಿ ಸೋರಿಕೆಯಾಗುವುದನ್ನು ಭ್ರಷ್ಟ ಡೇಟಾವನ್ನು ತಡೆಯುತ್ತದೆ (ಉದಾಹರಣೆಗೆ ಯುನಿಟ್ ಬದಲಾವಣೆಯೊಂದಿಗೆ ಬೆಲೆ 100x ಬದಲಾವಣೆ); ಉತ್ಪಾದನೆಯಲ್ಲಿ ಸಿಕ್ಕಿಬಿದ್ದ ಅದೇ ದೋಷವು ಹಲವು ಪಟ್ಟು ಹೆಚ್ಚು ದುಬಾರಿಯಾಗಿದೆ.

3. ಸಮಯವನ್ನು (ಸಮಯ ಸರಣಿ) ಒಳಗೊಂಡಿರುವ ಸಮಸ್ಯೆಯಲ್ಲಿ ತರಬೇತಿ ಮತ್ತು ಪರೀಕ್ಷೆಗೆ ಡೇಟಾವನ್ನು ವಿಭಜಿಸುವಾಗ ಸರಿಯಾದ ವಿಧಾನ ಯಾವುದು?

• ಎ) ಯಾದೃಚ್ಛಿಕ ವಿಭಜನೆಯನ್ನು ಬಳಸುವುದು ಏಕೆಂದರೆ ಇದು ಯಾವಾಗಲೂ ಉತ್ತಮವಾದ ವಿಧಾನವಾಗಿದೆ
• ಬಿ) ತಾತ್ಕಾಲಿಕ ವಿಭಜನೆಯನ್ನು ಬಳಸುವುದು: ಭೂತಕಾಲದ ತರಬೇತಿ ಮತ್ತು ಭವಿಷ್ಯದಲ್ಲಿ ಪರೀಕ್ಷೆಯ ಮೂಲಕ ಸೋರಿಕೆಯನ್ನು ತಡೆಯಿರಿ ✔
• ಸಿ) ಎಲ್ಲಾ ಡೇಟಾವನ್ನು ತರಬೇತಿ ಮತ್ತು ಪರೀಕ್ಷೆಯಾಗಿ ಬಳಸುವುದು
• ಡಿ) ತರಬೇತಿಯ ಮೊದಲು ಪರೀಕ್ಷಾ ಡೇಟಾವನ್ನು ಸ್ಕೇಲಿಂಗ್ ನಿಯತಾಂಕಗಳಲ್ಲಿ ಸೇರಿಸುವುದು

ವಿವರಣೆ: ಸಮಯ ಸರಣಿಯಲ್ಲಿ ಯಾದೃಚ್ಛಿಕ ವಿಭಜನೆಯು ಮಾದರಿಗೆ 'ಭವಿಷ್ಯವನ್ನು ನೋಡುವ' ಪ್ರಯೋಜನವನ್ನು ನೀಡುತ್ತದೆ ಅದು ಉತ್ಪಾದನೆಯಲ್ಲಿ ಎಂದಿಗೂ ಸಂಭವಿಸುವುದಿಲ್ಲ ಮತ್ತು ಕೃತಕವಾಗಿ ಮಾಪನಗಳನ್ನು (ತಾತ್ಕಾಲಿಕ ಸೋರಿಕೆ) ಹೆಚ್ಚಿಸುತ್ತದೆ. ಸರಿಯಾದದ್ದು ತಾತ್ಕಾಲಿಕ ವಿಭಾಗ: ಭೂತಕಾಲದೊಂದಿಗೆ ತರಬೇತಿ ನೀಡಿ, ಭವಿಷ್ಯದಲ್ಲಿ ಪರೀಕ್ಷೆ. ಇದು ಉತ್ಪಾದನೆಯಲ್ಲಿ ಇರಿಸಿಕೊಳ್ಳುವ ನಿಜವಾದ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಅಳೆಯುತ್ತದೆ.

4. 1.5% ನ ಧನಾತ್ಮಕ ವರ್ಗ ದರದೊಂದಿಗೆ ವಂಚನೆ ಪತ್ತೆ ಮಾದರಿಯಲ್ಲಿ ನಿಖರತೆಯು ಏಕೆ ತಪ್ಪುದಾರಿಗೆಳೆಯುತ್ತಿದೆ?

• ಎ) ಏಕೆಂದರೆ ಅಸಮತೋಲಿತ ಡೇಟಾದಲ್ಲಿ ನಿಖರತೆ ಯಾವಾಗಲೂ ಕಡಿಮೆ ಇರುತ್ತದೆ
• ಬಿ) ಏಕೆಂದರೆ ನಿಖರತೆಯನ್ನು ಹಿಂಜರಿತ ಸಮಸ್ಯೆಗಳ ಮೇಲೆ ಮಾತ್ರ ಬಳಸಬಹುದು
• ಸಿ) ನಿಖರತೆಯ ಲೆಕ್ಕಾಚಾರಕ್ಕೆ ಹೆಚ್ಚಿನ ಸಂಸ್ಕರಣಾ ಶಕ್ತಿಯ ಅಗತ್ಯವಿರುತ್ತದೆ
• ಡಿ) ಬಹುಸಂಖ್ಯಾತ ವರ್ಗವನ್ನು ಊಹಿಸುವ ಒಂದು ಕ್ಷುಲ್ಲಕ ಮಾದರಿಯು ತುಂಬಾ ನಿಖರವಾಗಿರುತ್ತದೆ, ಹೀಗಾಗಿ ನಿಜವಾದ ಯಶಸ್ಸನ್ನು ಮರೆಮಾಡುತ್ತದೆ ✔

ವಿವರಣೆ: ಅಸಮತೋಲಿತ ಡೇಟಾದಲ್ಲಿ, 'ಎಲ್ಲವನ್ನೂ ಋಣಾತ್ಮಕವಾಗಿ ಕರೆಯಿರಿ' ಎಂದು ಹೇಳುವ ಮೂಲಭೂತ ಮಾದರಿಯು ಸಹ ಸುಮಾರು 98.5% ನಿಖರತೆಯನ್ನು ಪಡೆಯುತ್ತದೆ ಆದರೆ ಒಂದೇ ಒಂದು ವಂಚನೆಯನ್ನು ಹಿಡಿಯುವುದಿಲ್ಲ. ಆದ್ದರಿಂದ, ಅಸಮತೋಲಿತ ವರ್ಗೀಕರಣದಲ್ಲಿ, ನಿಖರತೆ, ಮರುಸ್ಥಾಪನೆ, F1 ಅಥವಾ PR-AUC ಅನ್ನು ನಿಖರತೆಯ ಬದಲಿಗೆ ಬಳಸಲಾಗುತ್ತದೆ, ಮತ್ತು ಪ್ರತಿ ಮೆಟ್ರಿಕ್ ಅನ್ನು ಮೂಲ ಮಾದರಿಯ ಪ್ರಕಾರ ಅರ್ಥೈಸಲಾಗುತ್ತದೆ.

5. ಮಾದರಿಯ ಮೆಟ್ರಿಕ್ ಕುರಿತು ಮಾತನಾಡುವಾಗ ಬೇಸ್‌ಲೈನ್ ಹೋಲಿಕೆ ಏಕೆ ಅತ್ಯಗತ್ಯ?

• ಎ) ಏಕೆಂದರೆ ಮೂಲ ಮಾದರಿಯು ಯಾವಾಗಲೂ ನೈಜ ಮಾದರಿಗಿಂತ ಉತ್ತಮವಾಗಿರುತ್ತದೆ
• ಬಿ) ಏಕೆಂದರೆ ಸರಳ ಬೇಸ್‌ಲೈನ್ ಮಾದರಿಗೆ ಹೋಲಿಸಿದಾಗ ಮೆಟ್ರಿಕ್ ಅರ್ಥಪೂರ್ಣವಾಗಿದೆಯೇ ಅಥವಾ ಇಲ್ಲವೇ ಎಂಬುದು ಸ್ಪಷ್ಟವಾಗಿದೆ ✔
• ಸಿ) ಮೂಲ ಮಾದರಿಯು ಅಡ್ಡ-ಮೌಲ್ಯಮಾಪನವನ್ನು ಅನಗತ್ಯವಾಗಿಸುತ್ತದೆ
• ಡಿ) ಏಕೆಂದರೆ ಪ್ರತಿ ವರದಿಯಲ್ಲಿ ಮೂಲ ಮಾದರಿಯು ಕಾನೂನುಬದ್ಧವಾಗಿ ಅಗತ್ಯವಿದೆ

ವಿವರಣೆ: ಮೆಟ್ರಿಕ್ ಸ್ವತಃ ಒಳ್ಳೆಯದು ಅಥವಾ ಕೆಟ್ಟದ್ದಲ್ಲ; ಮೂಲಭೂತ ಮಾದರಿಯ ಪ್ರಕಾರ ಇದು ಒಳ್ಳೆಯದು ಅಥವಾ ಕೆಟ್ಟದು. '85% ಸರಿ' ಎಂಬ ವಾಕ್ಯವು ಮೂಲ ಮಾದರಿಯು ಈಗಾಗಲೇ 84% ಅನ್ನು ಪಡೆದರೆ ಬಹುತೇಕ ನಿಷ್ಪ್ರಯೋಜಕವಾಗಿದೆ ಮತ್ತು ಅದು 50% ಪಡೆದರೆ ಪರಿಪೂರ್ಣವಾಗಿದೆ ಎಂದರ್ಥ. ಹೋಲಿಕೆ ಆಂಕರ್ ಇಲ್ಲದೆ, ಮೆಟ್ರಿಕ್ ಅರ್ಥಹೀನವಾಗಿದೆ.

6. RAG (ರಿಟ್ರೈವಲ್-ಆಗ್ಮೆಂಟೆಡ್ ಜನರೇಷನ್) ಸಿಸ್ಟಮ್‌ನ ಪ್ರೊಡಕ್ಷನ್ ಪ್ರಾಂಪ್ಟ್‌ನಲ್ಲಿ ಸೇರಿಸಬೇಕಾದ ಅತ್ಯಂತ ನಿರ್ಣಾಯಕ ಭದ್ರತಾ ಅಂಶ ಯಾವುದು?

• ಎ) ನೀಡಿದ ಮೂಲವನ್ನು ಮಾತ್ರ ಅವಲಂಬಿಸಲು ಸೂಚನೆ, ಮೂಲವು ಅಸ್ತಿತ್ವದಲ್ಲಿಲ್ಲದಿದ್ದರೆ 'ನನಗೆ ಗೊತ್ತಿಲ್ಲ' ಎಂದು ಹೇಳಲು ಮತ್ತು ಮೂಲವನ್ನು ಉಲ್ಲೇಖಿಸಲು ✔
• ಬಿ) ಸಾಧ್ಯವಾದಷ್ಟು ದೀರ್ಘ ಮತ್ತು ಸೃಜನಶೀಲ ಉತ್ತರಗಳನ್ನು ಉತ್ಪಾದಿಸಲು ಮಾದರಿಗೆ ಹೇಳುವುದು
• ಸಿ) ಮಾದರಿಯು ಸಂಪನ್ಮೂಲಗಳಿಗಿಂತ ತನ್ನದೇ ಆದ ಶೈಕ್ಷಣಿಕ ಜ್ಞಾನವನ್ನು ಆದ್ಯತೆ ನೀಡುತ್ತದೆ
• ಡಿ) ಆಜ್ಞೆಗಳಂತೆ ತಂದ ದಾಖಲೆಗಳಲ್ಲಿನ ಎಲ್ಲಾ ಸೂಚನೆಗಳನ್ನು ಕಾರ್ಯಗತಗೊಳಿಸಿ

ವಿವರಣೆ: RAG ಯ ಏಕೈಕ ಪ್ರಮುಖ ಸೂಚನೆಯೆಂದರೆ ನೀಡಲಾದ ಮೂಲವನ್ನು ಮಾತ್ರ ಅವಲಂಬಿಸುವಂತೆ ಮಾದರಿಗೆ ಹೇಳುವುದು ಮತ್ತು ಮಾಹಿತಿಯು ಮೂಲದಲ್ಲಿ ಇಲ್ಲದಿದ್ದರೆ, 'ನನಗೆ ಗೊತ್ತಿಲ್ಲ' ಎಂದು ಹೇಳಿ ಮತ್ತು ಅದನ್ನು ರೂಪಿಸದೆ ಮೂಲವನ್ನು ಉಲ್ಲೇಖಿಸಿ. ಈ ಟ್ರೈಡ್ ಇಲ್ಲದೆ, ಮಾದರಿಯು ಸಂದರ್ಭವನ್ನು ನಿರ್ಲಕ್ಷಿಸಬಹುದು ಮತ್ತು ಭ್ರಮೆಗಳನ್ನು ಉಂಟುಮಾಡಬಹುದು ಮತ್ತು ಉತ್ತರವನ್ನು ಪರಿಶೀಲಿಸಲಾಗುವುದಿಲ್ಲ.

7. RAG ವ್ಯವಸ್ಥೆಯು ತಪ್ಪಾದ ಉತ್ತರಗಳನ್ನು ನೀಡುತ್ತದೆ. ರೋಗನಿರ್ಣಯವನ್ನು ಪ್ರಾರಂಭಿಸಲು ಉತ್ತಮ ಸ್ಥಳ ಎಲ್ಲಿದೆ?

• ಎ) ಮೊದಲು ಪಡೆಯುವಿಕೆಯನ್ನು ಅಳೆಯುವುದು (ಮರುಪಡೆಯಿರಿ@ಕೆ): ಸರಿಯಾದ ತುಣುಕು ಎಂದಾದರೂ ಬರುತ್ತದೆಯೇ? ✔
• ಬಿ) ತಕ್ಷಣವೇ ಮಾದರಿಯನ್ನು ದೊಡ್ಡದರೊಂದಿಗೆ ಬದಲಾಯಿಸಿ
• ಸಿ) ಪ್ರಾಂಪ್ಟ್ ಅನ್ನು ಯಾದೃಚ್ಛಿಕವಾಗಿ ಬದಲಾಯಿಸಿ ಮತ್ತು ಪ್ರಯತ್ನಿಸುವುದನ್ನು ಮುಂದುವರಿಸಿ
• ಡಿ) ಎಲ್ಲಾ ದಾಖಲೆಗಳನ್ನು ಉತ್ತಮ-ಶ್ರುತಿಯೊಂದಿಗೆ ಮಾದರಿಯಲ್ಲಿ ಎಂಬೆಡ್ ಮಾಡುವುದು

ವಿವರಣೆ: RAG ನ ದುರ್ಬಲ ಲಿಂಕ್ ಸಾಮಾನ್ಯವಾಗಿ ಪಡೆಯುತ್ತದೆ, ಉತ್ಪಾದನೆಯಲ್ಲ. ಸರಿಯಾದ ಭಾಗವನ್ನು ಎಂದಿಗೂ ತರದಿದ್ದರೆ, ಪ್ರಾಂಪ್ಟ್ ಅನ್ನು ಎಷ್ಟೇ ಸುಧಾರಿಸಿದರೂ ಮಾದರಿಯು ಆ ಮಾಹಿತಿಯನ್ನು ಉತ್ಪಾದಿಸಲು ಸಾಧ್ಯವಿಲ್ಲ. ಆದ್ದರಿಂದ, ಸರಿಯಾದ ಭಾಗ ಬಂದಿದೆಯೇ ಎಂದು ನೋಡಲು ಮೊದಲು ರೀಕಾಲ್ @K ಅನ್ನು ಅಳೆಯಲಾಗುತ್ತದೆ; ಪಡೆಯುವುದು ಉತ್ತಮವಾಗಿದ್ದರೆ, ಉತ್ಪಾದನೆ ಮತ್ತು ಪ್ರಾಂಪ್ಟ್ ಅನ್ನು ಪರಿಶೀಲಿಸಲಾಗುತ್ತದೆ.

8. ಏಜೆಂಟ್‌ಗೆ ಉಪಕರಣವನ್ನು ನೀಡುವಾಗ ಮಾನವ ಅನುಮೋದನೆಯ ಹಿಂದೆ ಯಾವ ಕ್ರಮಗಳನ್ನು ಹಾಕಬೇಕು?

• ಎ) ಯಾವುದೂ ಇಲ್ಲ; ಏಜೆಂಟ್ ಪ್ರತಿ ಕ್ರಿಯೆಯನ್ನು ಸ್ವಾಯತ್ತವಾಗಿ ನಿರ್ವಹಿಸಲು ಶಕ್ತರಾಗಿರಬೇಕು
• ಬಿ) ಡೇಟಾವನ್ನು ಓದುವುದು ಮತ್ತು ಹುಡುಕುವಂತಹ ರಿವರ್ಸಿಬಲ್ ಕ್ರಿಯೆಗಳು ಮಾತ್ರ
• ಸಿ) ಬದಲಾಯಿಸಲಾಗದ ಅಥವಾ ಹೆಚ್ಚಿನ ಪರಿಣಾಮದ ಕ್ರಿಯೆಗಳಾದ ಹಣವನ್ನು ವರ್ಗಾವಣೆ ಮಾಡುವುದು, ಅಳಿಸುವುದು, ಕಳುಹಿಸುವುದು ✔
• ಡಿ) ಕೇವಲ ಲೆಕ್ಕಾಚಾರಗಳನ್ನು ಒಳಗೊಂಡಿರುವ ಕ್ರಿಯೆಗಳು

ವಿವರಣೆ: ಕ್ರಿಯೆಗಳನ್ನು ಅಪಾಯದ ಮಟ್ಟದಿಂದ ಪ್ರತ್ಯೇಕಿಸಲಾಗಿದೆ. ಡ್ರಾಫ್ಟ್‌ಗಳನ್ನು ಓದುವುದು, ಹುಡುಕುವುದು, ಲೆಕ್ಕಾಚಾರ ಮಾಡುವುದು ಮತ್ತು ರಚಿಸುವಂತಹ ಹಿಂಪಡೆಯಬಹುದಾದ ಕಾರ್ಯಗಳನ್ನು ಸ್ವಾಯತ್ತವಾಗಿ ಮಾಡಬಹುದು; ಆದಾಗ್ಯೂ, ಹಣವನ್ನು ವರ್ಗಾಯಿಸುವುದು, ಇಮೇಲ್‌ಗಳನ್ನು ಕಳುಹಿಸುವುದು, ಡೇಟಾವನ್ನು ಅಳಿಸುವುದು, ಆದೇಶಗಳನ್ನು ನೀಡುವುದು ಇತ್ಯಾದಿಗಳಂತಹ ಬದಲಾಯಿಸಲಾಗದ ಅಥವಾ ಹೆಚ್ಚಿನ ಪ್ರಭಾವದ ಕ್ರಿಯೆಗಳಿಗೆ ಮಾನವ ಅನುಮೋದನೆಯ ಅಗತ್ಯವಿರುತ್ತದೆ. ಪ್ರತಿ ಹಿಂತೆಗೆದುಕೊಳ್ಳಲಾಗದ ಕ್ರಿಯೆಯು ಒಪ್ಪಿಗೆಗೆ ಒಳಪಟ್ಟಿರಬೇಕು.

9. ಪರೋಕ್ಷ ಪ್ರಾಂಪ್ಟ್ ಇಂಜೆಕ್ಷನ್ ಅಪಾಯದ ವಿರುದ್ಧ ಉತ್ತಮ ವಿನ್ಯಾಸ ವಿಧಾನ ಯಾವುದು?

• ಎ) ಸಿಸ್ಟಮ್ ಪ್ರಾಂಪ್ಟ್‌ಗೆ 'ಕೆಟ್ಟ ಸೂಚನೆಗಳನ್ನು ನಿರ್ಲಕ್ಷಿಸಿ' ಎಂಬ ಒಂದೇ ವಾಕ್ಯವನ್ನು ಸೇರಿಸಿದರೆ ಸಾಕು
• ಬಿ) ಬಾಹ್ಯ ವಿಷಯದಲ್ಲಿನ ಸೂಚನೆಗಳನ್ನು ಅವಲಂಬಿಸಿ ಮಾದರಿಗೆ ಹೆಚ್ಚಿನ ಅಧಿಕಾರವನ್ನು ನೀಡಿ
• ಸಿ) ಚುಚ್ಚುಮದ್ದು ತಡೆಯಲಾಗದ ಕಾರಣ ಯಾವುದೇ ಮುನ್ನೆಚ್ಚರಿಕೆಗಳನ್ನು ತೆಗೆದುಕೊಳ್ಳದಿರುವುದು
• ಡಿ) ಬಾಹ್ಯ ವಿಷಯವನ್ನು ವಿಶ್ವಾಸಾರ್ಹವಲ್ಲದ ಡೇಟಾ ಎಂದು ಪ್ರತ್ಯೇಕಿಸುವುದು ಮತ್ತು ಕನಿಷ್ಠ ಅಧಿಕಾರ, ಅನುಮೋದನೆ ಮತ್ತು ಔಟ್‌ಪುಟ್ ನಿಯಂತ್ರಣದೊಂದಿಗೆ ಲೇಯರ್ಡ್ ಡಿಫೆನ್ಸ್‌ಗಳನ್ನು ಸ್ಥಾಪಿಸುವುದು ✔

ವಿವರಣೆ: ವೆಬ್ ಪುಟ, ಡಾಕ್ಯುಮೆಂಟ್, ಇಮೇಲ್ ಇತ್ಯಾದಿಗಳಂತಹ ಏಜೆಂಟ್ ಅಥವಾ RAG ಮೂಲಕ ಪ್ರಕ್ರಿಯೆಗೊಳಿಸಲಾದ ಬಾಹ್ಯ ವಿಷಯವು ವಿಶ್ವಾಸಾರ್ಹವಲ್ಲದ ಡೇಟಾ ಮತ್ತು ರಹಸ್ಯ ಸೂಚನೆಗಳನ್ನು ಒಳಗೊಂಡಿರಬಹುದು. ಸರಿಯಾದ ವಿಧಾನವೆಂದರೆ ಲೇಯರ್ಡ್ ಡಿಫೆನ್ಸ್: ಬಾಹ್ಯ ವಿಷಯವನ್ನು ಸ್ಪಷ್ಟ ಡಿಲಿಮಿಟರ್‌ಗಳೊಂದಿಗೆ 'ಡೇಟಾ, ಆಜ್ಞೆಗಳಲ್ಲ' ಎಂದು ಪ್ರತ್ಯೇಕಿಸುವುದು, ಕನಿಷ್ಠ ಅಧಿಕಾರವನ್ನು ಅನ್ವಯಿಸುವುದು, ಬದಲಾಯಿಸಲಾಗದ ಕ್ರಿಯೆಗಳನ್ನು ಮಾನವ ಅನುಮೋದನೆಗೆ ಬಂಧಿಸುವುದು ಮತ್ತು ಔಟ್‌ಪುಟ್ ಅನ್ನು ಲೆಕ್ಕಪರಿಶೋಧನೆ ಮಾಡುವುದು. ಸೂಚನೆಗಳ ಒಂದು ಸಾಲು ಸಾಕಾಗುವುದಿಲ್ಲ.

10. ಫೈನ್-ಟ್ಯೂನಿಂಗ್ ಅಥವಾ RAG ಮೂಲಕ ಸಮಸ್ಯೆಯನ್ನು ಪರಿಹರಿಸಬೇಕೆ ಎಂದು ನಿರ್ಧರಿಸುವಾಗ ಮುಖ್ಯ ವ್ಯತ್ಯಾಸವೇನು?

• ಎ) ಮಾಹಿತಿ ಸಮಸ್ಯೆಗಳನ್ನು RAG ನೊಂದಿಗೆ ಉತ್ತಮವಾಗಿ ಪರಿಹರಿಸಲಾಗುತ್ತದೆ, ನಡವಳಿಕೆ/ಫಾರ್ಮ್ಯಾಟ್ ಸಮಸ್ಯೆಗಳನ್ನು ಉತ್ತಮ-ಶ್ರುತಿಯೊಂದಿಗೆ ಉತ್ತಮವಾಗಿ ಪರಿಹರಿಸಲಾಗುತ್ತದೆ ✔
• ಬಿ) ಪ್ರತಿ ಸಮಸ್ಯೆಯನ್ನು ಯಾವಾಗಲೂ ಉತ್ತಮ-ಟ್ಯೂನಿಂಗ್ ಮೂಲಕ ಪರಿಹರಿಸಬೇಕು
• ಸಿ) RAG ಅನ್ನು ಕೋಡ್ ಉತ್ಪಾದನೆಗೆ ಮಾತ್ರ ಬಳಸಲಾಗುತ್ತದೆ, ಫೈನ್-ಟ್ಯೂನಿಂಗ್ ಅನ್ನು ಅನುವಾದಕ್ಕಾಗಿ ಮಾತ್ರ ಬಳಸಲಾಗುತ್ತದೆ
• ಡಿ) ಫೈನ್-ಟ್ಯೂನಿಂಗ್ ಅನ್ನು ಯಾವಾಗಲೂ RAG ಗಿಂತ ಅಗ್ಗವಾಗಿ ಮತ್ತು ವೇಗವಾಗಿ ನವೀಕರಿಸಬಹುದು

ವಿವರಣೆ: ಫೈನ್-ಟ್ಯೂನಿಂಗ್ ದುರ್ಬಲವಾಗಿದೆ ಮತ್ತು ಮಾದರಿಗೆ ಹೊಸ ಮಾಹಿತಿಯನ್ನು ಕಲಿಸುವಲ್ಲಿ ಅಪಾಯಕಾರಿಯಾಗಿದೆ; ಆದರೆ ನಡವಳಿಕೆ, ಸ್ವರೂಪ, ಸ್ವರ ಮತ್ತು ಶೈಲಿಯನ್ನು ಕಲಿಸುವಲ್ಲಿ ಶಕ್ತಿಯುತವಾಗಿದೆ. 'ಮಾಡೆಲ್ ಕಂಪನಿಗೆ ನಮ್ಮ ಡೇಟಾ ಗೊತ್ತಿಲ್ಲ' ಎಂಬುದು ಮಾಹಿತಿ ಸಮಸ್ಯೆಯಾಗಿದ್ದು RAG ಗೆ ಸೇರಿದೆ. 'ಮಾಡೆಲ್ ಯಾವಾಗಲೂ ನಮ್ಮ ಕಟ್ಟುನಿಟ್ಟಾದ ಸ್ವರೂಪದಲ್ಲಿ ಔಟ್‌ಪುಟ್ ಮಾಡಲಿ' ಎಂಬುದು ನಡವಳಿಕೆಯ ಸಮಸ್ಯೆ ಮತ್ತು ಉತ್ತಮ-ಶ್ರುತಿಗೆ ಅಭ್ಯರ್ಥಿಯಾಗಿದೆ. ಹೆಚ್ಚುವರಿಯಾಗಿ, ಫೈನ್-ಟ್ಯೂನಿಂಗ್ ಮಾಡುವ ಮೊದಲು ಪ್ರಾಂಪ್ಟ್ ಮತ್ತು ಕೆಲವು-ಶಾಟ್‌ಗಳನ್ನು ಸೇವಿಸಬೇಕು.

11. ಹೊಸ ಮಾದರಿಯನ್ನು ಉತ್ಪಾದನೆಗೆ ಹಾಕುವಾಗ ಸುರಕ್ಷಿತ ನಿಯೋಜನೆಗೆ ಯಾವುದು ಕಡ್ಡಾಯವಾಗಿದೆ?

• ಎ) ಮಾದರಿಯು ಪರೀಕ್ಷೆಯಲ್ಲಿ ಉತ್ತಮವಾಗಿದ್ದರೆ, ಅದನ್ನು ನೇರವಾಗಿ 100% ಸಂಚಾರಕ್ಕೆ ತೆರೆಯಿರಿ
• ಬಿ) ನಿಯೋಜನೆಯ ನಂತರ ಮೇಲ್ವಿಚಾರಣೆಯನ್ನು ಹೊಂದಿಸದಿರುವುದು
• ಸಿ) ಹಂತ ಹಂತದ ನಿಯೋಜನೆ (ನೆರಳು/ಕ್ಯಾನರಿ) ಮತ್ತು ಪೂರ್ವ-ಪರೀಕ್ಷಿತ ರೋಲ್‌ಬ್ಯಾಕ್ ಯೋಜನೆ ✔
• ಡಿ) ಮೌಲ್ಯಮಾಪನ ಮಿತಿಯನ್ನು ಪೂರೈಸದಿದ್ದರೂ ಸಹ ಮಾದರಿಯನ್ನು ಪ್ರಕಟಿಸುವುದು

ವಿವರಣೆ: ಹೊಸ ಮಾದರಿಯನ್ನು ನೇರವಾಗಿ ಎಲ್ಲಾ ಸಂಚಾರಕ್ಕೆ ತೆರೆಯುವುದು ಅಪಾಯಕಾರಿ; ಅದು ತಪ್ಪಾಗಿದ್ದರೆ, ಎಲ್ಲರೂ ಪರಿಣಾಮ ಬೀರುತ್ತಾರೆ. ಸರಿಯಾದ ವಿಷಯವೆಂದರೆ ಅದು ಕ್ರಮೇಣ ವಿತರಣೆಯಾಗಿದೆ (ನೆರಳು, ಕ್ಯಾನರಿ) ಮತ್ತು ಪ್ರತಿ ವಿತರಣೆಯು ಪರೀಕ್ಷಿತ ರೋಲ್‌ಬ್ಯಾಕ್ ಯೋಜನೆಯನ್ನು ಹೊಂದಿದೆ. ಕ್ಲಾಬ್ಯಾಕ್ ಯೋಜನೆ ಇಲ್ಲದೆ ವಿತರಣೆಯು ಪೂರ್ಣಗೊಳ್ಳುವುದಿಲ್ಲ; ನಿಮಿಷಗಳಲ್ಲಿ ಹಿಂದಿನ ಆವೃತ್ತಿಗೆ ಹಿಂತಿರುಗಲು ಸಾಧ್ಯವಾಗುವುದರಿಂದ ಮಾದರಿಯು ಉತ್ಪಾದನೆಯಲ್ಲಿ ಅನಿರೀಕ್ಷಿತವಾಗಿ ವರ್ತಿಸಿದಾಗ ಬಳಕೆದಾರರನ್ನು ರಕ್ಷಿಸುತ್ತದೆ.

12. ML ಮಾದರಿಯು ಉತ್ಪಾದನೆಯಲ್ಲಿ 'ಮೌನವಾಗಿ' ಹೇಗೆ ವಿಫಲವಾಗಬಹುದು ಮತ್ತು ಇದನ್ನು ಹಿಡಿಯುವ ಮಾರ್ಗವೇನು?

• ಎ) ಮಾದರಿ ಕುಸಿಯುತ್ತದೆ; ಸರ್ವರ್ ಲಾಗ್‌ಗಳು ಇದನ್ನು ತೋರಿಸುತ್ತವೆ
• ಬಿ) ತಪ್ಪುಗಳನ್ನು ಮಾಡದೆಯೇ ತಪ್ಪು ಮುನ್ಸೂಚನೆಗಳನ್ನು ನೀಡುವ ಮೂಲಕ; ✔ ಇದು ಕಾರ್ಯಾಚರಣೆ, ಇನ್ಪುಟ್ ಮತ್ತು ಔಟ್ಪುಟ್ ಲೇಯರ್ಡ್ ಮಾನಿಟರಿಂಗ್ ಅನ್ನು ಸೆರೆಹಿಡಿಯುತ್ತದೆ
• ಸಿ) ಮಾದರಿಯು ಎಂದಿಗೂ ಮೌನವಾಗಿ ವಿಫಲಗೊಳ್ಳುವುದಿಲ್ಲ, ಯಾವಾಗಲೂ ಎಚ್ಚರಿಕೆ
• ಡಿ) ಯಾವುದೇ ಅವನತಿಯನ್ನು ಹಿಡಿಯಲು ಸುಪ್ತತೆಯನ್ನು ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡುವುದು ಸಾಕು

ವಿವರಣೆ: ಕ್ರ್ಯಾಶ್ ಆಗದೆ ಅಥವಾ ದೋಷಗಳನ್ನು ನೀಡದೆಯೇ ತಪ್ಪಾದ ಮುನ್ಸೂಚನೆಗಳನ್ನು ನೀಡುವ ಮೂಲಕ ಮಾದರಿಯು ವಿಫಲಗೊಳ್ಳುತ್ತದೆ; ಇದಕ್ಕೆ ಮುಖ್ಯ ಕಾರಣ ಡೇಟಾ ಡ್ರಿಫ್ಟ್ ಮತ್ತು ಕಾನ್ಸೆಪ್ಟ್ ಡ್ರಿಫ್ಟ್. ಕಾರ್ಯಾಚರಣೆಯ ಮೆಟ್ರಿಕ್‌ಗಳನ್ನು (ಸುಪ್ತತೆ, ದೋಷ ದರ) ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡುವುದು ಸಾಕಾಗುವುದಿಲ್ಲ; ಇನ್‌ಪುಟ್ ವಿತರಣೆ ಮತ್ತು ಔಟ್‌ಪುಟ್/ಮುನ್ಸೂಚನೆ ವಿತರಣೆಯನ್ನು ಸಹ ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡಬೇಕು. ನಿಜವಾದ ಫಲಿತಾಂಶವು ವಿಳಂಬವಾದರೆ ಇನ್‌ಪುಟ್ ಡ್ರಿಫ್ಟ್ ಪೂರ್ವ ಎಚ್ಚರಿಕೆ ನೀಡುತ್ತದೆ.

13. LLM ವ್ಯವಸ್ಥೆಯನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡಲು LLM-ಆಸ್-ಜಡ್ಜ್ ಅನ್ನು ಬಳಸುವಾಗ ಯಾವ ತತ್ವವು ಅವಶ್ಯಕವಾಗಿದೆ?

• ಎ) LLM-ರೆಫರಿ ಯಾವಾಗಲೂ ಸರಿಯಾಗಿರುತ್ತಾನೆ, ಮಾನವ ಪರಿಶೀಲನೆಯು ಅನಗತ್ಯವಾಗಿದೆ
• ಬಿ) ರೆಫರಿಯು ಉತ್ತರದ ಉದ್ದವನ್ನು ಆಧರಿಸಿ ಮಾತ್ರ ನಿರ್ಧಾರ ತೆಗೆದುಕೊಳ್ಳಬೇಕು.
• ಸಿ) ತೀರ್ಪುಗಾರರನ್ನು ಬಳಸಿದಾಗ ನಿಯಮ-ಆಧಾರಿತ ನಿಯಂತ್ರಣಗಳು ಮತ್ತು ಮಾನವ ಮೌಲ್ಯಮಾಪನವನ್ನು ಸಂಪೂರ್ಣವಾಗಿ ತ್ಯಜಿಸಬೇಕು
• ಡಿ) ನ್ಯಾಯಾಧೀಶರ ಅಂಕಗಳನ್ನು ಮಾನವ-ಲೇಬಲ್ ಮಾಡಲಾದ ಮಾದರಿಯೊಂದಿಗೆ ಮಾಪನಾಂಕ ಮಾಡಬೇಕು ಮತ್ತು ಅವುಗಳನ್ನು ನಂಬುವ ಮೊದಲು ಅವರ ಪಕ್ಷಪಾತವನ್ನು ಅಳೆಯಬೇಕು ✔

ವಿವರಣೆ: LLM-ರೆಫರಿ ಕೂಡ ಒಂದು ಮಾದರಿ; ಇದು ಭ್ರಮೆ, ಪಕ್ಷಪಾತ (ದೀರ್ಘ, ಆತ್ಮವಿಶ್ವಾಸದ ಉತ್ತರಗಳಿಗೆ ಒಲವು) ಮತ್ತು ಅಸಮಂಜಸವಾಗಿರಬಹುದು. ಆದ್ದರಿಂದ, ರೆಫರಿ ಸ್ಕೋರ್‌ಗಳನ್ನು ಮಾನವ ಲೇಬಲ್ ಮಾಡಲಾದ ಮಾದರಿಯೊಂದಿಗೆ ಮಾಪನಾಂಕ ಮಾಡಬೇಕು ಮತ್ತು ಉತ್ಪಾದನಾ ನಿರ್ಧಾರವನ್ನು ತೆಗೆದುಕೊಳ್ಳುವ ಮೊದಲು ಅವುಗಳ ವ್ಯವಸ್ಥಿತ ಪಕ್ಷಪಾತವನ್ನು ಅಳೆಯಬೇಕು. ಪರಿಶೀಲಿಸದ ರೆಫರಿ ತಪ್ಪು ವಿಶ್ವಾಸವನ್ನು ನೀಡುತ್ತಾರೆ.

14. ಮಾದರಿ ಪಕ್ಷಪಾತವನ್ನು ನಿರ್ಣಯಿಸುವಾಗ ಒಟ್ಟಾರೆ ನಿಖರತೆಯನ್ನು ಏಕೆ ನೋಡುವುದು ಅಸಮರ್ಪಕವಾಗಿದೆ?

• ಎ) ಒಟ್ಟಾರೆ ನಿಖರತೆ ಸಾಕಾಗುತ್ತದೆ ಏಕೆಂದರೆ ಇದು ಯಾವಾಗಲೂ ಕೆಟ್ಟ ಗುಂಪಿನ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಪ್ರತಿಬಿಂಬಿಸುತ್ತದೆ
• ಬಿ) ಉಪಗುಂಪುಗಳ ನಡುವಿನ ವ್ಯವಸ್ಥಿತ ವ್ಯತ್ಯಾಸವನ್ನು (ಗುಪ್ತ ತಾರತಮ್ಯ) ಅಸ್ಪಷ್ಟಗೊಳಿಸುವುದರಿಂದ ಒಟ್ಟಾರೆ ನಿಖರತೆ ಮಾತ್ರ ಸಾಕಾಗುವುದಿಲ್ಲ ✔
• ಸಿ) ನಿಖರತೆಯು ಒಂದು ಮೆಟ್ರಿಕ್ ಆಗಿದ್ದು ಅದು ಪಕ್ಷಪಾತದೊಂದಿಗೆ ಯಾವುದೇ ಸಂಬಂಧವನ್ನು ಹೊಂದಿಲ್ಲ
• ಡಿ) ಪಕ್ಷಪಾತವು ಮಾದರಿಯಿಂದ ಮಾತ್ರ ಬರುತ್ತದೆ ಮತ್ತು ಡೇಟಾದೊಂದಿಗೆ ಯಾವುದೇ ಸಂಬಂಧವನ್ನು ಹೊಂದಿಲ್ಲ.

ವಿವರಣೆ: ಒಟ್ಟಾರೆ ನಿಖರತೆಯು ಉಪಗುಂಪುಗಳ ನಡುವಿನ ವ್ಯವಸ್ಥಿತ ವ್ಯತ್ಯಾಸಗಳನ್ನು ಮರೆಮಾಡಬಹುದು. ಉದಾಹರಣೆಗೆ, ಒಟ್ಟಾರೆ ನಿಖರತೆ 88% ಆಗಿದ್ದರೆ, ಮರುಪಡೆಯುವಿಕೆ ಒಂದು ಗುಂಪಿನಲ್ಲಿ 91% ಮತ್ತು ಇನ್ನೊಂದು ಗುಂಪಿನಲ್ಲಿ 67% ಆಗಿರಬಹುದು; ಮಾದರಿಯು ವ್ಯವಸ್ಥಿತವಾಗಿ ಆ ಗುಂಪನ್ನು ತಪ್ಪಿಸುತ್ತದೆ. ಆದ್ದರಿಂದ, ಮಾದರಿಯನ್ನು ಉಪಗುಂಪುಗಳ (ಜನಸಂಖ್ಯಾಶಾಸ್ತ್ರ/ವಿಭಾಗ) ಆಧಾರದ ಮೇಲೆ ಮೌಲ್ಯಮಾಪನ ಮಾಡಬೇಕು ಮತ್ತು ನ್ಯಾಯದ ಯಾವ ವ್ಯಾಖ್ಯಾನವನ್ನು ಆದ್ಯತೆ ನೀಡಬೇಕು ಎಂಬುದನ್ನು ಮಧ್ಯಸ್ಥಗಾರರೊಂದಿಗೆ ನಿರ್ಧರಿಸಬೇಕು.

15. ML ಫಲಿತಾಂಶವನ್ನು ಪುನರುತ್ಪಾದಿಸಲು ಯಾವ ನಾಲ್ಕು ವಿಷಯಗಳನ್ನು ಒಟ್ಟಿಗೆ ಜೋಡಿಸಬೇಕು?

• ಎ) ಮಾದರಿ ಹೆಸರು, ಗಾತ್ರ, ಬೆಲೆ ಮತ್ತು ಬಿಡುಗಡೆ ದಿನಾಂಕ ಮಾತ್ರ
• ಬಿ) GPU ಬ್ರ್ಯಾಂಡ್ ಮತ್ತು ಇಂಟರ್ನೆಟ್ ವೇಗ ಮಾತ್ರ
• ಸಿ) ಮಾದರಿಯ ಅಂತಿಮ ನಿಖರತೆ ಸ್ಕೋರ್ ಮಾತ್ರ; ಉಳಿದವುಗಳನ್ನು ನೆನಪಿನಲ್ಲಿಟ್ಟುಕೊಳ್ಳಬಹುದು
• ಡಿ) ಯಾದೃಚ್ಛಿಕ ಬೀಜ, ಡೇಟಾ ಆವೃತ್ತಿ, ಪರಿಸರ (ಅವಲಂಬಿತ ಆವೃತ್ತಿಗಳು) ಮತ್ತು ಪ್ರಯೋಗ ಟ್ರ್ಯಾಕಿಂಗ್ ✔

ವಿವರಣೆ: ನಾಲ್ಕು ಸ್ತಂಭಗಳ ಮೂಲಕ ಪುನರುತ್ಪಾದನೆಯನ್ನು ಸಾಧಿಸಲಾಗುತ್ತದೆ: ಯಾದೃಚ್ಛಿಕ ಬೀಜಗಳನ್ನು ಸರಿಪಡಿಸುವುದು, ಆವೃತ್ತಿಯ ಡೇಟಾ (ಆವೃತ್ತಿ/ಹ್ಯಾಶ್), ಪರಿಸರವನ್ನು ಫ್ರೀಜ್ ಮಾಡುವುದು (ನಿಖರವಾದ ಲೈಬ್ರರಿ ಆವೃತ್ತಿಗಳು/ಧಾರಕ), ಮತ್ತು ಪ್ರತಿ ಪ್ರಯೋಗವನ್ನು ಟ್ರ್ಯಾಕ್ ಮಾಡುವುದು (ಕೋಡ್ ಕಮಿಟ್, ಡೇಟಾ, ಹೈಪರ್‌ಪ್ಯಾರಾಮೀಟರ್, ಮೆಟ್ರಿಕ್). ಈ ಸರಪಳಿಯಿಲ್ಲದೆ ಅದೇ ಫಲಿತಾಂಶವನ್ನು ಪುನರುತ್ಪಾದಿಸಲು ಸಾಧ್ಯವಿಲ್ಲ; ಪುನರುತ್ಪಾದಿಸಲಾಗದ ಫಲಿತಾಂಶವು ಸಾಬೀತುಪಡಿಸಲಾಗದ ಹಕ್ಕುಯಾಗಿದೆ.