ಲಾಭಗಳು:
- ಕೆಲಸದ ಉದ್ದೇಶಕ್ಕೆ ಅನುಗುಣವಾಗಿ ವರ್ಗೀಕರಣ ಮತ್ತು ರಿಗ್ರೆಶನ್ ಮೆಟ್ರಿಕ್ಗಳನ್ನು (ಗೊಂದಲ ಮ್ಯಾಟ್ರಿಕ್ಸ್, ನಿಖರತೆ/ಮರುಸ್ಥಾಪನೆ/F1, MAE/RMSE/R²) ಆಯ್ಕೆಮಾಡುವ ಮತ್ತು ಅರ್ಥೈಸುವ ಸಾಮರ್ಥ್ಯ
- ತರಬೇತಿ ಮತ್ತು ಪರೀಕ್ಷಾ ಅಂಕಗಳನ್ನು ಹೋಲಿಸುವ ಮೂಲಕ ಅತಿಕ್ರಮಣವನ್ನು ಪತ್ತೆಹಚ್ಚುವ ಸಾಮರ್ಥ್ಯ ಮತ್ತು ಅಡ್ಡ-ಮೌಲ್ಯಮಾಪನದೊಂದಿಗೆ ವಿಶ್ವಾಸಾರ್ಹ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಪಡೆದುಕೊಳ್ಳುವುದು
- ಪ್ರತಿ ಮಾದರಿಯು ಬೇಸ್ಲೈನ್ನೊಂದಿಗೆ ಹೋಲಿಸುವ ಮೂಲಕ ನೈಜ ಮೌಲ್ಯವನ್ನು ಸೇರಿಸುತ್ತದೆಯೇ ಎಂದು ಮೌಲ್ಯಮಾಪನ ಮಾಡುವ ಸಾಮರ್ಥ್ಯ
ಮಾದರಿಯನ್ನು ಹೊಂದಿಸುವುದು ಸುಲಭ; ಇದು ನಿಜವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆಯೇ ಎಂದು ಪ್ರಾಮಾಣಿಕವಾಗಿ ಅಳೆಯುವುದು ಕಷ್ಟ. ಈ ಘಟಕದ ವಿಷಯವು ದತ್ತಾಂಶ ವಿಜ್ಞಾನಿಗಳ ಅತ್ಯಂತ ನಿರ್ಣಾಯಕ ಕೌಶಲ್ಯವಾಗಿದೆ: ಸರಿಯಾದ ಮೆಟ್ರಿಕ್ಗಳೊಂದಿಗೆ ಮಾದರಿಯನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುವುದು, ವಿಶ್ವಾಸಾರ್ಹ ಮುನ್ಸೂಚಕ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಸಾಧಿಸುವುದು ಮತ್ತು ಅತ್ಯಂತ ಕಪಟ ಬಲೆಯನ್ನು ಹಿಡಿಯುವುದು: ಓವರ್ಲರ್ನಿಂಗ್ (ಕಂಠಪಾಠ). AI ಮೆಟ್ರಿಕ್ಗಳನ್ನು ಲೆಕ್ಕಾಚಾರ ಮಾಡುತ್ತದೆ, ಅರ್ಥೈಸುತ್ತದೆ ಮತ್ತು ಹೋಲಿಸುತ್ತದೆ; ಆದರೆ ನಿಮ್ಮ ವ್ಯವಹಾರಕ್ಕೆ ಯಾವ ಮೆಟ್ರಿಕ್ ಸರಿಯಾಗಿದೆ ಮತ್ತು ಮಾದರಿಯು "ಸಾಕಷ್ಟು ಒಳ್ಳೆಯದು" ಎಂಬುದನ್ನು ನಿರ್ಧರಿಸಲು ಮಾನವನಿಗೆ ಬಿಟ್ಟದ್ದು. ತಪ್ಪಾದ ಮೆಟ್ರಿಕ್ ಅನ್ನು ನೋಡುವ ತಂಡವು ತಿಂಗಳವರೆಗೆ ಕೆಟ್ಟ ಮಾದರಿಯನ್ನು "ಯಶಸ್ಸು" ಎಂದು ತಪ್ಪಾಗಿ ಗ್ರಹಿಸಬಹುದು.
ನಿಖರತೆ ಏಕೆ ಸಾಕಾಗುವುದಿಲ್ಲ: ಗೊಂದಲದ ಮ್ಯಾಟ್ರಿಕ್ಸ್
ವರ್ಗೀಕರಣದಲ್ಲಿ ಮನಸ್ಸಿಗೆ ಬರುವ ಮೊದಲ ಮೆಟ್ರಿಕ್ ನಿಖರತೆಯಾಗಿದೆ (ನಿಖರತೆ - ಸರಿಯಾದ ಮುನ್ನೋಟಗಳ ಒಟ್ಟು ಅನುಪಾತ). ಆದರೆ ನಾವು ಯುನಿಟ್ 6 ರಲ್ಲಿ ನೋಡಿದಂತೆ, ಅಸಮತೋಲಿತ ಡೇಟಾದೊಂದಿಗೆ ನಿಖರತೆ ದಾರಿತಪ್ಪಿಸುತ್ತದೆ. ಉತ್ತಮ ಆರಂಭವು ಗೊಂದಲದ ಮ್ಯಾಟ್ರಿಕ್ಸ್ ಆಗಿದೆ - ಮುನ್ಸೂಚನೆಗಳನ್ನು ನಾಲ್ಕು ಬಿನ್ಗಳಾಗಿ ವಿಭಜಿಸುವ ಟೇಬಲ್:
- ಟ್ರೂ ಪಾಸಿಟಿವ್ (ಟಿಪಿ): ನಾವು ಫೇಕ್ ಅನ್ನು ನಿಜವಾಗಿಯೂ ನಕಲಿ ಎಂದು ಕರೆಯುತ್ತೇವೆ. (ಒಳ್ಳೆಯದು)
- ನಿಜವಾದ ಋಣಾತ್ಮಕ (TN): ನಾವು ನಿಜವಾಗಿಯೂ ಕ್ಲೀನ್ ಎಂದು ಹೇಳಿದ್ದೇವೆ. (ಒಳ್ಳೆಯದು)
- ತಪ್ಪು ಧನಾತ್ಮಕ (FP): ಕ್ಲೀನ್ ಅನ್ನು ನಕಲಿ ಎಂದು ನಾವು ತಪ್ಪಾಗಿ ಹೇಳಿದ್ದೇವೆ. (ಸುಳ್ಳು ಎಚ್ಚರಿಕೆ)
- ತಪ್ಪು ಋಣಾತ್ಮಕ (FN): ನಾವು ನಕಲಿಯನ್ನು ಕಳೆದುಕೊಂಡಿದ್ದೇವೆ ಮತ್ತು ಅದನ್ನು ಕ್ಲೀನ್ ಎಂದು ಕರೆದಿದ್ದೇವೆ. (ತಪ್ಪಿದ ಬೆದರಿಕೆ)
ಈ ನಾಲ್ಕು ಪೆಟ್ಟಿಗೆಗಳಿಂದ ಎರಡು ಪ್ರಮುಖ ಮೆಟ್ರಿಕ್ಗಳನ್ನು ಪಡೆಯಲಾಗಿದೆ. ನಿಖರತೆ: "ನಾನು ನಕಲಿ ಎಂದು ಕರೆಯುವುದರಲ್ಲಿ ಎಷ್ಟು ನಿಜವಾಗಿ ನಕಲಿ?" - ತಪ್ಪು ಎಚ್ಚರಿಕೆಯ ವೆಚ್ಚಗಳು ಅಧಿಕವಾಗಿದ್ದರೆ ಮುಖ್ಯ. ಸೂಕ್ಷ್ಮತೆ (ಇಂಗ್ಲಿಷ್ನಲ್ಲಿ ಮರುಪಡೆಯಿರಿ): "ನಾನು ಎಷ್ಟು ನೈಜ ನಕಲಿಗಳನ್ನು ಹಿಡಿದಿದ್ದೇನೆ?" - ಬೆದರಿಕೆಯನ್ನು ಕಳೆದುಕೊಂಡಾಗ ಅದು ದುಬಾರಿಯಾಗಿದೆ. ಇವೆರಡೂ ಆಗಾಗ್ಗೆ ಪರಸ್ಪರ ವಿರುದ್ಧವಾಗಿರುತ್ತವೆ: ನೀವು ಮಿತಿಯನ್ನು ಕಡಿಮೆ ಮಾಡಿ ಮತ್ತು "ನಕಲಿ" ಎಂದು ಹೇಳಿದರೆ, ಮರುಪಡೆಯುವಿಕೆ ಹೆಚ್ಚಾಗುತ್ತದೆ ಆದರೆ ನಿಖರತೆ ಕಡಿಮೆಯಾಗುತ್ತದೆ. F1 ಸ್ಕೋರ್ ಈ ಎರಡರ ಸಮತೋಲಿತ ಸರಾಸರಿ (ಹಾರ್ಮೋನಿಕ್ ಮೀನ್) ಆಗಿದೆ.
ಗಮನ: "ಯಾವ ಮೆಟ್ರಿಕ್ ಮುಖ್ಯ" ಎಂಬ ಪ್ರಶ್ನೆಗೆ ಉತ್ತರವು ವ್ಯವಹಾರ ನಿರ್ಧಾರವಾಗಿದೆ, ತಾಂತ್ರಿಕವಾಗಿಲ್ಲ. ಕ್ಯಾನ್ಸರ್ ಸ್ಕ್ರೀನಿಂಗ್ನಲ್ಲಿ ಒಂದು ಪ್ರಕರಣವನ್ನು ಕಳೆದುಕೊಂಡಿರುವುದು (ಕಡಿಮೆ ಮರುಸ್ಥಾಪನೆ) ಹಾನಿಕಾರಕವಾಗಿದೆ; ಸ್ಪ್ಯಾಮ್ ಫಿಲ್ಟರ್ನಲ್ಲಿ ಸ್ಪ್ಯಾಮ್ಗೆ (ಕಡಿಮೆ ನಿಖರತೆ) ಪ್ರಮುಖ ಇಮೇಲ್ ಕಳುಹಿಸಲು ಕಿರಿಕಿರಿ. ವೆಚ್ಚವು ಮೆಟ್ರಿಕ್ ಅನ್ನು ನಿರ್ಧರಿಸುತ್ತದೆ.
ರಿಗ್ರೆಶನ್ ಮೆಟ್ರಿಕ್ಸ್
ಔಟ್ಪುಟ್ ಸಂಖ್ಯೆಗಳಾಗಿದ್ದರೆ, ವಿಭಿನ್ನ ಮೆಟ್ರಿಕ್ಗಳನ್ನು ಬಳಸಲಾಗುತ್ತದೆ. MAE (ಸರಾಸರಿ ಸಂಪೂರ್ಣ ದೋಷ): ಅದೇ ಘಟಕದಲ್ಲಿ ಅಂದಾಜುಗಳು ನಿಜವಾದ ಸರಾಸರಿಯಿಂದ ಎಷ್ಟು ವಿಚಲನಗೊಳ್ಳುತ್ತವೆ (ಉದಾ. "ನಾವು ಸರಾಸರಿ 4,200 TL ನಿಂದ ತಪ್ಪಾಗಿದ್ದೇವೆ"). RMSE (ರೂಟ್ ಮೀನ್ ಸ್ಕ್ವೇರ್ಡ್ ಎರರ್): ಪ್ರಮುಖ ದೋಷಗಳನ್ನು ಹೆಚ್ಚು ತೀವ್ರವಾಗಿ ದಂಡಿಸುತ್ತದೆ ಮತ್ತು ಹೊರಗಿನವರಿಗೆ ಸೂಕ್ಷ್ಮವಾಗಿರುತ್ತದೆ. R² (R-ವರ್ಗ - ನಿರ್ಣಯದ ಗುಣಾಂಕ): ಮಾದರಿಯು ವಿವರಿಸುವ ಗುರಿಯಲ್ಲಿ ಎಷ್ಟು ವ್ಯತ್ಯಾಸವಿದೆ (1 ಕ್ಕೆ ಹತ್ತಿರದಲ್ಲಿದೆ, 0 ಸರಾಸರಿಯನ್ನು ಊಹಿಸುವಷ್ಟು ಕೆಟ್ಟದು, ಋಣಾತ್ಮಕವು ಇನ್ನೂ ಕೆಟ್ಟದಾಗಿದೆ).
ಅತ್ಯಂತ ಕಪಟ ಬಲೆ: ಅತಿಯಾಗಿ ಕಲಿಯುವುದು
ಓವರ್ಫಿಟ್ಟಿಂಗ್ - ಅಲ್ಲಿ ಮಾದರಿಯು ತರಬೇತಿ ಡೇಟಾವನ್ನು ನೆನಪಿಟ್ಟುಕೊಳ್ಳುತ್ತದೆ ಆದರೆ ಹೊಸ ಡೇಟಾದಲ್ಲಿ ವಿಫಲಗೊಳ್ಳುತ್ತದೆ - ಡೇಟಾ ವಿಜ್ಞಾನದಲ್ಲಿ ಸಾಮಾನ್ಯ ತಪ್ಪು. ರೋಗಲಕ್ಷಣವು ಸ್ಪಷ್ಟವಾಗಿದೆ: ತರಬೇತಿ ಸೆಟ್ನಲ್ಲಿ ಮಾದರಿಯು ಉತ್ತಮವಾಗಿದೆ (98%), ಪರೀಕ್ಷಾ ಸೆಟ್ನಲ್ಲಿ ಕೆಟ್ಟದು (72%). ಮಾದರಿಯು ನಿರ್ದಿಷ್ಟ ಮಾದರಿಯ ಶಬ್ದವನ್ನು ನೆನಪಿಟ್ಟುಕೊಳ್ಳುತ್ತದೆ, ಡೇಟಾದಲ್ಲಿನ ನಿಜವಾದ ಮಾದರಿಯಲ್ಲ. ಇದಕ್ಕೆ ವಿರುದ್ಧವೂ ಇದೆ: ಅಂಡರ್ಫಿಟ್ಟಿಂಗ್ - ಮಾದರಿಯು ತರಬೇತಿ ಮತ್ತು ಪರೀಕ್ಷೆ ಎರಡರಲ್ಲೂ ಕೆಟ್ಟದಾಗಿದೆ ಏಕೆಂದರೆ ಇದು ಮಾದರಿಯನ್ನು ಹಿಡಿಯಲು ತುಂಬಾ ಸರಳವಾಗಿದೆ.
ಅತಿಕ್ರಮಣವನ್ನು ಎದುರಿಸುವ ಮಾರ್ಗಗಳು: ಮಾದರಿಯನ್ನು ಸರಳಗೊಳಿಸುವುದು, ಹೆಚ್ಚಿನ ಡೇಟಾ, ಕ್ರಮಬದ್ಧಗೊಳಿಸುವಿಕೆ - ಮಾದರಿಯನ್ನು ಹೆಚ್ಚು ಸಂಕೀರ್ಣವಾಗದಂತೆ ತಡೆಯುವ ಗಣಿತದ ಬ್ರೇಕ್ - ಮತ್ತು ಮುಖ್ಯವಾಗಿ, ಅಡ್ಡ-ಮೌಲ್ಯಮಾಪನ.
ಅಡ್ಡ-ಮೌಲ್ಯಮಾಪನ: ಒಂದೇ ಫಲಕವನ್ನು ನಂಬಬೇಡಿ
ಒಂದೇ ತರಬೇತಿ/ಪರೀಕ್ಷಾ ಪಾಡ್ ಅದೃಷ್ಟ ಅಥವಾ ದುರದೃಷ್ಟಕರವಾಗಿರಬಹುದು; ಆ ಮಾದರಿಯು ಸುಲಭವಾಗಿರುವುದರಿಂದ ನೀವು ಪರೀಕ್ಷಾ ಸೆಟ್ಗೆ ಹೆಚ್ಚಿನ ಅಂಕಗಳನ್ನು ಪಡೆಯಬಹುದು. ಕ್ರಾಸ್ ಮೌಲ್ಯೀಕರಣ (ಸಂಕ್ಷಿಪ್ತವಾಗಿ ಸಿವಿ) ಇದನ್ನು ಪರಿಹರಿಸುತ್ತದೆ. ಅತ್ಯಂತ ಸಾಮಾನ್ಯ ರೂಪವೆಂದರೆ ಕೆ-ಫೋಲ್ಡ್ ಸಿವಿ: ಡೇಟಾವನ್ನು ಕೆ ಭಾಗಗಳಾಗಿ ವಿಂಗಡಿಸಲಾಗಿದೆ (ಉದಾ. 5); ಪ್ರತಿ ಸುತ್ತಿನಲ್ಲಿ, ಒಂದು ಭಾಗವು ಪರೀಕ್ಷೆಯಾಗಿದೆ ಮತ್ತು ಉಳಿದವು ತರಬೇತಿಯಾಗಿದೆ; ಇದು 5 ಬಾರಿ ಉರುಳುತ್ತದೆ ಮತ್ತು 5 ಅಂಕಗಳನ್ನು ಸರಾಸರಿ ಮಾಡಲಾಗುತ್ತದೆ. ಆದ್ದರಿಂದ ಕಾರ್ಯಕ್ಷಮತೆಯು ಬಹು ವಿಭಜನೆಗಳ ಸರಾಸರಿಯನ್ನು ಆಧರಿಸಿದೆ ಎಂದು ನೀವು ನೋಡುತ್ತೀರಿ, ಒಂದೇ ಒಂದು ಅದೃಷ್ಟದ ವಿಭಜನೆಯಲ್ಲ. ಸ್ಕೋರ್ಗಳ ವಿತರಣೆಯು ಸಹ ತಿಳಿವಳಿಕೆಯಾಗಿದೆ: ಅತ್ಯಂತ ಬಾಷ್ಪಶೀಲ ಸ್ಕೋರ್ಗಳು (ಒಂದು ಮಹಡಿಯಲ್ಲಿ 85%, ಇನ್ನೊಂದರಲ್ಲಿ 62%) ಮಾದರಿಯು ಅಸ್ಥಿರವಾಗಿದೆ ಎಂದು ಸೂಚಿಸುತ್ತದೆ.
ಸಾಮಾನ್ಯ ಕೆ-ಫೋಲ್ಡ್ ಅನ್ನು ಸಮಯ ಸರಣಿಯಲ್ಲಿ ಬಳಸಲಾಗುವುದಿಲ್ಲ (ಭವಿಷ್ಯವನ್ನು ಸೋರಿಕೆ ಮಾಡುತ್ತದೆ); ಬದಲಿಗೆ, ನೀವು "ಫಾರ್ವರ್ಡ್ ಚೈನಿಂಗ್" (ಸಮಯ ಸರಣಿ ವಿಭಜನೆ) ಮಾಡುತ್ತೀರಿ: ಯಾವಾಗಲೂ ಭೂತಕಾಲದೊಂದಿಗೆ ತರಬೇತಿ ನೀಡುವುದು ಮತ್ತು ಭವಿಷ್ಯವನ್ನು ಪರೀಕ್ಷಿಸುವುದು.
ಮೆಟ್ರಿಕ್
ಸಮಸ್ಯೆಯ ಪ್ರಕಾರ
ಇದು ಯಾವಾಗ ಮುಖ್ಯ?
ನಿಖರತೆ
ವರ್ಗೀಕರಣ
ತರಗತಿಗಳು ಸಮತೋಲಿತವಾಗಿದ್ದರೆ
ನಿಖರತೆ
ವರ್ಗೀಕರಣ
ಸುಳ್ಳು ಎಚ್ಚರಿಕೆ ದುಬಾರಿಯಾಗಿದೆ
ಸೂಕ್ಷ್ಮತೆ (ಮರುಸ್ಥಾಪನೆ)
ವರ್ಗೀಕರಣ
ತಪ್ಪಿಸಿಕೊಳ್ಳುವುದು ದುಬಾರಿಯಾಗಿದ್ದರೆ
F1
ವರ್ಗೀಕರಣ
ಸಮತೋಲನ ಅಗತ್ಯವಿದ್ದರೆ
MAE
ಹಿನ್ನಡೆ
ಅರ್ಥೈಸಬಹುದಾದ ದೋಷ
RMSE
ಹಿನ್ನಡೆ
ದೊಡ್ಡ ತಪ್ಪುಗಳು ನಿರ್ಣಾಯಕವಾಗಿದ್ದರೆ
R²
ಹಿನ್ನಡೆ
ವಿವರಣಾತ್ಮಕ ಶಕ್ತಿ
ಮೂರು ಸಣ್ಣ ಪ್ರಕರಣಗಳು
ಪ್ರಕರಣ 1 - ಹೆಚ್ಚಿನ ನಿಖರತೆಯ ಭ್ರಮೆ. ಒಂದು ವಂಚನೆಯ ಮಾದರಿಯು 99.2% ನಿಖರತೆಯನ್ನು ತೋರಿಸಿದೆ ಮತ್ತು ತಂಡವು ಸಂಭ್ರಮಿಸಿತು. ಗೊಂದಲದ ಮ್ಯಾಟ್ರಿಕ್ಸ್ ಅನ್ನು ನೋಡುವಾಗ, ನಿಜ: ಡೇಟಾದಲ್ಲಿ ನಕಲಿ ದರವು 0.8% ಆಗಿತ್ತು; ಮಾಡೆಲ್ ಯಾವುದೇ ನಕಲಿಗಳನ್ನು ಹಿಡಿದಿಲ್ಲ, ಕೇವಲ "ಎಲ್ಲಾ ಸ್ಪಷ್ಟವಾಗಿದೆ" ಎಂದು ಹೇಳುತ್ತದೆ. ಮರುಪಡೆಯುವಿಕೆ 6% ಆಗಿತ್ತು. ಪಾಠ: ಮೆಟ್ರಿಕ್ಗಳನ್ನು ನೋಡಿ, ನಿಖರತೆಯಲ್ಲ.
ಪ್ರಕರಣ 2 - ಸುಪ್ತ ಕಲಿಕೆ. ಒಂದು ತಂಡವು ತರಬೇತಿಯ ಸೆಟ್ನಲ್ಲಿ XGBoost ಅನ್ನು 97% ಗೆ ತಲುಪಿಸಿತು ಮತ್ತು ಹೆಚ್ಚಿಸಿತು. ಪರೀಕ್ಷೆಯು 69% ಆಗಿತ್ತು, ಆದರೆ ಯಾರೂ ನೋಡಲಿಲ್ಲ. ಮಾದರಿಯು ಉತ್ಪಾದನೆಯಲ್ಲಿ ಕುಸಿಯಿತು. ಅಡ್ಡ-ಮೌಲ್ಯಮಾಪನವನ್ನು ಮಾಡಿದ್ದರೆ, ಮೊದಲಿನಿಂದಲೂ ಪಟ್ಟುಗಳ (ಓವರ್ ಲರ್ನಿಂಗ್) ನಡುವಿನ ದೊಡ್ಡ ವ್ಯತ್ಯಾಸವು ಗೋಚರಿಸುತ್ತದೆ. ಪಾಠ: CV ಮತ್ತು ಪರೀಕ್ಷಾ ಅಂಕಗಳನ್ನು ನಂಬಿರಿ, ಶಿಕ್ಷಣದ ಅಂಕಗಳಲ್ಲ.
ಪ್ರಕರಣ 3 - ಅದೃಷ್ಟದ ವಿಭಜನೆ. ಒಬ್ಬ ವಿಶ್ಲೇಷಕರು ಒಂದೇ ವಿಭಜನೆಯಲ್ಲಿ 88% ಗಳಿಸಲು ಸಂತೋಷಪಟ್ಟರು. ಅವರ ಸಹೋದ್ಯೋಗಿ 5-ಪಟ್ಟು CV ಮಾಡಿದಾಗ, ಸ್ಕೋರ್ಗಳು 88%, 71%, 83%, 64%, 79% - ಸರಾಸರಿ 77%, ಆದರೆ ಇದು ತುಂಬಾ ಬಾಷ್ಪಶೀಲವಾಗಿದೆ. ಮಾದರಿಯು ಅಸ್ಥಿರವಾಗಿತ್ತು; ಸಿಂಗಲ್ ಕಂಪಾರ್ಟ್ಮೆಂಟ್ ದಾರಿತಪ್ಪಿಸುವಂತಿತ್ತು. ಪಾಠ: ಸಿವಿ ಸರಾಸರಿ ಮತ್ತು ವಿತರಣೆಯನ್ನು ನೋಡಿ, ವೈಯಕ್ತಿಕ ಬಿನ್ ಅಲ್ಲ.
ನಾಲ್ಕು ನಕಲಿಸಬಹುದಾದ ಟೆಂಪ್ಲೇಟ್ಗಳು
1) ಪೂರ್ಣ ವರ್ಗೀಕರಣ ವರದಿ:
ನಾನು ಮಾದರಿ ಮತ್ತು ಪರೀಕ್ಷಾ ಸೆಟ್ ಅನ್ನು ತರಬೇತಿ ಮಾಡಿದ್ದೇನೆ. ರಚಿಸಿ: ಗೊಂದಲದ ಮ್ಯಾಟ್ರಿಕ್ಸ್, ನಿಖರತೆ, ಮರುಸ್ಥಾಪನೆ, F1 (ಪ್ರತಿ ವರ್ಗಕ್ಕೆ) ಮತ್ತು ಬೆಂಬಲ ಎಣಿಕೆಗಳು. ನಾನು ನಿರ್ಣಯಿಸುತ್ತಿದ್ದೇನೆ, ಆದರೆ ಇದು ನನಗೆ ಬಿಟ್ಟದ್ದು: ಯಾವ ಮೆಟ್ರಿಕ್ ಮುಖ್ಯ ಎಂದು ನಾನು ನಿಮಗೆ ಹೇಳುತ್ತೇನೆ. ಅಸಮತೋಲಿತ ಡೇಟಾದೊಂದಿಗೆ ನಿಖರತೆಯು ತಪ್ಪುದಾರಿಗೆಳೆಯಬಹುದು ಎಂಬುದನ್ನು ಗಮನಿಸಿ.
2) ಅತಿ ಕಲಿಕೆ ನಿಯಂತ್ರಣ:
ನನ್ನ ಮಾದರಿಯ ಸ್ಕೋರ್ಗಳನ್ನು ಟ್ರೈನಿಂಗ್ ಮತ್ತು ಟೆಸ್ಟ್ ಸೆಟ್ಗಳಲ್ಲಿ ಅಕ್ಕಪಕ್ಕದಲ್ಲಿ ಮುದ್ರಿಸಿ. ಅವುಗಳ ನಡುವಿನ ವ್ಯತ್ಯಾಸವನ್ನು ಲೆಕ್ಕಹಾಕಿ ಮತ್ತು ದೊಡ್ಡ ವ್ಯತ್ಯಾಸವು ಅತಿಯಾದ ಕಲಿಕೆಯ ಸಂಕೇತವಾಗಿದೆ ಎಂದು ಎಚ್ಚರಿಸಿ. ವ್ಯತ್ಯಾಸವು ದೊಡ್ಡದಾಗಿದ್ದರೆ, ಕ್ರಮಬದ್ಧಗೊಳಿಸುವಿಕೆ ಅಥವಾ ಸರಳೀಕರಣವನ್ನು ಸೂಚಿಸಿ.
3) ಕ್ರಾಸ್ ಮೌಲ್ಯೀಕರಣ:
5-ಪಟ್ಟು ಅಡ್ಡ-ಮೌಲ್ಯಮಾಪನವನ್ನು ನಿರ್ವಹಿಸಿ (ಶ್ರೇಣೀಕೃತ, ವರ್ಗೀಕರಣಕ್ಕಾಗಿ). ಪ್ರತಿ ಪದರದ ಸ್ಕೋರ್, ಸರಾಸರಿ ಮತ್ತು ಪ್ರಮಾಣಿತ ವಿಚಲನವನ್ನು ಮುದ್ರಿಸಿ. ಸ್ಕೋರ್ಗಳು ತುಂಬಾ ಬಾಷ್ಪಶೀಲವಾಗಿದ್ದರೆ (ಹೆಚ್ಚಿನ ಎಸ್ಟಿಡಿ), ಮಾದರಿಯು ಅಸ್ಥಿರವಾಗಿದೆ ಎಂದು ಸೂಚಿಸಿ. ಪೈಪ್ಲೈನ್ಗಳನ್ನು ಬಳಸಿ ಇದರಿಂದ ರೂಪಾಂತರಗಳನ್ನು ಪ್ರತಿ ಲೇಯರ್ನಲ್ಲಿನ ತರಬೇತಿ ತುಣುಕಿನಿಂದ ಮಾತ್ರ ಕಲಿಯಲಾಗುತ್ತದೆ.
4) ಬೇಸ್ಲೈನ್ ಹೋಲಿಕೆ:
DummyClassifier ಬೇಸ್ಲೈನ್ನೊಂದಿಗೆ ನನ್ನ ಮಾದರಿಯ ಮೆಟ್ರಿಕ್ ಅನ್ನು ಪಕ್ಕದಲ್ಲಿ ಇರಿಸಿ. ಮಾದರಿಯು ಬೇಸ್ಲೈನ್ ಅನ್ನು ಗಮನಾರ್ಹವಾಗಿ ಸೋಲಿಸುತ್ತದೆಯೇ? ಅದು ಹಾದುಹೋಗದಿದ್ದರೆ, ಮಾದರಿಯು ಯಾವುದೇ ನೈಜ ಮೌಲ್ಯವನ್ನು ಸೇರಿಸುವುದಿಲ್ಲ ಎಂದು ಸ್ಪಷ್ಟಪಡಿಸಿ.
ದುರ್ಬಲ ಪ್ರಾಂಪ್ಟ್ / ಬಲವಾದ ಪ್ರಾಂಪ್ಟ್
ದುರ್ಬಲ ಪ್ರಾಂಪ್ಟ್:
ನನ್ನ ಮಾದರಿ ಉತ್ತಮವಾಗಿದೆಯೇ?
"ಒಳ್ಳೆಯದು" ಎಂದು ವ್ಯಾಖ್ಯಾನಿಸಲಾಗಿಲ್ಲ; ಯಾವ ಮೆಟ್ರಿಕ್, ಯಾವ ಮಿತಿ, ಯಾವ ಬೇಸ್ಲೈನ್ ಎಂಬುದು ಸ್ಪಷ್ಟವಾಗಿಲ್ಲ. AI ಒಂದೇ ನಿಖರತೆಯ ಸಂಖ್ಯೆಯನ್ನು ನೀಡಬಹುದು ಮತ್ತು ತಪ್ಪುದಾರಿಗೆಳೆಯಬಹುದು.
ಶಕ್ತಿಯುತ ಪ್ರಾಂಪ್ಟ್:
ನಿಮ್ಮ ಪಾತ್ರ: ಮೌಲ್ಯಮಾಪನ ಸಹಾಯಕ. ವರ್ಗೀಕರಣ, ಅಸಮತೋಲಿತ ಡೇಟಾ (12% ಧನಾತ್ಮಕ). ಆದ್ಯತೆ: ಮರುಸ್ಥಾಪನೆ (ಧನಾತ್ಮಕಗಳನ್ನು ಕಳೆದುಕೊಳ್ಳುವುದಿಲ್ಲ). ಕಾರ್ಯ: (1) ಗೊಂದಲದ ಮ್ಯಾಟ್ರಿಕ್ಸ್, (2) ನಿಖರತೆ/ಮರುಪಡೆಯುವಿಕೆ/F1, (3) 5-ಪಟ್ಟು ಶ್ರೇಣೀಕೃತ CV ಸರಾಸರಿ ಮತ್ತು std, (4) DummyClassifier ಬೇಸ್ಲೈನ್ ಹೋಲಿಕೆ. ಮರುಸ್ಥಾಪನೆ ಮತ್ತು ಬೇಸ್ಲೈನ್ ವ್ಯತ್ಯಾಸದ ಮೇಲೆ ಕೇಂದ್ರೀಕರಿಸಿ, ನಿಖರತೆಯಲ್ಲ. ಕಾಮೆಂಟ್ ಮಾಡಿ, ಆದರೆ ನಾನು ಅಂತಿಮ ನಿರ್ಧಾರ ತೆಗೆದುಕೊಳ್ಳುತ್ತೇನೆ.
ಇಲ್ಲಿ, ಮೆಟ್ರಿಕ್ ಆದ್ಯತೆ, ಸಿವಿ ಮತ್ತು ಬೇಸ್ಲೈನ್ ಸ್ಥಿತಿಯು ಸ್ಪಷ್ಟವಾಗಿದೆ.
ಸಾಮಾನ್ಯ ತಪ್ಪುಗಳು
- ಅಸಮತೋಲಿತ ಡೇಟಾದಲ್ಲಿ ನಿಖರತೆಯನ್ನು ನಂಬುವುದು. 99% ನಿಖರತೆಯು ಅಲ್ಪಸಂಖ್ಯಾತ ವರ್ಗವನ್ನು ಸೆರೆಹಿಡಿಯದಿರಬಹುದು; ಗೊಂದಲದ ಮ್ಯಾಟ್ರಿಕ್ಸ್ ಅನ್ನು ನೋಡಿ.
- ನಿಮ್ಮ ವಿದ್ಯಾಭ್ಯಾಸದ ಅಂಕಗಳನ್ನು ಮಾತ್ರ ನೋಡುತ್ತಿದೆ. ಉನ್ನತ ಶಿಕ್ಷಣ, ಕಡಿಮೆ ಪರೀಕ್ಷೆಯ ಅಂಕವು ಅತಿಯಾಗಿ ಕಲಿಯುವುದು; ಯಾವಾಗಲೂ ಎರಡು ಅಂಕಗಳನ್ನು ಹೋಲಿಕೆ ಮಾಡಿ.
- ಒಂದೇ ಕಂಪಾರ್ಟ್ಮೆಂಟ್ ಅನ್ನು ಅವಲಂಬಿಸಿದೆ. ಅದೃಷ್ಟದ ವಿಭಾಗವು ತಪ್ಪುದಾರಿಗೆಳೆಯುವಂತಿದೆ; ಅಡ್ಡ ಮೌಲ್ಯೀಕರಣದೊಂದಿಗೆ ಸರಾಸರಿ ಮತ್ತು ವಿತರಣೆಯನ್ನು ನೋಡಿ.
- ಬೇಸ್ಲೈನ್ನೊಂದಿಗೆ ಹೋಲಿಸುವುದಿಲ್ಲ. ಮಾದರಿಯು ಸ್ಟುಪಿಡ್ ಪ್ರಿಡಿಕ್ಟರ್ ಅನ್ನು ಸೋಲಿಸುತ್ತದೆಯೇ ಎಂದು ತಿಳಿಯದೆ ನೀವು "ಒಳ್ಳೆಯದು" ಎಂದು ಹೇಳಲು ಸಾಧ್ಯವಿಲ್ಲ.
- ಸಮಯ ಸರಣಿಯಲ್ಲಿ ಸಾಮಾನ್ಯ ಕೆ-ಫೋಲ್ಡ್ ಅನ್ನು ಬಳಸುವುದು. ಇದು ಭವಿಷ್ಯವನ್ನು ಸೋರಿಕೆ ಮಾಡುತ್ತದೆ; ಸಮಯ ಸರಣಿ ವಿಭಜನೆಯ ಅಗತ್ಯವಿದೆ.
ಸಲಹೆ: ಪ್ರತಿ ಮಾದರಿಯ ಪಕ್ಕದಲ್ಲಿ ಮೂರು ಸಂಖ್ಯೆಗಳನ್ನು ಬರೆಯಿರಿ: ತರಬೇತಿ ಸ್ಕೋರ್, ಅಡ್ಡ-ಮೌಲ್ಯಮಾಪನ ಸರಾಸರಿ ಮತ್ತು ಬೇಸ್ಲೈನ್ ಸ್ಕೋರ್. ಈ ಮೂವರು ಮೇಲ್ನೋಟಕ್ಕೆ (ತರಬೇತಿ >> CV) ಮತ್ತು ಕಡಿಮೆ ಮೌಲ್ಯವನ್ನು (CV ≈ ಬೇಸ್ಲೈನ್) ತೋರಿಸುತ್ತಾರೆ.
ಸಾರಾಂಶದಲ್ಲಿ
ಮಾದರಿಯನ್ನು ನಿರ್ಮಿಸುವುದು ಸುಲಭ, ಆದರೆ ಅದನ್ನು ಪ್ರಾಮಾಣಿಕವಾಗಿ ಮೌಲ್ಯಮಾಪನ ಮಾಡುವುದು ಕಷ್ಟ. ವರ್ಗೀಕರಣದಲ್ಲಿ, ಗೊಂದಲದ ಮ್ಯಾಟ್ರಿಕ್ಸ್, ನಿಖರತೆ ಮತ್ತು ಮರುಪಡೆಯುವಿಕೆ ನಿಖರತೆಗಿಂತ ಹೆಚ್ಚು ತಿಳಿವಳಿಕೆ ನೀಡುತ್ತದೆ; ಕೆಲಸದ ವೆಚ್ಚವು ಯಾವುದು ಮುಖ್ಯ ಎಂಬುದನ್ನು ನಿರ್ಧರಿಸುತ್ತದೆ. MAE, RMSE ಮತ್ತು R² ಅನ್ನು ಹಿಂಜರಿತದಲ್ಲಿ ಬಳಸಲಾಗುತ್ತದೆ. ಅತ್ಯಂತ ಕಪಟ ಬಲೆಯು ಅತಿಕ್ರಮಣವಾಗಿದೆ: ಯಾವಾಗಲೂ ತರಬೇತಿ ಮತ್ತು ಪರೀಕ್ಷಾ ಅಂಕಗಳನ್ನು ಹೋಲಿಕೆ ಮಾಡಿ. ಅಡ್ಡ-ಮೌಲ್ಯಮಾಪನದ ಸರಾಸರಿ ಮತ್ತು ವಿತರಣೆಯ ಮೇಲೆ ಅವಲಂಬಿತವಾಗಿದೆ, ಒಂದೇ ವಿಭಜನೆಯಲ್ಲ; ಎಲ್ಲವನ್ನೂ ಬೇಸ್ಲೈನ್ಗೆ ಹೋಲಿಸಿ. AI ಇವೆಲ್ಲವನ್ನೂ ಲೆಕ್ಕಾಚಾರ ಮಾಡುತ್ತದೆ, ಆದರೆ ಯಾವ ಮೆಟ್ರಿಕ್ ಅನ್ನು ಬಳಸಬೇಕು ಎಂಬುದನ್ನು ನಿರ್ಧರಿಸುವುದು ಮನುಷ್ಯನಿಗೆ ಬಿಟ್ಟದ್ದು.
ಅಪ್ಲಿಕೇಶನ್ ಕಾರ್ಯ
ವರ್ಗೀಕರಣ ಮಾದರಿಗಾಗಿ ಗೊಂದಲದ ಮ್ಯಾಟ್ರಿಕ್ಸ್, ನಿಖರತೆ, ಮರುಸ್ಥಾಪನೆ ಮತ್ತು F1 ಅನ್ನು ಹೊರತೆಗೆಯಿರಿ; ನಂತರ 5-ಪಟ್ಟು ಅಡ್ಡ-ಮೌಲ್ಯಮಾಪನ ಮಾಡಿ ಮತ್ತು ಮಡಿಕೆಗಳಾದ್ಯಂತ ಸ್ಕೋರ್ ವಿತರಣೆಯನ್ನು ನೋಡಿ. ಅಂತಿಮವಾಗಿ, ತರಬೇತಿ ಸ್ಕೋರ್, CV ಸರಾಸರಿ ಮತ್ತು ಬೇಸ್ಲೈನ್ ಸ್ಕೋರ್ ಅನ್ನು ಪಕ್ಕದಲ್ಲಿ ಬರೆಯಿರಿ. ನಿಮ್ಮ ಮಾದರಿಯು ಅತಿಯಾಗಿ ಕಲಿಯುತ್ತಿದೆಯೇ ಮತ್ತು ಬೇಸ್ಲೈನ್ ಅನ್ನು ಹಾದುಹೋಗುತ್ತಿದೆಯೇ ಎಂದು ಒಂದೇ ವಾಕ್ಯದಲ್ಲಿ ಕಾಮೆಂಟ್ ಮಾಡಿ.
ಪರಿಶೀಲನಾಪಟ್ಟಿ
- [ ] ನಾನು ನಿಖರತೆಯ ಬದಲಿಗೆ ಕೆಲಸದ ನಿಜವಾದ ಮೆಟ್ರಿಕ್ ಅನ್ನು (ನಿಖರತೆ/ಮರುಸ್ಥಾಪನೆ/F1 ಇತ್ಯಾದಿ) ನೋಡಿದ್ದೇನೆಯೇ?
- [ ] ನಾನು ಗೊಂದಲದ ಮ್ಯಾಟ್ರಿಕ್ಸ್ ಅನ್ನು ಪರಿಶೀಲಿಸಿದ್ದೇನೆಯೇ?
- [ ] ನಾನು ತರಬೇತಿ ಮತ್ತು ಪರೀಕ್ಷಾ ಸ್ಕೋರ್ ಅನ್ನು ಹೋಲಿಕೆ ಮಾಡಿದ್ದೇನೆ ಮತ್ತು ಅತಿಕ್ರಮಣಕ್ಕಾಗಿ ಪರಿಶೀಲಿಸಿದ್ದೇನೆಯೇ?
- [ ] ನಾನು ಸರಾಸರಿ ಮತ್ತು ವಿತರಣೆಯನ್ನು ಅಡ್ಡ-ಮೌಲ್ಯಮಾಪನದೊಂದಿಗೆ ನೋಡಿದ್ದೇನೆಯೇ?
- [ ] ನಾನು ಮಾದರಿಯನ್ನು ಬೇಸ್ಲೈನ್ಗೆ ಹೋಲಿಸಿದ್ದೇನೆಯೇ?