ಲಾಭಗಳು:
- ಡೇಟಾ ಸೋರಿಕೆಯ ಪ್ರಕಾರಗಳನ್ನು ಗುರುತಿಸುವ ಸಾಮರ್ಥ್ಯ (ಗುರಿ, ಸಮಯ, ಪೂರ್ವ ಸಂಸ್ಕರಣೆ, ಗುಂಪು ಮಾಡಿದ ಸಾಲು) ಮತ್ತು ಎಚ್ಚರಿಕೆಯಂತೆ 'ನಿಜವಾಗಲು ತುಂಬಾ ಒಳ್ಳೆಯದು' ಸ್ಕೋರ್ ಅನ್ನು ಪ್ರಶ್ನಿಸುವುದು
- ಪರೀಕ್ಷಾ ಸೆಟ್, ಪೈಪ್ಲೈನ್ ಮತ್ತು ಸರಿಯಾದ ವಿಭಾಗ (ಕಾಲಾನುಕ್ರಮ/ಗುಂಪು) ಯ ಆರಂಭಿಕ ಬೇರ್ಪಡಿಕೆಯೊಂದಿಗೆ ಸೋರಿಕೆಯನ್ನು ತಡೆಯುವ ಸಾಮರ್ಥ್ಯ
- ಸ್ಥಿರ ಬೀಜಗಳು, ಆವೃತ್ತಿ ನಿಯಂತ್ರಣ ಮತ್ತು ಹಸ್ತಚಾಲಿತ ಹಂತಗಳನ್ನು ತೆಗೆದುಹಾಕುವುದರೊಂದಿಗೆ ವಿಶ್ಲೇಷಣೆಯನ್ನು ಪುನರುತ್ಪಾದಿಸುವ ಸಾಮರ್ಥ್ಯ
ಡೇಟಾ ಸೈನ್ಸ್ನಲ್ಲಿ ಹೆಚ್ಚಿನ ಶ್ರಮವನ್ನು ವ್ಯರ್ಥ ಮಾಡುವ ಎರಡು ತಪ್ಪುಗಳಿವೆ, ಮತ್ತು ಅವೆರಡೂ ಕಪಟವಾಗಿವೆ ಏಕೆಂದರೆ ಎಲ್ಲವೂ "ಉತ್ತಮವಾಗಿದೆ ಎಂದು ತೋರುತ್ತಿರುವಾಗ" ಅವು ದುರಂತಕ್ಕೆ ಕಾರಣವಾಗುತ್ತವೆ. ಮೊದಲನೆಯದು ಡೇಟಾ ಸೋರಿಕೆ: ಮಾದರಿಯು ಪರೀಕ್ಷಾ ಸೆಟ್ನಲ್ಲಿ ಉತ್ತಮವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ ಆದರೆ ಉತ್ಪಾದನೆಯಲ್ಲಿ ಕ್ರ್ಯಾಶ್ ಆಗುತ್ತದೆ. ಎರಡನೆಯದು ಪುನರಾವರ್ತನೆಯಾಗದಿರುವುದು: ನೀವು ಆರು ತಿಂಗಳ ನಂತರ ವಿಶ್ಲೇಷಣೆಯನ್ನು ನಡೆಸುತ್ತೀರಿ ಮತ್ತು ಸಂಪೂರ್ಣವಾಗಿ ವಿಭಿನ್ನ ಫಲಿತಾಂಶವನ್ನು ಪಡೆಯುತ್ತೀರಿ. ಈ ಎರಡು ಅಪಾಯಗಳನ್ನು ಆಳವಾಗಿ ತಿಳಿದುಕೊಳ್ಳಲು ಮತ್ತು ತಪ್ಪಿಸಲು ಈ ಘಟಕವನ್ನು ಸಮರ್ಪಿಸಲಾಗಿದೆ. AI ಎರಡೂ ಅಪಾಯಗಳನ್ನು ಹೆಚ್ಚಿಸಬಹುದು (ಶೀಘ್ರವಾಗಿ ಉತ್ಪಾದಿಸುತ್ತದೆ, ಗುಪ್ತ ಸೋರಿಕೆಯನ್ನು ಸೂಚಿಸುತ್ತದೆ, ಹಸ್ತಚಾಲಿತ ಕ್ರಮಗಳನ್ನು ತೆಗೆದುಕೊಳ್ಳಲು ನಿಮಗೆ ಸುಲಭವಾಗುತ್ತದೆ) ಆದರೆ ಸರಿಯಾಗಿ ಬಳಸಿದರೆ ಅವುಗಳನ್ನು ಕಡಿಮೆ ಮಾಡಬಹುದು. ವ್ಯತ್ಯಾಸವು ಶಿಸ್ತಿನಲ್ಲಿದೆ.
ಡೇಟಾ ಸೋರಿಕೆ: ಕ್ಲೈರ್ವಾಯಂಟ್ ಮಾದರಿ
ತರಬೇತಿಯ ಸಮಯದಲ್ಲಿ ಮಾದರಿಯು ಮಾಹಿತಿಯನ್ನು ನೋಡಿದಾಗ ಡೇಟಾ ಸೋರಿಕೆಯಾಗಿದೆ, ಅದು ನಿಜವಾದ ಮುನ್ಸೂಚನೆಯ ಸಮಯದಲ್ಲಿ ಹೊಂದಿರುವುದಿಲ್ಲ. ಮಾದರಿಯು ಈ ಮಾಹಿತಿಯೊಂದಿಗೆ "ಚೀಟ್ಸ್", ಪರೀಕ್ಷಾ ಸೆಟ್ನಲ್ಲಿ ಉತ್ತಮವಾಗಿ ಕಾಣುತ್ತದೆ, ಆದರೆ ಆ ಮಾಹಿತಿಯಿಲ್ಲದೆ ಉತ್ಪಾದನೆಯಲ್ಲಿ ಕ್ರ್ಯಾಶ್ ಆಗುತ್ತದೆ. ಸೋರಿಕೆಯ ಲಕ್ಷಣವು ಯಾವಾಗಲೂ ಒಂದೇ ಆಗಿರುತ್ತದೆ: ನಿಜವಾಗಲು ತುಂಬಾ ಒಳ್ಳೆಯದು. ನೀವು 99% ನಿಖರತೆಯನ್ನು ನೋಡಿದಾಗ ನೀವು ಸಂತೋಷಪಡುವ ಮೊದಲು, ನೀವು ಸೋರಿಕೆಗಾಗಿ ನೋಡಬೇಕು.
ಸೋರಿಕೆಯ ಮುಖ್ಯ ವಿಧಗಳು:
1. ಗುರಿ ಸೋರಿಕೆ: ಒಂದು ವೈಶಿಷ್ಟ್ಯವು ಗುರಿಯ ಫಲಿತಾಂಶವಾಗಿದೆ. "ರದ್ದಾಯಿತು" ಮುನ್ಸೂಚನೆಯಲ್ಲಿ, "ರದ್ದತಿ ದಿನಾಂಕ" ಅಥವಾ "ಮರುಪಾವತಿ ಮೊತ್ತ" ಕಾಲಮ್ಗಳು ಗುರಿಯ ಫಲಿತಾಂಶವಾಗಿದೆ; ಫಲಿತಾಂಶವು ಸ್ಪಷ್ಟವಾದಾಗ ಮಾತ್ರ ಅವುಗಳನ್ನು ಭರ್ತಿ ಮಾಡಲಾಗುತ್ತದೆ.
2. ಸಮಯದ ಸೋರಿಕೆ: ಭವಿಷ್ಯದ ಮಾಹಿತಿಯನ್ನು ಹಿಂದಿನದಕ್ಕೆ ತರುವುದು. "ಕಳೆದ 30 ದಿನಗಳ ಸರಾಸರಿ" ಅನ್ನು ಲೆಕ್ಕಾಚಾರ ಮಾಡುವಾಗ, ಮುನ್ಸೂಚನೆಯ ದಿನದ ನಂತರದ ದಿನಗಳನ್ನು ಸೇರಿಸಿ, ಅಥವಾ ಸಮಯ ಸರಣಿಯನ್ನು ಯಾದೃಚ್ಛಿಕವಾಗಿ ಭಾಗಿಸಿ.
3. ಪೂರ್ವ-ಸಂಸ್ಕರಣೆ ಸೋರಿಕೆ: ತರಬೇತಿ/ಪರೀಕ್ಷೆ ವಿಭಜನೆಯ ಮೊದಲು ಎಲ್ಲಾ ಡೇಟಾದಿಂದ ಸ್ಕೇಲಿಂಗ್, ಫಿಲ್ಲಿಂಗ್, ಕೋಡಿಂಗ್ ಮುಂತಾದ ರೂಪಾಂತರಗಳನ್ನು ಕಲಿಯುವುದು. ಪರೀಕ್ಷಾ ಡೇಟಾದ ಸರಾಸರಿಯು ತರಬೇತಿಗೆ ಅಡ್ಡಿಪಡಿಸುತ್ತದೆ.
4. ನಕಲು/ಗುಂಪಿನ ಸಾಲು ಸೋರಿಕೆ: ತರಬೇತಿ ಮತ್ತು ಪರೀಕ್ಷೆ ಎರಡರಲ್ಲೂ ಒಂದೇ ವ್ಯಕ್ತಿಗೆ ಸೇರಿದ ಸಾಲುಗಳು ಇರುತ್ತವೆ (ವಿಭಿನ್ನ ಸೆಟ್ಗಳಲ್ಲಿ ಒಂದೇ ರೋಗಿಯ ಎರಡು ಭೇಟಿಗಳು). ಮಾದರಿಯು ವ್ಯಕ್ತಿಯನ್ನು ಕಂಠಪಾಠ ಮಾಡುತ್ತದೆ.
ಸೋರಿಕೆ ಪ್ರಕಾರ
ಹೇಗೆ ಹುಟ್ಟುತ್ತದೆ
ತಡೆಯುವುದು ಹೇಗೆ
ಗುರಿ ಸೋರಿಕೆ
ಗುರಿಯ ಫಲಿತಾಂಶವಾದ ಅಂಕಣ
"ಭವಿಷ್ಯದ ಸಮಯದಲ್ಲಿ ನಾನು ಅದನ್ನು ಹೊಂದಿದ್ದೇನೆಯೇ" ಪರೀಕ್ಷೆ
ಸಮಯ ಸೋರಿಕೆ
ಭವಿಷ್ಯವನ್ನು ಭೂತಕಾಲಕ್ಕೆ ತರುವುದು
ಕಾಲಾನುಕ್ರಮ ವಿಭಾಗ, ವಿಂಡೋ ನಿಯಂತ್ರಣ
ಪೂರ್ವ ಸಂಸ್ಕರಣೆ ಸೋರಿಕೆ
ಪೂರ್ವ ವಿಭಜಿತ ಪರಿವರ್ತನೆ
ಪೈಪ್ಲೈನ್, ತರಬೇತಿಯಿಂದ ಮಾತ್ರ ಹೊಂದಿಕೊಳ್ಳುತ್ತದೆ
ಗುಂಪು ಮಾಡಿದ ಸಾಲು ಸೋರಿಕೆ
ಎರಡು ಸೆಟ್ಗಳಲ್ಲಿ ಒಂದೇ ಘಟಕ
ಗುಂಪಿನಿಂದ ವಿಭಜಿಸಿ (ಗುಂಪು ಕೆ ಫೋಲ್ಡ್)
ಸೋರಿಕೆಯನ್ನು ತಡೆಯುವ ಏಕೈಕ ಶಿಸ್ತು
ಎಲ್ಲಾ ವಿಧದ ಸೋರಿಕೆಗಳಿಗೆ ಸಾಮಾನ್ಯ ಪರಿಹಾರವು ಒಂದು ವಾಕ್ಯಕ್ಕೆ ಕುದಿಯುತ್ತದೆ: ನೈಜ ಭವಿಷ್ಯವನ್ನು ಅನುಕರಿಸಲು ಪರೀಕ್ಷಾ ಸೆಟ್ ಅನ್ನು ಆದಷ್ಟು ಬೇಗ ಪ್ರತ್ಯೇಕಿಸಿ ಮತ್ತು ಏನನ್ನೂ "ಕಲಿಸಬೇಡಿ". ಪ್ರಾಯೋಗಿಕವಾಗಿ, ಇದರರ್ಥ: ಮೊದಲು ವಿಭಜಿಸಿ, ನಂತರ ತರಬೇತಿಯಿಂದ ಮಾತ್ರ ಎಲ್ಲಾ ರೂಪಾಂತರಗಳನ್ನು ಕಲಿಯಿರಿ ಮತ್ತು ಅವುಗಳನ್ನು ಪೈಪ್ಲೈನ್ನಲ್ಲಿ ಅನ್ವಯಿಸಿ (ಒಂದೇ ಸರಪಳಿಯಲ್ಲಿ ಎಲ್ಲಾ ಹಂತಗಳನ್ನು ಸಂಗ್ರಹಿಸುವ ರಚನೆ). ಪ್ರತಿ ವೈಶಿಷ್ಟ್ಯಕ್ಕಾಗಿ, "ಭವಿಷ್ಯದ ಸಮಯದಲ್ಲಿ ನಾನು ಈ ಮಾಹಿತಿಯನ್ನು ಹೊಂದಿದ್ದೇನೆಯೇ?" ಎಂಬ ಪ್ರಶ್ನೆಯನ್ನು ಕೇಳಿ. ಸಮಯವಿದ್ದರೆ, ಅದನ್ನು ಕಾಲಾನುಕ್ರಮದಲ್ಲಿ ಭಾಗಿಸಿ; ಒಂದೇ ಘಟಕವು ಪುನರಾವರ್ತಿತವಾಗಿದ್ದರೆ, ಗುಂಪಿನಿಂದ ಭಾಗಿಸಿ.
ಎಚ್ಚರಿಕೆ: ಸೋರಿಕೆಯ ಅತ್ಯಂತ ಅಪಾಯಕಾರಿ ಅಂಶವೆಂದರೆ ಅದು ಸ್ವತಃ ಯಶಸ್ಸನ್ನು ತೋರಿಸುತ್ತದೆ. ಒಂದು ಕೆಟ್ಟ ಮಾದರಿಯು ನಿಸ್ಸಂಶಯವಾಗಿ ಕಳಪೆ ಫಲಿತಾಂಶಗಳನ್ನು ನೀಡುತ್ತದೆ ಮತ್ತು ಗಮನಕ್ಕೆ ಬರುತ್ತದೆ; ಸೋರಿಕೆಯಾದ ಮಾದರಿಯು ಉತ್ತಮವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ, ಎಲ್ಲರಿಗೂ ಸಂತೋಷವನ್ನು ನೀಡುತ್ತದೆ ಮತ್ತು ಉತ್ಪಾದನೆಗೆ ಒಳಪಡಿಸಲಾಗುತ್ತದೆ - ಅಲ್ಲಿ ಕುಸಿತವು ಪ್ರಾರಂಭವಾಗುತ್ತದೆ. ಅದಕ್ಕಾಗಿಯೇ "ತುಂಬಾ ಒಳ್ಳೆಯ" ಫಲಿತಾಂಶವು ಎಚ್ಚರಿಕೆಗೆ ಕಾರಣವಾಗಿದೆ, ಆಚರಣೆಯಲ್ಲ.
ಪುನರುತ್ಪಾದನೆ: ಒಂದೇ ಫಲಿತಾಂಶವನ್ನು ಎರಡು ಬಾರಿ ಪಡೆಯುವುದು
ಪುನರುತ್ಪಾದನೆಯು ನೀವು ಇನ್ನೊಂದು ಸಮಯದಲ್ಲಿ, ಇನ್ನೊಂದು ಯಂತ್ರದಲ್ಲಿ ಮತ್ತೊಮ್ಮೆ ವಿಶ್ಲೇಷಣೆಯನ್ನು ನಡೆಸಿದಾಗ ಅದೇ ಫಲಿತಾಂಶವನ್ನು ಪಡೆಯುವ ಸಾಮರ್ಥ್ಯವಾಗಿದೆ. ಇದು ಇಲ್ಲದೆ, ನಿಮ್ಮ ವಿಶ್ಲೇಷಣೆಯು ಪ್ರಾಸಂಗಿಕವಾಗಿದೆ, ವೈಜ್ಞಾನಿಕವಲ್ಲ. ಪುನರುತ್ಪಾದನೆಯನ್ನು ದುರ್ಬಲಗೊಳಿಸುವ ಮುಖ್ಯ ಕಾರಣಗಳು ಮತ್ತು ಪರಿಹಾರಗಳು:
ಹಸ್ತಚಾಲಿತ ಹಂತಗಳು: ಎಕ್ಸೆಲ್ನಲ್ಲಿ ಸೆಲ್ ಅನ್ನು ಹಸ್ತಚಾಲಿತವಾಗಿ ಬದಲಾಯಿಸುವುದು, ಚಾರ್ಟ್ ಅನ್ನು ಹಸ್ತಚಾಲಿತವಾಗಿ ಸಂಪಾದಿಸುವುದು. ಪರಿಹಾರ: ಕೋಡ್ನಲ್ಲಿ ಪ್ರತಿ ಹಂತವನ್ನು ಹೊಂದಿರಿ.
ಸ್ಥಿರವಲ್ಲದ ಯಾದೃಚ್ಛಿಕತೆ: ಮಾದರಿ ತರಬೇತಿ, ಮಾದರಿ, ವಿಭಜನೆಯು ಯಾದೃಚ್ಛಿಕತೆಯನ್ನು ಒಳಗೊಂಡಿರುತ್ತದೆ. ಪರಿಹಾರ: ಯಾದೃಚ್ಛಿಕ ಬೀಜವನ್ನು ಸರಿಪಡಿಸಿ (ಯಾದೃಚ್ಛಿಕ ಜನರೇಟರ್ನ ಆರಂಭಿಕ ಮೌಲ್ಯ) (ಯಾದೃಚ್ಛಿಕ_ಸ್ಟೇಟ್=42).
ಆವೃತ್ತಿ ಬದಲಾವಣೆಗಳು: ಲೈಬ್ರರಿ ಆವೃತ್ತಿಯು ಬದಲಾದಾಗ ಫಲಿತಾಂಶವು ಬದಲಾಗಬಹುದು. ಪರಿಹಾರ: ಅವಲಂಬನೆಗಳನ್ನು ಸರಿಪಡಿಸಿ (requirements.txt, ಪರಿಸರ ಫೈಲ್).
ದಾಖಲೆ ಕೀಪಿಂಗ್ ಇಲ್ಲ: ಯಾವ ಡೇಟಾ, ಯಾವ ಕೋಡ್, ಯಾವ ಪ್ಯಾರಾಮೀಟರ್ ಬಳಸಲಾಗಿದೆ ಎಂಬುದು ಸ್ಪಷ್ಟವಾಗಿಲ್ಲ. ಪರಿಹಾರ: ಆವೃತ್ತಿ ನಿಯಂತ್ರಣ (Git — ಕೋಡ್ನ ಎಲ್ಲಾ ಆವೃತ್ತಿಗಳನ್ನು ಉಳಿಸುವ ವ್ಯವಸ್ಥೆ) ಮತ್ತು ಡೇಟಾ ಆವೃತ್ತಿ.
"ಇದು ನನ್ನ ಯಂತ್ರದಲ್ಲಿ ಮಾತ್ರ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ": ಪರಿಹಾರ: ಪರಿಸರವನ್ನು ದಾಖಲಿಸಿ, ಸಾಧ್ಯವಾದರೆ ಕಂಟೈನರ್ಗಳನ್ನು (ಡಾಕರ್) ಬಳಸಿ.
ಮೂರು ಸಣ್ಣ ಪ್ರಕರಣಗಳು
ಪ್ರಕರಣ 1 - ಗುರಿ ಸೋರಿಕೆ. ಆರೋಗ್ಯ ವಿಶ್ಲೇಷಣೆಯು "ಪೋಸ್ಟ್-ಡಿಸ್ಚಾರ್ಜ್ ಔಷಧಿ" ಅಂಕಣವನ್ನು "ರೋಗಿಯನ್ನು ಮರು-ಪ್ರವೇಶಿಸಲಾಗುತ್ತದೆಯೇ" ಎಂದು ಊಹಿಸುತ್ತದೆ. ರೋಗಿಯನ್ನು ಬಿಡುಗಡೆ ಮಾಡಿದ ನಂತರವೇ ಈ ಕಾಲಮ್ ಅನ್ನು ಭರ್ತಿ ಮಾಡಲಾಗಿದೆ. ಮಾದರಿಯು 96%, ಉತ್ಪಾದನೆಯಲ್ಲಿ 61% ನೀಡಿತು. 8 ವಾರಗಳ ಯೋಜನೆಯು ಕಸವಾಗಿತ್ತು. ಪಾಠ: ಪ್ರತಿ ವೈಶಿಷ್ಟ್ಯವನ್ನು ಕೇಳಿ "ಇದು ಮುನ್ಸೂಚನೆಯ ಸಮಯದಲ್ಲಿ ಇದೆಯೇ?"
ಪ್ರಕರಣ 2 - ಪೂರ್ವ ಪ್ರಕ್ರಿಯೆ ಸೋರಿಕೆ. ಒಂದು ತಂಡವು ಎಲ್ಲಾ ಡೇಟಾವನ್ನು ಅಳೆಯುತ್ತದೆ ಮತ್ತು ನಂತರ ಅದನ್ನು ವಿಭಜಿಸುತ್ತದೆ. ಪರೀಕ್ಷಾ ಡೇಟಾದ ಸರಾಸರಿ ಸ್ಕೇಲಿಂಗ್ನಲ್ಲಿ ತೊಡಗಿಸಿಕೊಂಡಿದೆ. CV ಸ್ಕೋರ್ 89%, ನಿಜವಾದ ಉತ್ಪಾದನೆ 76%. ನಾನು ಪೈಪ್ಲೈನ್ಗೆ ತೆರಳಿದಾಗ ಮತ್ತು ತರಬೇತಿಯಿಂದ ಮಾತ್ರ ರೂಪಾಂತರಗಳ ಬಗ್ಗೆ ಕಲಿತಾಗ ನಕಲಿ ಯಶಸ್ಸು ಕಣ್ಮರೆಯಾಯಿತು. ಪಾಠ: ಮೊದಲು ಭಾಗಿಸಿ, ನಂತರ ಪರಿವರ್ತಿಸಿ.
ಪ್ರಕರಣ 3 - ಪುನರುತ್ಪಾದನೆಯಲ್ಲಿ ವಿಫಲತೆ. ವಿಶ್ಲೇಷಕರೊಬ್ಬರು ಮೂರು ತಿಂಗಳ ನಂತರ ಮ್ಯಾನೇಜ್ಮೆಂಟ್ಗೆ ಪ್ರಸ್ತುತಪಡಿಸಿದ ಚಾರ್ಟ್ ಅನ್ನು ನವೀಕರಿಸಲು ಬಯಸಿದ್ದರು ಆದರೆ ಅವರು ಅದನ್ನು ಹೇಗೆ ತಯಾರಿಸಿದರು ಎಂದು ನೆನಪಿಲ್ಲ; ಎಕ್ಸೆಲ್ ನಲ್ಲಿ ಹಲವು ಹಂತಗಳನ್ನು ಹಸ್ತಚಾಲಿತವಾಗಿ ಮಾಡಲಾಗಿದೆ. ಫಲಿತಾಂಶವು ಕಾರ್ಯರೂಪಕ್ಕೆ ಬರಲಿಲ್ಲ ಮತ್ತು ನಂಬಿಕೆ ಅಲುಗಾಡಿತು. ಪಾಠ: ಯಾವುದೇ ಹಸ್ತಚಾಲಿತ ಹಂತಗಳಿಲ್ಲ, ಎಲ್ಲವೂ ಕೋಡ್ ಮತ್ತು Git ನಲ್ಲಿದೆ.
ನಾಲ್ಕು ನಕಲಿಸಬಹುದಾದ ಟೆಂಪ್ಲೇಟ್ಗಳು
1) ಸೋರಿಕೆ ತಪಾಸಣೆ:
ನಿಮ್ಮ ಪಾತ್ರ: ಸೋರಿಕೆ ಇನ್ಸ್ಪೆಕ್ಟರ್. ಗುರಿ: "ಚರ್ನ್" (0/1), ಮುನ್ಸೂಚನೆ ಉಲ್ಲೇಖ ದಿನಾಂಕ: ದಾಖಲೆ_ದಿನಾಂಕ. ನಾನು ನಿಮಗೆ ಈ ವೈಶಿಷ್ಟ್ಯಗಳ ಪಟ್ಟಿಯನ್ನು ನೀಡುತ್ತೇನೆ. ಪ್ರತಿಯೊಂದು ವೈಶಿಷ್ಟ್ಯಕ್ಕಾಗಿ: (ಎ) ಇದು ಗುರಿಯ ಪರಿಣಾಮವಾಗಿದೆಯೇ, (ಬಿ) ಮುನ್ಸೂಚನೆಯ ಸಮಯದಲ್ಲಿ ಇದು ನನಗೆ ಲಭ್ಯವಿದೆಯೇ, (ಸಿ) ಸಮಯದ ವಿಂಡೋ ಭವಿಷ್ಯವನ್ನು ಒಳಗೊಂಡಿರುತ್ತದೆಯೇ? ಅದನ್ನು "ಅಸುರಕ್ಷಿತ/ಅನುಮಾನಾಸ್ಪದ/ಸೋರಿಕೆ" ಎಂದು ಗುರುತಿಸಿ ಮತ್ತು ಕಾರಣವನ್ನು ಬರೆಯಿರಿ. ವೈಶಿಷ್ಟ್ಯಗಳು: [ಪಟ್ಟಿ]
2) ಸೋರಿಕೆ-ಮುಕ್ತ ಪೈಪ್ಲೈನ್:
ಸ್ಕ್ಲೀರ್ನ್ ಪೈಪ್ಲೈನ್ ಅನ್ನು ಹೊಂದಿಸಿ: ಮೊದಲ ಸ್ಪ್ಲಿಟ್ ರೈಲು/ಪರೀಕ್ಷೆ (ಶ್ರೇಣೀಕೃತ, ಬೀಜ=42), ನಂತರ ತರಬೇತಿಯಿಂದ ಮಾತ್ರ ಪೈಪ್ಲೈನ್ಗೆ ಎಲ್ಲಾ ಪೂರ್ವ ಸಂಸ್ಕರಣೆಯನ್ನು (ಇಂಪ್ಯೂಟ್, ಸ್ಕೇಲ್, ಎನ್ಕೋಡ್) ಹೊಂದಿಸಿ. ಕೋಡ್ ಏಕೆ ಸೋರಿಕೆ-ಮುಕ್ತವಾಗಿದೆ ಎಂಬುದನ್ನು ವಿವರಿಸಿ, ಯಾವ ಹಂತವನ್ನು ಎಲ್ಲಿ ಕಲಿತರು.
3) ಪುನರುತ್ಪಾದನೆ ಪರಿಶೀಲನಾಪಟ್ಟಿ ಕೋಡ್:
ನನ್ನ ವಿಶ್ಲೇಷಣೆಯನ್ನು ಪುನರುತ್ಪಾದಿಸಲು ನಾನು ಬಯಸುತ್ತೇನೆ. ಸೇರಿಸುವ ಕೋಡ್/ರಚನೆಯನ್ನು ಸೂಚಿಸಿ: (1) ಎಲ್ಲಾ ಯಾದೃಚ್ಛಿಕತೆಗಾಗಿ ಹಾರ್ಡ್ ಸೀಡ್, (2) ಬಳಸಿದ ಮುದ್ರಣ ಗ್ರಂಥಾಲಯ ಆವೃತ್ತಿಗಳು, (3) ಡೇಟಾ ಮತ್ತು ಔಟ್ಪುಟ್ಗಾಗಿ ದಿನಾಂಕ/ಆವೃತ್ತಿ ಟ್ಯಾಗ್. ಯಾವುದೇ ಹಸ್ತಚಾಲಿತ ಹಂತಗಳಿಲ್ಲ ಎಂದು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳಲು ನನಗೆ ಪರಿಶೀಲನಾಪಟ್ಟಿಯನ್ನು ನೀಡಿ.
4) ಗುಂಪು ಮಾಡಿದ ವಿಭಾಗ (ಅದೇ ಘಟಕ ಸೋರಿಕೆ):
ಡೇಟಾದಲ್ಲಿ ಒಂದೇ customer_id ಬಹು ಸಾಲುಗಳಲ್ಲಿ ಅಸ್ತಿತ್ವದಲ್ಲಿದೆ. ಒಂದೇ ಗ್ರಾಹಕರು ತರಬೇತಿ ಮತ್ತು ಪರೀಕ್ಷೆ ಎರಡರಲ್ಲೂ ಇರುವುದನ್ನು ತಡೆಯುವ ವಿಭಜನೆಯನ್ನು (GroupKFold ಅಥವಾGroupShuffleSplit, ಗುಂಪು = customer_id) ಮಾಡಿ. ವಿಭಜನೆಯ ನಂತರ ಯಾವುದೇ ಗ್ರಾಹಕರು ಎರಡೂ ಸೆಟ್ಗಳಲ್ಲಿ ಇಲ್ಲ ಎಂದು ಪರಿಶೀಲಿಸಲು ಕೋಡ್ ಅನ್ನು ಸೇರಿಸಿ.
ದುರ್ಬಲ ಪ್ರಾಂಪ್ಟ್ / ಬಲವಾದ ಪ್ರಾಂಪ್ಟ್
ದುರ್ಬಲ ಪ್ರಾಂಪ್ಟ್:
ನನ್ನ ಮಾದರಿಯು 98% ನಿಖರತೆಯನ್ನು ಹಿಂದಿರುಗಿಸಿದೆ, ಅದು ಉತ್ತಮವಾಗಿಲ್ಲವೇ? ಕೋಡ್ ಅನ್ನು ಆಪ್ಟಿಮೈಜ್ ಮಾಡಿ.
98% ಆಚರಿಸುವುದು ಸೋರಿಕೆಯನ್ನು ಮರೆಮಾಡುತ್ತದೆ. ಉತ್ತಮಗೊಳಿಸುವ ಮೊದಲು, ಈ ಸ್ಕೋರ್ ನಿಜವೇ ಅಥವಾ ಇಲ್ಲವೇ ಎಂದು ಪ್ರಶ್ನಿಸಬೇಕು.
ಶಕ್ತಿಯುತ ಪ್ರಾಂಪ್ಟ್:
ನಿಮ್ಮ ಪಾತ್ರ: ಸೋರಿಕೆ ಇನ್ಸ್ಪೆಕ್ಟರ್. ನನ್ನ ಮಾದರಿಯು ಪರೀಕ್ಷಾ ಸೆಟ್ನಲ್ಲಿ 98% ನಿಖರತೆಯನ್ನು ಹಿಂದಿರುಗಿಸುತ್ತದೆ, ಇದು ನನಗೆ "ನಿಜವಾಗಿರಲು ತುಂಬಾ ಒಳ್ಳೆಯದು" ಎಂದು ತೋರುತ್ತದೆ. ಪರಿಶೀಲಿಸಿ: (1) ಗುರಿಯ ಫಲಿತಾಂಶದ ಯಾವುದೇ ವೈಶಿಷ್ಟ್ಯಗಳು, (2) ವಿಭಜಿಸುವ ಮೊದಲು ಮಾಡಿದ ಪರಿವರ್ತನೆಗಳು, (3) ಎರಡು ಸೆಟ್ಗಳಲ್ಲಿ ಒಂದೇ ಘಟಕ, (4) ಯಾವುದೇ ಸಮಯದ ಸೋರಿಕೆಗಳು ಇವೆ. ಯಾವುದೇ ಅನುಮಾನಾಸ್ಪದ ಅಂಶಗಳನ್ನು ಪಟ್ಟಿ ಮಾಡಿ; ಸ್ಕೋರ್ ಅನ್ನು ಸರಿಪಡಿಸದೆ ಸೋರಿಕೆಯನ್ನು ಕಂಡುಹಿಡಿಯುವುದರ ಮೇಲೆ ಕೇಂದ್ರೀಕರಿಸಿ.
ಇಲ್ಲಿ, ಹೆಚ್ಚಿನ ಅಂಕವನ್ನು ಪ್ರಶ್ನಿಸುವ ಸಂಕೇತವೆಂದು ಪರಿಗಣಿಸಲಾಗುತ್ತದೆ, ಆಚರಿಸಬಾರದು.
ಸಾಮಾನ್ಯ ತಪ್ಪುಗಳು
- "ತುಂಬಾ ಉತ್ತಮ" ಫಲಿತಾಂಶವನ್ನು ಆಚರಿಸಲಾಗುತ್ತಿದೆ. ತುಂಬಾ ಉತ್ತಮವಾದ-ನಿಜವಾದ ಸ್ಕೋರ್ ಸೋರಿಕೆ ಎಚ್ಚರಿಕೆಯಾಗಿದೆ, ಸಾಧನೆಯಲ್ಲ.
- ವಿಭಜನೆಯ ಮೊದಲು ಎಲ್ಲಾ ಡೇಟಾದಿಂದ ರೂಪಾಂತರವನ್ನು ಕಲಿಯುವುದು. ಅತ್ಯಂತ ಸಾಮಾನ್ಯ ಸೋರಿಕೆ; ಪೈಪ್ಲೈನ್ನೊಂದಿಗೆ ಮೊದಲು ವಿಭಜಿಸಿ.
- ಸಮಯ ಸರಣಿಯನ್ನು ಯಾದೃಚ್ಛಿಕವಾಗಿ ವಿಭಜಿಸುವುದು. ಮಾದರಿಯು ಭವಿಷ್ಯವನ್ನು ನೋಡುತ್ತದೆ; ಕಾಲಾನುಕ್ರಮ ವಿಭಾಗವು ಅತ್ಯಗತ್ಯವಾಗಿರುತ್ತದೆ.
- ಒಂದೇ ಘಟಕವನ್ನು ಎರಡು ಸೆಟ್ಗಳಲ್ಲಿ ಬಿಡುವುದು. ಮಾದರಿಯು ವ್ಯಕ್ತಿಯನ್ನು ಕಂಠಪಾಠ ಮಾಡುತ್ತದೆ; ಗುಂಪಿನಿಂದ ಭಾಗಿಸಿ.
- ಹಸ್ತಚಾಲಿತವಾಗಿ ಮತ್ತು ಕೋಡ್ಗೆ ಬರೆಯುತ್ತಿಲ್ಲ. ವಿಶ್ಲೇಷಣೆ ಅನುತ್ಪಾದಕವಾಗುತ್ತದೆ; ಎಲ್ಲವೂ ಕೋಡ್ ಮತ್ತು Git ನಲ್ಲಿ ಇರಬೇಕು.
ಸಲಹೆ: ನಿಮ್ಮ ಯೋಜನೆಯ ಪ್ರಾರಂಭದಲ್ಲಿ ಎರಡು ವಾಕ್ಯಗಳ "ಗೌರವದ ಪ್ರತಿಜ್ಞೆ" ಬರೆಯಿರಿ: "ನಾನು ಉತ್ಪಾದನೆಯಲ್ಲಿ ನೋಡುವ ಮೊದಲು ನಾನು ಯಾವುದೇ ರೀತಿಯಲ್ಲಿ ಪರೀಕ್ಷಾ ಸೆಟ್ ಅನ್ನು ಮುಟ್ಟಿಲ್ಲ. ಪ್ರತಿ ಹಂತವು ಕೋಡ್ನಲ್ಲಿದೆ ಮತ್ತು ಬೀಜವು ಸ್ಥಿರವಾಗಿದೆ." ನೀವು ಈ ಎರಡು ವಾಕ್ಯಗಳನ್ನು ಪ್ರಾಮಾಣಿಕವಾಗಿ ಸಹಿ ಮಾಡಲು ಸಾಧ್ಯವಾಗದಿದ್ದರೆ, ನಿಮ್ಮ ಫಲಿತಾಂಶವು ಇನ್ನೂ ವಿಶ್ವಾಸಾರ್ಹವಾಗಿಲ್ಲ.
ಸಾರಾಂಶದಲ್ಲಿ
ಡೇಟಾ ಸೋರಿಕೆ ಮತ್ತು ಪುನರುತ್ಪಾದನೆಯಾಗದಿರುವುದು ದತ್ತಾಂಶ ವಿಜ್ಞಾನದಲ್ಲಿನ ಎರಡು ಅತ್ಯಂತ ದುಬಾರಿ ಮೂಕ ದೋಷಗಳಾಗಿವೆ. ಸೋರಿಕೆಯು ಭವಿಷ್ಯದ ಮಾದರಿಯ ದೃಷ್ಟಿಯಾಗಿದೆ ಮತ್ತು ಸ್ವತಃ ತಪ್ಪು ಯಶಸ್ಸನ್ನು ತೋರಿಸುತ್ತದೆ; ಪರೀಕ್ಷಾ ಸೆಟ್ ಅನ್ನು ಮೊದಲೇ ವಿಭಜಿಸುವುದು, ತರಬೇತಿಯಿಂದ (ಪೈಪ್ಲೈನ್) ರೂಪಾಂತರಗಳನ್ನು ಕಲಿಯುವುದು, ಪ್ರತಿ ವೈಶಿಷ್ಟ್ಯಕ್ಕೆ "ಭವಿಷ್ಯದ ಸಮಯದಲ್ಲಿ ನಾನು ಅದನ್ನು ಹೊಂದಿದ್ದೇನೆಯೇ" ಎಂಬ ಪ್ರಶ್ನೆಯನ್ನು ಕೇಳುವುದು ಮತ್ತು ಸರಿಯಾದ ವಿಭಜನೆಯನ್ನು ಮಾಡುವುದು (ಕಾಲಾನುಕ್ರಮ/ಗುಂಪು) ಪರಿಹಾರವಾಗಿದೆ. ಪುನರುತ್ಪಾದನೆಯು ಒಂದೇ ಫಲಿತಾಂಶವನ್ನು ಎರಡು ಬಾರಿ ಪಡೆಯಲು ಸಾಧ್ಯವಾಗುತ್ತದೆ; ಹಂತಗಳನ್ನು ಹಸ್ತಚಾಲಿತವಾಗಿ ತೆಗೆದುಹಾಕುವುದು, ಬೀಜವನ್ನು ಪಿನ್ ಮಾಡುವುದು, ಆವೃತ್ತಿಗಳನ್ನು ಫ್ರೀಜ್ ಮಾಡುವುದು ಮತ್ತು ಎಲ್ಲವನ್ನೂ Git ನಲ್ಲಿ ಇಡುವುದು ಅವನ ಪರಿಹಾರವಾಗಿದೆ. AI ಈ ಅಪಾಯಗಳನ್ನು ಹೆಚ್ಚಿಸಬಹುದು ಅಥವಾ ಕಡಿಮೆ ಮಾಡಬಹುದು; ನಿಮ್ಮ ಶಿಸ್ತು ನಿರ್ಧರಿಸುತ್ತದೆ.
ಅಪ್ಲಿಕೇಶನ್ ಕಾರ್ಯ
ನೀವು ನಿರ್ಮಿಸಿದ ಮಾದರಿಯ ವೈಶಿಷ್ಟ್ಯಗಳ ಪಟ್ಟಿಯನ್ನು ತೆಗೆದುಕೊಳ್ಳಿ (ಅಥವಾ ಕಾಲ್ಪನಿಕವಾದದ್ದು) ಮತ್ತು ಪ್ರತಿ ವೈಶಿಷ್ಟ್ಯವನ್ನು "ಭವಿಷ್ಯದ ಸಮಯದಲ್ಲಿ ನಾನು ಈ ಮಾಹಿತಿಯನ್ನು ಹೊಂದಿದ್ದೇನೆಯೇ?" ಎಂಬ ಪ್ರಶ್ನೆಯನ್ನು ಕೇಳಿ ಬರವಣಿಗೆಯಲ್ಲಿ; ಕನಿಷ್ಠ ಒಬ್ಬ ಸೋರಿಕೆ ಅಭ್ಯರ್ಥಿಯನ್ನು ಹುಡುಕಿ. ನಂತರ ನಿಮ್ಮ ವಿಶ್ಲೇಷಣೆಯನ್ನು ಪುನರುತ್ಪಾದಿಸಲು ಪರಿಶೀಲನಾಪಟ್ಟಿಯನ್ನು ಭರ್ತಿ ಮಾಡಿ: ಬೀಜವನ್ನು ಸರಿಪಡಿಸಲಾಗಿದೆಯೇ, ಹಸ್ತಚಾಲಿತ ಹಂತಗಳಿವೆಯೇ, ಆವೃತ್ತಿಗಳನ್ನು ನೋಂದಾಯಿಸಲಾಗಿದೆಯೇ, ಅವು Git ನಲ್ಲಿವೆಯೇ. ಕೊರತೆಗಳನ್ನು ಸರಿಪಡಿಸಿ.
ಪರಿಶೀಲನಾಪಟ್ಟಿ
- [ ] ಸೋರಿಕೆ ಎಚ್ಚರಿಕೆಯಾಗಿ "ನಿಜವಾಗಲು ತುಂಬಾ ಒಳ್ಳೆಯದು" ಸ್ಕೋರ್ ಅನ್ನು ನಾನು ಪ್ರಶ್ನಿಸಿದ್ದೇನೆಯೇ?
- [ ] ವಿಭಜನೆಯ ನಂತರದ ಎಲ್ಲಾ ರೂಪಾಂತರಗಳನ್ನು ನಾನು ತರಬೇತಿಯಿಂದ ಕಲಿತಿದ್ದೇನೆಯೇ?
- [ ] ನಾನು ಸಮಯ/ಗುಂಪಿನ ರಚನೆಯ ಪ್ರಕಾರ (ಕಾಲಾನುಕ್ರಮ/ಗುಂಪುಕೆ ಪಟ್ಟು) ಭಾಗಿಸಿದ್ದೇನೆಯೇ?
- [ ] ನಾನು ಸ್ಥಿರ ಬೀಜದೊಂದಿಗೆ ಎಲ್ಲಾ ಯಾದೃಚ್ಛಿಕತೆಯನ್ನು ಪುನರಾವರ್ತಿಸುವಂತೆ ಮಾಡಿದ್ದೇನೆಯೇ?
- [ ] ನಾನು ಹಸ್ತಚಾಲಿತ ಹಂತಗಳನ್ನು ತೆಗೆದುಹಾಕಿದ್ದೇನೆ ಮತ್ತು ಎಲ್ಲವನ್ನೂ ಕೋಡ್ ಮತ್ತು ಆವೃತ್ತಿ ನಿಯಂತ್ರಣದಲ್ಲಿ ಇರಿಸಿದ್ದೇನೆಯೇ?