ತಪ್ಪು-ನಂಬಿಕೆಯ ಅಪಾಯ, ಪರೀಕ್ಷಾ ಗುಣಮಟ್ಟ ಮತ್ತು ರೂಪಾಂತರ ಪರೀಕ್ಷೆ: ಪರೀಕ್ಷೆ ಪರೀಕ್ಷೆಗಳು

ಲಾಭಗಳು:

• ಹುಸಿ-ನಂಬಿಕೆಯ ಮೂರು ಮುಖಗಳನ್ನು ಗುರುತಿಸುವ ಸಾಮರ್ಥ್ಯ (ಪ್ರತಿಪಾದಿಸದ, ಸ್ವಯಂ-ಪ್ರತಿಪಾದಿಸುವ, ಕ್ಷುಲ್ಲಕ ಪ್ರತಿಪಾದನೆ) ಮತ್ತು ಪ್ರತಿವಿಷಗಳನ್ನು ಅನ್ವಯಿಸುವ ಸಾಮರ್ಥ್ಯ
• ಪರಿಕರ ಅಥವಾ ಕೈಯಿಂದ ಶೇಕಡಾ ವ್ಯಾಪ್ತಿಗಿಂತ ಹೆಚ್ಚು ನಿಖರವಾದ ಗುಣಮಟ್ಟದ ಅಳತೆಯಾಗಿ ರೂಪಾಂತರ ಪರೀಕ್ಷೆ ಮತ್ತು ರೂಪಾಂತರ ಸ್ಕೋರ್ ಅನ್ನು ಬಳಸುವ ಸಾಮರ್ಥ್ಯ
• ಪರೀಕ್ಷೆಯ ವಿರುದ್ಧ AI ಅನ್ನು ಕೆಂಪು ತಂಡವಾಗಿ ಇರಿಸುವ ಸಾಮರ್ಥ್ಯ ಮತ್ತು ಪ್ರಶಂಸೆಯ ಬಲೆಗೆ ಬೀಳದೆ ಲೋಪದೋಷಗಳನ್ನು ಪರೀಕ್ಷಿಸಲು ಬೇಟೆಯಾಡುವ ಸಾಮರ್ಥ್ಯ

ಈ ಮಾಡ್ಯೂಲ್‌ನ ಹೃದಯಭಾಗದಲ್ಲಿ ಪುನರಾವರ್ತಿತ ಎಚ್ಚರಿಕೆ ಇದೆ: ಹಸಿರು ಹೊಳೆಯುವ ಪರೀಕ್ಷಾ ಫಲಕವು ಗುಣಮಟ್ಟಕ್ಕೆ ಸಾಕ್ಷಿಯಾಗಿಲ್ಲ. ನಿಮ್ಮ ಪರೀಕ್ಷೆಗಳು ನಿಮಗೆ ಆತ್ಮವಿಶ್ವಾಸವನ್ನು ನೀಡಿದರೆ, ಆ ವಿಶ್ವಾಸವು ನಿಜವೋ ಅಥವಾ ನಕಲಿಯೋ ಎಂದು ನೀವು ತಿಳಿದುಕೊಳ್ಳಬೇಕು. ಕೃತಕ ಬುದ್ಧಿಮತ್ತೆಯ (AI) ಯುಗದಲ್ಲಿ, ಈ ಪ್ರಶ್ನೆಯು ಎಂದಿಗಿಂತಲೂ ಹೆಚ್ಚು ನಿರ್ಣಾಯಕವಾಗಿದೆ, ಏಕೆಂದರೆ AI ದ್ರವ, ಮೃದುವಾಗಿ ಕಾಣುವ ಆದರೆ ಟೊಳ್ಳಾದ ಪರೀಕ್ಷೆಗಳನ್ನು ಉತ್ಪಾದಿಸುವಲ್ಲಿ ಪ್ರವೀಣವಾಗಿದೆ. ತಪ್ಪು ವಿಶ್ವಾಸ - ಪರೀಕ್ಷೆಗಳು ಹಸಿರಾಗಿರುವ ಕಾರಣ ಸಾಫ್ಟ್‌ವೇರ್ ಸರಿಯಾಗಿದೆ ಎಂದು ನಂಬುವುದು, ವಾಸ್ತವವಾಗಿ ಪರೀಕ್ಷೆಗಳು ಏನನ್ನೂ ಪರಿಶೀಲಿಸದೇ ಇದ್ದಾಗ- QA ತಂಡಕ್ಕೆ ಸಂಭವಿಸಬಹುದಾದ ಅತ್ಯಂತ ಅಪಾಯಕಾರಿ ವಿಷಯ; ಏಕೆಂದರೆ ಅದು ಯಾವುದೇ ದೋಷಗಳಿಲ್ಲ ಎಂಬುದನ್ನು ಮರೆಮಾಡುತ್ತದೆ, ಆದರೆ ನೀವು ದೋಷಗಳನ್ನು ನೋಡಲಾಗುವುದಿಲ್ಲ. ಈ ಘಟಕವು ಸಂಪೂರ್ಣ ಮಾಡ್ಯೂಲ್‌ನ ಮೌಲ್ಯೀಕರಣ ತತ್ವವನ್ನು ಒಂದು ವಿಭಾಗದಲ್ಲಿ ಒಟ್ಟುಗೂಡಿಸುತ್ತದೆ: ನಿಮ್ಮ ಪರೀಕ್ಷೆಗಳನ್ನು ಪರೀಕ್ಷಿಸುವುದು.

ಪರೀಕ್ಷೆಯ ಗುಣಮಟ್ಟವನ್ನು ಅಳೆಯಲು ಚಿನ್ನದ ಮಾನದಂಡ: ರೂಪಾಂತರ ಪರೀಕ್ಷೆ

ಪರೀಕ್ಷೆಯು ನಿಜವಾಗಿಯೂ ರಕ್ಷಿಸುತ್ತದೆಯೇ ಅಥವಾ ಇಲ್ಲವೇ ಎಂಬುದನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳಲು ಅತ್ಯಂತ ಶಕ್ತಿಶಾಲಿ ಮಾರ್ಗವೆಂದರೆ ರೂಪಾಂತರ ಪರೀಕ್ಷೆ (ಮ್ಯುಟೇಶನ್ ಪರೀಕ್ಷೆ - ಮೂಲ ಕೋಡ್‌ನಲ್ಲಿ ಉದ್ದೇಶಪೂರ್ವಕ ಸಣ್ಣ ವಿರೂಪಗಳು/ಮ್ಯುಟೇಶನ್‌ಗಳನ್ನು ಉತ್ಪಾದಿಸುವ ತಂತ್ರ ಮತ್ತು ಪರೀಕ್ಷೆಗಳು ಈ ವಿರೂಪಗಳನ್ನು ಪತ್ತೆ ಮಾಡುತ್ತದೆಯೇ ಎಂದು ಅಳೆಯುತ್ತದೆ). ತರ್ಕವು ಸರಳವಾಗಿದೆ: ನೀವು ಉದ್ದೇಶಪೂರ್ವಕವಾಗಿ ಕೋಡ್ ಅನ್ನು ಮುರಿದರೆ (ಒಂದು + ಆಗಿ -, ಎ > ಆಗಿ >=, ನಿಜವನ್ನು ತಪ್ಪಾಗಿ ಮಾಡಿದರೆ), ಉತ್ತಮ ಪರೀಕ್ಷಾ ಸೂಟ್ ಆ ಭ್ರಷ್ಟಾಚಾರವನ್ನು ಹಿಡಿಯುತ್ತದೆ ಮತ್ತು ಕೆಂಪು ಬಣ್ಣಕ್ಕೆ ತಿರುಗುತ್ತದೆ. ಹಾಗೆ ಮಾಡದಿದ್ದರೆ, ಆ ಅಡ್ಡಿಯು ಉಳಿದುಕೊಂಡಿರುವ ರೂಪಾಂತರವಾಗಿದೆ - ಆದ್ದರಿಂದ ನಿಮ್ಮ ಪರೀಕ್ಷೆಗಳು ಆ ನಡವಳಿಕೆಯನ್ನು ಸಂರಕ್ಷಿಸುವುದಿಲ್ಲ.

ರೂಪಾಂತರ ಸ್ಕೋರ್ = ರೂಪಾಂತರ ಕೊಲ್ಲಲ್ಪಟ್ಟರು / ಒಟ್ಟು ರೂಪಾಂತರ. 90% ಲೈನ್ ಕವರೇಜ್ ಹೊಂದಿರುವ ಪ್ಯಾಕೇಜ್ 40% ರೂಪಾಂತರ ಸ್ಕೋರ್ ಹೊಂದಿರಬಹುದು; ರೇಖೆಗಳು ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತಿವೆ ಆದರೆ ನಡವಳಿಕೆಯನ್ನು ಪರಿಶೀಲಿಸಲಾಗಿಲ್ಲ ಎಂದು ಇದು ಸೂಚಿಸುತ್ತದೆ. ರೂಪಾಂತರ ಸ್ಕೋರ್ ಶೇಕಡಾವಾರು ವ್ಯಾಪ್ತಿಗಿಂತ ಗುಣಮಟ್ಟದ ಹೆಚ್ಚು ಪ್ರಾಮಾಣಿಕ ಅಳತೆಯಾಗಿದೆ.

ಸಲಹೆ: ಸ್ವಯಂಚಾಲಿತ ರೂಪಾಂತರ ಪರಿಕರಗಳಿವೆ (ಜಾವಾಕ್ಕೆ PIT/Pitest, JavaScript/ಟೈಪ್‌ಸ್ಕ್ರಿಪ್ಟ್‌ಗಾಗಿ ಸ್ಟ್ರೈಕರ್, .NET ಗಾಗಿ Stryker.NET, ಪೈಥಾನ್‌ಗಾಗಿ mutmut). ಇವು ನೂರಾರು ರೂಪಾಂತರಗಳನ್ನು ಸ್ವಯಂಚಾಲಿತವಾಗಿ ಉತ್ಪಾದಿಸುತ್ತವೆ ಮತ್ತು ಪರೀಕ್ಷಿಸುತ್ತವೆ. ನೀವು ಉಪಕರಣವನ್ನು ಹೊಂದಿಲ್ಲದಿದ್ದರೆ, ಹಸ್ತಚಾಲಿತ "ಕೋಡ್ ಪರೀಕ್ಷೆಯನ್ನು ಮುರಿಯಿರಿ" ವಿಧಾನವು ನಿರ್ಣಾಯಕ ಕಾರ್ಯಗಳಿಗೆ ಅಮೂಲ್ಯವಾಗಿದೆ.

ಹುಸಿ ನಂಬಿಕೆಯ ಮೂರು ಮುಖಗಳು ಮತ್ತು ಅದರ ಪ್ರತಿವಿಷ

ಹುಸಿ-ವಿಶ್ವಾಸ ರೂಪ

ಲಕ್ಷಣ

ಪ್ರತಿವಿಷ

ಪ್ರತಿಪಾದನೆ ಇಲ್ಲದೆ ಪರೀಕ್ಷೆ

ಕೋಡ್ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ, ಯಾವುದನ್ನೂ ಮೌಲ್ಯೀಕರಿಸಲಾಗಿಲ್ಲ

ಪ್ರತಿ ಪರೀಕ್ಷೆಯಲ್ಲಿ ನಿಜವಾದ ಪ್ರತಿಪಾದನೆ; ರೂಪಾಂತರದೊಂದಿಗೆ ಪರೀಕ್ಷೆ

ಸ್ವಯಂ ದೃಢೀಕರಣ ಪರೀಕ್ಷೆ

ನಿರೀಕ್ಷಿತ = ಕೋಡ್‌ನ ಔಟ್‌ಪುಟ್

ನಿರೀಕ್ಷಿತ ಮೌಲ್ಯವನ್ನು ಸ್ವತಂತ್ರವಾಗಿ ಲೆಕ್ಕಾಚಾರ ಮಾಡಿ

ಕ್ಷುಲ್ಲಕ ಪ್ರತಿಪಾದನೆ

"ಶೂನ್ಯವಲ್ಲ", "200 ಮರಳಿದೆ"

ವ್ಯಾಪಾರ ನಿಯಮ/ನಿಜವಾದ ಫಲಿತಾಂಶವನ್ನು ಮೌಲ್ಯೀಕರಿಸಿ

ಹೈ ಸ್ಕೋಪ್ ಫಾಲಸಿ

90% ಸಾಲುಗಳು, ಕಡಿಮೆ ರಕ್ಷಣೆ

ರೂಪಾಂತರ ಸ್ಕೋರ್ ಅನ್ನು ನೋಡಿ

ದುರ್ಬಲವಾದ ಪರೀಕ್ಷಾ ಸಹಿಷ್ಣುತೆ

"ಮತ್ತೆ ಅಂಟಿಕೊಂಡಿತು, ಪಾಸ್"

ಮೂಲ ಕಾರಣ + ನಿರ್ಣಾಯಕ ಪರೀಕ್ಷೆ

AI ಅನ್ನು "ಕೆಂಪು ತಂಡ" ವಾಗಿ ಬಳಸುವುದು

AI ಎರಡೂ ಹುಸಿ ನಂಬಿಕೆಯನ್ನು ಹುಟ್ಟುಹಾಕಬಹುದು ಮತ್ತು ಅದನ್ನು ಬೇಟೆಯಾಡುವಲ್ಲಿ ಪ್ರಬಲ ಮಿತ್ರನಾಗಬಹುದು. ನಿಮ್ಮ ಸ್ವಂತ ಪರೀಕ್ಷೆಗಳಿಗೆ ವಿರುದ್ಧವಾಗಿ AI ಅನ್ನು ಕೆಂಪು ತಂಡವಾಗಿ ಬಳಸಿ: "ಈ ಪರೀಕ್ಷೆಗಳಲ್ಲಿ ಉತ್ತೀರ್ಣರಾಗುವ ಆದರೆ ತಪ್ಪಾಗಿರುವ ಕೋಡ್ ಬರೆಯಿರಿ" ಅಥವಾ "ಈ ಪರೀಕ್ಷೆಗಳನ್ನು ಮೋಸಗೊಳಿಸುವ ವಿಧ್ವಂಸಕತೆಯನ್ನು ಕಂಡುಹಿಡಿಯಿರಿ" ಎಂದು ಕೇಳಿ. AI ನಿಮ್ಮ ಪರೀಕ್ಷೆಗಳಲ್ಲಿ ಲೋಪದೋಷಗಳನ್ನು ಕಂಡುಕೊಂಡರೆ, ಆ ಲೋಪದೋಷಗಳು ನಿಜವಾದ ಅಪಾಯಗಳಾಗಿವೆ.

ಎಚ್ಚರಿಕೆ: AI ಅನ್ನು ಕೇಳಬೇಡಿ "ನನ್ನ ಪರೀಕ್ಷಾ ಗುಣಮಟ್ಟ ಉತ್ತಮವಾಗಿದೆಯೇ?" ಮತ್ತು "ಹೌದು, ಅದ್ಭುತ" ಎಂಬ ಉತ್ತರವನ್ನು ಭರವಸೆಯಾಗಿ ತೆಗೆದುಕೊಳ್ಳಿ. AI ದಯೆ ತೋರುತ್ತಿದೆ. ಬದಲಿಗೆ, AI ಅನ್ನು ಕಾಂಕ್ರೀಟ್ ಕಾರ್ಯಕ್ಕೆ ಸವಾಲು ಮಾಡಿ: "ಈ ಪರೀಕ್ಷೆಗಳಲ್ಲಿ ಉತ್ತೀರ್ಣರಾಗುವ ದೋಷವನ್ನು ಉತ್ಪಾದಿಸಿ." ಅದು ಅದನ್ನು ಉತ್ಪಾದಿಸಬಹುದಾದರೆ, ನಿಮ್ಮ ಪರೀಕ್ಷೆಗಳು ಆ ದೋಷಕ್ಕೆ ಕುರುಡಾಗಿರುತ್ತವೆ.

ಸ್ಕೋರ್‌ನ ಸಮಾನ ರೂಪಾಂತರಗಳು ಮತ್ತು ಮಿತಿಗಳು

ರೂಪಾಂತರ ಪರೀಕ್ಷೆಯು ಶಕ್ತಿಯುತವಾಗಿದೆ, ಆದರೆ ಇದು ಕ್ಯಾಚ್ ಹೊಂದಿದೆ: ಕೆಲವು ರೂಪಾಂತರಗಳು ಕೋಡ್‌ನ ನಡವಳಿಕೆಯನ್ನು ಬದಲಾಯಿಸುವುದಿಲ್ಲ. ಇವುಗಳನ್ನು ಸಮಾನ ರೂಪಾಂತರಗಳು ಎಂದು ಕರೆಯಲಾಗುತ್ತದೆ (ಸಮಾನ ರೂಪಾಂತರಿತ - ದೋಷಪೂರಿತ ಕೋಡ್, ಮೂಲದಂತೆ ನಿಖರವಾಗಿ ಅದೇ ಫಲಿತಾಂಶವನ್ನು ಉಂಟುಮಾಡುವ ರೂಪಾಂತರ). ಉದಾಹರಣೆಗೆ, ಎಂದಿಗೂ ಬಳಸದ ವೇರಿಯಬಲ್‌ನ ಆರಂಭಿಕ ಮೌಲ್ಯವನ್ನು ಬದಲಾಯಿಸುವುದು ಔಟ್‌ಪುಟ್ ಮೇಲೆ ಪರಿಣಾಮ ಬೀರುವುದಿಲ್ಲ; ಯಾವುದೇ ಪರೀಕ್ಷೆಯು ಇದನ್ನು ಹಿಡಿಯಬಾರದು ಮತ್ತು ಹಿಡಿಯಬಾರದು. ಆದ್ದರಿಂದ, 100% ರೂಪಾಂತರ ಸ್ಕೋರ್ ಸಾಮಾನ್ಯವಾಗಿ ಆಚರಣೆಯಲ್ಲಿ ಸಾಧಿಸಲಾಗುವುದಿಲ್ಲ ಮತ್ತು ಗುರಿಯಾಗಿರುವುದಿಲ್ಲ. ಕೈಯಿಂದ ಸಮಾನ ರೂಪಾಂತರಗಳನ್ನು ಕಳೆ ತೆಗೆಯುವುದು ಶ್ರಮದಾಯಕವಾಗಿದೆ; ಆದ್ದರಿಂದ ಮ್ಯುಟೇಶನ್ ಸ್ಕೋರ್ ಅನ್ನು ಸಂಪೂರ್ಣ ಪರೀಕ್ಷೆಯ ಸ್ಕೋರ್ ಎಂದು ಓದಬೇಡಿ, ಆದರೆ "ನನ್ನ ಪರೀಕ್ಷೆಗಳು ನಿಜವಾಗಿಯೂ ರಕ್ಷಿಸುತ್ತವೆಯೇ?"

ಪ್ರಾಯೋಗಿಕ ವಿಧಾನ ಹೀಗಿದೆ: ಸಂಪೂರ್ಣ ಕೋಡ್ ಬೇಸ್‌ನಲ್ಲಿ ನಿರಂತರವಾಗಿ ರೂಪಾಂತರ ಪರೀಕ್ಷೆಯನ್ನು ನಡೆಸುವ ಬದಲು, ಹೆಚ್ಚಿನ ಅಪಾಯ ಮತ್ತು ಅತ್ಯಂತ ಸಂಕೀರ್ಣವಾದ ವ್ಯವಹಾರ ನಿಯಮಗಳನ್ನು ಹೊಂದಿರುವ ಮಾಡ್ಯೂಲ್‌ಗಳಲ್ಲಿ ಅದನ್ನು ಚಲಾಯಿಸಿ. ಈ ಮಾಡ್ಯೂಲ್‌ಗಳಲ್ಲಿ ಉಳಿದಿರುವ ರೂಪಾಂತರಗಳನ್ನು ಒಂದೊಂದಾಗಿ ಪರೀಕ್ಷಿಸಿ; ಇದು ನಿಜವಾದ ಅಂತರವಾಗಿದ್ದರೆ, ಪರೀಕ್ಷೆಯನ್ನು ಸೇರಿಸಿ; ಇದು ಸಮಾನವಾದ ರೂಪಾಂತರವಾಗಿದ್ದರೆ, ಅದನ್ನು ಸಮರ್ಥನೆಯೊಂದಿಗೆ ಗುರುತಿಸಿ ಮತ್ತು ಪಾಸ್ ಮಾಡಿ. ಉಳಿದಿರುವ ರೂಪಾಂತರವು ಸಮಾನವಾಗಿದೆಯೇ ಎಂದು ನಿರ್ಣಯಿಸಲು AI ಆರಂಭಿಕ ಸ್ಕ್ರೀನಿಂಗ್ ಅನ್ನು ಮಾಡಬಹುದು; ಆದರೆ ಕೋಡ್ ಏನು ಮಾಡುತ್ತದೆ ಎಂದು ತಿಳಿದಿರುವ ನೀವು ಅಂತಿಮ ನಿರ್ಧಾರವನ್ನು ತೆಗೆದುಕೊಳ್ಳುತ್ತೀರಿ.

ಎಚ್ಚರಿಕೆ: ರೂಪಾಂತರ ಪರೀಕ್ಷೆಯು ಕಂಪ್ಯೂಟೇಶನಲ್ ಆಗಿ ದುಬಾರಿಯಾಗಿದೆ (ಎಲ್ಲಾ ಸಂಬಂಧಿತ ಪರೀಕ್ಷೆಗಳನ್ನು ಪ್ರತಿ ರೂಪಾಂತರಕ್ಕೆ ಮರು-ರನ್ ಮಾಡಲಾಗುತ್ತದೆ). ಆದ್ದರಿಂದ ಸಾಮಾನ್ಯ ಮತ್ತು ಸಮಂಜಸವಾದ ಕಾರ್ಯತಂತ್ರವು ಪ್ರತಿ ವಿಲೀನಕ್ಕಿಂತ ಹೆಚ್ಚಾಗಿ ನಿರ್ಣಾಯಕ ಮಾಡ್ಯೂಲ್‌ಗಳಿಗಾಗಿ ಸಾಪ್ತಾಹಿಕ ಅಥವಾ ಪೂರ್ವ-ಬಿಡುಗಡೆ ಆಳವಾದ ಪರಿಶೀಲನೆಯಾಗಿ ನಿಗದಿಪಡಿಸುವುದು.

ದುರ್ಬಲ ಪ್ರಾಂಪ್ಟ್ / ಬಲವಾದ ಪ್ರಾಂಪ್ಟ್

ದುರ್ಬಲ: "ನನ್ನ ಪರೀಕ್ಷೆಗಳು ಸಾಕಷ್ಟಿವೆಯೇ?"

ಪ್ರಬಲ: "ಈ ಕಾರ್ಯ ಮತ್ತು ಪರೀಕ್ಷಾ ಸೂಟ್‌ಗಾಗಿ ಕೆಂಪು ತಂಡವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸಿ. (1) ಕೊಲ್ಲಬಹುದಾದ ಕೋಡ್‌ನಲ್ಲಿ 8 ರೂಪಾಂತರಗಳನ್ನು ರಚಿಸಿ (ಆಪರೇಟರ್ ಪರ್ಯಾಯ, ಬೌಂಡರಿ ಶಿಫ್ಟ್, ಸ್ಥಿತಿ ವಿಲೋಮ, ರಿಟರ್ನ್ ಮೌಲ್ಯದ ಪರ್ಯಾಯ). (2) ಪ್ರತಿ ರೂಪಾಂತರಕ್ಕೆ, ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ಪರೀಕ್ಷೆಗಳಲ್ಲಿ ಯಾವುದು ಅದನ್ನು ಹಿಡಿಯುತ್ತದೆ ಮತ್ತು ಯಾವುದು ಕೊಲ್ಲುವುದಿಲ್ಲ ಎಂಬುದನ್ನು ಸೂಚಿಸಿ. ಈ ಎಲ್ಲಾ ಪರೀಕ್ಷೆಗಳಲ್ಲಿ ಉತ್ತೀರ್ಣರಾಗುತ್ತಾರೆ ಆದರೆ ವ್ಯಾಪಾರದ ನಿಯಮವನ್ನು ಉಲ್ಲಂಘಿಸುತ್ತಾರೆ: [ಅಂಟಿಸಿ]"

ಶಕ್ತಿಯುತ ಪ್ರಾಂಪ್ಟ್; ಇದು AI ಅನ್ನು ಟೆಸ್ಟ್ ಬ್ರೇಕಿಂಗ್ ಪರೀಕ್ಷಕನಂತೆ ಇರಿಸುತ್ತದೆ, ಹೊಗಳಿಕೆಯ ಯಂತ್ರವಲ್ಲ.

ನಾಲ್ಕು ನಕಲಿಸಬಹುದಾದ ಟೆಂಪ್ಲೇಟ್‌ಗಳು

1) ಹಸ್ತಚಾಲಿತ ರೂಪಾಂತರ ನಿಯಂತ್ರಣ:

ಈ ಕೋಡ್‌ಗಾಗಿ 8 ಗಮನಾರ್ಹ ರೂಪಾಂತರಗಳನ್ನು (ಸಣ್ಣ ಉದ್ದೇಶಪೂರ್ವಕ ಅಡಚಣೆಗಳು) ರಚಿಸಿ: ಅಂಕಗಣಿತದ ಆಪರೇಟರ್ ಪರ್ಯಾಯ, ಹೋಲಿಕೆ ಮಿತಿ (> vs >=), ತಾರ್ಕಿಕ ವಿಲೋಮ, ರಿಟರ್ನ್/ಸ್ಥಿರ ಪರ್ಯಾಯ, ಷರತ್ತು ಸ್ಕಿಪ್ಪಿಂಗ್. ಪ್ರತಿ ರೂಪಾಂತರಕ್ಕಾಗಿ, ಲಭ್ಯವಿರುವ ಪರೀಕ್ಷೆಗಳಲ್ಲಿ ಯಾವುದು ಅದನ್ನು ಹಿಡಿಯುತ್ತದೆ ಅಥವಾ ಇಲ್ಲ ಎಂದು ಊಹಿಸಿ. ಕೋಡ್+ಪರೀಕ್ಷೆಗಳು: [ಅಂಟಿಸಿ]

2) ಉಳಿದಿರುವ ರೂಪಾಂತರವನ್ನು ಕೊಲ್ಲುವುದು:

ಕೆಳಗಿನ ರೂಪಾಂತರ ಪರೀಕ್ಷಾ ವರದಿಯು ಉಳಿದಿರುವ (ಹಿಡಿಯದ) ರೂಪಾಂತರಗಳನ್ನು ಒಳಗೊಂಡಿದೆ: [ಪಟ್ಟಿ/ವರದಿ]. ಪ್ರತಿಯೊಂದಕ್ಕೂ, ಆ ರೂಪಾಂತರವನ್ನು ಕೊಲ್ಲುವ ಕನಿಷ್ಠ ಪರೀಕ್ಷೆಯನ್ನು ಬರೆಯಿರಿ (ಆ ರೀತಿಯಲ್ಲಿ ಮುರಿದಾಗ ಕೋಡ್ ಕೆಂಪು ಬಣ್ಣಕ್ಕೆ ತಿರುಗುತ್ತದೆ). ಪರೀಕ್ಷೆಯು ಯಾವ ನಡವಳಿಕೆಯನ್ನು ದೃಢೀಕರಿಸುತ್ತದೆ ಎಂಬುದರ ಕುರಿತು ಕಾಮೆಂಟ್ ಮಾಡಿ.

3) ಕೆಂಪು ತಂಡ - ರಕ್ತ ಪರೀಕ್ಷೆ:

ಕೆಳಗಿನ ಎಲ್ಲಾ ಪರೀಕ್ಷೆಗಳಲ್ಲಿ ಉತ್ತೀರ್ಣರಾಗುವ ಕೋಡ್ ಅನ್ನು ನೀವು ಬರೆಯಬಹುದೇ, ಆದರೆ ಈ ಕೆಳಗಿನ ವ್ಯವಹಾರ ನಿಯಮವನ್ನು ಉಲ್ಲಂಘಿಸಬಹುದು: [ವ್ಯವಹಾರ ನಿಯಮ]. ಹಾಗಿದ್ದಲ್ಲಿ, ಈ ಪರೀಕ್ಷೆಗಳಲ್ಲಿ ಯಾವ ಲೋಪದೋಷವು ಇದನ್ನು ಅನುಮತಿಸುತ್ತದೆ? ಆ ಲೋಪದೋಷವನ್ನು ಮುಚ್ಚುವ ಪರೀಕ್ಷೆಯನ್ನು ಸೇರಿಸಿ. ಪರೀಕ್ಷೆಗಳು: [ಅಂಟಿಸಿ]

4) ಪರೀಕ್ಷಾ ಗುಣಮಟ್ಟದ ತಪಾಸಣೆ:

ಗುಣಮಟ್ಟಕ್ಕಾಗಿ ಈ ಪರೀಕ್ಷಾ ಸೂಟ್ ಅನ್ನು ಪರಿಶೀಲಿಸಿ. ಪ್ರತಿ ಪರೀಕ್ಷೆಗೆ ಟಿಕ್ ಮಾಡಿ:- ನಿಜವಾದ ಪ್ರತಿಪಾದನೆ ಇದೆಯೇ ಅಥವಾ ಅದು ಆಧಾರವಾಗಿದೆಯೇ?- ನಿರೀಕ್ಷಿತ ಮೌಲ್ಯವು ಸ್ವತಂತ್ರವಾಗಿದೆಯೇ, ಕೋಡ್‌ನಿಂದ ಪಡೆಯಲಾಗಿದೆಯೇ?- ಇದು ವ್ಯಾಪಾರ ನಿಯಮವನ್ನು ಪರಿಶೀಲಿಸುತ್ತದೆಯೇ ಅಥವಾ ಕ್ಷುಲ್ಲಕವಾಗಿದೆಯೇ? ಅಂತಿಮವಾಗಿ ಅಂದಾಜು "ನಿಜವಾದ ಸಮರ್ಥನೆ ಸ್ಕೋರ್" ಮತ್ತು 3 ದುರ್ಬಲ ಪರೀಕ್ಷೆಗಳನ್ನು ನೀಡಿ. ಪರೀಕ್ಷೆಗಳು: [ಅಂಟಿಸಿ]

ಮೂರು ಸಣ್ಣ ಪ್ರಕರಣಗಳು

ಪ್ರಕರಣ 1 — ವ್ಯಾಪ್ತಿ 92%, ರೂಪಾಂತರ ಸ್ಕೋರ್ 38%. ಒಂದು ತಂಡವು ಹೆಚ್ಚಿನ ವ್ಯಾಪ್ತಿಯನ್ನು ಅವಲಂಬಿಸಿದೆ. ಸ್ಟ್ರೈಕರ್‌ನೊಂದಿಗೆ ರೂಪಾಂತರ ಪರೀಕ್ಷೆಯನ್ನು ನಡೆಸಿದಾಗ, ಸ್ಕೋರ್ 38% ಆಗಿತ್ತು: ಉತ್ಪತ್ತಿಯಾದ ಹೆಚ್ಚಿನ ರೂಪಾಂತರಗಳು ಉಳಿದುಕೊಂಡಿವೆ. ಪರೀಕ್ಷೆಗಳು ರೇಖೆಗಳನ್ನು ಚಲಾಯಿಸುತ್ತಿಲ್ಲ ಮತ್ತು ನಡವಳಿಕೆಯನ್ನು ಪರಿಶೀಲಿಸುತ್ತಿಲ್ಲ ಎಂಬುದಕ್ಕೆ ಇದು ಪುರಾವೆಯಾಗಿದೆ. ತಂಡವು ಪರೀಕ್ಷೆಯ ಗುಣಮಟ್ಟದಲ್ಲಿ ಮೂರು ವಾರಗಳ ಹೂಡಿಕೆ ಮಾಡಿದೆ; ರೂಪಾಂತರದ ಸ್ಕೋರ್ 81% ಕ್ಕೆ ಏರಿತು ಮತ್ತು ಮುಂದಿನ ಬಿಡುಗಡೆಯಲ್ಲಿ ಈ ಬೀಫ್-ಅಪ್ ಪರೀಕ್ಷೆಗಳಿಂದ ಎರಡು ನೈಜ ಲೆಕ್ಕಾಚಾರದ ದೋಷಗಳು ಸಿಕ್ಕಿಬಿದ್ದವು.

ಪ್ರಕರಣ 2 - AI ಪರೀಕ್ಷೆಯನ್ನು ಮೋಸಗೊಳಿಸಿದೆ. "ಕೆಂಪು ತಂಡ" ಟೆಂಪ್ಲೇಟ್‌ನೊಂದಿಗೆ, ತಜ್ಞರು ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ಪರೀಕ್ಷೆಗಳಲ್ಲಿ ಉತ್ತೀರ್ಣರಾದ ಆದರೆ ರಿಯಾಯಿತಿ ನಿಯಮವನ್ನು ಉಲ್ಲಂಘಿಸಿದ ಕೋಡ್‌ಗಾಗಿ AI ಅನ್ನು ಕೇಳಿದರು. AI ಯಾವಾಗಲೂ ಶೂನ್ಯದ ರಿಯಾಯಿತಿಯನ್ನು ಹಿಂದಿರುಗಿಸುವ ಕೋಡ್ ಅನ್ನು ಬರೆದಿದೆ - ಮತ್ತು ಎಲ್ಲಾ ಪರೀಕ್ಷೆಗಳು ಹಸಿರಾಗಿಯೇ ಉಳಿದಿವೆ ಏಕೆಂದರೆ ಯಾವುದೇ ಪರೀಕ್ಷೆಗಳು ನಿಜವಾದ ರಿಯಾಯಿತಿ ಮೌಲ್ಯವನ್ನು ಪರಿಶೀಲಿಸುತ್ತಿಲ್ಲ. ಅಂತರವನ್ನು ನೋಡಲಾಗಿದೆ, ನಿಜವಾದ ಸಮರ್ಥನೆಗಳನ್ನು ಸೇರಿಸಲಾಗಿದೆ.

ಪ್ರಕರಣ 3 - ಹೊಗಳಿಕೆಯ ಬಲೆ. ಜೂನಿಯರ್ ಪರೀಕ್ಷಕರೊಬ್ಬರು AI ಅನ್ನು ಕೇಳಿದರು, "ನನ್ನ ಪರೀಕ್ಷೆಗಳು ಉತ್ತಮವಾಗಿವೆಯೇ?" ಮತ್ತು "ಬಹಳ ಸಮಗ್ರ" ಎಂಬ ಉತ್ತರವನ್ನು ಕೇಳಿ ಸಮಾಧಾನವಾಯಿತು. ಅವರ ಹಿರಿಯ ಸಹೋದ್ಯೋಗಿಯು "ಪರೀಕ್ಷಾ ಗುಣಮಟ್ಟದ ಲೆಕ್ಕಪರಿಶೋಧನೆ" ಟೆಂಪ್ಲೇಟ್ ಅನ್ನು ಬಳಸಿಕೊಂಡು ಅದೇ ಪರೀಕ್ಷೆಗಳನ್ನು ಆಡಿಟ್ ಮಾಡಿದ್ದಾರೆ; 20 ಪರೀಕ್ಷೆಗಳಲ್ಲಿ 12 ಅಲಂಕಾರಗಳು (ಪ್ರತಿಪಾದನೆ ಅಥವಾ ಜಂಕ್ ಇಲ್ಲದೆ) ಎಂದು ಅದು ಬದಲಾಯಿತು. ಸರಿಯಾದ ಪ್ರಶ್ನೆಯು ಸರಿಯಾದ ಉತ್ತರವನ್ನು ತಂದಿತು.

ಸಾಮಾನ್ಯ ತಪ್ಪುಗಳು

• ಗುಣಮಟ್ಟಕ್ಕಾಗಿ ತಪ್ಪಾದ ವ್ಯಾಪ್ತಿ. ಹೆಚ್ಚಿನ ಸಾಲಿನ ವ್ಯಾಪ್ತಿಯ ಮೇಲೆ ಅವಲಂಬಿತವಾಗಿದೆ ಮತ್ತು ರೂಪಾಂತರದ ಸ್ಕೋರ್ ಅನ್ನು ನೋಡುವುದಿಲ್ಲ.
• AI ನ ಹೊಗಳಿಕೆಯನ್ನು ನಂಬುವುದು. "ನಿಮ್ಮ ಪರೀಕ್ಷೆಗಳು ಚೆನ್ನಾಗಿವೆಯೇ?" ಮತ್ತು ಸಕಾರಾತ್ಮಕ ಉತ್ತರವನ್ನು ಭರವಸೆ ಎಂದು ಪರಿಗಣಿಸಿ.
• ಕೋಡ್‌ನಿಂದ ನಿರೀಕ್ಷಿತ ಮೌಲ್ಯವನ್ನು ಪಡೆಯಲಾಗುತ್ತಿದೆ. ದೋಷಯುಕ್ತ ಕೋಡ್ ಅನ್ನು ದೃಢೀಕರಿಸುವ ಸ್ವಯಂ-ಪರಿಶೀಲನೆ ಪರೀಕ್ಷೆಗಳು.
• ಕ್ಷುಲ್ಲಕ ಸಮರ್ಥನೆಗಳೊಂದಿಗೆ ತೃಪ್ತರಾಗಿರಿ. "ಶೂನ್ಯವಲ್ಲ", "200 ಹಿಂತಿರುಗಿಸಲಾಗಿದೆ" ನಂತಹ ನಿಜವಾದ ನಿಯಮವನ್ನು ಮೌಲ್ಯೀಕರಿಸದ ಚೆಕ್‌ಗಳು.
• ಉಳಿದಿರುವ ರೂಪಾಂತರಗಳನ್ನು ನಿರ್ಲಕ್ಷಿಸುವುದು. ಮ್ಯುಟೇಶನ್ ವರದಿಯಲ್ಲಿ ಸಿಕ್ಕಿಲ್ಲ ಎಂಬುದನ್ನು ನಿರ್ಲಕ್ಷಿಸುತ್ತಿದ್ದಾರೆ.
• ನಿರ್ಣಾಯಕ ಕೋಡ್ ಅನ್ನು ಹಸ್ತಚಾಲಿತವಾಗಿ ರೂಪಾಂತರಿಸಲು ಸಹ ಪ್ರಯತ್ನಿಸುತ್ತಿಲ್ಲ. ಉಪಕರಣವು ಲಭ್ಯವಿಲ್ಲದಿದ್ದರೆ "ಕೋಡ್ ಅನ್ನು ಮುರಿಯಿರಿ ಮತ್ತು ಪರೀಕ್ಷೆ" ಹಂತವನ್ನು ಬಿಟ್ಟುಬಿಡುವುದು.

ಸಾರಾಂಶದಲ್ಲಿ

ಪರೀಕ್ಷೆಗಳು ಹಸಿರಾಗಿರುವುದರಿಂದ ಸಾಫ್ಟ್‌ವೇರ್ ಸರಿಯಾಗಿದೆ ಎಂದು ಹುಸಿ-ಟ್ರಸ್ಟ್ ನಂಬುತ್ತದೆ; ಆದರೆ ಪರೀಕ್ಷೆಗಳು ಏನನ್ನೂ ದೃಢೀಕರಿಸದಿರಬಹುದು. ಇದನ್ನು ಅಳೆಯಲು ಚಿನ್ನದ ಮಾನದಂಡವು ರೂಪಾಂತರ ಪರೀಕ್ಷೆಯಾಗಿದೆ: ಉದ್ದೇಶಪೂರ್ವಕವಾಗಿ ಕೋಡ್ ಅನ್ನು ಮುರಿಯುವುದು ಮತ್ತು ಪರೀಕ್ಷೆಗಳು ಅದನ್ನು ಹಿಡಿಯುತ್ತವೆಯೇ ಎಂದು ಅಳೆಯುವುದು. ರೂಪಾಂತರ ಸ್ಕೋರ್ ಶೇಕಡಾವಾರು ವ್ಯಾಪ್ತಿಗಿಂತ ಗುಣಮಟ್ಟದ ಹೆಚ್ಚು ಪ್ರಾಮಾಣಿಕ ಅಳತೆಯಾಗಿದೆ. AI ಎರಡೂ ಹುಸಿ ನಂಬಿಕೆಯನ್ನು ಉತ್ಪಾದಿಸುತ್ತದೆ ಮತ್ತು ಅದನ್ನು ಬೇಟೆಯಾಡುವಲ್ಲಿ ಪ್ರಬಲವಾದ ಕೆಂಪು ತಂಡವಾಗುತ್ತದೆ - "ಈ ಪರೀಕ್ಷೆಗಳಲ್ಲಿ ಉತ್ತೀರ್ಣರಾಗುವ ದೋಷವನ್ನು ಉತ್ಪಾದಿಸಿ" ಎಂದು ಕೇಳಿ. ನಿಮ್ಮ ಪರೀಕ್ಷೆಗಳನ್ನು ಪರೀಕ್ಷಿಸಿ: ನಿಜವಾದ ಪ್ರತಿಪಾದನೆ, ಸ್ವತಂತ್ರ ನಿರೀಕ್ಷಿತ ಮೌಲ್ಯ, ವ್ಯವಹಾರ ನಿಯಮ ಊರ್ಜಿತಗೊಳಿಸುವಿಕೆ ಮತ್ತು ಕೊಲೆಯಾದ ರೂಪಾಂತರಗಳು.

ಅಪ್ಲಿಕೇಶನ್ ಕಾರ್ಯ

ನಿಮ್ಮ ಸ್ವಂತ ಯೋಜನೆಯಿಂದ ವ್ಯಾಪಾರ ನಿಯಮ ಮತ್ತು ಅದರ ಪರೀಕ್ಷೆಗಳನ್ನು ಒಳಗೊಂಡಿರುವ ಕಾರ್ಯವನ್ನು ಆಮದು ಮಾಡಿ. ಸಾಧ್ಯವಾದರೆ, ಮ್ಯುಟೇಶನ್ ಟೂಲ್ ಅನ್ನು ರನ್ ಮಾಡಿ (ಸ್ಟ್ರೈಕರ್/ಪಿಟೆಸ್ಟ್/ಮಟ್‌ಮಟ್) ಮತ್ತು ಮ್ಯುಟೇಶನ್ ಸ್ಕೋರ್ ಅನ್ನು ಅಳೆಯಿರಿ; ಯಾವುದೇ ಸಾಧನವಿಲ್ಲದಿದ್ದರೆ, "ಹಸ್ತಚಾಲಿತ ರೂಪಾಂತರ ನಿಯಂತ್ರಣ" ಟೆಂಪ್ಲೇಟ್‌ನೊಂದಿಗೆ ಕನಿಷ್ಠ 8 ರೂಪಾಂತರಗಳನ್ನು ರಚಿಸಿ ಮತ್ತು ಅವುಗಳನ್ನು ಹಸ್ತಚಾಲಿತವಾಗಿ ಪ್ರಯತ್ನಿಸಿ. ಪ್ರತಿ ಉಳಿದಿರುವ ರೂಪಾಂತರಕ್ಕಾಗಿ, "ಉಳಿದಿರುವ ರೂಪಾಂತರವನ್ನು ಕೊಲ್ಲು" ಟೆಂಪ್ಲೇಟ್‌ನೊಂದಿಗೆ ಹೊಸ ಪರೀಕ್ಷೆಯನ್ನು ಬರೆಯಿರಿ. ಅಂತಿಮವಾಗಿ, "ಕೆಂಪು ತಂಡ" ಮಾದರಿಯೊಂದಿಗೆ, ನಿಮ್ಮ ಪರೀಕ್ಷೆಗಳನ್ನು ಮೂರ್ಖರನ್ನಾಗಿಸುವ ಕೋಡ್ ಅನ್ನು AI ಉತ್ಪಾದಿಸಬಹುದೇ ಎಂದು ನೋಡಿ. ನಿಮ್ಮ ಆರಂಭಿಕ ಮತ್ತು ಅಂತ್ಯದ ರೂಪಾಂತರ ಸ್ಕೋರ್ ಅನ್ನು ವರದಿ ಮಾಡಿ (ಅಥವಾ ಕ್ಯಾಚ್/ಒಟ್ಟು ರೂಪಾಂತರ ದರ).

ಪರಿಶೀಲನಾಪಟ್ಟಿ

• [ ] ನಾನು ಮ್ಯುಟೇಶನ್ ಸ್ಕೋರ್ ಮೂಲಕ ಪರೀಕ್ಷೆಯ ಗುಣಮಟ್ಟವನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡಿದ್ದೇನೆ, ಕವರೇಜ್ ಅಲ್ಲ.
• [ ] ನಾನು ನಿರ್ಣಾಯಕ ಕೋಡ್‌ಗಾಗಿ ರೂಪಾಂತರ ಪರೀಕ್ಷೆಯನ್ನು (ಉಪಕರಣದ ಮೂಲಕ ಅಥವಾ ಹಸ್ತಚಾಲಿತವಾಗಿ) ನಡೆಸಿದ್ದೇನೆ.
• [ ] ನಾನು ಉಳಿದಿರುವ ಪ್ರತಿ ರೂಪಾಂತರಕ್ಕೆ ಹೊಸ ಪರೀಕ್ಷೆಗಳನ್ನು ಬರೆದಿದ್ದೇನೆ.
• [ ] ನಾನು AI ಅನ್ನು ಕೆಂಪು ತಂಡವಾಗಿ ಬಳಸಿದ್ದೇನೆ ಮತ್ತು ನನ್ನ ಪರೀಕ್ಷೆಗಳಲ್ಲಿ ಲೋಪದೋಷಗಳನ್ನು ಹುಡುಕಿದೆ.
• [ ] ನಾನು AI ಯ "ನಿಮ್ಮ ಪರೀಕ್ಷೆಗಳು ಉತ್ತಮವಾಗಿವೆ" ಎಂಬ ಪ್ರಶಂಸೆಯನ್ನು ಭರವಸೆಯಾಗಿ ತೆಗೆದುಕೊಳ್ಳಲಿಲ್ಲ.
• [ ] ಪ್ರತಿ ಪರೀಕ್ಷೆಯು ನಿಜವಾದ ಸಮರ್ಥನೆ, ಸ್ವತಂತ್ರ ನಿರೀಕ್ಷಿತ ಮೌಲ್ಯ ಮತ್ತು ವ್ಯವಹಾರ ನಿಯಮವನ್ನು ಪರಿಶೀಲಿಸುತ್ತದೆ ಎಂದು ನಾನು ಪರಿಶೀಲಿಸಿದ್ದೇನೆ.