ಮಾದರಿ ಆಯ್ಕೆ: ಸರಿಯಾದ ಉದ್ಯೋಗಕ್ಕಾಗಿ ಸರಿಯಾದ ಮಾದರಿ

ಲಾಭಗಳು:

ಸಾಮರ್ಥ್ಯ, ವೇಗ ಮತ್ತು ವೆಚ್ಚದ ಮೇಲೆ ಮಾದರಿ ಕುಟುಂಬವನ್ನು (ವೇಗ/ಸಮತೋಲಿತ/ಶಕ್ತಿಯುತ) ಹೋಲಿಸಬಹುದು
ಕಾರ್ಯ ಸಂಕೀರ್ಣತೆಗೆ ಅನುಗುಣವಾಗಿ ಮಾದರಿ ಆಯ್ಕೆ ಮತ್ತು ರೂಟಿಂಗ್ ತಂತ್ರಗಳನ್ನು ವಿನ್ಯಾಸಗೊಳಿಸುತ್ತದೆ
ಎವಾಲ್‌ಗಳ ಸಣ್ಣ ಗುಂಪಿನೊಂದಿಗೆ ಸಾಕ್ಷ್ಯದ ಮೇಲೆ ಮಾದರಿ ಆಯ್ಕೆಯನ್ನು ಆಧರಿಸಿದೆ

LLM ಏಕೀಕರಣದಲ್ಲಿ ನಿಮ್ಮ ಬಕ್ ಮತ್ತು ಗುಣಮಟ್ಟಕ್ಕಾಗಿ ನಿಮ್ಮ ಹೆಚ್ಚಿನ ಬ್ಯಾಂಗ್ ಅನ್ನು ನಿರ್ಧರಿಸುವ ಏಕೈಕ ನಿರ್ಧಾರವೆಂದರೆ ನೀವು ಯಾವ ಮಾದರಿಯನ್ನು ಬಳಸುತ್ತೀರಿ. ಸಾಮಾನ್ಯ ಪ್ರತಿಫಲಿತವು "ಬಲವಾದ ಮಾದರಿಯನ್ನು ಆರಿಸಿ"; ಆದಾಗ್ಯೂ, ಇದು ಸಾಮಾನ್ಯವಾಗಿ ಅನಗತ್ಯ ವೆಚ್ಚಗಳು ಮತ್ತು ವಿಳಂಬಗಳನ್ನು ಅರ್ಥೈಸುತ್ತದೆ. ಪ್ರತಿ ಕಾರ್ಯವನ್ನು ಸಾಧಿಸುವ ಹಗುರವಾದ ಮಾದರಿಯನ್ನು ಆರಿಸುವುದು ಮತ್ತು ಮಾಪನದ ಮೇಲೆ ಆ ಆಯ್ಕೆಯನ್ನು ಆಧರಿಸಿರುವುದು ಸರಿಯಾದ ವಿಧಾನವಾಗಿದೆ, ಆದರೆ ಊಹೆಯ ಕೆಲಸವಲ್ಲ. ಈ ಘಟಕದಲ್ಲಿ, ನೀವು ಸಾಮರ್ಥ್ಯ/ವೇಗ/ವೆಚ್ಚದ ಅಕ್ಷದ ಮೇಲೆ ಮಾದರಿ ಕುಟುಂಬವನ್ನು ಹೋಲಿಸಿ, ಕಾರ್ಯದ ಸಂಕೀರ್ಣತೆಗೆ ಅನುಗುಣವಾಗಿ ಮಾದರಿ ರೂಟಿಂಗ್ ತಂತ್ರವನ್ನು ಸ್ಥಾಪಿಸಿ ಮತ್ತು ಸಣ್ಣ ಮೌಲ್ಯಮಾಪನಗಳೊಂದಿಗೆ ಆಯ್ಕೆಗೆ ಸಾಕ್ಷಿಯಾಗುತ್ತೀರಿ.

ಮಾದರಿ ಕುಟುಂಬವನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳುವುದು

ಪೂರೈಕೆದಾರರು ಸಾಮಾನ್ಯವಾಗಿ ಮೂರು ವರ್ಗಗಳನ್ನು ನೀಡುತ್ತಾರೆ: ವೇಗ/ಅಗ್ಗ, ಸ್ಥಿರ ಮತ್ತು ಶಕ್ತಿಯುತ. ಅವುಗಳ ನಡುವಿನ ಸಂಬಂಧವನ್ನು ಮೂರು ಅಕ್ಷಗಳ ಮೇಲೆ ಸಂಕ್ಷಿಪ್ತಗೊಳಿಸಲಾಗಿದೆ: ಸಾಮರ್ಥ್ಯ (ಕಷ್ಟದ ಕಾರ್ಯಗಳನ್ನು ಪರಿಹರಿಸುವ ಶಕ್ತಿ), ವೇಗ (ಸುಪ್ತತೆ), ವೆಚ್ಚ (ಟೋಕನ್ ಬೆಲೆ).

ವರ್ಗ

ಉದಾಹರಣೆ

ಪ್ರತಿಭೆ

ವೇಗ

ವೆಚ್ಚ

ಲಭ್ಯವಿರುವ ಕಾರ್ಯಗಳು

ವೇಗವಾಗಿ

ಹೈಕು 4.5

ಮಧ್ಯಮ

ತುಂಬಾ ಹೆಚ್ಚು

ಕಡಿಮೆ

ವರ್ಗೀಕರಣ, ಲೇಬಲಿಂಗ್, ಸಂಕ್ಷಿಪ್ತ ಸಾರಾಂಶ, ದೃಷ್ಟಿಕೋನ

ಸಮತೋಲಿತ

ಸಾನೆಟ್ 5

ಹೆಚ್ಚು

ಮಧ್ಯಮ

ಸಾಮಾನ್ಯ ಉದ್ದೇಶ, ಕೋಡಿಂಗ್, ಬಹು-ಹಂತದ ಹರಿವು, ಹೆಚ್ಚಿನ ಏಜೆಂಟ್ ಕೆಲಸ

ಬಲವಾದ

ಓಪಸ್ 4.8

ಅತ್ಯಧಿಕ

ಮಧ್ಯಮ

ಹೆಚ್ಚು

ಸಂಕೀರ್ಣ ತಾರ್ಕಿಕತೆ, ದೀರ್ಘ-ಶ್ರೇಣಿಯ ಸ್ವಾಯತ್ತ ಕಾರ್ಯಗಳು, ಕಷ್ಟಕರವಾದ ವಿಶ್ಲೇಷಣೆ

ವಿಮರ್ಶಾತ್ಮಕ ಒಳನೋಟ: ಹೆಚ್ಚು ಶಕ್ತಿಯುತ ಮಾದರಿಯು ಪ್ರತಿ ಕೆಲಸದಲ್ಲೂ ಉತ್ತಮವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುವುದಿಲ್ಲ. ಸರಳವಾದ "ತುರ್ತು ಅಥವಾ ಇಲ್ಲ" ಲೇಬಲಿಂಗ್‌ನಲ್ಲಿ, ಬಲವಾದ ಮಾದರಿ ಮತ್ತು ವೇಗದ ಮಾದರಿಯು ಒಂದೇ ಸರಿಯಾದ ಉತ್ತರವನ್ನು ನೀಡುತ್ತದೆ; ಒಂದೇ ವ್ಯತ್ಯಾಸವೆಂದರೆ ಶಕ್ತಿಯು 5 ಪಟ್ಟು ಹೆಚ್ಚು ದುಬಾರಿ ಮತ್ತು ನಿಧಾನವಾಗಿರುತ್ತದೆ. ಮಿಷನ್ ಅಗತ್ಯವಿದ್ದಾಗ ಮಾತ್ರ ಹೆಚ್ಚುವರಿ ಪ್ರತಿಭೆ ಮೌಲ್ಯವನ್ನು ಉತ್ಪಾದಿಸುತ್ತದೆ.

ಹಂತ ಹಂತವಾಗಿ: ಮಾದರಿಯನ್ನು ಹೇಗೆ ಆರಿಸುವುದು?

ಕಾರ್ಯವನ್ನು ವರ್ಗೀಕರಿಸಿ. ಇದು ವಾಡಿಕೆಯ/ಮಾದರಿಯ (ಲೇಬಲಿಂಗ್, ನಿರ್ಣಯ) ಅಥವಾ ಮುಕ್ತ-ಮುಕ್ತ/ಬಹು-ಹಂತ (ವಿಶ್ಲೇಷಣೆ, ಯೋಜನೆ, ಕೋಡ್) ಆಗಿದೆಯೇ?
ಹಗುರವಾದ ಅಭ್ಯರ್ಥಿಯೊಂದಿಗೆ ಪ್ರಾರಂಭಿಸಿ. ವೇಗದ ಮಾದರಿಯೊಂದಿಗೆ ಇದನ್ನು ಪ್ರಯತ್ನಿಸಿ. ಅದು ಸಾಕಾಗಿದ್ದರೆ, ನಿಲ್ಲಿಸಿ.
ಇದು ಸಾಕಾಗದಿದ್ದರೆ, ಉನ್ನತ ವರ್ಗಕ್ಕೆ ತೆರಳಿ. ನಿಖರತೆ ಕಡಿಮೆಯಿದ್ದರೆ, ಸಮತೋಲಿತ ಒಂದಕ್ಕೆ ಹೋಗಿ, ಅದು ಸಾಕಾಗದಿದ್ದರೆ, ಬಲಕ್ಕೆ ಹೋಗಿ.
ಅಳೆಯಿರಿ, ಊಹಿಸಬೇಡಿ. ಪ್ರತಿ ಅಭ್ಯರ್ಥಿಯ ನಿಖರತೆ ಮತ್ತು ವೆಚ್ಚವನ್ನು ಸಣ್ಣ ಗುಂಪಿನ ಇವಾಲ್‌ನೊಂದಿಗೆ ಹೋಲಿಕೆ ಮಾಡಿ (ಕೆಳಗೆ).
ಮರುನಿರ್ದೇಶನವನ್ನು ಹೊಂದಿಸಿ. ಒಂದೇ ಮಾದರಿಗೆ ಸಂಪರ್ಕಿಸುವ ಬದಲು, "ರೂಟರ್" ನೊಂದಿಗೆ ಸರಿಯಾದ ಮಾದರಿಗೆ ಕೆಲಸವನ್ನು ವಿತರಿಸಿ.

ಮಾದರಿ ರೂಟಿಂಗ್

ನಿಜವಾದ ಕೆಲಸದ ಹೊರೆಗಳು ಮಿಶ್ರಣವಾಗಿವೆ: ಹೆಚ್ಚಿನ ಒಳಬರುವ ವಿನಂತಿಗಳು ಸರಳವಾಗಿದೆ, ಕೆಲವು ಕಷ್ಟ. ಅವರೆಲ್ಲರನ್ನೂ ಶಕ್ತಿಶಾಲಿ ಮಾದರಿಗೆ ಕಳುಹಿಸುವುದು ವ್ಯರ್ಥ; ಅವೆಲ್ಲವನ್ನೂ ವೇಗದ ಮಾದರಿಗೆ ಕಳುಹಿಸುವುದರಿಂದ ಗುಣಮಟ್ಟ ಕಡಿಮೆಯಾಗುತ್ತದೆ. ರೂಟಿಂಗ್ ಇದನ್ನು ಪರಿಹರಿಸುತ್ತದೆ: ಅಗ್ಗದ ಮಾದರಿ (ಅಥವಾ ಸರಳ ನಿಯಮ) ಕೆಲಸವನ್ನು ಮೊದಲು ವರ್ಗೀಕರಿಸುತ್ತದೆ, ನಂತರ ಕೆಲಸವು ಸೂಕ್ತವಾದ ಮಾದರಿಗೆ ಹೋಗುತ್ತದೆ.

# ರೂಟರ್ ಪ್ರಾಂಪ್ಟ್ (ಅಗ್ಗದ ಮಾದರಿಯೊಂದಿಗೆ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ) ಒಳಬರುವ ವಿನಂತಿಯನ್ನು ಅದರ ತೊಂದರೆಗೆ ಅನುಗುಣವಾಗಿ ವರ್ಗೀಕರಿಸಿ. ಈ ಕೆಳಗಿನ JSON ಅನ್ನು ಮಾತ್ರ ಹಿಂತಿರುಗಿಸಿ:{"difficulty": "simple|complex"}ಸರಳ: ಏಕ-ಹಂತ, ಸೂತ್ರ, ಚಿಕ್ಕ-ಉತ್ತರ. ಸಂಕೀರ್ಣ: ಬಹು-ಹಂತದ ತಾರ್ಕಿಕ, ವಿಶ್ಲೇಷಣೆ ಅಥವಾ ದೀರ್ಘ ಪೀಳಿಗೆಯ ಅಗತ್ಯವಿದೆ. ವಿನಂತಿ: """{{request}}"""

ಸರಳ → ವೇಗದ ಮಾದರಿಗೆ ಹೋಗಿ (ಅಗ್ಗದ, ವೇಗದ).
ಸಂಕೀರ್ಣ → ಶಕ್ತಿಯುತ ಮಾದರಿಗೆ ಹೋಗಿ (ದುಬಾರಿ ಆದರೆ ಅಗತ್ಯ).

ಈ ಮಾದರಿಯು ಸರಾಸರಿ ವೆಚ್ಚವನ್ನು ಗಣನೀಯವಾಗಿ ಕಡಿಮೆ ಮಾಡುತ್ತದೆ ಏಕೆಂದರೆ ಹೆಚ್ಚಿನ ದಟ್ಟಣೆಯು ಸಾಮಾನ್ಯವಾಗಿ ಸರಳವಾಗಿದೆ.

ಸಲಹೆ: ರೆಫರಲ್ ನಿರ್ಧಾರಕ್ಕೆ ಯಾವಾಗಲೂ LLM ಅಗತ್ಯವಿರುವುದಿಲ್ಲ. "ಪಠ್ಯವು 20 ಪದಗಳಿಗಿಂತ ಕಡಿಮೆಯಿದ್ದರೆ ವೇಗದ ಮಾದರಿಗೆ ಹೋಗಿ" ನಂತಹ ಸರಳ ನಿಯಮಗಳು ಸಹ ಮಾರ್ಗದರ್ಶಿಯಾಗಿದೆ ಮತ್ತು ಶೂನ್ಯ ಹೆಚ್ಚುವರಿ ಟೋಕನ್ ವೆಚ್ಚವನ್ನು ತರುತ್ತವೆ. ಮೊದಲು ನಿಯಮವನ್ನು ಪ್ರಯತ್ನಿಸಿ.

ಲಿಂಕಿಂಗ್ ಚಾಯ್ಸ್ ಟು ಎವಿಡೆನ್ಸ್: ದಿ ಸ್ಮಾಲ್ ಇವಾಲ್ ಕ್ಲಸ್ಟರ್

"ಇದು ನನಗೆ ಉತ್ತಮವಾಗಿ ಕಾಣುತ್ತದೆ" ಎಂಬ ಆಧಾರದ ಮೇಲೆ ಮಾದರಿಯನ್ನು ಆಯ್ಕೆ ಮಾಡಬೇಡಿ. Eval (ಮೌಲ್ಯಮಾಪನ ಸೆಟ್) ಸರಿಯಾದ ಉತ್ತರವನ್ನು ತಿಳಿದಿರುವ ಮಾದರಿಗಳ ಒಂದು ಸಣ್ಣ ಸೆಟ್ ಆಗಿದೆ; ನೀವು ಈ ಸೆಟ್‌ನಲ್ಲಿ ಪ್ರತಿ ಮಾದರಿಯನ್ನು ರನ್ ಮಾಡಿ ಮತ್ತು ನಿಖರತೆ, ವೆಚ್ಚ ಮತ್ತು ಸುಪ್ತತೆಯನ್ನು ಅಳೆಯಿರಿ.

# Eval ಸೆಟಪ್ ಟೆಂಪ್ಲೇಟ್ 1) 20-50 ನೈಜ ಉದಾಹರಣೆಗಳನ್ನು ಸಂಗ್ರಹಿಸಿ, ಪ್ರತಿಯೊಂದರಲ್ಲೂ "ಸರಿಯಾದ ಉತ್ತರ" ಬರೆಯಿರಿ. 2) ಈ ಸೆಟ್‌ನಲ್ಲಿ ಪ್ರತಿ ಮಾದರಿಯನ್ನು (ವೇಗ/ಸಮತೋಲಿತ/ಬಲವಾದ) ರನ್ ಮಾಡಿ. 3) ಪ್ರತಿ ಮಾದರಿಗೆ: ತಿದ್ದುಪಡಿಗಳ ಸಂಖ್ಯೆ, ಸರಾಸರಿ ಥ್ರೋಪುಟ್ ಟೋಕನ್‌ಗಳು, ಪ್ರತಿ ವಿನಂತಿಯ ವೆಚ್ಚ, ಸರಾಸರಿ ಸಮಯ. 4) "ಸಾಕಷ್ಟು ಅಗ್ಗದ" ನಿಖರತೆಯನ್ನು ನೀಡುವ ಮಾದರಿಯನ್ನು ಆರಿಸಿ.

# ಎವಲ್ ಹೋಲಿಕೆ ಕೋಷ್ಟಕ (ಭರ್ತಿ) ಮಾದರಿ | ನಿಖರತೆ | ಪ್ರತಿ ವಿನಂತಿಯ ವೆಚ್ಚ | ಸರಾಸರಿ ಅವಧಿ ಹೈಕು | ...% | ... $ | ... snSonnet | ...% | ... $ | ... snOpus | ...% | ... $ | ...ಸೆಕೆಂಡು

ದುರ್ಬಲ ಪ್ರಾಂಪ್ಟ್ / ಬಲವಾದ ಪ್ರಾಂಪ್ಟ್ (ಮಾದರಿ ಆಯ್ಕೆ ನಿರ್ಧಾರ)

# ದುರ್ಬಲ (ನಿರ್ಧಾರಕ್ಕೆ ಆಧಾರವಿಲ್ಲ) ಉತ್ತಮ ಮಾದರಿಯನ್ನು ಬಳಸೋಣ, ಬಜೆಟ್ ಮುಖ್ಯವಲ್ಲ.

# STRONG (ಮಾಪನದ ಆಧಾರದ ಮೇಲೆ ನಿರ್ಧಾರ) 50 ಮಾದರಿಗಳ ಸಮೀಕರಣದಲ್ಲಿ, ಹೈಕು 96% ನಿಖರತೆಯನ್ನು ನೀಡಿತು, ಸಾನೆಟ್ 97% ನಿಖರತೆಯನ್ನು ನೀಡಿತು; ವ್ಯತ್ಯಾಸವು ಸಂಖ್ಯಾಶಾಸ್ತ್ರೀಯವಾಗಿ ಅತ್ಯಲ್ಪವಾಗಿದೆ. 5 ಪಟ್ಟು ಅಗ್ಗ ಮತ್ತು 2 ಪಟ್ಟು ವೇಗವಾಗಿರುವ ಕಾರಣ ಹೈಕು ಆಯ್ಕೆ ಮಾಡಲಾಗಿದೆ. ನಿಖರತೆಯು 95% ಕ್ಕಿಂತ ಕಡಿಮೆಯಾದರೆ, ಸಾನೆಟ್‌ಗೆ ಅಪ್‌ಗ್ರೇಡ್ ಮಾಡುವ ನಿರ್ಧಾರವನ್ನು ಸ್ವಯಂಚಾಲಿತವಾಗಿ ಮಾಡಲಾಗುತ್ತದೆ.

ಶಕ್ತಿಯುತ ಆವೃತ್ತಿ; ಆಯ್ಕೆಯನ್ನು ಒಂದು ಸಂಖ್ಯೆ, ಮಿತಿ ಮತ್ತು ಏರಿಕೆಯ ನಿಯಮಕ್ಕೆ ಬಂಧಿಸುತ್ತದೆ. ಇದು ಇಂದಿನ ನಿರ್ಧಾರವನ್ನು ಸಮರ್ಥಿಸುತ್ತದೆ ಮತ್ತು ಭವಿಷ್ಯದ ಬದಲಾವಣೆಯನ್ನು ನಿರ್ವಹಿಸುತ್ತದೆ.

ಮೂರು ಮಿನಿ ಪ್ರಕರಣಗಳು

ಪ್ರಕರಣ 1 - ಶಕ್ತಿಯುತ ಮಾದರಿಯಿಂದ ತಪ್ಪಿಸಿಕೊಳ್ಳಿ. ಕಾಲ್ ಸೆಂಟರ್ ಓಪಸ್‌ನೊಂದಿಗೆ ಎಲ್ಲಾ ಸಂಭಾಷಣೆ ಸಾರಾಂಶಗಳನ್ನು ತಯಾರಿಸುತ್ತಿದೆ; ಮಾಸಿಕ ಬಿಲ್ ಅಧಿಕವಾಗಿತ್ತು. 40-ಮಾದರಿ eval ನಲ್ಲಿ, ಸಾನೆಟ್ ನಿಖರತೆಯಲ್ಲಿ ಓಪಸ್‌ಗಿಂತ 1% ಹಿಂದೆ ಇತ್ತು ಆದರೆ ಮೂರನೇ ಒಂದು ಭಾಗದಷ್ಟು ವೆಚ್ಚವಾಯಿತು. ಅವರು ಸಾರಾಂಶದ ಕೆಲಸವನ್ನು ಸಾನೆಟ್‌ಗೆ ಸ್ಥಳಾಂತರಿಸಿದರು; ಗುಣಮಟ್ಟದ ದೂರುಗಳಿಲ್ಲದೆ ಮಾಸಿಕ ವೆಚ್ಚವು $9,000 ರಿಂದ $3,100 ಕ್ಕೆ ಇಳಿದಿದೆ.

ಪ್ರಕರಣ 2 - ಪುನರ್ನಿರ್ದೇಶನದೊಂದಿಗೆ ಮಿಶ್ರ ಸಂಚಾರ. ಕಾನೂನು ತಾಂತ್ರಿಕ ತಂಡದ 80% ವಿನಂತಿಗಳು ಸರಳ ಡಾಕ್ಯುಮೆಂಟ್ ಟ್ಯಾಗಿಂಗ್ ಆಗಿದ್ದು, 20% ಸಂಕೀರ್ಣವಾದ ಒಪ್ಪಂದದ ವಿಶ್ಲೇಷಣೆಯಾಗಿದೆ. ಅವರೆಲ್ಲರನ್ನೂ ಶಕ್ತಿಶಾಲಿ ಮಾದರಿಗೆ ಕಳುಹಿಸುತ್ತಿದ್ದರು. ಅವರು ಅಗ್ಗದ ರೂಟರ್ ಅನ್ನು ಸೇರಿಸಿದರು ಮತ್ತು ಹೈಕುಗೆ ಸರಳವಾದ ಉದ್ಯೋಗಗಳನ್ನು ಮತ್ತು ಓಪಸ್ಗೆ ಸಂಕೀರ್ಣ ಉದ್ಯೋಗಗಳನ್ನು ವಿತರಿಸಿದರು; ಸರಾಸರಿ ವಿನಂತಿಯ ವೆಚ್ಚವು 64% ರಷ್ಟು ಕಡಿಮೆಯಾಗಿದೆ, ಆದರೆ ವಿಶ್ಲೇಷಣೆ ಗುಣಮಟ್ಟವನ್ನು ಕಾಯ್ದುಕೊಳ್ಳಲಾಗಿದೆ.

ಪ್ರಕರಣ 3 - ಅಳತೆ ಮಾಡದೆ ಕಡಿಮೆ ಮಾಡುವ ವೆಚ್ಚ. ವೆಚ್ಚವನ್ನು ಕಡಿಮೆ ಮಾಡಲು, ಒಂದು ತಂಡವು ಸಂಕೀರ್ಣ ವೈದ್ಯಕೀಯ ಕೋಡ್ ಹೊರತೆಗೆಯುವಿಕೆಯನ್ನು ನೇರವಾಗಿ ವೇಗದ ಮಾದರಿಗೆ ತಗ್ಗಿಸಿತು; ಅವರು ಮೌಲ್ಯಮಾಪನ ಮಾಡಲಿಲ್ಲ. ಲೈವ್‌ನಲ್ಲಿ, ನಿಖರತೆಯು 92% ರಿಂದ 78% ಕ್ಕೆ ಇಳಿಯಿತು, ಇದರ ಪರಿಣಾಮವಾಗಿ ತಪ್ಪಾದ ತೀರ್ಮಾನಗಳು ಮರಳಿದವು. ಅವರು ಮೊದಲು ಮೌಲ್ಯಮಾಪನ ಮಾಡಬೇಕಾಗಿತ್ತು: ಆ ಕಾರ್ಯಕ್ಕೆ ಶಕ್ತಿಯುತ ಮಾದರಿಯ ಅಗತ್ಯವಿದೆ. ಪಾಠ: ಕಡಿತ ಮತ್ತು ಎತ್ತರ ಎರಡನ್ನೂ ಮಾಪನದಿಂದ ಮಾಡಲಾಗುತ್ತದೆ.

ಸಾಮಾನ್ಯ ತಪ್ಪುಗಳು

"ಬಲವಾದ ಮಾದರಿ" ಪ್ರತಿಫಲಿತ: ಸರಳ ಕಾರ್ಯಗಳಲ್ಲಿ ತ್ಯಾಜ್ಯ ಮತ್ತು ಅನಗತ್ಯ ವಿಳಂಬ.
ಅಳತೆಯಿಲ್ಲದೆ ಮಾದರಿಯನ್ನು ಬದಲಾಯಿಸುವುದು: ಕಡಿಮೆಗೊಳಿಸುವಿಕೆ ಮತ್ತು ಹಿಗ್ಗುವಿಕೆ ಇವೆರಡೂ ಇವಾಲ್ ಇಲ್ಲದೆ ಅಪಾಯಕಾರಿ.
ಒಂದೇ ಮಾದರಿಯಲ್ಲಿ ಲಾಕ್ ಮಾಡುವುದು: ಮಿಶ್ರ ಸಂಚಾರದಲ್ಲಿ ರೂಟಿಂಗ್ ಸಾಮಾನ್ಯವಾಗಿ ಹೆಚ್ಚು ಪರಿಣಾಮಕಾರಿಯಾಗಿರುತ್ತದೆ.
LLM ಗಾಗಿ ರೂಟರ್ ಅನ್ನು ಯಾವಾಗಲೂ ತಪ್ಪಾಗಿ ಗ್ರಹಿಸುವುದು: ಸರಳ ನಿಯಮಗಳು ಶೂನ್ಯ ವೆಚ್ಚದಲ್ಲಿ ಕೆಲಸ ಮಾಡಬಹುದು.
ಬೂಸ್ಟ್ ಥ್ರೆಶೋಲ್ಡ್ ಅನ್ನು ಹೊಂದಿಸುತ್ತಿಲ್ಲ: ನಿಖರತೆಯ ಕುಸಿತವನ್ನು ಮುಂಚಿತವಾಗಿ ವ್ಯಾಖ್ಯಾನಿಸಿದರೆ ಏನಾಗುತ್ತದೆ.
ಮಾದರಿ ಆವೃತ್ತಿಯನ್ನು ಸರಿಪಡಿಸುತ್ತಿಲ್ಲ: ಉತ್ಪಾದನೆಯಲ್ಲಿ ನೀವು ಯಾವ ಮಾದರಿ/ಆವೃತ್ತಿಯಲ್ಲಿ ಕೆಲಸ ಮಾಡುತ್ತಿದ್ದೀರಿ ಎಂದು ರೆಕಾರ್ಡ್ ಮಾಡಿ; ಆವೃತ್ತಿ ಬದಲಾವಣೆಯು ನಡವಳಿಕೆಯನ್ನು ಬದಲಾಯಿಸಬಹುದು.

ಆಳವಾದ: ಈವಲ್ ಮತ್ತು ಇನ್ಕ್ರಿಮೆಂಟಲ್ ಟ್ರಯಲ್ ಅನ್ನು ಶಾಶ್ವತಗೊಳಿಸುವುದು

ಮಾದರಿ ಆಯ್ಕೆಯು ಒಂದು ಬಾರಿ ನಿರ್ಧಾರವಲ್ಲ. ಪೂರೈಕೆದಾರರು ಹೊಸ ಮಾದರಿಗಳನ್ನು ಪರಿಚಯಿಸುತ್ತಾರೆ, ಬೆಲೆಗಳು ಬದಲಾಗುತ್ತವೆ, ನಿಮ್ಮ ಉದ್ಯೋಗ ವಿವರಣೆಯು ವಿಕಸನಗೊಳ್ಳುತ್ತದೆ. ಆದ್ದರಿಂದ eval ಕ್ಲಸ್ಟರ್ ಅನ್ನು ಒಮ್ಮೆ ಹೊಂದಿಸಿ ಮತ್ತು ಮರೆಯಬೇಡಿ; ಅದನ್ನು ಜೀವಂತ ಜೀವಿಯಂತೆ ಹಿಡಿದುಕೊಳ್ಳಿ. ಹೊಸ ಮಾದರಿಯು ಹೊರಬಂದಾಗ, ನೀವು ಅದರ ಮೂಲಕ ಅದೇ 20-50 ಮಾದರಿಗಳನ್ನು ರನ್ ಮಾಡಿ, ಟೇಬಲ್ ಅನ್ನು ನವೀಕರಿಸಿ ಮತ್ತು ನಿಮ್ಮ ನಿರ್ಧಾರವನ್ನು ಮತ್ತೆ ಮಾಡಿ. ಇದು "ಪ್ಯಾಟರ್ನ್-ಸ್ವಿಚಿಂಗ್ ಅಂತಃಪ್ರಜ್ಞೆ" ಬಲೆಗೆ ನಿಮ್ಮನ್ನು ರಕ್ಷಿಸುತ್ತದೆ.

ಎರಡನೆಯ ಸುಧಾರಿತ ತಂತ್ರವು ಫಾಲ್ಬ್ಯಾಕ್ / ಕ್ಯಾಸ್ಕೇಡ್ ಮಾದರಿಯಾಗಿದೆ. ನೀವು ಮೊದಲು ಅಗ್ಗದ ಮಾದರಿಗೆ ಕೆಲಸವನ್ನು ನೀಡುತ್ತೀರಿ; ಔಟ್‌ಪುಟ್ ಕಡಿಮೆ ವಿಶ್ವಾಸವನ್ನು ಹೊಂದಿದ್ದರೆ ಅಥವಾ ಪರಿಶೀಲನೆ ಲೇಯರ್ (ಘಟಕ 11) ಅದನ್ನು ತಿರಸ್ಕರಿಸಿದರೆ, ನೀವು ಅದೇ ವಿನಂತಿಯನ್ನು ಹೆಚ್ಚಿಸುತ್ತೀರಿ. ಆದ್ದರಿಂದ ಹೆಚ್ಚಿನ ದಟ್ಟಣೆಯನ್ನು ಅಗ್ಗದ ಮಾದರಿಯಲ್ಲಿ ಪರಿಹರಿಸಲಾಗುತ್ತದೆ, ಉಳಿದ ಅಲ್ಪಸಂಖ್ಯಾತರು ಮಾತ್ರ ದುಬಾರಿ ಮಾದರಿಗೆ ಹೋಗುತ್ತಾರೆ. ಸ್ಥಿರವಾದ ಏಕ-ಮಾದರಿ ವಿಧಾನಕ್ಕಿಂತ ಇದು ಅಗ್ಗವಾಗಿದೆ ಮತ್ತು ಹೆಚ್ಚು ಬಾಳಿಕೆ ಬರುವಂತಹದ್ದಾಗಿದೆ.

ಮೂರನೆಯ ಅಂಶವೆಂದರೆ ಎವಲ್ ನಿಖರತೆ ಮಾತ್ರವಲ್ಲದೆ ವೆಚ್ಚ ಮತ್ತು ಸುಪ್ತತೆಯನ್ನು ಒಳಗೊಂಡಿರುತ್ತದೆ. ಒಂದು ಮಾದರಿಯು 1% ಹೆಚ್ಚು ನಿಖರವಾಗಿದೆ ಆದರೆ 3 ಪಟ್ಟು ಹೆಚ್ಚು ದುಬಾರಿ ಮತ್ತು 2 ಪಟ್ಟು ನಿಧಾನವಾಗಿದ್ದರೆ, ಹೆಚ್ಚಿನ ಉದ್ಯೋಗಗಳಿಗೆ ವ್ಯಾಪಾರ-ವಹಿವಾಟು ಯೋಗ್ಯವಾಗಿರುವುದಿಲ್ಲ. ಮೂರು ಅಕ್ಷಗಳ (ನಿಖರತೆ, ವೆಚ್ಚ, ಸುಪ್ತತೆ) ಜೊತೆಗೆ ನಿರ್ಧಾರವನ್ನು ಮಾಡಿ ಮತ್ತು "ಸಮರ್ಥತೆಯ ಮಿತಿ" ಅನ್ನು ವ್ಯಾಖ್ಯಾನಿಸಿ: "ನಿಖರತೆಯು 95% ಕ್ಕಿಂತ ಹೆಚ್ಚಿದ್ದರೆ, ಅಗ್ಗದದನ್ನು ಆರಿಸಿ."

ಅಂತಿಮವಾಗಿ, ನೀವು ಉತ್ಪಾದನೆಯಲ್ಲಿ ಬಳಸಿದ ಮಾದರಿ/ಆವೃತ್ತಿಯನ್ನು ರೆಕಾರ್ಡ್ ಮಾಡಿ. ಒಂದು ದಿನ ಔಟ್ಪುಟ್ ಗುಣಮಟ್ಟ ಬದಲಾದರೆ, ನೀವು ನೋಡುವ ಮೊದಲ ವಿಷಯವೆಂದರೆ ಮಾಡೆಲ್ ಆವೃತ್ತಿಯು ಬದಲಾಗಿದೆಯೇ ಎಂದು. ಆವೃತ್ತಿ ಪತ್ತೆಹಚ್ಚುವಿಕೆ ಗುಣಮಟ್ಟದ ಸಮಸ್ಯೆಗಳ ಮೂಲ ಕಾರಣವನ್ನು ಕಂಡುಹಿಡಿಯುವುದನ್ನು ವೇಗವಾಗಿ ಮಾಡುತ್ತದೆ.

ಇನ್ನೂ ಒಂದು ಎಚ್ಚರಿಕೆ: ಇವಾಲ್ ಕ್ಲಸ್ಟರ್ ನಿಮ್ಮ ನಿಜವಾದ ಕೆಲಸದ ಹೊರೆಯನ್ನು ಪ್ರತಿನಿಧಿಸಬೇಕು. ಸುಲಭವಾದ ಉದಾಹರಣೆಗಳನ್ನು ಒಳಗೊಂಡಿರುವ ಒಂದು ಎವಲ್, ಕಷ್ಟಕರ ಸಂದರ್ಭಗಳಲ್ಲಿ ಮಾದರಿಯು ಎಡವಿದಾಗ ಮತ್ತು ನಿಮ್ಮನ್ನು ಸುಳ್ಳು ವಿಶ್ವಾಸಕ್ಕೆ ತಳ್ಳುವ ಸ್ಥಳದಲ್ಲಿ ಮರೆಮಾಡುತ್ತದೆ. ಉತ್ತಮ ಇವಾಲ್; ಇದು ಸಾಮಾನ್ಯ ಸುಲಭ ಉದಾಹರಣೆಗಳನ್ನು ಮತ್ತು ವಾಸ್ತವದಲ್ಲಿ ನೀವು ಎದುರಿಸುವ ಮೂಲೆ ಪ್ರಕರಣಗಳನ್ನು ಒಳಗೊಂಡಿದೆ (ಅಸ್ಪಷ್ಟ, ಅಪೂರ್ಣ, ವಿರೋಧಾತ್ಮಕ ಒಳಹರಿವು). ಈ ಕಷ್ಟಕರವಾದ ಅಲ್ಪಸಂಖ್ಯಾತರು ನಿಮ್ಮ ಮಾದರಿಯ ಆಯ್ಕೆಯನ್ನು ನಿರ್ಧರಿಸುತ್ತದೆ, ಏಕೆಂದರೆ ಪ್ರತಿ ಮಾದರಿಯು ಹೇಗಾದರೂ ಸುಲಭ ಬಹುಮತದಲ್ಲಿ ಯಶಸ್ವಿಯಾಗುತ್ತದೆ. ನಿಯತಕಾಲಿಕವಾಗಿ ಹೊಸ ನೈಜ ಉದಾಹರಣೆಗಳನ್ನು ನೀಡುವ ಮೂಲಕ ನಿಮ್ಮ Eval ಅನ್ನು ತಾಜಾ ಮತ್ತು ಪ್ರತಿನಿಧಿಯಾಗಿ ಇರಿಸಿ.

ಸಾರಾಂಶದಲ್ಲಿ

ಸರಿಯಾದ ಮಾದರಿಯು ಕೆಲಸವನ್ನು ಪೂರ್ಣಗೊಳಿಸುವ ಹಗುರವಾದ ಮಾದರಿಯಾಗಿದೆ; ಪ್ರತಿ ಕೆಲಸದಲ್ಲೂ ಹೆಚ್ಚು ಶಕ್ತಿಯುತವಾಗಿರುವುದು ಉತ್ತಮವಲ್ಲ, ಅದು ಹೆಚ್ಚು ದುಬಾರಿ ಮತ್ತು ನಿಧಾನವಾಗಿರುತ್ತದೆ. ಕಾರ್ಯವನ್ನು ವರ್ಗೀಕರಿಸುವುದು ಮತ್ತು ಹಗುರವಾದ ಅಭ್ಯರ್ಥಿಯಿಂದ ಪ್ರಾರಂಭಿಸುವುದು, ರೂಟಿಂಗ್‌ನೊಂದಿಗೆ ಮಿಶ್ರ ದಟ್ಟಣೆಯನ್ನು ವಿತರಿಸುವುದು ಮತ್ತು ಆಯ್ಕೆಯನ್ನು ಸಣ್ಣ ಇವಾಲ್‌ಗಳೊಂದಿಗೆ ಸಮರ್ಥಿಸುವುದು ಗುಣಮಟ್ಟವನ್ನು ಕಾಪಾಡಿಕೊಳ್ಳುವಾಗ ವೆಚ್ಚವನ್ನು ಹಲವು ಬಾರಿ ಕಡಿಮೆ ಮಾಡುತ್ತದೆ.

ಅಪ್ಲಿಕೇಶನ್ ಕಾರ್ಯ

ಕೆಲಸದ ಹೊರೆ ಆಯ್ಕೆಮಾಡಿ. (1) ಕೆಲಸವನ್ನು ಸರಳ/ಸಂಕೀರ್ಣ ಎಂದು ವರ್ಗೀಕರಿಸಿ. (2) 20 ನೈಜ ಉದಾಹರಣೆಗಳ ಸಣ್ಣ ಇವಾಲ್ ಸೆಟ್ ಅನ್ನು ವಿನ್ಯಾಸಗೊಳಿಸಿ (ಅವುಗಳ ಸರಿಯಾದ ಉತ್ತರಗಳೊಂದಿಗೆ). (3) ಮೂರು ಮಾದರಿ ತರಗತಿಗಳಿಗೆ ನಿಖರತೆ/ವೆಚ್ಚ/ಸಮಯದ ಹೋಲಿಕೆ ಕೋಷ್ಟಕವನ್ನು ಜನಪ್ರಿಯಗೊಳಿಸಲು ಯೋಜನೆಯನ್ನು ರೂಪಿಸಿ. (4) ನೀವು ಮಿಶ್ರ ಸಂಚಾರವನ್ನು ಹೊಂದಿದ್ದರೆ, ರೂಟಿಂಗ್ ನಿಯಮವನ್ನು ಬರೆಯಿರಿ ಮತ್ತು ಏರಿಕೆಯ ಮಿತಿಯನ್ನು ಹೊಂದಿಸಿ.

ಪರಿಶೀಲನಾಪಟ್ಟಿ

[ ] ನಾನು ಮಾದರಿ ಕುಟುಂಬವನ್ನು ಸಾಮರ್ಥ್ಯ/ವೇಗ/ವೆಚ್ಚದ ಅಕ್ಷದ ಮೇಲೆ ಹೋಲಿಸಬಹುದು.
[ ] ನಾನು "ಹಗುರವಾದ ಯಶಸ್ವಿ ಮಾದರಿ" ತತ್ವವನ್ನು ಅನ್ವಯಿಸಬಹುದು.
[ ] ನಾನು ಕಾರ್ಯ ಸಂಕೀರ್ಣತೆಗೆ ಅನುಗುಣವಾಗಿ ಮಾದರಿ ರೂಟಿಂಗ್ ಅನ್ನು ಹೊಂದಿಸಬಹುದು.
[ ] ಇವಾಲ್‌ನ ಸಣ್ಣ ಗುಂಪಿನೊಂದಿಗೆ ನಾನು ಆಯ್ಕೆಯನ್ನು ಸಾಕ್ಷ್ಯಕ್ಕೆ ಬಂಧಿಸಬಹುದು.
[ ] ನಾನು ಅಪ್‌ಗ್ರೇಡ್/ಡಿಮೋಷನ್ ಥ್ರೆಶೋಲ್ಡ್ ಅನ್ನು ವ್ಯಾಖ್ಯಾನಿಸಬಹುದು.