ಲಾಭಗಳು:
- ಟೋಕನ್, ಇನ್ಪುಟ್/ಔಟ್ಪುಟ್ ಟೋಕನ್ ವ್ಯತ್ಯಾಸ ಮತ್ತು ಟೋಕನೈಸೇಶನ್ ಪರಿಕಲ್ಪನೆಯನ್ನು ವಿವರಿಸಿ.
- ಟೋಕನ್ಗಳ ಸಂಖ್ಯೆ ಮತ್ತು ಯೂನಿಟ್ ಬೆಲೆಯಿಂದ ವಿನಂತಿಯ ವೆಚ್ಚ ಮತ್ತು ಮಾಸಿಕ ಕೆಲಸದ ಹೊರೆಯನ್ನು ಲೆಕ್ಕಹಾಕಬಹುದು
- ಮಾದರಿ ಆಯ್ಕೆಯ ಪ್ರಭಾವ ಮತ್ತು ವೆಚ್ಚದ ಮೇಲೆ ಪ್ರಾಂಪ್ಟ್ ಉದ್ದವನ್ನು ಹೋಲಿಸಬಹುದು
LLM API ಗಳ ಅರ್ಥಶಾಸ್ತ್ರವನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳದೆ ನೀವು ಪ್ರಮಾಣದಲ್ಲಿ ಪರಿಹಾರವನ್ನು ನಿರ್ಮಿಸಲು ಸಾಧ್ಯವಿಲ್ಲ. ಒಂದು ಡೆಮೊ ಒಮ್ಮೆ ಓಡುತ್ತದೆ; ಮುಖ್ಯ ವಿಷಯವೆಂದರೆ ತಿಂಗಳಿಗೆ ಸಾವಿರಾರು ಕರೆಗಳನ್ನು ಮಾಡಿದಾಗ ಬಿಲ್ ಏನೆಂದು ಊಹಿಸಲು ಸಾಧ್ಯವಾಗುತ್ತದೆ. ಈ ಘಟಕದಲ್ಲಿ ನಾವು ವಸ್ತುಗಳ ಹಣದ ಭಾಗವನ್ನು ಹೊಂದಿಸುತ್ತೇವೆ: ಟೋಕನ್ ಎಂದರೇನು, ಇನ್ಪುಟ್ ಮತ್ತು ಔಟ್ಪುಟ್ ಏಕೆ ವಿಭಿನ್ನವಾಗಿ ಬೆಲೆಯಾಗಿರುತ್ತದೆ, ವಿನಂತಿಯ ವೆಚ್ಚವನ್ನು ಹೇಗೆ ಲೆಕ್ಕ ಹಾಕುವುದು ಮತ್ತು ಮಾಸಿಕ ಕೆಲಸದ ಹೊರೆಯನ್ನು ಹೇಗೆ ಬಜೆಟ್ ಮಾಡುವುದು. ಈ ಮಾಹಿತಿಯು ನಂತರದ ಘಟಕಗಳಲ್ಲಿ ಆಪ್ಟಿಮೈಸೇಶನ್ ತಂತ್ರಗಳ (ಕ್ಯಾಶಿಂಗ್, ಮಾದರಿ ಆಯ್ಕೆ, ಬ್ಯಾಚ್) ರಿಟರ್ನ್ ಅನ್ನು ಅಳೆಯಲು ನಿಮಗೆ ಅನುಮತಿಸುತ್ತದೆ.
ಟೋಕನ್ ಎಂದರೇನು?
ಟೋಕನ್ ಮಾದರಿಯು ಪಠ್ಯವನ್ನು ಪ್ರಕ್ರಿಯೆಗೊಳಿಸುವ ಚಿಕ್ಕ ಘಟಕವಾಗಿದೆ. ಒಂದು ಪದವು ಯಾವಾಗಲೂ ಟೋಕನ್ ಅಲ್ಲ; ಟೋಕನ್ ಸಾಮಾನ್ಯವಾಗಿ ಪದದ ಒಂದು ಭಾಗವಾಗಿದೆ. ಸ್ಥೂಲವಾಗಿ ಹೇಳುವುದಾದರೆ, ಇಂಗ್ಲಿಷ್ನಲ್ಲಿ, 1 ಟೋಕನ್ ಎಂದರೆ ≈ 4 ಅಕ್ಷರಗಳು ≈ 0.75 ಪದಗಳು. ಟರ್ಕಿಶ್ ಮತ್ತು ಕೋಡ್ನಲ್ಲಿ, ಅನುಪಾತವು ಬದಲಾಗುತ್ತದೆ: ಟರ್ಕಿಶ್ ಪದಗಳನ್ನು ಅದರ ಪ್ರತ್ಯಯ ರಚನೆ ಮತ್ತು ವರ್ಣಮಾಲೆಯ ಕಾರಣದಿಂದಾಗಿ ಇಂಗ್ಲಿಷ್ಗಿಂತ ಹೆಚ್ಚಿನ ಟೋಕನ್ಗಳಾಗಿ ವಿಂಗಡಿಸಲಾಗಿದೆ. ಆದ್ದರಿಂದ, ಕಣ್ಣಿನಿಂದ ಊಹಿಸುವ ಬದಲು ಒದಗಿಸುವವರ ಟೋಕನ್ ಎಣಿಕೆಯ ಸಾಧನದೊಂದಿಗೆ ಟೋಕನ್ಗಳ ಸಂಖ್ಯೆಯನ್ನು ಅಳೆಯುವುದು ಅವಶ್ಯಕ.
ಟೋಕನೈಸೇಶನ್ (ಪಠ್ಯವನ್ನು ಟೋಕನ್ಗಳಾಗಿ ವಿಭಜಿಸುವ ಪ್ರಕ್ರಿಯೆ) ಪ್ರತಿ ಮಾದರಿಗೆ ವಿಭಿನ್ನವಾಗಿರಬಹುದು. ಇದು ಎರಡು ಪ್ರಾಯೋಗಿಕ ಪರಿಣಾಮಗಳನ್ನು ಹೊಂದಿದೆ: (1) ಒಂದೇ ಪಠ್ಯವು ವಿಭಿನ್ನ ಮಾದರಿಗಳಲ್ಲಿ ವಿಭಿನ್ನ ಸಂಖ್ಯೆಯ ಟೋಕನ್ಗಳನ್ನು ನೀಡುತ್ತದೆ; (2) ಇತರ ಪೂರೈಕೆದಾರರಿಂದ (ಉದಾ. OpenAI ನ ಟಿಕ್ಟೋಕನ್ ಲೈಬ್ರರಿ) ಟೋಕನೈಜರ್ಗಳೊಂದಿಗೆ ಮಾಡಲಾದ ಮುನ್ಸೂಚನೆಗಳು ಕ್ಲೌಡ್ಗೆ ನಿಖರವಾಗಿಲ್ಲ - ನೀವು ಬಳಸುತ್ತಿರುವ ಮಾದರಿಗಾಗಿ ಟೋಕನ್ ಎಣಿಕೆಯ ಸಲಹೆಯನ್ನು ಬಳಸಿ.
ಸುಳಿವು: "ಎಷ್ಟು ಟೋಕನ್ಗಳ ಬಗ್ಗೆ?" ಪ್ರಶ್ನೆಗೆ ಕುರುಡಾಗಿ ಉತ್ತರಿಸಬೇಡಿ. ಟೋಕನ್ ಎಣಿಕೆಯ API ಮೂಲಕ ಪ್ರತಿನಿಧಿ ಪಠ್ಯವನ್ನು ರವಾನಿಸಿ; ಮಾಪನದ ಮೇಲೆ ಆಧಾರಿತ ಬಜೆಟ್ ನಿರ್ಧಾರಗಳು.
ಇನ್ಪುಟ್ ಮತ್ತು ಔಟ್ಪುಟ್ ಟೋಕನ್ಗಳು
ಸರಕುಪಟ್ಟಿ ಎರಡು ವಸ್ತುಗಳನ್ನು ಒಳಗೊಂಡಿದೆ:
- ಇನ್ಪುಟ್ ಟೋಕನ್ಗಳು: ನೀವು ಮಾಡೆಲ್ಗೆ ಕಳುಹಿಸುವ ಯಾವುದಾದರೂ — ಸಿಸ್ಟಮ್ ಪ್ರಾಂಪ್ಟ್, ಹಿಂದಿನ ಪ್ರವಾಸಗಳು, ಬಳಕೆದಾರ ಸಂದೇಶ, ದಾಖಲಾತಿ ಯಾವುದಾದರೂ ಇದ್ದರೆ. ಇವುಗಳನ್ನು ಒಂದೇ ಬಾರಿಗೆ ಸಂಸ್ಕರಿಸಲಾಗುತ್ತದೆ.
- ಔಟ್ಪುಟ್ ಟೋಕನ್ಗಳು: ಮಾದರಿಯಿಂದ ಉತ್ಪತ್ತಿಯಾಗುವ ಪ್ರತಿಕ್ರಿಯೆ. ಪ್ರತಿ ಔಟ್ಪುಟ್ ಟೋಕನ್ಗಾಗಿ, ಮಾದರಿಯು ಹಂತ ಹಂತವಾಗಿ ಲೆಕ್ಕಾಚಾರವನ್ನು ನಿರ್ವಹಿಸುತ್ತದೆ.
ಹೆಚ್ಚಿನ ಪೂರೈಕೆದಾರರೊಂದಿಗೆ, ಔಟ್ಪುಟ್ ಇನ್ಪುಟ್ಗಿಂತ ಹಲವಾರು ಪಟ್ಟು ಹೆಚ್ಚು ದುಬಾರಿಯಾಗಿದೆ. ಕಾರಣ ಸರಳವಾಗಿದೆ: ಔಟ್ಪುಟ್ ಟೋಕನ್-ಬೈ-ಟೋಕನ್ ಉತ್ಪಾದಿಸುವುದಕ್ಕಿಂತ ಇನ್ಪುಟ್ ಅನ್ನು ಏಕಕಾಲದಲ್ಲಿ ಓದುವುದು ಅಗ್ಗವಾಗಿದೆ. ಈ ಅಸಿಮ್ಮೆಟ್ರಿಯನ್ನು ತಿಳಿದುಕೊಳ್ಳುವುದು "ಸಂಕ್ಷಿಪ್ತ ಉತ್ತರಗಳ ಅಗತ್ಯವಿದೆ" ನಂತಹ ಆಪ್ಟಿಮೈಸೇಶನ್ಗಳು ಏಕೆ ಪರಿಣಾಮಕಾರಿಯಾಗಿವೆ ಎಂಬುದನ್ನು ವಿವರಿಸುತ್ತದೆ.
ಮಾದರಿ ಬೆಲೆಗಳು (ಪ್ರತಿ 1 ಮಿಲಿಯನ್ ಟೋಕನ್ಗಳು, USD)
ಕೆಳಗಿನ ಕೋಷ್ಟಕವು ಉಲ್ಲೇಖವಾಗಿದೆ; ಕಾಲಾನಂತರದಲ್ಲಿ ಬೆಲೆಗಳು ಬದಲಾಗಬಹುದು, ದಯವಿಟ್ಟು ನಿಮ್ಮ ಸ್ವಂತ ಪೂರೈಕೆದಾರರ ಪ್ರಸ್ತುತ ಪಟ್ಟಿಯನ್ನು ದೃಢೀಕರಿಸಿ.
ಮಾದರಿ ವರ್ಗ
ಮಾದರಿ ಮಾದರಿ
ಇನ್ಪುಟ್ ($/1M)
ಔಟ್ಪುಟ್ ($/1M)
ವಿಶಿಷ್ಟ ಬಳಕೆ
ವೇಗದ/ಅಗ್ಗದ
ಹೈಕು 4.5
1.00
5.00
ವರ್ಗೀಕರಣ, ಲೇಬಲಿಂಗ್, ಸರಳ ಸಾರಾಂಶ
ಸಮತೋಲಿತ
ಸಾನೆಟ್ 5
3.00
15.00
ಸಾಮಾನ್ಯ ಉದ್ದೇಶ, ಕೋಡಿಂಗ್, ಏಜೆಂಟ್ ಕೆಲಸ
ಬಲವಾದ
ಓಪಸ್ 4.8
5.00
25.00
ಸಂಕೀರ್ಣ ತಾರ್ಕಿಕ, ದೀರ್ಘ-ಶ್ರೇಣಿಯ ಕಾರ್ಯಗಳು
ಪ್ರತಿ ತರಗತಿಯಲ್ಲಿ, ಔಟ್ಪುಟ್ 5 ಬಾರಿ ಇನ್ಪುಟ್ ಆಗಿದೆ; ಇದಲ್ಲದೆ, ಶಕ್ತಿಯುತ ಮಾದರಿಯ ಇನ್ಪುಟ್ ಸಹ ಅಗ್ಗದ ಮಾದರಿಯ ಇನ್ಪುಟ್ಗಿಂತ 5 ಪಟ್ಟು ಹೆಚ್ಚು. ಈ ಎರಡು ಅಕ್ಷಗಳು (ಇನ್ಪುಟ್↔ಔಟ್ಪುಟ್ ಮತ್ತು ಮಾದರಿ ವರ್ಗ) ನಿಮ್ಮ ವೆಚ್ಚದ ನಿರ್ಧಾರಗಳ ಚೌಕಟ್ಟನ್ನು ರೂಪಿಸುತ್ತವೆ.
ವೆಚ್ಚವನ್ನು ಹೇಗೆ ಲೆಕ್ಕ ಹಾಕುವುದು?
ಸೂತ್ರವು ಸರಳವಾಗಿದೆ:
ವೆಚ್ಚ = (input_token / 1,000,000) × input_price + (output_token / 1,000,000) × output_price
ಮಾದರಿ ಖಾತೆ. ಸಾನೆಟ್ 5 ನೊಂದಿಗೆ ವಿನಂತಿ: 1,500 ಇನ್ಪುಟ್ ಟೋಕನ್ಗಳು, 400 ಔಟ್ಪುಟ್ ಟೋಕನ್ಗಳು.
ಇನ್ಪುಟ್ = 1,500 / 1,000,000 × 3.00 = $0.0045 ಔಟ್ಪುಟ್ = 400 / 1,000,000 × 15.00 = $0.0060 ಒಟ್ಟು = $0.0105 (ಸುಮಾರು 1 ಶೇಕಡಾ)
ಒಂದು ಕರೆ ಅಗ್ಗವಾಗಿ ಕಾಣುತ್ತದೆ. ಆದರೆ ಪರಿಮಾಣದಿಂದ ಗುಣಿಸಿ: ದಿನಕ್ಕೆ 20,000 ಕರೆಗಳು → ದಿನಕ್ಕೆ $210, ತಿಂಗಳಿಗೆ $6,300. ಇಲ್ಲಿ ಪ್ರಮಾಣವು ಕಾರ್ಯರೂಪಕ್ಕೆ ಬರುತ್ತದೆ.
ಮಾಸಿಕ ಬಜೆಟ್ ಟೆಂಪ್ಲೇಟ್
ಕೆಲಸದ ಹೊರೆಯ ಮಾಸಿಕ ವೆಚ್ಚವನ್ನು ಹೊರತೆಗೆಯಲು, ಈ ಟೆಂಪ್ಲೇಟ್ ಅನ್ನು ಬಳಸಿ:
1) ಪ್ರತಿ ವಿನಂತಿಗೆ ಸರಾಸರಿ ಇನ್ಪುಟ್ ಟೋಕನ್: ......2) ಪ್ರತಿ ವಿನಂತಿಗೆ ಸರಾಸರಿ ಔಟ್ಪುಟ್ ಟೋಕನ್: ......3) ದಿನಕ್ಕೆ ವಿನಂತಿಗಳ ಸಂಖ್ಯೆ: ......4) ತಿಂಗಳಿಗೆ ಕೆಲಸ ಮಾಡಿದ ದಿನಗಳು: ......5) ಪ್ರತಿ ವಿನಂತಿಯ ವೆಚ್ಚ = (1)/1M×ಇನ್ಪುಟ್_ಬೆಲೆ + (2)/1M×ಔಟ್ಪುಟ್_ಬೆಲೆ + (2)/1M×ಔಟ್ಪುಟ್_ಬೆಲೆ6) ಮಾಸಿಕ ವೆಚ್ಚ = (3)× (3)×
ಈ ಮಾದರಿಯನ್ನು ಸ್ಪ್ರೆಡ್ಶೀಟ್ಗೆ ಸುರಿಯುವುದು ಮತ್ತು ನೀವು ಮಾದರಿಯನ್ನು ಬದಲಾಯಿಸಿದಾಗ ಮೊತ್ತವು ಹೇಗೆ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ ಎಂಬುದನ್ನು ನೋಡುವುದು ಮಾದರಿ ಆಯ್ಕೆ (ಘಟಕ 5) ಮತ್ತು ಸಂಗ್ರಹ (ಘಟಕ 6) ನಿರ್ಧಾರಗಳನ್ನು ಒಳಗೊಂಡಿರುತ್ತದೆ.
ನಕಲು ಮಾಡಬಹುದಾದ ಟೆಂಪ್ಲೇಟ್ಗಳೊಂದಿಗೆ ಪ್ರಾಂಪ್ಟ್ ಅನ್ನು ಕಡಿಮೆಗೊಳಿಸುವುದು
ಹೆಚ್ಚಿನ ವೆಚ್ಚವು ಅನಗತ್ಯವಾಗಿ ದೀರ್ಘ ಪ್ರಾಂಪ್ಟ್ಗಳು ಮತ್ತು ವ್ಯರ್ಥವಾದ ಉತ್ಪಾದನೆಯಿಂದ ಬರುತ್ತದೆ. ಕೆಳಗಿನ ಟೆಂಪ್ಲೇಟ್ಗಳು ನೇರ ಉಳಿತಾಯವನ್ನು ಒದಗಿಸುತ್ತವೆ.
# ಔಟ್ಪುಟ್ ಉದ್ದವನ್ನು ಮಿತಿಗೊಳಿಸಿ. ಗರಿಷ್ಠ 3 ಐಟಂಗಳೊಂದಿಗೆ ಉತ್ತರಿಸಿ. ತರ್ಕಬದ್ಧತೆ ಅಥವಾ ಪರಿಚಯಾತ್ಮಕ ವಾಕ್ಯವನ್ನು ಸೇರಿಸಿ.
# ವಿನಂತಿಸಿದ ಕ್ಷೇತ್ರವನ್ನು ಮಾತ್ರ ಹಿಂತಿರುಗಿ ಈ ಕೆಳಗಿನ JSON ಅನ್ನು ಮಾತ್ರ ಹಿಂತಿರುಗಿಸಿ, ಬೇರೆ ಯಾವುದೇ ಪಠ್ಯವನ್ನು ಸೇರಿಸಬೇಡಿ:{"ವರ್ಗ": "...", "ತುರ್ತು": "ಕಡಿಮೆ|ಮಧ್ಯಮ|ಹೆಚ್ಚು"}
# ಅನಗತ್ಯ ಸಂದರ್ಭವನ್ನು ತೆಗೆದುಹಾಕಿ ಈ ಕೆಳಗಿನ ಪಠ್ಯದಿಂದ ದಿನಾಂಕ ಮತ್ತು ಮೊತ್ತವನ್ನು ಮಾತ್ರ ತೆಗೆದುಹಾಕಿ. ಸಂಪೂರ್ಣ ಪಠ್ಯವನ್ನು ಪುನರಾವರ್ತಿಸಬೇಡಿ. ಪಠ್ಯ: """{{text}}"""
# ದೀರ್ಘ ಭಾಷಣವನ್ನು ಸಾರಾಂಶಗೊಳಿಸಿ (ಇನ್ಪುಟ್ ಉಳಿತಾಯ) ಈ ಭಾಷಣವನ್ನು 5 ಅಂಶಗಳಲ್ಲಿ ಸಂಕ್ಷೇಪಿಸಿ. ನಾನು ಮುಂದಿನ ಸುತ್ತುಗಳಲ್ಲಿ ಪೂರ್ಣ ಭೂತಕಾಲದ ಬದಲಿಗೆ ಈ ಸಾರಾಂಶವನ್ನು ಬಳಸುತ್ತೇನೆ. ಭಾಷಣ: """{{ಹಿಂದಿನ}}"""
ದುರ್ಬಲ ಪ್ರಾಂಪ್ಟ್ / ಬಲವಾದ ಪ್ರಾಂಪ್ಟ್ (ವೆಚ್ಚದ ವಿಷಯದಲ್ಲಿ)
# ದುರ್ಬಲ (ಔಟ್ಪುಟ್ ಬಿಡುಗಡೆ ಮಾಡುತ್ತದೆ, ದುಬಾರಿ) ಈ ಬೆಂಬಲ ವಿನಂತಿಯನ್ನು ವಿಶ್ಲೇಷಿಸಿ ಮತ್ತು ನನಗೆ ಸಮಗ್ರ ವಿಮರ್ಶೆಯನ್ನು ಬರೆಯಿರಿ.
# STRONG (ನಿರ್ಬಂಧಿಸುತ್ತದೆ ಔಟ್ಪುಟ್, ಅಗ್ಗದ ಮತ್ತು ಊಹಿಸಬಹುದಾದ) ಈ ಬೆಂಬಲ ವಿನಂತಿಯನ್ನು ವರ್ಗೀಕರಿಸಿ. ಕೆಳಗಿನ JSON ಅನ್ನು ಹಿಂತಿರುಗಿಸಿ:{"ವರ್ಗ":"ಇನ್ವಾಯ್ಸ್|ತಾಂತ್ರಿಕ|ಮರುಪಾವತಿ|ಇತರ","ತುರ್ತು":"ಕಡಿಮೆ|ಮಧ್ಯಮ|ಹೆಚ್ಚು"}ವಿವರಣೆಯನ್ನು ಬರೆಯಬೇಡಿ.
ದುರ್ಬಲ ಆವೃತ್ತಿಯು ಬಹುಶಃ 500 ಔಟ್ಪುಟ್ ಟೋಕನ್ಗಳನ್ನು ಉತ್ಪಾದಿಸುತ್ತದೆ; ಪ್ರಬಲ ಆವೃತ್ತಿ ~15. ಔಟ್ಪುಟ್ ದುಬಾರಿಯಾಗಿರುವುದರಿಂದ, ಇದು ಪ್ರತಿ ಕರೆಗೆ ಗಮನಾರ್ಹ ವ್ಯತ್ಯಾಸವಾಗಿದೆ ಮತ್ತು ಪರಿಮಾಣದೊಂದಿಗೆ ಗುಣಿಸುತ್ತದೆ.
ಮೂರು ಮಿನಿ ಪ್ರಕರಣಗಳು
ಪ್ರಕರಣ 1 - ದೀರ್ಘ ಪ್ರಾಂಪ್ಟ್ನ ಗುಪ್ತ ವೆಚ್ಚ. ಅಕೌಂಟಿಂಗ್ ಆಟೊಮೇಷನ್ ಪ್ರತಿ ಇನ್ವಾಯ್ಸ್ ಅನ್ನು ವಿಂಗಡಿಸಿದಂತೆ, ಇದು ಪ್ರತಿ ವಿನಂತಿಗೆ ಇನ್ಪುಟ್ನಂತೆ 40-ಪುಟ "ರೂಲ್ ಬುಕ್" ಅನ್ನು ಸೇರಿಸಿದೆ: ಪ್ರತಿ ವಿನಂತಿಗೆ ~12,000 ಇನ್ಪುಟ್ ಟೋಕನ್ಗಳು. ಸಾನೆಟ್ 5 ನೊಂದಿಗೆ 12,000/1M×3 = $0.036 ಇದೀಗ ನಮೂದಿಸಲಾಗಿದೆ. ದಿನಕ್ಕೆ 5,000 ಬಿಲ್ಗಳು → ದಿನಕ್ಕೆ $180. ರೂಲ್ಬುಕ್ (ಘಟಕ 6) ಅನ್ನು ಹಿಡಿದಿಟ್ಟುಕೊಳ್ಳುವ ಮೂಲಕ ಇನ್ಪುಟ್ ವೆಚ್ಚವು ~90% ರಷ್ಟು ಕಡಿಮೆಯಾಗಿದೆ.
ಪ್ರಕರಣ 2 - ಮಾದರಿಯನ್ನು ಕಡಿಮೆಗೊಳಿಸುವ ಪ್ರತಿಫಲ. ಒಂದು ತಂಡವು ಓಪಸ್ 4.8: 300 ಇನ್ಪುಟ್ + 10 ಔಟ್ಪುಟ್ ಟೋಕನ್ಗಳೊಂದಿಗೆ ಸರಳವಾದ "ಧನಾತ್ಮಕ/ಋಣಾತ್ಮಕ" ಭಾವನೆಯನ್ನು ಟ್ಯಾಗಿಂಗ್ ಮಾಡುತ್ತಿದೆ. ಓಪಸ್ ಬೆಲೆ 300/1M×5 + 10/1M×25 = $0.00175. ಹೈಕುಗೆ ಬದಲಾಯಿಸುವುದು, 300/1M×1 + 10/1M×5 = $0.00035 — 5x ಅಗ್ಗವಾಗಿದೆ, ನಿಖರತೆಯ ವ್ಯತ್ಯಾಸವು ಅಳೆಯಲಾಗದು. ತಿಂಗಳಿಗೆ 3 ಮಿಲಿಯನ್ ಕರೆಗಳಲ್ಲಿ, ವ್ಯತ್ಯಾಸವು $5,250 → $1,050 ಆಗಿದೆ.
ಪ್ರಕರಣ 3 - ಔಟ್ಪುಟ್ ಅನ್ನು ಬಿಡುಗಡೆ ಮಾಡುವುದು. ಮಾರ್ಕೆಟಿಂಗ್ ತಂಡವು ಉತ್ಪನ್ನ ವಿವರಣೆಯನ್ನು ತಯಾರಿಸಿದಾಗ, ಅದು ಔಟ್ಪುಟ್ನಲ್ಲಿ ಯಾವುದೇ ಮಿತಿಗಳನ್ನು ನಿಗದಿಪಡಿಸುವುದಿಲ್ಲ; ಮಾದರಿಯು ಕೆಲವೊಮ್ಮೆ 1,500 ಟೋಕನ್ಗಳನ್ನು ಹೇಳುತ್ತದೆ. ನಾನು "60 ಪದಗಳ ಗರಿಷ್ಠ" ಸೂಚನೆಯನ್ನು ಸೇರಿಸಿದಾಗ, ಸರಾಸರಿ ಔಟ್ಪುಟ್ 900 ರಿಂದ 90 ಟೋಕನ್ಗಳಿಗೆ ಇಳಿಯಿತು. ಮುದ್ರಣವು ದುಬಾರಿಯಾದ ಕಾರಣ, ಮಾಸಿಕ ಬಿಲ್ ಮೂರನೇ ಒಂದು ಭಾಗದಷ್ಟು ಕಡಿಮೆಯಾಯಿತು ಮತ್ತು ಪಠ್ಯಗಳು ಹೆಚ್ಚು ಉಪಯುಕ್ತವಾದವು.
ಸಾಮಾನ್ಯ ತಪ್ಪುಗಳು
- ಕಣ್ಣಿನಿಂದ ಟೋಕನ್ ಅನ್ನು ಊಹಿಸುವುದು: ನೀವು ವಿಶೇಷವಾಗಿ ಟರ್ಕಿಶ್ ಮತ್ತು ಕೋಡ್ನಲ್ಲಿ ತಪ್ಪಾಗಿರಬಹುದು. ಅಳತೆ.
- ಇನ್ಪುಟ್ ಮತ್ತು ಔಟ್ಪುಟ್ ಒಂದೇ ಎಂದು ಭಾವಿಸಿದರೆ: ಔಟ್ಪುಟ್ ಸಾಮಾನ್ಯವಾಗಿ ಹೆಚ್ಚು ದುಬಾರಿಯಾಗಿದೆ; ಹೆಚ್ಚಿನ ಆಪ್ಟಿಮೈಸೇಶನ್ ಔಟ್ಪುಟ್ ಅನ್ನು ಕಡಿಮೆ ಮಾಡುವುದರಿಂದ ಬರುತ್ತದೆ.
- ಒಂದೇ ಕರೆಗೆ ಅಗ್ಗವಾಗಿ ಮೋಸಹೋಗಬೇಡಿ: ನಿರ್ಧಾರವನ್ನು ಪರಿಮಾಣದಿಂದ ಮಾಡಲಾಗುತ್ತದೆ. $0.01 × ಮಿಲಿಯನ್ = $10,000.
- ಮತ್ತೊಂದು ಪೂರೈಕೆದಾರರ ಟೋಕನೈಜರ್ನೊಂದಿಗೆ ಭವಿಷ್ಯ: ತಪ್ಪಾದ ಫಲಿತಾಂಶಗಳನ್ನು ನೀಡುತ್ತದೆ; ಮಾದರಿಯ ಟೋಕನ್ ಎಣಿಕೆಯ ಪರಿಕರವನ್ನು ಬಳಸಿ.
- ಸಂಭಾಷಣೆಯ ಇತಿಹಾಸದ ಅನಿಯಮಿತ ವಿಸ್ತರಣೆ: ಪ್ರತಿ ಸುತ್ತನ್ನು ಪ್ರವೇಶಕ್ಕೆ ಸೇರಿಸಲಾಗುತ್ತದೆ; ದೀರ್ಘ ಸಂಭಾಷಣೆಗಳಲ್ಲಿ ಸಾರಾಂಶ.
- `max_tokens` ಅನಾವಶ್ಯಕವಾಗಿ ಹೆಚ್ಚು ಇರಿಸುವುದು: ಬಜೆಟ್ ಯೋಜನೆ ಮತ್ತು ಕಡಿತಗೊಳ್ಳುವ ಅಪಾಯವನ್ನು ಮರೆಮಾಡುತ್ತದೆ; ವಾಸ್ತವಿಕ ಮೌಲ್ಯವನ್ನು ನೀಡಿ.
ಆಳವಾದ: ಸಂದರ್ಭ ವಿಂಡೋ ಮತ್ತು ದೀರ್ಘ ಇನ್ಪುಟ್ ವೆಚ್ಚ
"ಸಂಭಾಷಣೆಯಾದ್ಯಂತ" ಬೆಲೆಯು ಹೇಗೆ ಸಂಗ್ರಹವಾಗುತ್ತದೆ ಮತ್ತು "ಪ್ರತಿ ಕೋರಿಕೆಗೆ" ಅಲ್ಲ ಎಂಬುದನ್ನು ನೋಡಲು ಇದು ನಿರ್ಣಾಯಕವಾಗಿದೆ. ಮಾದರಿಯು ಪ್ರಕ್ರಿಯೆಗೊಳಿಸಬಹುದಾದ ಪಠ್ಯದ ಒಟ್ಟು ಮೊತ್ತವನ್ನು ಸಂದರ್ಭ ವಿಂಡೋ ಎಂದು ಕರೆಯಲಾಗುತ್ತದೆ; ಇನ್ಪುಟ್ ಮತ್ತು ಔಟ್ಪುಟ್ ಮೊತ್ತವು ಈ ವಿಂಡೋಗೆ ಸರಿಹೊಂದಬೇಕು. ಆಧುನಿಕ ಮಾದರಿಗಳು ಬಹಳ ದೊಡ್ಡ ಕಿಟಕಿಗಳನ್ನು ನೀಡುತ್ತವೆ (ನೂರಾರು ಸಾವಿರ, ಲಕ್ಷಾಂತರ ಟೋಕನ್ಗಳು ಸಹ), ಆದರೆ ಇದರರ್ಥ ನೀವು "ಅನಂತವಾಗಿ ಅದನ್ನು ತುಂಬಬಹುದು" ಎಂದಲ್ಲ - ನೀವು ವಿಂಡೋದಲ್ಲಿ ಹಾಕುವದನ್ನು ಇನ್ಪುಟ್ ಎಂದು ಬಿಲ್ ಮಾಡಲಾಗುತ್ತದೆ.
ದೀರ್ಘ ಸಂಭಾಷಣೆಗಳಲ್ಲಿನ ಬಲೆ ಇದು: ಪ್ರತಿ ಹೊಸ ಸುತ್ತಿನಲ್ಲಿ ನೀವು ಸಂಪೂರ್ಣ ಇತಿಹಾಸವನ್ನು ಮತ್ತೊಮ್ಮೆ ಕಳುಹಿಸುತ್ತೀರಿ (ಘಟಕ 1 ರಲ್ಲಿ ಸ್ಥಿತಿಯಿಲ್ಲದಿರುವುದು). 20-ಸುತ್ತಿನ ಸಂಭಾಷಣೆಯಲ್ಲಿ, 20 ನೇ ವಿನಂತಿಯು ಸಂಪೂರ್ಣ ಮೊದಲ 19 ಸುತ್ತುಗಳನ್ನು ಇನ್ಪುಟ್ ಆಗಿ ಒಯ್ಯುತ್ತದೆ. ಹೀಗಾಗಿ, ಸಂಭಾಷಣೆಯು ದೀರ್ಘವಾದಂತೆ, ಪ್ರತಿ ವಿನಂತಿಯ ವೆಚ್ಚವು ರೇಖೀಯವಾಗಿ ಬದಲಾಗಿ ಸಂಚಿತವಾಗಿ ಬೆಳೆಯುತ್ತದೆ. ಏಜೆಂಟ್ ಸಹಾಯಕರೊಂದಿಗೆ 50-ಸುತ್ತಿನ ಸಂಭಾಷಣೆಯು ಮೊದಲ ಸುತ್ತಿನ ಹತ್ತಾರು ಬಾರಿ ಇನ್ಪುಟ್ ವೆಚ್ಚವನ್ನು ಉಂಟುಮಾಡಬಹುದು.
ಇದನ್ನು ನಿರ್ವಹಿಸಲು ಎರಡು ಮಾರ್ಗಗಳಿವೆ. ಮೊದಲನೆಯದು ರೀಕ್ಯಾಪ್: ಹಳೆಯ ಸುತ್ತುಗಳನ್ನು ಒಂದೇ ರೀಕ್ಯಾಪ್ ಬ್ಲಾಕ್ಗೆ ಕುಗ್ಗಿಸುವುದು, ಕೊನೆಯ ಕೆಲವು ಸುತ್ತುಗಳನ್ನು ಮಾತ್ರ ಕಚ್ಚಾ ಇರಿಸುವುದು. ಎರಡನೆಯದು ಪ್ರಾಂಪ್ಟ್ ಕ್ಯಾಶಿಂಗ್ (ಘಟಕ 6): ಸ್ಥಿರ ಸಂದರ್ಭವನ್ನು ಪೂರ್ಣ ಬೆಲೆಗೆ ಪುನರಾವರ್ತಿತವಾಗಿ ಸಂಸ್ಕರಿಸುವ ಬದಲು ಬೆಲೆಯ ಹತ್ತನೇ ಒಂದು ಭಾಗಕ್ಕೆ ಓದುವುದು. ಒಟ್ಟಾಗಿ, ಅವರು ದೀರ್ಘ, ಸಂದರ್ಭ-ತೀವ್ರ ಕೆಲಸದ ಹೊರೆಗಳಲ್ಲಿ ಬಿಲ್ ಅನ್ನು ಗಣನೀಯವಾಗಿ ಕಡಿಮೆ ಮಾಡುತ್ತಾರೆ. ಆದ್ದರಿಂದ ಟೋಕನ್ ಅರ್ಥಶಾಸ್ತ್ರವು ಇಡೀ ಅಧಿವೇಶನದ ವಿನ್ಯಾಸದ ಬಗ್ಗೆ, ಒಂದೇ ವಿನಂತಿಯಲ್ಲ.
ಸಾರಾಂಶದಲ್ಲಿ
ಟೋಕನ್ ಪಠ್ಯವನ್ನು ಸಂಸ್ಕರಿಸುವ ಚಿಕ್ಕ ಘಟಕವಾಗಿದೆ; ಇನ್ಪುಟ್ ಮತ್ತು ಔಟ್ಪುಟ್ ಅನ್ನು ಪ್ರತ್ಯೇಕವಾಗಿ ಬೆಲೆಯಾಗಿರುತ್ತದೆ ಮತ್ತು ಔಟ್ಪುಟ್ ಸಾಮಾನ್ಯವಾಗಿ ಹೆಚ್ಚು ದುಬಾರಿಯಾಗಿದೆ. ವೆಚ್ಚವು ಯುನಿಟ್ ಬೆಲೆಯಿಂದ ಗುಣಿಸಿದ ಟೋಕನ್ಗಳ ಸಂಖ್ಯೆ, ಮತ್ತು ನಿಜವಾದ ನಿರ್ಧಾರವನ್ನು ಪರಿಮಾಣದಿಂದ ಮಾಡಲಾಗುತ್ತದೆ. ಪ್ರಾಂಪ್ಟ್ ಅನ್ನು ಕಡಿಮೆಗೊಳಿಸುವುದು, ಔಟ್ಪುಟ್ ಅನ್ನು ಸೀಮಿತಗೊಳಿಸುವುದು ಮತ್ತು ಕಾರ್ಯವನ್ನು ಸಾಧಿಸುವ ಹಗುರವಾದ ಮಾದರಿಯನ್ನು ಆರಿಸುವುದು ವೆಚ್ಚವನ್ನು ಹಲವು ಬಾರಿ ಕಡಿಮೆ ಮಾಡುವ ನೇರವಾದ ಸನ್ನೆಕೋಲುಗಳಾಗಿವೆ.
ಅಪ್ಲಿಕೇಶನ್ ಕಾರ್ಯ
ನಿಮ್ಮದೇ ಆದ ಕೆಲಸವನ್ನು ಆಯ್ಕೆಮಾಡಿ. (1) ಪ್ರಾತಿನಿಧಿಕ ಪ್ರಾಂಪ್ಟ್ಗಾಗಿ ಇನ್ಪುಟ್ ಮತ್ತು ಅಂದಾಜು ಔಟ್ಪುಟ್ ಟೋಕನ್ಗಳ ಸಂಖ್ಯೆಯನ್ನು ನಿರ್ಧರಿಸಿ (ಸಾಧ್ಯವಾದರೆ ಟೋಕನ್ ಎಣಿಕೆಯ ಸಾಧನದೊಂದಿಗೆ ಅಳೆಯಿರಿ). (2) ಮೂರು ಮಾದರಿ ತರಗತಿಗಳಿಗೆ ಪ್ರತಿ ವಿನಂತಿಯ ವೆಚ್ಚವನ್ನು ಲೆಕ್ಕಹಾಕಿ. (3) ನಿಮ್ಮ ದೈನಂದಿನ ವಿನಂತಿಗಳ ಸಂಖ್ಯೆಯನ್ನು ಅಂದಾಜು ಮಾಡಿ ಮತ್ತು ಮೂರು ಮಾದರಿಗಳಿಗೆ ಮಾಸಿಕ ಬಜೆಟ್ ಅನ್ನು ಪಡೆದುಕೊಳ್ಳಿ. (4) ಔಟ್ಪುಟ್ ಅನ್ನು ಕಡಿಮೆ ಮಾಡಲು ಸೂಚನೆಯನ್ನು ಸೇರಿಸಿ ಮತ್ತು ನಿರೀಕ್ಷಿತ ಉಳಿತಾಯವನ್ನು ಗಮನಿಸಿ.
ಪರಿಶೀಲನಾಪಟ್ಟಿ
- [ ] ನಾನು ಟೋಕನ್ಗಳ ಪರಿಕಲ್ಪನೆಯನ್ನು ವಿವರಿಸಬಲ್ಲೆ ಮತ್ತು ಟೋಕನೈಸೇಶನ್ ಮಾದರಿಯನ್ನು ಅವಲಂಬಿಸಿ ಬದಲಾಗುತ್ತದೆ.
- [ ] ಇನ್ಪುಟ್ ಮತ್ತು ಔಟ್ಪುಟ್ ಟೋಕನ್ಗಳ ಬೆಲೆ ಏಕೆ ವಿಭಿನ್ನವಾಗಿದೆ ಎಂದು ನನಗೆ ತಿಳಿದಿದೆ.
- [ ] ನಾನು ಫಾರ್ಮುಲಾದೊಂದಿಗೆ ವಿನಂತಿಯ ವೆಚ್ಚವನ್ನು ಲೆಕ್ಕ ಹಾಕಬಹುದು.
- [ ] ನಾನು ಟೆಂಪ್ಲೇಟ್ ಅನ್ನು ಬಳಸಿಕೊಂಡು ಕೆಲಸದ ಹೊರೆಗಾಗಿ ಮಾಸಿಕ ಬಜೆಟ್ ಅನ್ನು ರಚಿಸಬಹುದು.
- [ ] ಔಟ್ಪುಟ್ ಮತ್ತು ಮಾದರಿ ಕಡಿತವನ್ನು ಕಡಿಮೆ ಮಾಡುವ ಪ್ರಯೋಜನವನ್ನು ನಾನು ಉದಾಹರಣೆಯೊಂದಿಗೆ ತೋರಿಸಬಲ್ಲೆ.