ਲਾਭ:
- ਟੋਕਨ, ਇਨਪੁਟ/ਆਉਟਪੁੱਟ ਟੋਕਨ ਭੇਦ ਅਤੇ ਟੋਕਨਾਈਜ਼ੇਸ਼ਨ ਦੀ ਧਾਰਨਾ ਦੀ ਵਿਆਖਿਆ ਕਰੋ।
- ਟੋਕਨਾਂ ਦੀ ਸੰਖਿਆ ਅਤੇ ਯੂਨਿਟ ਕੀਮਤ ਤੋਂ ਬੇਨਤੀ ਦੀ ਲਾਗਤ ਅਤੇ ਮਹੀਨਾਵਾਰ ਕੰਮ ਦੇ ਬੋਝ ਦੀ ਗਣਨਾ ਕਰ ਸਕਦਾ ਹੈ
- ਮਾਡਲ ਦੀ ਚੋਣ ਦੇ ਪ੍ਰਭਾਵ ਅਤੇ ਲਾਗਤ 'ਤੇ ਤੁਰੰਤ ਲੰਬਾਈ ਦੀ ਤੁਲਨਾ ਕਰ ਸਕਦਾ ਹੈ
ਤੁਸੀਂ LLM API ਦੇ ਅਰਥ ਸ਼ਾਸਤਰ ਨੂੰ ਸਮਝੇ ਬਿਨਾਂ ਪੈਮਾਨੇ 'ਤੇ ਹੱਲ ਨਹੀਂ ਬਣਾ ਸਕਦੇ ਹੋ। ਇੱਕ ਡੈਮੋ ਇੱਕ ਵਾਰ ਚੱਲਦਾ ਹੈ; ਮੁੱਖ ਗੱਲ ਇਹ ਹੈ ਕਿ ਇਹ ਅੰਦਾਜ਼ਾ ਲਗਾਉਣ ਦੇ ਯੋਗ ਹੋਣਾ ਕਿ ਬਿੱਲ ਕੀ ਹੋਵੇਗਾ ਜਦੋਂ ਪ੍ਰਤੀ ਮਹੀਨਾ ਹਜ਼ਾਰਾਂ ਕਾਲਾਂ ਕੀਤੀਆਂ ਜਾਂਦੀਆਂ ਹਨ. ਇਸ ਯੂਨਿਟ ਵਿੱਚ ਅਸੀਂ ਚੀਜ਼ਾਂ ਦੇ ਪੈਸੇ ਵਾਲੇ ਪਾਸੇ ਸੈੱਟਅੱਪ ਕਰਦੇ ਹਾਂ: ਇੱਕ ਟੋਕਨ ਕੀ ਹੈ, ਇੰਪੁੱਟ ਅਤੇ ਆਉਟਪੁੱਟ ਦੀ ਕੀਮਤ ਵੱਖਰੀ ਕਿਉਂ ਹੈ, ਇੱਕ ਬੇਨਤੀ ਦੀ ਲਾਗਤ ਦੀ ਗਣਨਾ ਕਿਵੇਂ ਕਰਨੀ ਹੈ, ਅਤੇ ਇੱਕ ਮਹੀਨਾਵਾਰ ਵਰਕਲੋਡ ਦਾ ਬਜਟ ਕਿਵੇਂ ਕਰਨਾ ਹੈ। ਇਹ ਜਾਣਕਾਰੀ ਤੁਹਾਨੂੰ ਅਗਲੀਆਂ ਇਕਾਈਆਂ ਵਿੱਚ ਅਨੁਕੂਲਨ ਤਕਨੀਕਾਂ (ਕੈਚਿੰਗ, ਮਾਡਲ ਚੋਣ, ਬੈਚ) ਦੀ ਵਾਪਸੀ ਨੂੰ ਮਾਪਣ ਦੀ ਆਗਿਆ ਦਿੰਦੀ ਹੈ।
ਟੋਕਨ ਕੀ ਹੈ?
ਟੋਕਨ ਸਭ ਤੋਂ ਛੋਟੀ ਇਕਾਈ ਹੈ ਜਿਸ ਵਿੱਚ ਮਾਡਲ ਟੈਕਸਟ ਦੀ ਪ੍ਰਕਿਰਿਆ ਕਰਦਾ ਹੈ। ਇੱਕ ਸ਼ਬਦ ਹਮੇਸ਼ਾ ਇੱਕ ਟੋਕਨ ਨਹੀਂ ਹੁੰਦਾ; ਟੋਕਨ ਆਮ ਤੌਰ 'ਤੇ ਕਿਸੇ ਸ਼ਬਦ ਦਾ ਹਿੱਸਾ ਹੁੰਦਾ ਹੈ। ਮੋਟੇ ਤੌਰ 'ਤੇ, ਅੰਗਰੇਜ਼ੀ ਵਿੱਚ, 1 ਟੋਕਨ ≈ 4 ਅੱਖਰ ≈ 0.75 ਸ਼ਬਦ ਹੈ। ਤੁਰਕੀ ਅਤੇ ਕੋਡ ਵਿੱਚ, ਅਨੁਪਾਤ ਵੱਖੋ-ਵੱਖ ਹੁੰਦਾ ਹੈ: ਤੁਰਕੀ ਦੇ ਸ਼ਬਦਾਂ ਨੂੰ ਇਸਦੇ ਪਿਛੇਤਰ ਢਾਂਚੇ ਅਤੇ ਵਰਣਮਾਲਾ ਦੇ ਕਾਰਨ ਅਕਸਰ ਅੰਗਰੇਜ਼ੀ ਨਾਲੋਂ ਵਧੇਰੇ ਟੋਕਨਾਂ ਵਿੱਚ ਵੰਡਿਆ ਜਾਂਦਾ ਹੈ। ਇਸ ਲਈ, ਅੱਖਾਂ ਦੁਆਰਾ ਅਨੁਮਾਨ ਲਗਾਉਣ ਦੀ ਬਜਾਏ ਪ੍ਰਦਾਤਾ ਦੇ ਟੋਕਨ ਕਾਉਂਟਿੰਗ ਟੂਲ ਨਾਲ ਟੋਕਨਾਂ ਦੀ ਗਿਣਤੀ ਨੂੰ ਮਾਪਣਾ ਜ਼ਰੂਰੀ ਹੈ।
ਟੋਕਨਾਈਜ਼ੇਸ਼ਨ (ਟੈਕਸਟ ਨੂੰ ਟੋਕਨਾਂ ਵਿੱਚ ਵੰਡਣ ਦੀ ਪ੍ਰਕਿਰਿਆ) ਹਰੇਕ ਮਾਡਲ ਲਈ ਵੱਖਰੀ ਹੋ ਸਕਦੀ ਹੈ। ਇਸ ਦੇ ਦੋ ਵਿਹਾਰਕ ਨਤੀਜੇ ਹਨ: (1) ਇੱਕੋ ਟੈਕਸਟ ਵੱਖ-ਵੱਖ ਮਾਡਲਾਂ ਵਿੱਚ ਟੋਕਨਾਂ ਦੀ ਵੱਖ-ਵੱਖ ਸੰਖਿਆ ਪੈਦਾ ਕਰ ਸਕਦਾ ਹੈ; (2) ਦੂਜੇ ਪ੍ਰਦਾਤਾਵਾਂ (ਜਿਵੇਂ ਕਿ OpenAI ਦੀ ਟਿਕਟੋਕਨ ਲਾਇਬ੍ਰੇਰੀ) ਦੇ ਟੋਕਨਾਈਜ਼ਰਾਂ ਨਾਲ ਕੀਤੀਆਂ ਭਵਿੱਖਬਾਣੀਆਂ ਕਲਾਉਡ ਲਈ ਗਲਤ ਹੋਣਗੀਆਂ — ਤੁਹਾਡੇ ਦੁਆਰਾ ਵਰਤੇ ਜਾ ਰਹੇ ਮਾਡਲ ਲਈ ਟੋਕਨ ਕਾਉਂਟਿੰਗ ਟਿਪ ਦੀ ਵਰਤੋਂ ਕਰੋ।
ਸੰਕੇਤ: "ਕਿੰਨੇ ਟੋਕਨਾਂ ਬਾਰੇ?" ਸਵਾਲ ਦਾ ਜਵਾਬ ਅੰਨ੍ਹੇਵਾਹ ਨਾ ਦਿਓ। ਟੋਕਨ ਕਾਉਂਟਿੰਗ API ਦੁਆਰਾ ਇੱਕ ਪ੍ਰਤੀਨਿਧੀ ਟੈਕਸਟ ਪਾਸ ਕਰੋ; ਮਾਪ 'ਤੇ ਆਧਾਰਿਤ ਬਜਟ ਫੈਸਲੇ।
ਇਨਪੁਟ ਅਤੇ ਆਉਟਪੁੱਟ ਟੋਕਨ
ਇਨਵੌਇਸ ਵਿੱਚ ਦੋ ਆਈਟਮਾਂ ਹੁੰਦੀਆਂ ਹਨ:
- ਇਨਪੁਟ ਟੋਕਨ: ਕੋਈ ਵੀ ਚੀਜ਼ ਜੋ ਤੁਸੀਂ ਮਾਡਲ ਨੂੰ ਭੇਜਦੇ ਹੋ — ਸਿਸਟਮ ਪ੍ਰੋਂਪਟ, ਪਿਛਲੇ ਟੂਰ, ਉਪਭੋਗਤਾ ਸੁਨੇਹਾ, ਦਸਤਾਵੇਜ਼ ਜੇਕਰ ਕੋਈ ਹੋਵੇ। ਇਹ ਸਭ ਇੱਕ ਵਾਰ 'ਤੇ ਕਾਰਵਾਈ ਕਰ ਰਹੇ ਹਨ.
- ਆਉਟਪੁੱਟ ਟੋਕਨ: ਮਾਡਲ ਦੁਆਰਾ ਤਿਆਰ ਜਵਾਬ। ਹਰੇਕ ਆਉਟਪੁੱਟ ਟੋਕਨ ਲਈ, ਮਾਡਲ ਕਦਮ ਦਰ ਕਦਮ ਗਣਨਾ ਕਰਦਾ ਹੈ।
ਜ਼ਿਆਦਾਤਰ ਪ੍ਰਦਾਤਾਵਾਂ ਦੇ ਨਾਲ, ਆਉਟਪੁੱਟ ਇਨਪੁਟ ਨਾਲੋਂ ਕਈ ਗੁਣਾ ਜ਼ਿਆਦਾ ਮਹਿੰਗਾ ਹੁੰਦਾ ਹੈ। ਕਾਰਨ ਸਧਾਰਨ ਹੈ: ਇਨਪੁਟ ਨੂੰ ਇੱਕੋ ਵਾਰ ਪੜ੍ਹਨਾ ਆਉਟਪੁੱਟ ਟੋਕਨ-ਬਾਈ-ਟੋਕਨ ਬਣਾਉਣ ਨਾਲੋਂ ਸਸਤਾ ਹੈ। ਇਸ ਅਸਮਾਨਤਾ ਨੂੰ ਜਾਣਨਾ ਦੱਸਦਾ ਹੈ ਕਿ "ਸੰਖੇਪ ਜਵਾਬਾਂ ਦੀ ਲੋੜ ਹੈ" ਵਰਗੇ ਅਨੁਕੂਲਤਾ ਇੰਨੇ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਕਿਉਂ ਹਨ।
ਨਮੂਨਾ ਕੀਮਤਾਂ (ਪ੍ਰਤੀ 1 ਮਿਲੀਅਨ ਟੋਕਨ, USD)
ਹੇਠਾਂ ਦਿੱਤੀ ਸਾਰਣੀ ਇੱਕ ਹਵਾਲਾ ਹੈ; ਸਮੇਂ ਦੇ ਨਾਲ ਕੀਮਤਾਂ ਬਦਲ ਸਕਦੀਆਂ ਹਨ, ਕਿਰਪਾ ਕਰਕੇ ਆਪਣੇ ਖੁਦ ਦੇ ਪ੍ਰਦਾਤਾ ਦੀ ਮੌਜੂਦਾ ਸੂਚੀ ਦੀ ਪੁਸ਼ਟੀ ਕਰੋ।
ਮਾਡਲ ਕਲਾਸ
ਨਮੂਨਾ ਮਾਡਲ
ਇਨਪੁਟ ($/1M)
ਆਉਟਪੁੱਟ ($/1M)
ਆਮ ਵਰਤੋਂ
ਤੇਜ਼/ਸਸਤੀ
ਹਾਇਕੂ 4.5
1.00
5.00
ਵਰਗੀਕਰਨ, ਲੇਬਲਿੰਗ, ਸਧਾਰਨ ਸੰਖੇਪ
ਸੰਤੁਲਿਤ
ਸੋਨੇਟ 5
3.00
15.00
ਆਮ ਮਕਸਦ, ਕੋਡਿੰਗ, ਏਜੰਟ ਦਾ ਕੰਮ
ਮਜ਼ਬੂਤ
ਓਪਸ 4.8
5.00
25.00
ਗੁੰਝਲਦਾਰ ਤਰਕ, ਲੰਬੀ ਦੂਰੀ ਦੇ ਕੰਮ
ਹਰੇਕ ਕਲਾਸ ਵਿੱਚ, ਆਉਟਪੁੱਟ 5 ਗੁਣਾ ਇੰਪੁੱਟ ਹੈ; ਇਸ ਤੋਂ ਇਲਾਵਾ, ਸ਼ਕਤੀਸ਼ਾਲੀ ਮਾਡਲ ਦਾ ਇੰਪੁੱਟ ਵੀ ਸਸਤੇ ਮਾਡਲ ਦੇ ਇੰਪੁੱਟ ਤੋਂ 5 ਗੁਣਾ ਹੈ। ਇਹ ਦੋ ਧੁਰੇ (ਇਨਪੁਟ↔ਆਊਟਪੁੱਟ ਅਤੇ ਮਾਡਲ ਕਲਾਸ) ਤੁਹਾਡੇ ਲਾਗਤ ਫੈਸਲਿਆਂ ਦਾ ਢਾਂਚਾ ਬਣਾਉਂਦੇ ਹਨ।
ਲਾਗਤ ਦੀ ਗਣਨਾ ਕਿਵੇਂ ਕਰੀਏ?
ਫਾਰਮੂਲਾ ਸਧਾਰਨ ਹੈ:
ਲਾਗਤ = (ਇਨਪੁਟ_ਟੋਕਨ / 1,000,000) × ਇਨਪੁਟ_ਕੀਮਤ + (ਆਊਟਪੁੱਟ_ਟੋਕਨ / 1,000,000) × ਆਉਟਪੁੱਟ_ਕੀਮਤ
ਨਮੂਨਾ ਖਾਤਾ। ਸੋਨੇਟ 5: 1,500 ਇਨਪੁਟ ਟੋਕਨ, 400 ਆਉਟਪੁੱਟ ਟੋਕਨਾਂ ਨਾਲ ਇੱਕ ਬੇਨਤੀ।
ਇਨਪੁਟ = 1,500 / 1,000,000 × 3.00 = $0.0045 ਆਉਟਪੁੱਟ = 400 / 1,000,000 × 15.00 = $0.0060 ਕੁੱਲ = $0.0105 (ਲਗਭਗ 1 ਸੈਂਟ)
ਇੱਕ ਕਾਲ ਸਸਤੀ ਲੱਗਦੀ ਹੈ। ਪਰ ਵਾਲੀਅਮ ਦੁਆਰਾ ਗੁਣਾ ਕਰੋ: ਪ੍ਰਤੀ ਦਿਨ 20,000 ਕਾਲਾਂ → $210 ਪ੍ਰਤੀ ਦਿਨ, ~$6,300 ਪ੍ਰਤੀ ਮਹੀਨਾ। ਇਹ ਉਹ ਥਾਂ ਹੈ ਜਿੱਥੇ ਸਕੇਲ ਖੇਡ ਵਿੱਚ ਆਉਂਦਾ ਹੈ.
ਮਹੀਨਾਵਾਰ ਬਜਟ ਟੈਮਪਲੇਟ
ਵਰਕਲੋਡ ਦੀ ਮਹੀਨਾਵਾਰ ਲਾਗਤ ਨੂੰ ਕੱਢਣ ਲਈ, ਇਸ ਟੈਮਪਲੇਟ ਦੀ ਵਰਤੋਂ ਕਰੋ:
1) ਔਸਤ ਇਨਪੁਟ ਟੋਕਨ ਪ੍ਰਤੀ ਬੇਨਤੀ: ......2) ਔਸਤ ਆਉਟਪੁੱਟ ਟੋਕਨ ਪ੍ਰਤੀ ਬੇਨਤੀ: ......3) ਪ੍ਰਤੀ ਦਿਨ ਬੇਨਤੀਆਂ ਦੀ ਸੰਖਿਆ: ......4) ਪ੍ਰਤੀ ਮਹੀਨਾ ਕੰਮ ਕੀਤੇ ਦਿਨ: ......5) ਪ੍ਰਤੀ ਬੇਨਤੀ ਦੀ ਲਾਗਤ = (1)/1M×input_price + (2)/1M×output_price6) ਮਹੀਨਾਵਾਰ ਲਾਗਤ = (5) × 4) (3)
ਇਸ ਪੈਟਰਨ ਨੂੰ ਇੱਕ ਸਪ੍ਰੈਡਸ਼ੀਟ ਵਿੱਚ ਡੋਲ੍ਹਣਾ ਅਤੇ ਇਹ ਦੇਖਣਾ ਕਿ ਜਦੋਂ ਤੁਸੀਂ ਮਾਡਲ ਬਦਲਦੇ ਹੋ ਤਾਂ ਜੋੜ ਕਿਵੇਂ ਚੱਲਦਾ ਹੈ, ਮਾਡਲ ਚੋਣ (ਯੂਨਿਟ 5) ਅਤੇ ਕੈਸ਼ (ਯੂਨਿਟ 6) ਦੇ ਫੈਸਲਿਆਂ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ।
ਕਾਪੀਏਬਲ ਟੈਂਪਲੇਟਸ ਨਾਲ ਪ੍ਰੋਂਪਟ ਨੂੰ ਛੋਟਾ ਕਰਨਾ
ਜ਼ਿਆਦਾਤਰ ਲਾਗਤ ਬੇਲੋੜੇ ਲੰਬੇ ਪ੍ਰੋਂਪਟ ਅਤੇ ਬਰਬਾਦ ਆਉਟਪੁੱਟ ਤੋਂ ਆਉਂਦੀ ਹੈ। ਹੇਠਾਂ ਦਿੱਤੇ ਟੈਮਪਲੇਟ ਸਿੱਧੇ ਬਚਤ ਪ੍ਰਦਾਨ ਕਰਦੇ ਹਨ।
# ਆਉਟਪੁੱਟ ਦੀ ਲੰਬਾਈ ਸੀਮਤ ਕਰੋ। ਅਧਿਕਤਮ 3 ਆਈਟਮਾਂ ਦੇ ਨਾਲ ਜਵਾਬ ਦਿਓ। ਇੱਕ ਤਰਕ ਜਾਂ ਸ਼ੁਰੂਆਤੀ ਵਾਕ ਸ਼ਾਮਲ ਕਰੋ।
# ਸਿਰਫ ਬੇਨਤੀ ਕੀਤੇ ਖੇਤਰ ਨੂੰ ਵਾਪਸ ਕਰੋ ਸਿਰਫ ਹੇਠਾਂ ਦਿੱਤੇ JSON ਨੂੰ ਵਾਪਸ ਕਰੋ, ਕੋਈ ਹੋਰ ਟੈਕਸਟ ਨਾ ਜੋੜੋ:{"ਸ਼੍ਰੇਣੀ": "...", "ਜ਼ਰੂਰੀ": "ਘੱਟ| ਮੱਧਮ| ਉੱਚ"}
# ਬੇਲੋੜੇ ਸੰਦਰਭ ਨੂੰ ਹਟਾਓ ਹੇਠਾਂ ਦਿੱਤੇ ਟੈਕਸਟ ਤੋਂ ਸਿਰਫ ਮਿਤੀ ਅਤੇ ਰਕਮ ਨੂੰ ਹਟਾਓ। ਪੂਰੇ ਟੈਕਸਟ ਨੂੰ ਨਾ ਦੁਹਰਾਓ। ਟੈਕਸਟ: """{{text}}"""
# ਲੰਬੇ ਭਾਸ਼ਣ ਨੂੰ ਸੰਖੇਪ ਕਰੋ (ਇਨਪੁਟ ਸੇਵਿੰਗ) ਇਸ ਭਾਸ਼ਣ ਨੂੰ 5 ਆਈਟਮਾਂ ਵਿੱਚ ਸੰਖੇਪ ਕਰੋ। ਮੈਂ ਅਗਲੇ ਦੌਰ ਵਿੱਚ ਪੂਰੇ ਅਤੀਤ ਦੀ ਬਜਾਏ ਇਸ ਸੰਖੇਪ ਦੀ ਵਰਤੋਂ ਕਰਾਂਗਾ। ਬੋਲੀ: """{{ਅਤੀਤ}}"""
ਕਮਜ਼ੋਰ ਪ੍ਰੋਂਪਟ / ਮਜ਼ਬੂਤ ਪ੍ਰੋਂਪਟ (ਲਾਗਤ ਦੇ ਰੂਪ ਵਿੱਚ)
# ਕਮਜ਼ੋਰ (ਆਉਟਪੁੱਟ ਜਾਰੀ ਕਰਦਾ ਹੈ, ਮਹਿੰਗਾ) ਇਸ ਸਹਾਇਤਾ ਬੇਨਤੀ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰੋ ਅਤੇ ਮੈਨੂੰ ਇੱਕ ਵਿਆਪਕ ਸਮੀਖਿਆ ਲਿਖੋ।
# STRONG (ਆਉਟਪੁੱਟ ਨੂੰ ਸੀਮਤ ਕਰਦਾ ਹੈ, ਸਸਤਾ ਅਤੇ ਅਨੁਮਾਨਯੋਗ) ਇਸ ਸਹਾਇਤਾ ਬੇਨਤੀ ਨੂੰ ਸ਼੍ਰੇਣੀਬੱਧ ਕਰੋ। ਬੱਸ ਹੇਠਾਂ ਦਿੱਤੇ JSON ਨੂੰ ਵਾਪਸ ਕਰੋ:{"category":"invoice|technical|refund|other","argency":"low|medium|high"}ਕੋਈ ਵੇਰਵਾ ਨਾ ਲਿਖੋ।
ਕਮਜ਼ੋਰ ਸੰਸਕਰਣ ਸ਼ਾਇਦ 500 ਆਉਟਪੁੱਟ ਟੋਕਨ ਪੈਦਾ ਕਰਦਾ ਹੈ; ਮਜ਼ਬੂਤ ਸੰਸਕਰਣ ~ 15. ਕਿਉਂਕਿ ਆਉਟਪੁੱਟ ਮਹਿੰਗਾ ਹੈ, ਇਹ ਪ੍ਰਤੀ ਕਾਲ ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਅੰਤਰ ਹੈ ਅਤੇ ਵਾਲੀਅਮ ਨਾਲ ਗੁਣਾ ਹੁੰਦਾ ਹੈ।
ਤਿੰਨ ਮਿੰਨੀ ਕੇਸ
ਕੇਸ 1 - ਲੰਬੇ ਪ੍ਰੋਂਪਟ ਦੀ ਲੁਕਵੀਂ ਕੀਮਤ। ਜਿਵੇਂ ਕਿ ਇੱਕ ਅਕਾਊਂਟਿੰਗ ਆਟੋਮੇਸ਼ਨ ਨੇ ਹਰੇਕ ਇਨਵੌਇਸ ਨੂੰ ਕ੍ਰਮਬੱਧ ਕੀਤਾ ਹੈ, ਇਸਨੇ ਹਰੇਕ ਬੇਨਤੀ ਵਿੱਚ ਇੱਕ 40-ਪੰਨਿਆਂ ਦੀ "ਨਿਯਮ ਕਿਤਾਬ" ਨੂੰ ਸ਼ਾਮਲ ਕੀਤਾ ਹੈ: ਪ੍ਰਤੀ ਬੇਨਤੀ ~ 12,000 ਇਨਪੁਟ ਟੋਕਨ। ਸੋਨੈੱਟ 5 ਦੇ ਨਾਲ 12,000/1M×3 = $0.036 ਹੁਣੇ ਦਾਖਲ ਹੋਇਆ ਹੈ। 5,000 ਬਿੱਲ ਪ੍ਰਤੀ ਦਿਨ → $180 ਪ੍ਰਤੀ ਦਿਨ। ਨਿਯਮਬੁੱਕ (ਯੂਨਿਟ 6) ਨੂੰ ਕੈਚ ਕਰਨ ਨਾਲ ਇਨਪੁਟ ਲਾਗਤ ~90% ਘਟ ਗਈ ਹੈ।
ਕੇਸ 2 - ਮਾਡਲ ਨੂੰ ਘਟਾਉਣ ਦਾ ਭੁਗਤਾਨ। ਇੱਕ ਟੀਮ ਓਪਸ 4.8: 300 ਇਨਪੁਟ + 10 ਆਉਟਪੁੱਟ ਟੋਕਨਾਂ ਨਾਲ ਸਧਾਰਨ "ਸਕਾਰਾਤਮਕ/ਨਕਾਰਾਤਮਕ" ਭਾਵਨਾ ਟੈਗਿੰਗ ਕਰ ਰਹੀ ਸੀ। ਓਪਸ ਦੀ ਕੀਮਤ 300/1M×5 + 10/1M×25 = $0.00175 ਹੈ। ਹਾਇਕੂ ਵਿੱਚ ਬਦਲਣਾ, 300/1M×1 + 10/1M×5 = $0.00035 — 5x ਸਸਤਾ, ਸ਼ੁੱਧਤਾ ਵਿੱਚ ਅੰਤਰ ਬਹੁਤ ਜ਼ਿਆਦਾ ਸੀ। ਪ੍ਰਤੀ ਮਹੀਨਾ 3 ਮਿਲੀਅਨ ਕਾਲਾਂ 'ਤੇ, ਅੰਤਰ $5,250 → $1,050 ਹੈ।
ਕੇਸ 3 - ਆਉਟਪੁੱਟ ਜਾਰੀ ਕਰਨਾ। ਜਦੋਂ ਇੱਕ ਮਾਰਕੀਟਿੰਗ ਟੀਮ ਇੱਕ ਉਤਪਾਦ ਵੇਰਵਾ ਤਿਆਰ ਕਰਦੀ ਹੈ, ਤਾਂ ਇਹ ਆਉਟਪੁੱਟ 'ਤੇ ਕੋਈ ਸੀਮਾ ਨਹੀਂ ਨਿਰਧਾਰਤ ਕਰਦੀ ਹੈ; ਮਾਡਲ ਨੇ ਕਈ ਵਾਰ 1,500 ਟੋਕਨ ਕਿਹਾ। ਜਦੋਂ ਮੈਂ "60 ਸ਼ਬਦ ਅਧਿਕਤਮ" ਹਦਾਇਤਾਂ ਨੂੰ ਜੋੜਿਆ, ਔਸਤ ਆਉਟਪੁੱਟ 900 ਤੋਂ 90 ਟੋਕਨਾਂ ਤੱਕ ਘਟ ਗਈ। ਕਿਉਂਕਿ ਛਪਾਈ ਮਹਿੰਗੀ ਸੀ, ਮਹੀਨਾਵਾਰ ਬਿੱਲ ਇੱਕ ਤਿਹਾਈ ਘਟਾ ਦਿੱਤਾ ਗਿਆ ਸੀ, ਅਤੇ ਟੈਕਸਟ ਵਧੇਰੇ ਉਪਯੋਗੀ ਹੋ ਗਏ ਸਨ।
ਆਮ ਗਲਤੀਆਂ
- ਅੱਖ ਦੁਆਰਾ ਟੋਕਨ ਦਾ ਅਨੁਮਾਨ ਲਗਾਉਣਾ: ਤੁਸੀਂ ਖਾਸ ਤੌਰ 'ਤੇ ਤੁਰਕੀ ਅਤੇ ਕੋਡ ਵਿੱਚ ਗਲਤ ਹੋ ਸਕਦੇ ਹੋ। ਮਾਪ.
- ਇਹ ਮੰਨ ਕੇ ਕਿ ਇਨਪੁਟ ਅਤੇ ਆਉਟਪੁੱਟ ਇੱਕੋ ਜਿਹੇ ਹਨ: ਆਉਟਪੁੱਟ ਆਮ ਤੌਰ 'ਤੇ ਬਹੁਤ ਮਹਿੰਗਾ ਹੁੰਦਾ ਹੈ; ਜ਼ਿਆਦਾਤਰ ਅਨੁਕੂਲਤਾ ਆਉਟਪੁੱਟ ਨੂੰ ਛੋਟਾ ਕਰਨ ਤੋਂ ਮਿਲਦੀ ਹੈ।
- ਇੱਕ ਸਿੰਗਲ ਕਾਲ ਦੀ ਸਸਤੀ ਦੁਆਰਾ ਮੂਰਖ ਨਾ ਬਣੋ: ਫੈਸਲਾ ਵਾਲੀਅਮ ਦੁਆਰਾ ਕੀਤਾ ਜਾਂਦਾ ਹੈ. $0.01 × ਮਿਲੀਅਨ = $10,000।
- ਕਿਸੇ ਹੋਰ ਪ੍ਰਦਾਤਾ ਦੇ ਟੋਕਨਾਈਜ਼ਰ ਨਾਲ ਭਵਿੱਖਬਾਣੀ: ਗਲਤ ਨਤੀਜੇ ਦਿੰਦਾ ਹੈ; ਮਾਡਲ ਦੇ ਟੋਕਨ ਕਾਉਂਟਿੰਗ ਟੂਲ ਦੀ ਵਰਤੋਂ ਕਰੋ।
- ਗੱਲਬਾਤ ਦੇ ਇਤਿਹਾਸ ਦਾ ਅਸੀਮਿਤ ਵਿਸਤਾਰ: ਹਰ ਦੌਰ ਐਂਟਰੀ ਵਿੱਚ ਜੋੜਿਆ ਜਾਂਦਾ ਹੈ; ਲੰਬੀ ਗੱਲਬਾਤ ਵਿੱਚ ਸੰਖੇਪ.
- 'max_tokens' ਨੂੰ ਬੇਲੋੜਾ ਉੱਚਾ ਰੱਖਣਾ: ਬਜਟ ਯੋਜਨਾ ਅਤੇ ਕੱਟੇ ਜਾਣ ਦੇ ਜੋਖਮ ਨੂੰ ਛੁਪਾਉਂਦਾ ਹੈ; ਇੱਕ ਯਥਾਰਥਵਾਦੀ ਮੁੱਲ ਦਿਓ.
ਡੂੰਘਾ: ਸੰਦਰਭ ਵਿੰਡੋ ਅਤੇ ਲੰਬੀ ਇਨਪੁਟ ਲਾਗਤ
ਇਹ ਦੇਖਣਾ ਮਹੱਤਵਪੂਰਨ ਹੈ ਕਿ ਕੀਮਤ "ਗੱਲਬਾਤ ਦੌਰਾਨ" ਕਿਵੇਂ ਵਧਦੀ ਹੈ ਨਾ ਕਿ ਸਿਰਫ਼ "ਪ੍ਰਤੀ ਬੇਨਤੀ"। ਟੈਕਸਟ ਦੀ ਕੁੱਲ ਮਾਤਰਾ ਜਿਸਦੀ ਮਾਡਲ ਪ੍ਰਕਿਰਿਆ ਕਰ ਸਕਦਾ ਹੈ ਨੂੰ ਪ੍ਰਸੰਗ ਵਿੰਡੋ ਕਿਹਾ ਜਾਂਦਾ ਹੈ; ਇੰਪੁੱਟ ਅਤੇ ਆਉਟਪੁੱਟ ਦਾ ਜੋੜ ਇਸ ਵਿੰਡੋ ਵਿੱਚ ਫਿੱਟ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ। ਆਧੁਨਿਕ ਮਾਡਲ ਬਹੁਤ ਵੱਡੀਆਂ ਵਿੰਡੋਜ਼ ਦੀ ਪੇਸ਼ਕਸ਼ ਕਰਦੇ ਹਨ (ਸੈਂਕੜੇ ਹਜ਼ਾਰਾਂ, ਲੱਖਾਂ ਟੋਕਨ ਵੀ), ਪਰ ਇਸਦਾ ਮਤਲਬ ਇਹ ਨਹੀਂ ਹੈ ਕਿ ਤੁਸੀਂ "ਇਸ ਨੂੰ ਬੇਅੰਤ ਭਰ" ਸਕਦੇ ਹੋ - ਜੋ ਵੀ ਤੁਸੀਂ ਵਿੰਡੋ ਵਿੱਚ ਪਾਉਂਦੇ ਹੋ, ਉਸ ਨੂੰ ਇਨਪੁਟ ਵਜੋਂ ਬਿਲ ਕੀਤਾ ਜਾਂਦਾ ਹੈ।
ਲੰਬੀ ਗੱਲਬਾਤ ਦਾ ਜਾਲ ਇਹ ਹੈ: ਹਰ ਨਵੇਂ ਦੌਰ ਦੇ ਨਾਲ ਤੁਸੀਂ ਪੂਰਾ ਇਤਿਹਾਸ ਦੁਬਾਰਾ ਭੇਜਦੇ ਹੋ (ਯੂਨਿਟ 1 ਵਿੱਚ ਰਾਜਹੀਣਤਾ)। 20-ਰਾਉਂਡ ਦੀ ਗੱਲਬਾਤ ਵਿੱਚ, 20ਵੀਂ ਬੇਨਤੀ ਵਿੱਚ ਪੂਰੇ ਪਹਿਲੇ 19 ਦੌਰਾਂ ਨੂੰ ਇਨਪੁਟ ਵਜੋਂ ਸ਼ਾਮਲ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। ਇਸ ਤਰ੍ਹਾਂ, ਜਿਵੇਂ-ਜਿਵੇਂ ਗੱਲਬਾਤ ਲੰਮੀ ਹੁੰਦੀ ਜਾਂਦੀ ਹੈ, ਪ੍ਰਤੀ ਬੇਨਤੀ ਲਾਗਤ ਰੇਖਿਕ ਦੀ ਬਜਾਏ ਸੰਚਤ ਰੂਪ ਵਿੱਚ ਵਧਦੀ ਜਾਂਦੀ ਹੈ। ਇੱਕ ਏਜੰਟ ਸਹਾਇਕ ਨਾਲ 50-ਗੇੜ ਦੀ ਗੱਲਬਾਤ ਪਹਿਲੇ ਦੌਰ ਦੇ ਦਰਜਨਾਂ ਗੁਣਾ ਇੰਪੁੱਟ ਖਰਚਾ ਪੈਦਾ ਕਰ ਸਕਦੀ ਹੈ।
ਇਸ ਦਾ ਪ੍ਰਬੰਧਨ ਕਰਨ ਦੇ ਦੋ ਤਰੀਕੇ ਹਨ। ਪਹਿਲਾ ਰੀਕੈਪ ਹੈ: ਪੁਰਾਣੇ ਰਾਉਂਡਾਂ ਨੂੰ ਇੱਕ ਸਿੰਗਲ ਰੀਕੈਪ ਬਲਾਕ ਵਿੱਚ ਸੰਕੁਚਿਤ ਕਰਨਾ, ਸਿਰਫ ਆਖਰੀ ਕੁਝ ਰਾਉਂਡਾਂ ਨੂੰ ਕੱਚਾ ਰੱਖਣਾ। ਦੂਜਾ ਹੈ ਪ੍ਰੋਂਪਟ ਕੈਚਿੰਗ (ਯੂਨਿਟ 6): ਨਿਸ਼ਚਿਤ ਸੰਦਰਭ ਨੂੰ ਪੂਰੀ ਕੀਮਤ 'ਤੇ ਵਾਰ-ਵਾਰ ਪ੍ਰੋਸੈਸ ਕਰਨ ਦੀ ਬਜਾਏ ਕੀਮਤ ਦੇ ਦਸਵੇਂ ਹਿੱਸੇ 'ਤੇ ਪੜ੍ਹਨਾ। ਇਕੱਠੇ ਮਿਲ ਕੇ, ਉਹ ਲੰਬੇ, ਸੰਦਰਭ-ਸਹਿਤ ਵਰਕਲੋਡ 'ਤੇ ਬਿੱਲ ਨੂੰ ਮਹੱਤਵਪੂਰਨ ਤੌਰ 'ਤੇ ਘਟਾਉਂਦੇ ਹਨ। ਇਸ ਲਈ ਟੋਕਨ ਅਰਥ ਸ਼ਾਸਤਰ ਪੂਰੇ ਸੈਸ਼ਨ ਦੇ ਡਿਜ਼ਾਈਨ ਬਾਰੇ ਹੈ, ਇੱਕ ਵੀ ਬੇਨਤੀ ਨਹੀਂ।
ਸੰਖੇਪ ਵਿੱਚ
ਟੋਕਨ ਸਭ ਤੋਂ ਛੋਟੀ ਇਕਾਈ ਹੈ ਜਿਸ ਵਿੱਚ ਟੈਕਸਟ ਦੀ ਪ੍ਰਕਿਰਿਆ ਕੀਤੀ ਜਾਂਦੀ ਹੈ; ਇੰਪੁੱਟ ਅਤੇ ਆਉਟਪੁੱਟ ਦੀ ਕੀਮਤ ਵੱਖਰੇ ਤੌਰ 'ਤੇ ਹੁੰਦੀ ਹੈ, ਅਤੇ ਆਉਟਪੁੱਟ ਅਕਸਰ ਬਹੁਤ ਮਹਿੰਗਾ ਹੁੰਦਾ ਹੈ। ਲਾਗਤ ਟੋਕਨਾਂ ਦੀ ਗਿਣਤੀ ਹੈ ਜੋ ਯੂਨਿਟ ਦੀ ਕੀਮਤ ਨਾਲ ਗੁਣਾ ਕੀਤੀ ਜਾਂਦੀ ਹੈ, ਅਤੇ ਅਸਲ ਫੈਸਲਾ ਵਾਲੀਅਮ ਦੁਆਰਾ ਲਿਆ ਜਾਂਦਾ ਹੈ। ਪ੍ਰੋਂਪਟ ਨੂੰ ਛੋਟਾ ਕਰਨਾ, ਆਉਟਪੁੱਟ ਨੂੰ ਸੀਮਤ ਕਰਨਾ, ਅਤੇ ਕੰਮ ਨੂੰ ਪੂਰਾ ਕਰਨ ਵਾਲੇ ਸਭ ਤੋਂ ਹਲਕੇ ਮਾਡਲ ਦੀ ਚੋਣ ਕਰਨਾ ਸਭ ਤੋਂ ਸਿੱਧੇ ਲੀਵਰ ਹਨ ਜੋ ਲਾਗਤ ਨੂੰ ਕਈ ਗੁਣਾ ਘਟਾਉਂਦੇ ਹਨ।
ਐਪਲੀਕੇਸ਼ਨ ਦਾ ਕੰਮ
ਆਪਣਾ ਕੋਈ ਕੰਮ ਚੁਣੋ। (1) ਪ੍ਰਤੀਨਿਧੀ ਪ੍ਰੋਂਪਟ ਲਈ ਇਨਪੁਟ ਅਤੇ ਅੰਦਾਜ਼ਨ ਆਉਟਪੁੱਟ ਟੋਕਨਾਂ ਦੀ ਸੰਖਿਆ ਨਿਰਧਾਰਤ ਕਰੋ (ਜੇ ਸੰਭਵ ਹੋਵੇ ਤਾਂ ਟੋਕਨ ਕਾਉਂਟਿੰਗ ਟੂਲ ਨਾਲ ਮਾਪੋ)। (2) ਤਿੰਨ ਮਾਡਲ ਕਲਾਸਾਂ ਲਈ ਪ੍ਰਤੀ ਬੇਨਤੀ ਲਾਗਤ ਦੀ ਗਣਨਾ ਕਰੋ। (3) ਆਪਣੀਆਂ ਰੋਜ਼ਾਨਾ ਬੇਨਤੀਆਂ ਦੀ ਗਿਣਤੀ ਦਾ ਅੰਦਾਜ਼ਾ ਲਗਾਓ ਅਤੇ ਤਿੰਨ ਮਾਡਲਾਂ ਲਈ ਮਹੀਨਾਵਾਰ ਬਜਟ ਪ੍ਰਾਪਤ ਕਰੋ। (4) ਆਉਟਪੁੱਟ ਨੂੰ ਛੋਟਾ ਕਰਨ ਲਈ ਇੱਕ ਹਦਾਇਤ ਜੋੜੋ ਅਤੇ ਉਮੀਦ ਕੀਤੀ ਬੱਚਤ ਨੂੰ ਨੋਟ ਕਰੋ।
ਚੈੱਕਲਿਸਟ
- [ ] ਮੈਂ ਟੋਕਨਾਂ ਦੀ ਧਾਰਨਾ ਦੀ ਵਿਆਖਿਆ ਕਰ ਸਕਦਾ ਹਾਂ ਅਤੇ ਟੋਕਨਾਈਜ਼ੇਸ਼ਨ ਮਾਡਲ ਦੇ ਆਧਾਰ 'ਤੇ ਵੱਖ-ਵੱਖ ਹੁੰਦੀ ਹੈ।
- [ ] ਮੈਨੂੰ ਪਤਾ ਹੈ ਕਿ ਇੰਪੁੱਟ ਅਤੇ ਆਉਟਪੁੱਟ ਟੋਕਨਾਂ ਦੀ ਕੀਮਤ ਵੱਖਰੀ ਕਿਉਂ ਹੈ।
- [ ] ਮੈਂ ਫਾਰਮੂਲੇ ਨਾਲ ਬੇਨਤੀ ਦੀ ਲਾਗਤ ਦੀ ਗਣਨਾ ਕਰ ਸਕਦਾ ਹਾਂ।
- ਮੈਂ ਟੈਂਪਲੇਟ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਵਰਕਲੋਡ ਲਈ ਮਹੀਨਾਵਾਰ ਬਜਟ ਬਣਾ ਸਕਦਾ/ਸਕਦੀ ਹਾਂ।
- [ ] ਮੈਂ ਇੱਕ ਉਦਾਹਰਨ ਦੇ ਨਾਲ ਆਉਟਪੁੱਟ ਅਤੇ ਮਾਡਲ ਕਟੌਤੀ ਨੂੰ ਛੋਟਾ ਕਰਨ ਦਾ ਫਾਇਦਾ ਦਿਖਾ ਸਕਦਾ ਹਾਂ।