ਲਾਭ:
- ਸਮਰੱਥਾ, ਗਤੀ ਅਤੇ ਲਾਗਤ 'ਤੇ ਮਾਡਲ ਪਰਿਵਾਰ (ਤੇਜ਼/ਸੰਤੁਲਿਤ/ਸ਼ਕਤੀਸ਼ਾਲੀ) ਦੀ ਤੁਲਨਾ ਕਰ ਸਕਦਾ ਹੈ
- ਕੰਮ ਦੀ ਗੁੰਝਲਤਾ ਦੇ ਅਨੁਸਾਰ ਮਾਡਲ ਦੀ ਚੋਣ ਅਤੇ ਰੂਟਿੰਗ ਰਣਨੀਤੀਆਂ ਨੂੰ ਡਿਜ਼ਾਈਨ ਕਰਦਾ ਹੈ
- ਈਵਲਸ ਦੇ ਇੱਕ ਛੋਟੇ ਸਮੂਹ ਦੇ ਨਾਲ ਸਬੂਤ ਦੇ ਆਧਾਰ 'ਤੇ ਮਾਡਲ ਦੀ ਚੋਣ
LLM ਏਕੀਕਰਣ ਵਿੱਚ ਤੁਹਾਡੇ ਪੈਸੇ ਅਤੇ ਗੁਣਵੱਤਾ ਲਈ ਤੁਹਾਡੇ ਸਭ ਤੋਂ ਵੱਧ ਧਮਾਕੇ ਨੂੰ ਨਿਰਧਾਰਤ ਕਰਨ ਵਾਲਾ ਇੱਕੋ ਇੱਕ ਫੈਸਲਾ ਇਹ ਹੈ ਕਿ ਤੁਸੀਂ ਕਿਹੜਾ ਮਾਡਲ ਵਰਤਦੇ ਹੋ। ਆਮ ਪ੍ਰਤੀਬਿੰਬ "ਸਭ ਤੋਂ ਮਜ਼ਬੂਤ ਮਾਡਲ ਚੁਣੋ" ਹੈ; ਹਾਲਾਂਕਿ, ਇਸਦਾ ਅਕਸਰ ਮਤਲਬ ਬੇਲੋੜੇ ਖਰਚੇ ਅਤੇ ਦੇਰੀ ਹੁੰਦਾ ਹੈ। ਸਹੀ ਪਹੁੰਚ ਸਭ ਤੋਂ ਹਲਕਾ ਮਾਡਲ ਚੁਣਨਾ ਹੈ ਜੋ ਹਰੇਕ ਕੰਮ ਨੂੰ ਪੂਰਾ ਕਰਦਾ ਹੈ ਅਤੇ ਉਸ ਚੋਣ ਨੂੰ ਮਾਪ 'ਤੇ ਅਧਾਰਤ ਕਰਦਾ ਹੈ, ਨਾ ਕਿ ਅੰਦਾਜ਼ਾ ਲਗਾਉਣਾ। ਇਸ ਯੂਨਿਟ ਵਿੱਚ, ਤੁਸੀਂ ਸਮਰੱਥਾ/ਸਪੀਡ/ਕੀਮਤ ਧੁਰੇ 'ਤੇ ਮਾਡਲ ਪਰਿਵਾਰ ਦੀ ਤੁਲਨਾ ਕਰੋਗੇ, ਕੰਮ ਦੀ ਗੁੰਝਲਤਾ ਦੇ ਅਨੁਸਾਰ ਇੱਕ ਮਾਡਲ ਰੂਟਿੰਗ ਰਣਨੀਤੀ ਸਥਾਪਤ ਕਰੋਗੇ, ਅਤੇ ਮੁਲਾਂਕਣਾਂ ਦੇ ਇੱਕ ਛੋਟੇ ਸਮੂਹ ਨਾਲ ਚੋਣ ਦਾ ਸਬੂਤ ਦਿਓਗੇ।
ਮਾਡਲ ਪਰਿਵਾਰ ਨੂੰ ਸਮਝਣਾ
ਪ੍ਰਦਾਤਾ ਆਮ ਤੌਰ 'ਤੇ ਤਿੰਨ ਸ਼੍ਰੇਣੀਆਂ ਦੀ ਪੇਸ਼ਕਸ਼ ਕਰਦੇ ਹਨ: ਤੇਜ਼/ਸਸਤੇ, ਸਥਿਰ ਅਤੇ ਸ਼ਕਤੀਸ਼ਾਲੀ। ਉਹਨਾਂ ਵਿਚਕਾਰ ਸਬੰਧ ਤਿੰਨ ਧੁਰਿਆਂ 'ਤੇ ਸੰਖੇਪ ਕੀਤੇ ਗਏ ਹਨ: ਯੋਗਤਾ (ਮੁਸ਼ਕਲ ਕਾਰਜਾਂ ਨੂੰ ਹੱਲ ਕਰਨ ਦੀ ਸ਼ਕਤੀ), ਗਤੀ (ਲੇਟੈਂਸੀ), ਲਾਗਤ (ਟੋਕਨ ਕੀਮਤ)।
ਕਲਾਸ
ਉਦਾਹਰਨ
ਪ੍ਰਤਿਭਾ
ਗਤੀ
ਲਾਗਤ
ਉਪਲਬਧ ਕਾਰਜ
ਤੇਜ਼
ਹਾਇਕੂ 4.5
ਮੱਧਮ
ਬਹੁਤ ਉੱਚਾ
ਘੱਟ
ਵਰਗੀਕਰਨ, ਲੇਬਲਿੰਗ, ਸੰਖੇਪ ਸੰਖੇਪ, ਸਥਿਤੀ
ਸੰਤੁਲਿਤ
ਸੋਨੇਟ 5
ਉੱਚ
ਉੱਚ
ਮੱਧਮ
ਆਮ ਮਕਸਦ, ਕੋਡਿੰਗ, ਬਹੁ-ਪੜਾਅ ਦਾ ਪ੍ਰਵਾਹ, ਜ਼ਿਆਦਾਤਰ ਏਜੰਟ ਕੰਮ
ਮਜ਼ਬੂਤ
ਓਪਸ 4.8
ਸਭ ਤੋਂ ਉੱਚਾ
ਮੱਧਮ
ਉੱਚ
ਗੁੰਝਲਦਾਰ ਤਰਕ, ਲੰਬੀ-ਸੀਮਾ ਦੇ ਖੁਦਮੁਖਤਿਆਰ ਕਾਰਜ, ਮੁਸ਼ਕਲ ਵਿਸ਼ਲੇਸ਼ਣ
ਨਾਜ਼ੁਕ ਸਮਝ: ਵਧੇਰੇ ਸ਼ਕਤੀਸ਼ਾਲੀ ਮਾਡਲ ਹਰ ਕੰਮ 'ਤੇ ਬਿਹਤਰ ਪ੍ਰਦਰਸ਼ਨ ਨਹੀਂ ਕਰਦਾ ਹੈ। ਇੱਕ ਸਧਾਰਨ "ਜ਼ਰੂਰੀ ਜਾਂ ਨਹੀਂ" ਲੇਬਲਿੰਗ ਵਿੱਚ, ਮਜ਼ਬੂਤ ਮਾਡਲ ਅਤੇ ਤੇਜ਼ ਮਾਡਲ ਇੱਕੋ ਸਹੀ ਜਵਾਬ ਦਿੰਦੇ ਹਨ; ਫਰਕ ਸਿਰਫ ਇਹ ਹੈ ਕਿ ਸ਼ਕਤੀਸ਼ਾਲੀ 5 ਗੁਣਾ ਜ਼ਿਆਦਾ ਮਹਿੰਗਾ ਅਤੇ ਹੌਲੀ ਹੈ। ਵਾਧੂ ਪ੍ਰਤਿਭਾ ਉਦੋਂ ਹੀ ਮੁੱਲ ਪੈਦਾ ਕਰਦੀ ਹੈ ਜਦੋਂ ਮਿਸ਼ਨ ਨੂੰ ਇਸਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।
ਕਦਮ ਦਰ ਕਦਮ: ਇੱਕ ਮਾਡਲ ਕਿਵੇਂ ਚੁਣਨਾ ਹੈ?
- ਕੰਮ ਦਾ ਵਰਗੀਕਰਨ ਕਰੋ। ਕੀ ਇਹ ਰੁਟੀਨ/ਪੈਟਰਨਡ (ਲੇਬਲਿੰਗ, ਅਨੁਮਾਨ), ਜਾਂ ਓਪਨ-ਐਂਡ/ਮਲਟੀ-ਸਟੈਪ (ਵਿਸ਼ਲੇਸ਼ਣ, ਯੋਜਨਾ, ਕੋਡ) ਹੈ?
- ਸਭ ਤੋਂ ਹਲਕੇ ਉਮੀਦਵਾਰ ਨਾਲ ਸ਼ੁਰੂ ਕਰੋ। ਇਸ ਨੂੰ ਤੇਜ਼ ਮਾਡਲ ਨਾਲ ਅਜ਼ਮਾਓ। ਜੇ ਇਹ ਕਾਫ਼ੀ ਹੈ, ਤਾਂ ਰੁਕੋ।
- ਜੇ ਇਹ ਕਾਫ਼ੀ ਨਹੀਂ ਹੈ, ਤਾਂ ਉੱਚੀ ਸ਼੍ਰੇਣੀ ਵਿੱਚ ਜਾਓ। ਜੇਕਰ ਸ਼ੁੱਧਤਾ ਘੱਟ ਹੈ, ਤਾਂ ਸੰਤੁਲਿਤ 'ਤੇ ਜਾਓ, ਜੇਕਰ ਇਹ ਕਾਫ਼ੀ ਨਹੀਂ ਹੈ, ਤਾਂ ਮਜ਼ਬੂਤ 'ਤੇ ਜਾਓ।
- ਮਾਪੋ, ਅੰਦਾਜ਼ਾ ਨਾ ਲਗਾਓ। ਹਰੇਕ ਉਮੀਦਵਾਰ ਦੀ ਸ਼ੁੱਧਤਾ ਅਤੇ ਲਾਗਤ ਦੀ ਤੁਲਨਾ ਈਵਲ ਦੇ ਇੱਕ ਛੋਟੇ ਸਮੂਹ (ਹੇਠਾਂ) ਨਾਲ ਕਰੋ।
- ਰੀਡਾਇਰੈਕਸ਼ਨ ਸੈਟ ਅਪ ਕਰੋ। ਇੱਕ ਸਿੰਗਲ ਮਾਡਲ ਨਾਲ ਜੁੜਨ ਦੀ ਬਜਾਏ, ਕੰਮ ਨੂੰ "ਰਾਊਟਰ" ਨਾਲ ਸਹੀ ਮਾਡਲ ਵਿੱਚ ਵੰਡੋ।
ਮਾਡਲ ਰੂਟਿੰਗ
ਅਸਲ ਵਰਕਲੋਡ ਮਿਲਾਏ ਜਾਂਦੇ ਹਨ: ਜ਼ਿਆਦਾਤਰ ਆਉਣ ਵਾਲੀਆਂ ਬੇਨਤੀਆਂ ਸਧਾਰਨ ਹੁੰਦੀਆਂ ਹਨ, ਕੁਝ ਮੁਸ਼ਕਲ ਹੁੰਦੀਆਂ ਹਨ। ਇਹ ਸਭ ਨੂੰ ਸ਼ਕਤੀਸ਼ਾਲੀ ਮਾਡਲ ਨੂੰ ਭੇਜਣ ਲਈ ਇੱਕ ਬਰਬਾਦੀ ਹੈ; ਉਹਨਾਂ ਸਾਰਿਆਂ ਨੂੰ ਤੇਜ਼ ਮਾਡਲ ਵਿੱਚ ਭੇਜਣਾ ਗੁਣਵੱਤਾ ਨੂੰ ਘਟਾਉਂਦਾ ਹੈ। ਰੂਟਿੰਗ ਇਸ ਨੂੰ ਹੱਲ ਕਰਦੀ ਹੈ: ਇੱਕ ਸਸਤਾ ਮਾਡਲ (ਜਾਂ ਇੱਕ ਸਧਾਰਨ ਨਿਯਮ) ਪਹਿਲਾਂ ਕੰਮ ਨੂੰ ਵਰਗੀਕ੍ਰਿਤ ਕਰਦਾ ਹੈ, ਫਿਰ ਨੌਕਰੀ ਉਚਿਤ ਮਾਡਲ 'ਤੇ ਜਾਂਦੀ ਹੈ।
# ਰਾਊਟਰ ਪ੍ਰੋਂਪਟ (ਸਸਤੇ ਮਾਡਲ ਨਾਲ ਕੰਮ ਕਰਦਾ ਹੈ) ਆਉਣ ਵਾਲੀ ਬੇਨਤੀ ਨੂੰ ਇਸਦੀ ਮੁਸ਼ਕਲ ਦੇ ਅਨੁਸਾਰ ਸ਼੍ਰੇਣੀਬੱਧ ਕਰੋ। ਸਿਰਫ਼ ਹੇਠਾਂ ਦਿੱਤੇ JSON ਨੂੰ ਵਾਪਸ ਕਰੋ:{"ਮੁਸ਼ਕਲ": "ਸਿਪਲ|complex"}ਸਰਲ: ਸਿੰਗਲ-ਪੜਾਅ, ਫਾਰਮੂਲੇ, ਛੋਟਾ-ਜਵਾਬ। ਕੰਪਲੈਕਸ: ਬਹੁ-ਪੜਾਵੀ ਤਰਕ, ਵਿਸ਼ਲੇਸ਼ਣ, ਜਾਂ ਲੰਮੀ ਪੀੜ੍ਹੀ ਦੀ ਲੋੜ ਹੈ। ਬੇਨਤੀ: """{{request}}"""
- ਸਧਾਰਨ → ਤੇਜ਼ ਮਾਡਲ (ਸਸਤੇ, ਤੇਜ਼) 'ਤੇ ਜਾਓ।
- ਕੰਪਲੈਕਸ → ਸ਼ਕਤੀਸ਼ਾਲੀ ਮਾਡਲ (ਮਹਿੰਗੇ ਪਰ ਜ਼ਰੂਰੀ) 'ਤੇ ਜਾਓ।
ਇਹ ਪੈਟਰਨ ਔਸਤ ਲਾਗਤ ਨੂੰ ਕਾਫ਼ੀ ਘਟਾਉਂਦਾ ਹੈ ਕਿਉਂਕਿ ਜ਼ਿਆਦਾਤਰ ਆਵਾਜਾਈ ਆਮ ਤੌਰ 'ਤੇ ਸਧਾਰਨ ਹੁੰਦੀ ਹੈ।
ਸੰਕੇਤ: ਇੱਕ ਰੈਫਰਲ ਫੈਸਲੇ ਲਈ ਹਮੇਸ਼ਾ ਇੱਕ LLM ਦੀ ਲੋੜ ਨਹੀਂ ਹੁੰਦੀ ਹੈ। ਸਧਾਰਨ ਨਿਯਮ ਜਿਵੇਂ ਕਿ "ਜੇ ਟੈਕਸਟ 20 ਸ਼ਬਦਾਂ ਤੋਂ ਘੱਟ ਹੈ ਤਾਂ ਤੇਜ਼ ਮਾਡਲ 'ਤੇ ਜਾਓ" ਵੀ ਇੱਕ ਗਾਈਡ ਹਨ ਅਤੇ ਜ਼ੀਰੋ ਵਾਧੂ ਟੋਕਨ ਲਾਗਤ ਲਿਆਉਂਦੇ ਹਨ। ਪਹਿਲਾਂ ਨਿਯਮ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰੋ।
ਚੋਣ ਨੂੰ ਸਬੂਤ ਨਾਲ ਜੋੜਨਾ: ਸਮਾਲ ਈਵਲ ਕਲੱਸਟਰ
"ਇਹ ਮੇਰੇ ਲਈ ਬਿਹਤਰ ਲੱਗ ਰਿਹਾ ਹੈ" ਦੇ ਆਧਾਰ 'ਤੇ ਮਾਡਲ ਦੀ ਚੋਣ ਨਾ ਕਰੋ। ਈਵਲ (ਮੁਲਾਂਕਣ ਸੈੱਟ) ਨਮੂਨਿਆਂ ਦਾ ਇੱਕ ਛੋਟਾ ਸਮੂਹ ਹੈ ਜਿਸ ਲਈ ਸਹੀ ਉੱਤਰ ਜਾਣਿਆ ਜਾਂਦਾ ਹੈ; ਤੁਸੀਂ ਇਸ ਸੈੱਟ 'ਤੇ ਹਰੇਕ ਮਾਡਲ ਨੂੰ ਚਲਾਉਂਦੇ ਹੋ ਅਤੇ ਸ਼ੁੱਧਤਾ, ਲਾਗਤ ਅਤੇ ਲੇਟੈਂਸੀ ਨੂੰ ਮਾਪਦੇ ਹੋ।
# ਈਵਲ ਸੈੱਟਅੱਪ ਟੈਮਪਲੇਟ1) 20-50 ਅਸਲ ਉਦਾਹਰਨਾਂ ਇਕੱਠੀਆਂ ਕਰੋ, ਹਰ ਇੱਕ 'ਤੇ "ਸਹੀ ਜਵਾਬ" ਹੱਥ ਨਾਲ ਲਿਖੋ। 2) ਇਸ ਸੈੱਟ 'ਤੇ ਹਰੇਕ ਮਾਡਲ (ਤੇਜ਼/ਸੰਤੁਲਿਤ/ਮਜ਼ਬੂਤ) ਚਲਾਓ। 3) ਹਰੇਕ ਮਾਡਲ ਲਈ: ਸੋਧਾਂ ਦੀ ਸੰਖਿਆ, ਔਸਤ ਥ੍ਰੁਪੁੱਟ ਟੋਕਨ, ਪ੍ਰਤੀ ਬੇਨਤੀ ਦੀ ਲਾਗਤ, ਔਸਤ ਸਮਾਂ। 4) ਉਹ ਮਾਡਲ ਚੁਣੋ ਜੋ "ਕਾਫ਼ੀ ਸਸਤੀ ਸ਼ੁੱਧਤਾ" ਦਿੰਦਾ ਹੈ।
# ਈਵਲ ਤੁਲਨਾ ਸਾਰਣੀ (ਭਰਨ) ਮਾਡਲ | ਸ਼ੁੱਧਤਾ | ਪ੍ਰਤੀ ਬੇਨਤੀ ਲਾਗਤ | ਔਸਤ ਮਿਆਦ ਹਾਇਕੂ | ...% | ...$ | ... snSonnet | ...% | ...$ | ... snOpus | ...% | ...$ | ...ਸੈਕੰਡ
ਕਮਜ਼ੋਰ ਪ੍ਰੋਂਪਟ / ਮਜ਼ਬੂਤ ਪ੍ਰੋਂਪਟ (ਮਾਡਲ ਚੋਣ ਦਾ ਫੈਸਲਾ)
# ਕਮਜ਼ੋਰ (ਫੈਸਲੇ ਲਈ ਕੋਈ ਆਧਾਰ ਨਹੀਂ) ਆਓ ਵਧੀਆ ਮਾਡਲ ਦੀ ਵਰਤੋਂ ਕਰੀਏ, ਬਜਟ ਮਹੱਤਵਪੂਰਨ ਨਹੀਂ ਹੈ।
# STRONG (ਮਾਪ 'ਤੇ ਆਧਾਰਿਤ ਫੈਸਲਾ) 50 ਨਮੂਨਿਆਂ ਦੇ ਮੁਕਾਬਲੇ, ਹਾਇਕੂ ਨੇ 96% ਸ਼ੁੱਧਤਾ ਦਿੱਤੀ, ਸੋਨੇਟ ਨੇ 97% ਸ਼ੁੱਧਤਾ ਦਿੱਤੀ; ਅੰਤਰ ਅੰਕੜਾ ਪੱਖੋਂ ਮਾਮੂਲੀ ਹੈ। ਹਾਇਕੂ ਨੂੰ ਇਸ ਲਈ ਚੁਣਿਆ ਗਿਆ ਕਿਉਂਕਿ ਇਹ 5 ਗੁਣਾ ਸਸਤਾ ਅਤੇ 2 ਗੁਣਾ ਤੇਜ਼ ਹੈ। ਜੇਕਰ ਸ਼ੁੱਧਤਾ 95% ਤੋਂ ਘੱਟ ਜਾਂਦੀ ਹੈ, ਤਾਂ ਸੋਨੈੱਟ 'ਤੇ ਅਪਗ੍ਰੇਡ ਕਰਨ ਦਾ ਫੈਸਲਾ ਆਪਣੇ ਆਪ ਹੀ ਲਿਆ ਜਾਵੇਗਾ।
ਸ਼ਕਤੀਸ਼ਾਲੀ ਸੰਸਕਰਣ; ਚੋਣ ਨੂੰ ਇੱਕ ਨੰਬਰ, ਇੱਕ ਥ੍ਰੈਸ਼ਹੋਲਡ, ਅਤੇ ਇੱਕ ਵਾਧਾ ਨਿਯਮ ਨਾਲ ਜੋੜਦਾ ਹੈ। ਇਹ ਦੋਵੇਂ ਅੱਜ ਦੇ ਫੈਸਲੇ ਦਾ ਬਚਾਅ ਕਰਦੇ ਹਨ ਅਤੇ ਭਵਿੱਖ ਦੇ ਬਦਲਾਅ ਦਾ ਪ੍ਰਬੰਧਨ ਕਰਦੇ ਹਨ।
ਤਿੰਨ ਮਿੰਨੀ ਕੇਸ
ਕੇਸ 1 - ਬਹੁਤ ਜ਼ਿਆਦਾ ਸ਼ਕਤੀਸ਼ਾਲੀ ਮਾਡਲ ਤੋਂ ਬਚੋ। ਇੱਕ ਕਾਲ ਸੈਂਟਰ ਓਪਸ ਨਾਲ ਗੱਲਬਾਤ ਦੇ ਸਾਰੇ ਸਾਰ ਤਿਆਰ ਕਰ ਰਿਹਾ ਸੀ; ਮਹੀਨਾਵਾਰ ਬਿੱਲ ਜ਼ਿਆਦਾ ਸੀ। 40-ਨਮੂਨਾ ਈਵਲ 'ਤੇ, ਸੋਨੈੱਟ ਸ਼ੁੱਧਤਾ ਵਿੱਚ ਓਪਸ ਤੋਂ 1% ਪਿੱਛੇ ਸੀ ਪਰ ਲਾਗਤ ਇੱਕ ਤਿਹਾਈ ਸੀ। ਉਹਨਾਂ ਨੇ ਸੰਖੇਪ ਰਚਨਾ ਨੂੰ ਸੋਨੈੱਟ ਵਿੱਚ ਤਬਦੀਲ ਕਰ ਦਿੱਤਾ; ਮਾਸਿਕ ਲਾਗਤ $9,000 ਤੋਂ ਘਟ ਕੇ $3,100 ਰਹਿ ਗਈ, ਬਿਨਾਂ ਗੁਣਵੱਤਾ ਦੀ ਕੋਈ ਸ਼ਿਕਾਇਤ।
ਕੇਸ 2 - ਰੀਡਾਇਰੈਕਸ਼ਨ ਦੇ ਨਾਲ ਮਿਸ਼ਰਤ ਟ੍ਰੈਫਿਕ। ਕਾਨੂੰਨੀ ਤਕਨੀਕੀ ਟੀਮ ਦੀਆਂ 80% ਬੇਨਤੀਆਂ ਸਧਾਰਨ ਦਸਤਾਵੇਜ਼ ਟੈਗਿੰਗ ਸਨ, 20% ਗੁੰਝਲਦਾਰ ਇਕਰਾਰਨਾਮਾ ਵਿਸ਼ਲੇਸ਼ਣ ਸਨ। ਉਹ ਇਨ੍ਹਾਂ ਸਾਰਿਆਂ ਨੂੰ ਸ਼ਕਤੀਸ਼ਾਲੀ ਮਾਡਲ ਕੋਲ ਭੇਜ ਰਹੇ ਸਨ। ਉਹਨਾਂ ਨੇ ਇੱਕ ਸਸਤੇ ਰਾਊਟਰ ਨੂੰ ਜੋੜਿਆ ਅਤੇ ਹਾਇਕੂ ਵਿੱਚ ਸਧਾਰਨ ਨੌਕਰੀਆਂ ਅਤੇ ਓਪਸ ਵਿੱਚ ਗੁੰਝਲਦਾਰ ਨੌਕਰੀਆਂ ਵੰਡੀਆਂ; ਔਸਤ ਬੇਨਤੀ ਦੀ ਲਾਗਤ 64% ਘਟ ਗਈ ਹੈ, ਜਦੋਂ ਕਿ ਵਿਸ਼ਲੇਸ਼ਣ ਗੁਣਵੱਤਾ ਬਣਾਈ ਰੱਖੀ ਗਈ ਸੀ।
ਕੇਸ 3 - ਮਾਪਣ ਤੋਂ ਬਿਨਾਂ ਆਕਾਰ ਘਟਾਉਣ ਦੀ ਲਾਗਤ। ਲਾਗਤ ਨੂੰ ਘਟਾਉਣ ਲਈ, ਇੱਕ ਟੀਮ ਨੇ ਫਾਸਟ ਮਾਡਲ ਨੂੰ ਸਿੱਧੇ ਤੌਰ 'ਤੇ ਗੁੰਝਲਦਾਰ ਮੈਡੀਕਲ ਕੋਡ ਕੱਢਣ ਨੂੰ ਘਟਾ ਦਿੱਤਾ; ਉਨ੍ਹਾਂ ਦਾ ਮੁੱਲ ਨਹੀਂ ਪਿਆ। ਲਾਈਵ ਵਿੱਚ, ਸ਼ੁੱਧਤਾ 92% ਤੋਂ ਘਟ ਕੇ 78% ਹੋ ਗਈ, ਨਤੀਜੇ ਵਜੋਂ ਗਲਤ ਅਨੁਮਾਨਾਂ ਦੀ ਵਾਪਸੀ ਹੋਈ। ਉਨ੍ਹਾਂ ਨੂੰ ਪਹਿਲਾਂ ਮੁਲਾਂਕਣ ਕਰਨਾ ਪਿਆ: ਉਸ ਕੰਮ ਲਈ ਸ਼ਕਤੀਸ਼ਾਲੀ ਮਾਡਲ ਦੀ ਲੋੜ ਸੀ। ਪਾਠ: ਕਮੀ ਅਤੇ ਉਚਾਈ ਦੋਵੇਂ ਮਾਪ ਦੁਆਰਾ ਕੀਤੇ ਜਾਂਦੇ ਹਨ।
ਆਮ ਗਲਤੀਆਂ
- "ਸਭ ਤੋਂ ਮਜ਼ਬੂਤ ਮਾਡਲ" ਪ੍ਰਤੀਬਿੰਬ: ਸਧਾਰਣ ਕੰਮਾਂ ਵਿੱਚ ਵਿਅਰਥ ਅਤੇ ਬੇਲੋੜੀ ਦੇਰੀ।
- ਮਾਪਣ ਤੋਂ ਬਿਨਾਂ ਮਾਡਲ ਨੂੰ ਬਦਲਣਾ: ਕਟੌਤੀ ਅਤੇ ਵਿਸਤਾਰ ਦੋਵੇਂ ਬਿਨਾਂ ਬਰਾਬਰ ਦੇ ਜੋਖਮ ਭਰੇ ਹਨ।
- ਇੱਕ ਸਿੰਗਲ ਮਾਡਲ ਵਿੱਚ ਲਾਕ ਕਰਨਾ: ਮਿਕਸਡ ਟ੍ਰੈਫਿਕ ਵਿੱਚ ਰੂਟਿੰਗ ਅਕਸਰ ਵਧੇਰੇ ਕੁਸ਼ਲ ਹੁੰਦੀ ਹੈ।
- LLM ਲਈ ਰਾਊਟਰ ਨੂੰ ਹਮੇਸ਼ਾ ਗਲਤ ਸਮਝਣਾ: ਸਧਾਰਨ ਨਿਯਮ ਜ਼ੀਰੋ ਲਾਗਤ 'ਤੇ ਕੰਮ ਕਰ ਸਕਦੇ ਹਨ।
- ਬੂਸਟ ਥ੍ਰੈਸ਼ਹੋਲਡ ਸੈਟ ਨਹੀਂ ਕਰਨਾ: ਕੀ ਹੁੰਦਾ ਹੈ ਜੇਕਰ ਸ਼ੁੱਧਤਾ ਵਿੱਚ ਕਮੀ ਨੂੰ ਪਹਿਲਾਂ ਤੋਂ ਪਰਿਭਾਸ਼ਿਤ ਕੀਤਾ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ।
- ਮਾਡਲ ਸੰਸਕਰਣ ਨੂੰ ਠੀਕ ਨਹੀਂ ਕਰਨਾ: ਰਿਕਾਰਡ ਕਰੋ ਕਿ ਤੁਸੀਂ ਉਤਪਾਦਨ ਵਿੱਚ ਕਿਸ ਮਾਡਲ/ਵਰਜਨ 'ਤੇ ਕੰਮ ਕਰ ਰਹੇ ਹੋ; ਸੰਸਕਰਣ ਤਬਦੀਲੀ ਵਿਵਹਾਰ ਨੂੰ ਬਦਲ ਸਕਦੀ ਹੈ।
ਡੂੰਘੀ: ਨਿਰੰਤਰ ਈਵਲ ਅਤੇ ਵਧਦੀ ਅਜ਼ਮਾਇਸ਼
ਮਾਡਲ ਦੀ ਚੋਣ ਇੱਕ ਵਾਰ ਦਾ ਫੈਸਲਾ ਨਹੀਂ ਹੈ। ਪ੍ਰਦਾਤਾ ਨਵੇਂ ਮਾਡਲ ਪੇਸ਼ ਕਰਦੇ ਹਨ, ਕੀਮਤਾਂ ਬਦਲਦੀਆਂ ਹਨ, ਤੁਹਾਡੀ ਨੌਕਰੀ ਦਾ ਵੇਰਵਾ ਵਿਕਸਿਤ ਹੁੰਦਾ ਹੈ। ਇਸ ਲਈ ਇੱਕ ਵਾਰ ਈਵਲ ਕਲੱਸਟਰ ਸੈਟ ਅਪ ਕਰੋ ਅਤੇ ਨਾ ਭੁੱਲੋ; ਇਸ ਨੂੰ ਇੱਕ ਜੀਵਤ ਜੀਵ ਵਾਂਗ ਰੱਖੋ. ਜਦੋਂ ਕੋਈ ਨਵਾਂ ਮਾਡਲ ਸਾਹਮਣੇ ਆਉਂਦਾ ਹੈ, ਤਾਂ ਤੁਸੀਂ ਇਸ ਰਾਹੀਂ ਉਹੀ 20-50 ਨਮੂਨੇ ਚਲਾਓ, ਸਾਰਣੀ ਨੂੰ ਅਪਡੇਟ ਕਰੋ, ਅਤੇ ਆਪਣਾ ਫੈਸਲਾ ਦੁਬਾਰਾ ਕਰੋ। ਇਹ ਤੁਹਾਨੂੰ "ਪੈਟਰਨ-ਸਵਿਚਿੰਗ ਇਨਟਿਊਸ਼ਨ" ਦੇ ਜਾਲ ਤੋਂ ਬਚਾਉਂਦਾ ਹੈ।
ਦੂਜੀ ਉੱਨਤ ਤਕਨੀਕ ਫਾਲਬੈਕ / ਕੈਸਕੇਡ ਪੈਟਰਨ ਹੈ. ਤੁਸੀਂ ਪਹਿਲਾਂ ਸਸਤੇ ਮਾਡਲ ਨੂੰ ਕੰਮ ਦਿੰਦੇ ਹੋ; ਜੇਕਰ ਆਉਟਪੁੱਟ ਵਿੱਚ ਘੱਟ ਵਿਸ਼ਵਾਸ ਹੈ ਜਾਂ ਤਸਦੀਕ ਪਰਤ (ਯੂਨਿਟ 11) ਇਸਨੂੰ ਅਸਵੀਕਾਰ ਕਰਦੀ ਹੈ, ਤਾਂ ਤੁਸੀਂ ਉਸੇ ਬੇਨਤੀ ਨੂੰ ਅੱਗੇ ਵਧਾਉਂਦੇ ਹੋ। ਇਸ ਲਈ ਜ਼ਿਆਦਾਤਰ ਟ੍ਰੈਫਿਕ ਸਸਤੇ ਮਾਡਲ 'ਤੇ ਹੱਲ ਹੋ ਜਾਂਦੀ ਹੈ, ਬਾਕੀ ਬਚੇ ਘੱਟ ਗਿਣਤੀ ਮਹਿੰਗੇ ਮਾਡਲ 'ਤੇ ਜਾਂਦੇ ਹਨ। ਇਹ ਸਥਿਰ ਸਿੰਗਲ-ਮਾਡਲ ਪਹੁੰਚ ਨਾਲੋਂ ਸਸਤਾ ਅਤੇ ਵਧੇਰੇ ਟਿਕਾਊ ਹੈ।
ਤੀਜਾ ਨੁਕਤਾ ਇਹ ਹੈ ਕਿ eval ਵਿੱਚ ਨਾ ਸਿਰਫ਼ ਸ਼ੁੱਧਤਾ, ਸਗੋਂ ਲਾਗਤ ਅਤੇ ਲੇਟੈਂਸੀ ਵੀ ਸ਼ਾਮਲ ਹੈ। ਜੇਕਰ ਕੋਈ ਮਾਡਲ 1% ਜ਼ਿਆਦਾ ਸਟੀਕ ਹੈ ਪਰ 3 ਗੁਣਾ ਜ਼ਿਆਦਾ ਮਹਿੰਗਾ ਅਤੇ 2 ਗੁਣਾ ਹੌਲੀ ਹੈ, ਤਾਂ ਜ਼ਿਆਦਾਤਰ ਨੌਕਰੀਆਂ ਲਈ ਟ੍ਰੇਡ-ਆਫ ਫਾਇਦੇਮੰਦ ਨਹੀਂ ਹੈ। ਤਿੰਨ ਧੁਰਿਆਂ (ਸ਼ੁੱਧਤਾ, ਲਾਗਤ, ਲੇਟੈਂਸੀ) ਦੇ ਨਾਲ ਫੈਸਲਾ ਕਰੋ ਅਤੇ ਇੱਕ "ਕਾਫ਼ੀ ਥ੍ਰੈਸ਼ਹੋਲਡ" ਪਰਿਭਾਸ਼ਿਤ ਕਰੋ: "ਜੇਕਰ ਸ਼ੁੱਧਤਾ 95% ਤੋਂ ਵੱਧ ਹੈ, ਤਾਂ ਸਭ ਤੋਂ ਸਸਤਾ ਚੁਣੋ।"
ਅੰਤ ਵਿੱਚ, ਰਿਕਾਰਡ ਕਰੋ ਕਿ ਤੁਸੀਂ ਉਤਪਾਦਨ ਵਿੱਚ ਕਿਹੜਾ ਮਾਡਲ/ਵਰਜਨ ਵਰਤਿਆ ਹੈ। ਜੇਕਰ ਇੱਕ ਦਿਨ ਆਉਟਪੁੱਟ ਗੁਣਵੱਤਾ ਬਦਲਦੀ ਹੈ, ਤਾਂ ਸਭ ਤੋਂ ਪਹਿਲਾਂ ਤੁਸੀਂ ਦੇਖੋਗੇ ਕਿ ਕੀ ਮਾਡਲ ਸੰਸਕਰਣ ਬਦਲ ਗਿਆ ਹੈ। ਵਰਜਨ ਟਰੇਸੇਬਿਲਟੀ ਗੁਣਵੱਤਾ ਦੇ ਮੁੱਦਿਆਂ ਦੇ ਮੂਲ ਕਾਰਨ ਨੂੰ ਲੱਭਣਾ ਤੇਜ਼ ਬਣਾਉਂਦਾ ਹੈ।
ਇੱਕ ਹੋਰ ਚੇਤਾਵਨੀ: eval ਕਲੱਸਟਰ ਤੁਹਾਡੇ ਅਸਲ ਵਰਕਲੋਡ ਨੂੰ ਦਰਸਾਉਣਾ ਚਾਹੀਦਾ ਹੈ। ਇੱਕ ਈਵਲ ਜਿਸ ਵਿੱਚ ਸਿਰਫ਼ ਆਸਾਨ ਉਦਾਹਰਣਾਂ ਹੁੰਦੀਆਂ ਹਨ, ਉਹ ਛੁਪਾਉਂਦੀਆਂ ਹਨ ਜਿੱਥੇ ਮਾਡਲ ਮੁਸ਼ਕਲ ਮਾਮਲਿਆਂ ਵਿੱਚ ਠੋਕਰ ਖਾਂਦਾ ਹੈ ਅਤੇ ਤੁਹਾਨੂੰ ਝੂਠੇ ਭਰੋਸੇ ਵਿੱਚ ਲਿਆਉਂਦਾ ਹੈ। ਇੱਕ ਚੰਗਾ eval; ਇਸ ਵਿੱਚ ਆਮ ਆਸਾਨ ਉਦਾਹਰਣਾਂ ਦੇ ਨਾਲ-ਨਾਲ ਅਸਲੀਅਤ ਵਿੱਚ ਤੁਹਾਡੇ ਸਾਹਮਣੇ ਆਉਣ ਵਾਲੇ ਕੋਨੇ ਦੇ ਕੇਸ ਸ਼ਾਮਲ ਹਨ (ਅਸਪਸ਼ਟ, ਅਧੂਰੇ, ਵਿਰੋਧੀ ਇਨਪੁਟਸ)। ਇਹ ਮੁਸ਼ਕਲ ਘੱਟ ਗਿਣਤੀ ਤੁਹਾਡੀ ਮਾਡਲ ਦੀ ਚੋਣ ਨੂੰ ਨਿਰਧਾਰਤ ਕਰਦੀ ਹੈ, ਕਿਉਂਕਿ ਹਰ ਮਾਡਲ ਕਿਸੇ ਵੀ ਤਰ੍ਹਾਂ ਆਸਾਨ ਬਹੁਮਤ ਵਿੱਚ ਸਫਲ ਹੁੰਦਾ ਹੈ। ਸਮੇਂ-ਸਮੇਂ 'ਤੇ ਇਸ ਨੂੰ ਨਵੀਆਂ ਅਸਲ ਉਦਾਹਰਣਾਂ ਦੇ ਕੇ ਆਪਣੇ ਈਵਲ ਨੂੰ ਤਾਜ਼ਾ ਅਤੇ ਪ੍ਰਤੀਨਿਧ ਰੱਖੋ।
ਸੰਖੇਪ ਵਿੱਚ
ਸਹੀ ਮਾਡਲ ਸਭ ਤੋਂ ਹਲਕਾ ਮਾਡਲ ਹੈ ਜੋ ਕੰਮ ਪੂਰਾ ਕਰਦਾ ਹੈ; ਵਧੇਰੇ ਤਾਕਤਵਰ ਹਰ ਕੰਮ ਵਿੱਚ ਬਿਹਤਰ ਨਹੀਂ ਹੁੰਦਾ, ਇਹ ਸਿਰਫ਼ ਵਧੇਰੇ ਮਹਿੰਗਾ ਅਤੇ ਹੌਲੀ ਹੁੰਦਾ ਹੈ। ਕੰਮ ਦਾ ਵਰਗੀਕਰਨ ਕਰਨਾ ਅਤੇ ਸਭ ਤੋਂ ਹਲਕੇ ਉਮੀਦਵਾਰ ਤੋਂ ਸ਼ੁਰੂ ਕਰਨਾ, ਰਾਊਟਿੰਗ ਦੇ ਨਾਲ ਮਿਕਸਡ ਟ੍ਰੈਫਿਕ ਨੂੰ ਵੰਡਣਾ, ਅਤੇ ਈਵਲਸ ਦੇ ਇੱਕ ਛੋਟੇ ਸਮੂਹ ਨਾਲ ਚੋਣ ਨੂੰ ਪ੍ਰਮਾਣਿਤ ਕਰਨਾ ਗੁਣਵੱਤਾ ਨੂੰ ਕਾਇਮ ਰੱਖਦੇ ਹੋਏ ਕਈ ਵਾਰ ਲਾਗਤ ਨੂੰ ਘਟਾਉਂਦਾ ਹੈ।
ਐਪਲੀਕੇਸ਼ਨ ਦਾ ਕੰਮ
ਇੱਕ ਕੰਮ ਦਾ ਬੋਝ ਚੁਣੋ। (1) ਕਾਰਜ ਨੂੰ ਸਧਾਰਨ/ਜਟਿਲ ਦੇ ਰੂਪ ਵਿੱਚ ਵਰਗੀਕ੍ਰਿਤ ਕਰੋ। (2) 20 ਅਸਲ ਉਦਾਹਰਣਾਂ ਦਾ ਇੱਕ ਛੋਟਾ ਈਵਲ ਸੈੱਟ ਤਿਆਰ ਕਰੋ (ਉਨ੍ਹਾਂ ਦੇ ਸਹੀ ਜਵਾਬਾਂ ਦੇ ਨਾਲ)। (3) ਤਿੰਨ ਮਾਡਲ ਕਲਾਸਾਂ ਲਈ ਸ਼ੁੱਧਤਾ/ਲਾਗਤ/ਸਮੇਂ ਦੀ ਤੁਲਨਾ ਸਾਰਣੀ ਨੂੰ ਤਿਆਰ ਕਰਨ ਲਈ ਇੱਕ ਯੋਜਨਾ ਬਣਾਓ। (4) ਜੇਕਰ ਤੁਹਾਡੇ ਕੋਲ ਮਿਕਸਡ ਟ੍ਰੈਫਿਕ ਹੈ, ਤਾਂ ਇੱਕ ਰੂਟਿੰਗ ਨਿਯਮ ਲਿਖੋ ਅਤੇ ਇੱਕ ਐਸਕੇਲੇਸ਼ਨ ਥ੍ਰੈਸ਼ਹੋਲਡ ਸੈੱਟ ਕਰੋ।
ਚੈੱਕਲਿਸਟ
- [ ] ਮੈਂ ਸਮਰੱਥਾ/ਸਪੀਡ/ਕੀਮਤ ਧੁਰੇ 'ਤੇ ਮਾਡਲ ਪਰਿਵਾਰ ਦੀ ਤੁਲਨਾ ਕਰ ਸਕਦਾ ਹਾਂ।
- [ ] ਮੈਂ "ਸਭ ਤੋਂ ਹਲਕਾ ਸਫਲ ਮਾਡਲ" ਸਿਧਾਂਤ ਲਾਗੂ ਕਰ ਸਕਦਾ ਹਾਂ।
- [ ] ਮੈਂ ਟਾਸਕ ਜਟਿਲਤਾ ਦੇ ਅਨੁਸਾਰ ਮਾਡਲ ਰੂਟਿੰਗ ਸੈਟ ਅਪ ਕਰ ਸਕਦਾ ਹਾਂ।
- [ ] ਈਵਲ ਦੇ ਇੱਕ ਛੋਟੇ ਸਮੂਹ ਨਾਲ ਮੈਂ ਚੋਣ ਨੂੰ ਸਬੂਤ ਨਾਲ ਬੰਨ੍ਹ ਸਕਦਾ ਹਾਂ।
- [ ] ਮੈਂ ਇੱਕ ਅੱਪਗ੍ਰੇਡ/ਡਿਮੋਸ਼ਨ ਥ੍ਰੈਸ਼ਹੋਲਡ ਨੂੰ ਪਰਿਭਾਸ਼ਿਤ ਕਰ ਸਕਦਾ/ਸਕਦੀ ਹਾਂ।