ਆਨ-ਪ੍ਰੇਮ, ਵੀਪੀਸੀ ਅਤੇ ਓਪਨਵੇਟ ਹੋਸਟਿੰਗ

ਲਾਭ:

• ਪ੍ਰਬੰਧਿਤ API, VPC ਅਤੇ ਆਨ-ਪ੍ਰੀਮ ਹੋਸਟਿੰਗ ਦੇ ਵਿਚਕਾਰ ਟਰੇਡ-ਆਫ ਦਾ ਮੁਲਾਂਕਣ ਕਰਨ ਦੀ ਸਮਰੱਥਾ
• ਡੇਟਾ ਦੀ ਪ੍ਰਭੂਸੱਤਾ, ਵਾਲੀਅਮ ਅਤੇ ਕਾਰਜਸ਼ੀਲ ਸਮਰੱਥਾ ਦੇ ਅਧਾਰ ਤੇ ਹੋਸਟਿੰਗ ਬਾਰੇ ਫੈਸਲਾ ਕਰਨ ਦੀ ਯੋਗਤਾ
• ਪੂਰੀਆਂ ਚੀਜ਼ਾਂ ਅਤੇ ਡਿਜ਼ਾਈਨ ਹਾਈਬ੍ਰਿਡ ਆਰਕੀਟੈਕਚਰ ਦੇ ਨਾਲ ਮਾਲਕੀ ਦੀ ਕੁੱਲ ਲਾਗਤ (TCO) ਦੀ ਗਣਨਾ ਕਰਨ ਦੀ ਸਮਰੱਥਾ

ਕੁਝ ਸੰਸਥਾਵਾਂ ਲਈ, “ਪ੍ਰਦਾਤਾ ਨੂੰ ਡੇਟਾ ਭੇਜਣਾ” — ਭਾਵੇਂ ਕਿੰਨਾ ਵੀ ਸੁਰੱਖਿਅਤ ਹੋਵੇ — ਸਵੀਕਾਰਯੋਗ ਨਹੀਂ ਹੈ। ਰੱਖਿਆ ਉਦਯੋਗ, ਜਨਤਕ, ਬੈਂਕਿੰਗ ਅਤੇ ਕੁਝ ਸਿਹਤ ਦ੍ਰਿਸ਼ਾਂ ਵਿੱਚ, ਡੇਟਾ ਨੂੰ ਕਦੇ ਵੀ ਸੰਸਥਾ ਦੀ ਸਰਹੱਦ ਤੋਂ ਬਾਹਰ ਨਹੀਂ ਜਾਣਾ ਚਾਹੀਦਾ। ਇਸ ਸਮੇਂ, ਤੁਹਾਡੇ ਆਪਣੇ ਮਾਡਲ ਦੀ ਮੇਜ਼ਬਾਨੀ ਕਰਨਾ ਸਾਹਮਣੇ ਆਉਂਦਾ ਹੈ: ਓਪਨ-ਵੇਟ ਮਾਡਲ, ਤੁਹਾਡੇ ਆਪਣੇ ਕਲਾਉਡ ਨੈਟਵਰਕ (VPC) ਜਾਂ ਤੁਹਾਡੇ ਆਪਣੇ ਸਰਵਰਾਂ (ਆਨ-ਪ੍ਰੀਮ) ਵਿੱਚ ਚੱਲ ਰਹੇ ਹਨ। ਇਸ ਯੂਨਿਟ ਵਿੱਚ ਅਸੀਂ ਪ੍ਰਬੰਧਿਤ API ਅਤੇ ਸਵੈ-ਹੋਸਟਿੰਗ ਦੇ ਵਿਚਕਾਰ ਵਪਾਰ ਬਾਰੇ ਸਿੱਖਾਂਗੇ, ਜਦੋਂ ਇਹ ਸਮਝ ਵਿੱਚ ਆਉਂਦਾ ਹੈ, ਅਤੇ ਮਲਕੀਅਤ ਦੀ ਕੁੱਲ ਲਾਗਤ (TCO)।

ਧਾਰਨਾਵਾਂ

• ਪ੍ਰਬੰਧਿਤ API: ਮਾਡਲ ਪ੍ਰਦਾਤਾ ਦੇ ਬੁਨਿਆਦੀ ਢਾਂਚੇ 'ਤੇ ਚੱਲਦਾ ਹੈ; ਤੁਸੀਂ ਇੱਕ ਬੇਨਤੀ ਭੇਜੋ ਅਤੇ ਇੱਕ ਜਵਾਬ ਪ੍ਰਾਪਤ ਕਰੋ। ਕਾਰਜਸ਼ੀਲ ਓਵਰਹੈੱਡ ਬਹੁਤ ਘੱਟ ਹੈ, ਪਰ ਡੇਟਾ ਪ੍ਰਦਾਤਾ ਨੂੰ ਜਾਂਦਾ ਹੈ।
• ਓਪਨ-ਵੇਟ ਮਾਡਲ: ਮਾਡਲ ਪੈਰਾਮੀਟਰ (ਵਜ਼ਨ) ਨੂੰ ਡਾਊਨਲੋਡ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ; ਤੁਸੀਂ ਇਸਨੂੰ ਆਪਣੇ ਖੁਦ ਦੇ ਹਾਰਡਵੇਅਰ 'ਤੇ ਚਲਾ ਸਕਦੇ ਹੋ। ਇਹ ਜ਼ਰੂਰੀ ਤੌਰ 'ਤੇ "ਓਪਨ ਸੋਰਸ" ਦੇ ਸਮਾਨ ਨਹੀਂ ਹੈ (ਲਾਇਸੈਂਸ ਵੱਖਰਾ ਹੋ ਸਕਦਾ ਹੈ)।
• VPC ਹੋਸਟਿੰਗ (ਵਰਚੁਅਲ ਪ੍ਰਾਈਵੇਟ ਕਲਾਉਡ): ਤੁਹਾਡੇ ਆਪਣੇ ਅਲੱਗ-ਥਲੱਗ ਕਲਾਉਡ ਨੈਟਵਰਕ ਵਿੱਚ ਮਾਡਲ ਨੂੰ ਚਲਾਉਣਾ; ਡੇਟਾ ਤੁਹਾਡੀ ਨੈੱਟਵਰਕ ਸੀਮਾ 'ਤੇ ਰਹਿੰਦਾ ਹੈ, ਪਰ ਬੁਨਿਆਦੀ ਢਾਂਚਾ ਅਜੇ ਵੀ ਕਲਾਉਡ ਵਿੱਚ ਹੈ।
• ਆਨ-ਪ੍ਰੀਮ (ਆਨ-ਪ੍ਰੀਮਿਸ): ਤੁਹਾਡੇ ਆਪਣੇ ਡੇਟਾ ਸੈਂਟਰ ਵਿੱਚ ਹਾਰਡਵੇਅਰ 'ਤੇ ਮਾਡਲ ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਚਲਾਉਣਾ; ਸਭ ਤੋਂ ਵੱਧ ਨਿਯੰਤਰਣ, ਸਭ ਤੋਂ ਵੱਧ ਸੰਚਾਲਨ ਲੋਡ.

ਸਾਵਧਾਨ: "ਆਪਣੀ ਹੋਸਟਿੰਗ ਹਮੇਸ਼ਾ ਸੁਰੱਖਿਅਤ ਹੁੰਦੀ ਹੈ" ਇੱਕ ਗਲਤ ਧਾਰਨਾ ਹੈ। ਸੁਰੱਖਿਆ ਇਸ ਗੱਲ 'ਤੇ ਘੱਟ ਨਿਰਭਰ ਕਰਦੀ ਹੈ ਕਿ ਤੁਸੀਂ ਡੇਟਾ ਕਿੱਥੇ ਰੱਖਦੇ ਹੋ ਅਤੇ ਇਸ ਗੱਲ 'ਤੇ ਜ਼ਿਆਦਾ ਨਿਰਭਰ ਕਰਦਾ ਹੈ ਕਿ ਤੁਸੀਂ ਇਸ ਨੂੰ ਕਿੰਨੀ ਚੰਗੀ ਤਰ੍ਹਾਂ ਪ੍ਰਬੰਧਿਤ ਕਰਦੇ ਹੋ। ਇੱਕ ਅਨਪੈਚਡ, ਮਾੜੀ ਢੰਗ ਨਾਲ ਕੌਂਫਿਗਰ ਕੀਤਾ ਆਨ-ਪ੍ਰੀਮ ਸਰਵਰ ਇੱਕ ਪਰਿਪੱਕ ਪ੍ਰਬੰਧਿਤ API ਨਾਲੋਂ ਜੋਖਮ ਭਰਿਆ ਹੁੰਦਾ ਹੈ।

ਫੈਸਲੇ ਦਾ ਧੁਰਾ: ਕਿਹੜਾ ਕਦੋਂ?

ਤਿੰਨ ਸਵਾਲ ਫੈਸਲੇ ਦੀ ਅਗਵਾਈ ਕਰਦੇ ਹਨ:

1. ਡੇਟਾ ਦੀ ਪ੍ਰਭੂਸੱਤਾ: ਕੀ ਕਾਨੂੰਨ ਜਾਂ ਇਕਰਾਰਨਾਮਾ ਡੇਟਾ ਨੂੰ ਸੰਸਥਾ/ਦੇਸ਼ ਛੱਡਣ ਤੋਂ ਰੋਕਦਾ ਹੈ? ਜੇਕਰ ਹਾਂ, ਤਾਂ ਤੁਹਾਨੂੰ VPC/ਆਨ-ਪ੍ਰੇਮ ਵੱਲ ਧੱਕਿਆ ਜਾਵੇਗਾ।
2. ਵਾਲੀਅਮ ਅਤੇ ਲਾਗਤ: ਕੀ ਵਰਤੋਂ ਬਹੁਤ ਜ਼ਿਆਦਾ ਅਤੇ ਅਨੁਮਾਨਯੋਗ ਹੈ? ਸਵੈ-ਹੋਸਟਿੰਗ ਦੀਆਂ ਬਹੁਤ ਜ਼ਿਆਦਾ ਮਾਤਰਾਵਾਂ ਯੂਨਿਟ ਦੀਆਂ ਲਾਗਤਾਂ ਨੂੰ ਘਟਾ ਸਕਦੀਆਂ ਹਨ; ਘੱਟ/ਅਨਿਯਮਤ ਵਾਲੀਅਮ 'ਤੇ ਪ੍ਰਬੰਧਿਤ API ਲਗਭਗ ਹਮੇਸ਼ਾ ਸਸਤਾ ਹੁੰਦਾ ਹੈ।
3. ਕਾਰਜਸ਼ੀਲ ਸਮਰੱਥਾ: ਕੀ ਤੁਹਾਡੇ ਕੋਲ GPU ਬੁਨਿਆਦੀ ਢਾਂਚੇ, ਮਾਡਲ ਅੱਪਡੇਟ, ਸਕੇਲਿੰਗ, ਅਤੇ ਸੁਰੱਖਿਆ ਪੈਚਿੰਗ ਨੂੰ ਕਾਇਮ ਰੱਖਣ ਲਈ ਟੀਮ ਹੈ? ਨਹੀਂ ਤਾਂ ਤੁਹਾਡੀ ਆਪਣੀ ਹੋਸਟਿੰਗ ਇੱਕ ਲੁਕਵੀਂ ਕੀਮਤ ਹੈ।

Tradeoff ਸਾਰਣੀ

ਆਕਾਰ

ਪ੍ਰਬੰਧਿਤ API

VPC

ਆਨ-ਪ੍ਰੇਮ (ਖੁੱਲ੍ਹਾ ਭਾਰ)

ਡਾਟਾ ਪ੍ਰਭੂਸੱਤਾ

ਪ੍ਰਦਾਤਾ 'ਤੇ ਭਰੋਸਾ ਕਰੋ

ਉੱਚ (ਤੁਹਾਡੀ ਨੈੱਟਵਰਕ ਸੀਮਾ 'ਤੇ)

ਸਭ ਤੋਂ ਉੱਚਾ (ਕਦੇ ਨਹੀਂ ਚੜ੍ਹਦਾ)

ਓਪਰੇਸ਼ਨ ਲੋਡ

ਬਹੁਤ ਘੱਟ

ਮੱਧਮ

ਉੱਚ

ਸ਼ੁਰੂਆਤੀ ਲਾਗਤ

ਘੱਟ (ਜਦੋਂ ਤੁਸੀਂ ਜਾਂਦੇ ਹੋ ਭੁਗਤਾਨ ਕਰੋ)

ਮੱਧਮ

ਉੱਚ (ਹਾਰਡਵੇਅਰ)

ਸਕੇਲਿੰਗ

ਆਟੋਮੈਟਿਕ

ਪ੍ਰਬੰਧਿਤ

ਤੁਹਾਡੀ ਜ਼ਿੰਮੇਵਾਰੀ

ਮਾਡਲ ਗੁਣਵੱਤਾ/ਮੁਦਰਾ

ਨਵੀਨਤਮ, ਆਟੋਮੈਟਿਕ

ਨਿਰਭਰ ਕਰਦਾ ਹੈ

ਤੁਸੀਂ ਅੱਪਡੇਟ ਕਰੋ

ਕੰਟਰੋਲ

ਘੱਟ

ਉੱਚ

ਪੂਰਾ

ਕਦਮ ਦਰ ਕਦਮ: ਹੋਸਟਿੰਗ ਦਾ ਫੈਸਲਾ

1. ਡਾਟਾ ਕਲਾਸ ਦਾ ਪਤਾ ਲਗਾਓ। ਕਿਸ ਗੁਪਤਤਾ ਪੱਧਰ 'ਤੇ ਡੇਟਾ ਦੀ ਪ੍ਰਕਿਰਿਆ ਕੀਤੀ ਜਾਵੇਗੀ?
2. ਕਾਨੂੰਨੀ ਰੁਕਾਵਟ ਦੀ ਪੁਸ਼ਟੀ ਕਰੋ। ਕੀ ਡੇਟਾ ਬਾਹਰ ਨਿਕਲ ਸਕਦਾ ਹੈ? (ਕੇਵੀਕੇਕੇ, ਸੈਕਟਰ ਰੈਗੂਲੇਸ਼ਨ, ਇਕਰਾਰਨਾਮਾ।)
3. ਵਾਲੀਅਮ ਦਾ ਅੰਦਾਜ਼ਾ. ਮਹੀਨਾਵਾਰ ਬੇਨਤੀ/ਟੋਕਨ ਵਾਲੀਅਮ ਅਤੇ ਵਿਕਾਸ ਵਕਰ।
4. TCO ਦੀ ਗਣਨਾ ਕਰੋ। ਸਿਰਫ਼ GPU ਹੀ ਨਹੀਂ; ਊਰਜਾ, ਰੱਖ-ਰਖਾਅ, ਟੀਮ, ਸੁਰੱਖਿਆ, ਰਿਡੰਡੈਂਸੀ।
5. ਹਾਈਬ੍ਰਿਡ ਸੋਚੋ. ਇੱਕ ਹਾਈਬ੍ਰਿਡ ਮਾਡਲ ਜੋ ਆਨ-ਪ੍ਰੀਮ/VPC ਵਿੱਚ ਸੰਵੇਦਨਸ਼ੀਲ ਡੇਟਾ ਅਤੇ ਪ੍ਰਬੰਧਿਤ API ਵਿੱਚ ਗੈਰ-ਸੰਵੇਦਨਸ਼ੀਲ ਡੇਟਾ ਦੀ ਪ੍ਰਕਿਰਿਆ ਕਰਦਾ ਹੈ ਅਕਸਰ ਸਭ ਤੋਂ ਸਥਿਰ ਹੁੰਦਾ ਹੈ।

ਚਾਰ ਕਾਪੀ ਕਰਨ ਯੋਗ ਨਮੂਨੇ

ਹੋਸਟਿੰਗ ਫੈਸਲੇ ਪ੍ਰੋਂਪਟ:

ਨਿਮਨਲਿਖਤ ਵਰਤੋਂ ਲਈ ਹੋਸਟਿੰਗ ਦਾ ਫੈਸਲਾ ਕਰੋ: {{ ਦ੍ਰਿਸ਼ }} ਸਵਾਲ:- ਪ੍ਰੋਸੈਸ ਕੀਤੇ ਜਾਣ ਵਾਲੇ ਡੇਟਾ ਦੀ ਗੋਪਨੀਯਤਾ ਸ਼੍ਰੇਣੀ ਕੀ ਹੈ? (ਜਨਤਕ/ਅੰਦਰੂਨੀ/ਗੁਪਤ/ਚੋਟੀ ਦੇ ਰਾਜ਼)- ਕੀ ਕਾਨੂੰਨ/ਇਕਰਾਰਨਾਮਾ ਡੇਟਾ ਨੂੰ ਸੰਗਠਨ ਤੋਂ ਬਾਹਰ ਜਾਣ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ?- ਮਾਸਿਕ ਵੌਲਯੂਮ ਪੂਰਵ ਅਨੁਮਾਨ ਅਤੇ ਅਨੁਮਾਨਯੋਗਤਾ?- ਕੀ ਓਪਰੇਸ਼ਨ/GPU ਟੀਮ ਦੀ ਸਮਰੱਥਾ ਹੈ? ਸਿਫਾਰਸ਼: "ਪ੍ਰਬੰਧਿਤ API / VPC / ਆਨ-ਪ੍ਰੇਮ / ਹਾਈਬ੍ਰਿਡ" + ਜਾਇਜ਼ਤਾ।

TCO ਆਈਟਮ ਸੂਚੀ (ਸਵੈ-ਹੋਸਟਿੰਗ ਲਈ):

ਇਸ ਦੁਆਰਾ ਮਲਕੀਅਤ ਦੀ ਕੁੱਲ ਲਾਗਤ ਦੀ ਗਣਨਾ ਕਰੋ:- ਹਾਰਡਵੇਅਰ (GPU) ਖਰੀਦ/ਲੀਜ਼- ਊਰਜਾ ਅਤੇ ਕੂਲਿੰਗ- ਮਨੁੱਖੀ: MLOps + ਸੁਰੱਖਿਆ ਟੀਮ ਦਾ ਸਮਾਂ- ਮਾਡਲ ਅੱਪਡੇਟ ਅਤੇ ਟੈਸਟਿੰਗ ਕਰਮਚਾਰੀ- ਰਿਡੰਡੈਂਸੀ/ਡਿਜ਼ਾਸਟਰ ਰਿਕਵਰੀ- ਸੁਰੱਖਿਆ ਪੈਚਿੰਗ ਅਤੇ ਨਿਗਰਾਨੀ 12-24 ਮਹੀਨਿਆਂ ਦੇ ਦੂਰੀ 'ਤੇ ਪ੍ਰਬੰਧਿਤ API ਲਈ ਮਾਸਿਕ ਬਿੱਲ ਨਾਲ ਇਸਦੀ ਤੁਲਨਾ ਕਰੋ।

ਹਾਈਬ੍ਰਿਡ ਰੂਟਿੰਗ ਨਿਯਮ:

ਡੇਟਾ ਕਲਾਸ ਦੇ ਅਧਾਰ ਤੇ ਹਰੇਕ ਬੇਨਤੀ ਨੂੰ ਰੂਟ ਕਰੋ:- "ਗੁਪਤ / ਸਿਖਰ ਦੇ ਗੁਪਤ" ਡੇਟਾ -> ਆਨ-ਪ੍ਰੀਮ/ਵੀਪੀਸੀ ਮਾਡਲ- "ਜਨਤਕ / ਅੰਦਰੂਨੀ" ਡੇਟਾ -> ਪ੍ਰਬੰਧਿਤ API (ਵਧੇਰੇ ਸ਼ਕਤੀਸ਼ਾਲੀ/ਸਸਤੇ) ਆਡਿਟ ਲੌਗ ਵਿੱਚ ਫਾਰਵਰਡਿੰਗ ਫੈਸਲੇ ਅਤੇ ਡੇਟਾ ਕਲਾਸ ਨੂੰ ਲਿਖੋ।

ਭਾਰ ਸੁਰੱਖਿਆ ਜਾਂਚ ਪ੍ਰੋਂਪਟ ਖੋਲ੍ਹੋ:

ਸਾਡੇ ਸਵੈ-ਹੋਸਟ ਕੀਤੇ ਮਾਡਲ ਦਾ ਮੁਲਾਂਕਣ ਕਰੋ:- ਕੀ ਲਾਇਸੈਂਸ ਵਪਾਰਕ ਵਰਤੋਂ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ ਅਤੇ ਸਾਡੇ ਦ੍ਰਿਸ਼ਟੀਕੋਣ ਵਿੱਚ?- ਭਰੋਸੇਯੋਗ ਸਰੋਤ ਤੋਂ ਮਾਡਲ ਵੇਟ, ਇਕਸਾਰਤਾ (ਹੈਸ਼) ਪ੍ਰਮਾਣਿਤ ਹੈ?- ਕੀ ਸਰਵਰ ਪੈਚਿੰਗ, ਨੈੱਟਵਰਕ ਆਈਸੋਲੇਸ਼ਨ, ਐਕਸੈਸ ਕੰਟਰੋਲ ਸਥਾਪਤ ਹੈ?- ਕੀ ਨਿਗਰਾਨੀ ਅਤੇ ਲੌਗਿੰਗ ਪ੍ਰਬੰਧਿਤ API ਦੇ ਰੂਪ ਵਿੱਚ ਪਰਿਪੱਕ ਹਨ? ਕਿਸੇ ਵੀ ਗੁੰਮ ਆਈਟਮਾਂ ਨੂੰ "ਚਾਲੂ" ਵਜੋਂ ਮਾਰਕ ਕਰੋ।

ਕਮਜ਼ੋਰ ਪ੍ਰੋਂਪਟ / ਮਜ਼ਬੂਤ ਪ੍ਰੋਂਪਟ

ਮਾੜੀ ਪਹੁੰਚ

ਮਜ਼ਬੂਤ ਪਹੁੰਚ

"ਆਨ-ਪ੍ਰੇਮ ਸੁਰੱਖਿਅਤ ਹੈ, ਹਮੇਸ਼ਾ ਇਸਦੀ ਵਰਤੋਂ ਕਰੋ"

ਡੇਟਾ ਸੰਪ੍ਰਭੂਤਾ + ਵਾਲੀਅਮ + ਸਮਰੱਥਾ ਦੇ ਅਧਾਰ ਤੇ ਫੈਸਲਾ

ਬਸ GPU ਲਾਗਤ ਨੂੰ ਵੇਖ ਰਿਹਾ ਹੈ

ਪੂਰਾ TCO (ਊਰਜਾ, ਚਾਲਕ ਦਲ, ਅੱਪਡੇਟ, ਸੁਰੱਖਿਆ)

ਇੱਕ ਸਿੰਗਲ ਹੋਸਟਿੰਗ ਮਾਡਲ ਵਿੱਚ ਲਾਕ ਕੀਤਾ ਜਾ ਰਿਹਾ ਹੈ

ਹਾਈਬ੍ਰਿਡ: ਡਾਟਾ ਕਲਾਸ ਦੁਆਰਾ ਰੂਟਿੰਗ

ਖੁੱਲ੍ਹੇ ਭਾਰ ਨੂੰ ਘੱਟ ਕਰਨ ਅਤੇ ਇਸ ਦੀ ਪੁਸ਼ਟੀ ਕੀਤੇ ਬਿਨਾਂ ਦੌੜਨਾ

ਲਾਇਸੈਂਸ + ਇਕਸਾਰਤਾ + ਪੈਚ + ਟਰੇਸ ਕੰਟਰੋਲ

ਤਿੰਨ ਮਿੰਨੀ ਕੇਸ

ਕੇਸ 1 - ਆਨ-ਪ੍ਰੀਮ ਆਦੇਸ਼ ਸਹੀ ਫੈਸਲਾ ਸੀ। ਇੱਕ ਰੱਖਿਆ ਠੇਕੇਦਾਰ ਨੂੰ ਉੱਚ ਵਰਗੀਕ੍ਰਿਤ ਦਸਤਾਵੇਜ਼ਾਂ ਦੀ ਪ੍ਰਕਿਰਿਆ ਕਰਨੀ ਸੀ; ਇਕਰਾਰਨਾਮੇ ਨੇ ਡੇਟਾ ਨੂੰ ਦੇਸ਼ ਤੋਂ ਬਾਹਰ ਲਿਜਾਣ ਦੀ ਮਨਾਹੀ ਕੀਤੀ ਸੀ। ਪ੍ਰਬੰਧਿਤ API ਨੂੰ ਸ਼ੁਰੂ ਤੋਂ ਹੀ ਹਟਾ ਦਿੱਤਾ ਗਿਆ ਸੀ। ਆਨ-ਪ੍ਰੀਮ ਓਪਨ ਵੇਟ ਮਾਡਲ ਦੀ ਸਥਾਪਨਾ ਕੀਤੀ ਗਈ ਸੀ; ਲਾਗਤ ਬਹੁਤ ਜ਼ਿਆਦਾ ਸੀ, ਪਰ ਇਹ ਇਕੋ ਇਕ ਅਨੁਕੂਲ ਵਿਕਲਪ ਸੀ.

ਕੇਸ 2 - ਗੁਪਤ TCO ਨੇ ਫੈਸਲੇ ਨੂੰ ਉਲਟਾ ਦਿੱਤਾ। ਇੱਕ ਸਟਾਰਟਅਪ ਨੇ ਸਵੈ-ਹੋਸਟਿੰਗ ਵਿੱਚ ਸਵਿਚ ਕਰਨ ਦੀ ਯੋਜਨਾ ਬਣਾਈ ਹੈ ਕਿਉਂਕਿ "ਏਪੀਆਈ ਮਹਿੰਗਾ ਹੈ।" TCO ਗਣਨਾ ਵਿੱਚ, ਤੁਸੀਂ ਨਾ ਸਿਰਫ਼ GPU ਨੂੰ ਸ਼ਾਮਲ ਕਰਦੇ ਹੋ; 2 ਫੁੱਲ-ਟਾਈਮ MLOps ਇੰਜੀਨੀਅਰ, ਅੱਪਡੇਟ ਲੋਡ, ਅਤੇ ਰਿਡੰਡੈਂਸੀ ਸ਼ਾਮਲ ਕਰੋ, ਅਤੇ 24-ਮਹੀਨੇ ਦੀ ਕੁੱਲ ਰਕਮ ਪ੍ਰਬੰਧਿਤ API ਨਾਲੋਂ ਦੁੱਗਣੀ ਹੈ। ਉਹ ਏਪੀਆਈ ਵਿੱਚ ਰਹੇ ਕਿਉਂਕਿ ਉਹਨਾਂ ਦੇ ਵਾਲੀਅਮ ਘੱਟ ਅਤੇ ਛਿੱਟੇ ਹੋਏ ਸਨ।

ਕੇਸ 3 - ਹਾਈਬ੍ਰਿਡ ਨੇ ਸਭ ਤੋਂ ਵਧੀਆ ਦਿੱਤਾ। ਇੱਕ ਬੈਂਕ ਦਾ ਕਾਲ ਸੈਂਟਰ ਅਸਿਸਟੈਂਟ ਦੋ ਤਰ੍ਹਾਂ ਦੇ ਡੇਟਾ ਦੀ ਪ੍ਰਕਿਰਿਆ ਕਰ ਰਿਹਾ ਸੀ: ਆਮ ਉਤਪਾਦ ਸਵਾਲ ਅਤੇ ਗਾਹਕ-ਵਿਸ਼ੇਸ਼ ਖਾਤਾ ਡੇਟਾ। ਖਾਤਾ ਡੇਟਾ ਨੂੰ VPC ਦੇ ਅੰਦਰ ਮਾਡਲ ਵੱਲ ਨਿਰਦੇਸ਼ਿਤ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਆਮ ਸਵਾਲ ਸ਼ਕਤੀਸ਼ਾਲੀ ਪ੍ਰਬੰਧਿਤ API ਨੂੰ ਨਿਰਦੇਸ਼ਿਤ ਕੀਤੇ ਜਾਂਦੇ ਹਨ। ਸੰਵੇਦਨਸ਼ੀਲ ਡੇਟਾ ਕਦੇ ਵੀ ਬਾਹਰ ਨਹੀਂ ਨਿਕਲਿਆ, ਸਭ ਤੋਂ ਮਜ਼ਬੂਤ ​​ਮਾਡਲ ਦੀ ਗੁਣਵੱਤਾ ਆਮ ਸਵਾਲਾਂ ਲਈ ਵਰਤੀ ਗਈ ਸੀ; ਲਾਗਤ ਅਤੇ ਫਿੱਟ ਇਕੱਠੇ ਅਨੁਕੂਲਿਤ ਹਨ।

ਸੁਝਾਅ: ਫੈਸਲਾ ਬਾਈਨਰੀ ਨਹੀਂ ਹੋਣਾ ਚਾਹੀਦਾ (ਸਾਰੇ ਜਾਂ ਕੁਝ ਵੀ ਨਹੀਂ)। ਹਾਈਬ੍ਰਿਡ ਆਰਕੀਟੈਕਚਰ — ਕਲਾਸ ਦੁਆਰਾ ਡਾਟਾ ਰੂਟਿੰਗ — ਇੱਕੋ ਸਮੇਂ ਜ਼ਿਆਦਾਤਰ ਐਂਟਰਪ੍ਰਾਈਜ਼ ਦ੍ਰਿਸ਼ਾਂ ਵਿੱਚ ਪਾਲਣਾ ਅਤੇ ਲਾਗਤ ਨੂੰ ਹੱਲ ਕਰਦਾ ਹੈ।

ਆਮ ਗਲਤੀਆਂ

• ਮੰਨ ਲਓ "ਆਪਣੀ ਹੋਸਟਿੰਗ ਆਪਣੇ ਆਪ ਸੁਰੱਖਿਅਤ ਹੈ"; ਜਦੋਂ ਕਿ ਸੁਰੱਖਿਆ ਪ੍ਰਬੰਧਨ ਦੀ ਗੁਣਵੱਤਾ 'ਤੇ ਨਿਰਭਰ ਕਰਦੀ ਹੈ।
• ਇਹ ਸੋਚਣਾ ਕਿ TCO ਸਿਰਫ਼ GPU ਦੀ ਲਾਗਤ ਹੈ; ਟੀਮ, ਊਰਜਾ, ਅੱਪਡੇਟ ਕਰਨਾ ਅਤੇ ਸੁਰੱਖਿਆ ਬਾਰੇ ਭੁੱਲਣਾ।
• ਘੱਟ/ਅਨਿਯਮਿਤ ਵਾਲੀਅਮ 'ਤੇ ਸਵੈ-ਹੋਸਟਿੰਗ 'ਤੇ ਸਵਿਚ ਕਰਨਾ ਅਤੇ ਯੂਨਿਟ ਦੀ ਲਾਗਤ ਨੂੰ ਵਧਾਉਣਾ।
• ਲਾਇਸੈਂਸ ਅਤੇ ਇਕਸਾਰਤਾ (ਹੈਸ਼) ਦੀ ਪੁਸ਼ਟੀ ਕੀਤੇ ਬਿਨਾਂ ਓਪਨ ਵੇਟ ਮਾਡਲ ਦੀ ਵਰਤੋਂ ਕਰਨਾ।
• ਆਨ-ਪ੍ਰੀਮ ਸਰਵਰ 'ਤੇ ਪ੍ਰਬੰਧਿਤ API ਜਿੰਨਾ ਪਰਿਪੱਕ ਨਿਗਰਾਨੀ/ਲੌਗਿੰਗ ਨੂੰ ਸਥਾਪਿਤ ਨਹੀਂ ਕਰਨਾ।
• ਹਾਈਬ੍ਰਿਡ ਵਿਕਲਪ 'ਤੇ ਬਿਲਕੁਲ ਵੀ ਵਿਚਾਰ ਕੀਤੇ ਬਿਨਾਂ ਬਾਈਨਰੀ ਫੈਸਲਾ ਕਰਨਾ।

ਸਾਰੰਸ਼ ਵਿੱਚ

• ਪ੍ਰਬੰਧਿਤ API ਕਾਰਜਸ਼ੀਲ ਤੌਰ 'ਤੇ ਸਭ ਤੋਂ ਆਸਾਨ ਹੈ, ਪਰ ਡੇਟਾ ਪ੍ਰਦਾਤਾ ਨੂੰ ਜਾਂਦਾ ਹੈ; VPC/on-prem ਤੁਹਾਡੇ ਬਾਰਡਰ 'ਤੇ ਡਾਟਾ ਰੱਖਦਾ ਹੈ।
• ਤਿੰਨ ਸਵਾਲ ਫੈਸਲੇ ਨੂੰ ਚਲਾਉਂਦੇ ਹਨ: ਡੇਟਾ ਦੀ ਪ੍ਰਭੂਸੱਤਾ, ਵਾਲੀਅਮ/ਕੀਮਤ ਦੀ ਭਵਿੱਖਬਾਣੀ, ਅਤੇ ਕਾਰਜਸ਼ੀਲ ਸਮਰੱਥਾ।
• "ਸਵੈ-ਹੋਸਟਿੰਗ ਵਧੇਰੇ ਸੁਰੱਖਿਅਤ ਹੈ" ਇੱਕ ਗਲਤ ਧਾਰਨਾ ਹੈ; ਸੁਰੱਖਿਆ ਇਸ ਗੱਲ 'ਤੇ ਨਹੀਂ ਨਿਰਭਰ ਕਰਦੀ ਹੈ ਕਿ ਤੁਸੀਂ ਡੇਟਾ ਕਿੱਥੇ ਰੱਖਦੇ ਹੋ, ਪਰ ਇਸ ਗੱਲ 'ਤੇ ਨਿਰਭਰ ਕਰਦਾ ਹੈ ਕਿ ਤੁਸੀਂ ਇਸ ਨੂੰ ਕਿੰਨੀ ਚੰਗੀ ਤਰ੍ਹਾਂ ਪ੍ਰਬੰਧਿਤ ਕਰਦੇ ਹੋ।
• ਸਹੀ TCO ਦੀ ਗਣਨਾ ਕਰੋ: ਊਰਜਾ, ਟੀਮ, ਅੱਪਡੇਟ, ਰਿਡੰਡੈਂਸੀ ਅਤੇ ਸੁਰੱਖਿਆ, ਨਾਲ ਹੀ GPU।
• ਹਾਈਬ੍ਰਿਡ ਆਰਕੀਟੈਕਚਰ (ਕਲਾਸ ਦੁਆਰਾ ਰੂਟਿੰਗ ਡੇਟਾ) ਇੱਕੋ ਸਮੇਂ ਜ਼ਿਆਦਾਤਰ ਐਂਟਰਪ੍ਰਾਈਜ਼ ਦ੍ਰਿਸ਼ਾਂ ਵਿੱਚ ਪਾਲਣਾ ਅਤੇ ਲਾਗਤ ਨੂੰ ਸੰਤੁਲਿਤ ਕਰਦਾ ਹੈ।

ਐਪਲੀਕੇਸ਼ਨ ਦਾ ਕੰਮ

ਇੱਕ AI ਵਰਤੋਂ ਚੁਣੋ ਅਤੇ ਗੋਪਨੀਯਤਾ ਕਲਾਸ ਵਿੱਚ ਪ੍ਰਕਿਰਿਆ ਕੀਤੇ ਜਾਣ ਵਾਲੇ ਡੇਟਾ ਨੂੰ ਵੱਖ ਕਰੋ। ਹੋਸਟਿੰਗ ਫੈਸਲੇ ਪ੍ਰੋਂਪਟ ਦੇ ਨਾਲ ਇੱਕ ਸਿਫਾਰਸ਼ ਤਿਆਰ ਕਰੋ. ਫਿਰ ਆਪਣੀ ਖੁਦ ਦੀ ਹੋਸਟਿੰਗ ਲਈ TCO ਆਈਟਮ ਸੂਚੀ ਨੂੰ ਭਰੋ ਅਤੇ ਪ੍ਰਬੰਧਿਤ API ਬਿੱਲ ਨਾਲ 24-ਮਹੀਨੇ ਦੇ ਕੁੱਲ ਦੀ ਤੁਲਨਾ ਕਰੋ। ਅੰਤ ਵਿੱਚ, ਇੱਕ ਡਰਾਫਟ ਹਾਈਬ੍ਰਿਡ ਰੂਟਿੰਗ ਨਿਯਮ ਲਿਖੋ: ਕਿਹੜਾ ਡੇਟਾ ਕਿੱਥੇ ਜਾਂਦਾ ਹੈ?

ਚੈੱਕਲਿਸਟ

• [ ] ਮੈਂ ਪ੍ਰਕਿਰਿਆ ਕੀਤੇ ਜਾਣ ਵਾਲੇ ਡੇਟਾ ਦੀ ਗੁਪਤਤਾ ਸ਼੍ਰੇਣੀ ਅਤੇ ਕਾਨੂੰਨੀ ਪਾਬੰਦੀ ਨਿਰਧਾਰਤ ਕੀਤੀ ਹੈ।
• [ ] ਮੈਂ ਪ੍ਰਭੂਸੱਤਾ + ਵਾਲੀਅਮ + ਸਮਰੱਥਾ ਦੇ ਅਧਾਰ ਤੇ ਹੋਸਟਿੰਗ ਦਾ ਫੈਸਲਾ ਲਿਆ ਹੈ।
• [ ] ਮੈਂ ਪੂਰੀਆਂ ਆਈਟਮਾਂ (ਗੈਰ-GPU ਸਮੇਤ) ਨਾਲ TCO ਦੀ ਗਣਨਾ ਕੀਤੀ।
• [ ] ਮੈਂ ਸਵੈ-ਹੋਸਟਿੰਗ 'ਤੇ ਲਾਇਸੈਂਸ, ਇਕਸਾਰਤਾ, ਪੈਚਿੰਗ ਅਤੇ ਨਿਗਰਾਨੀ ਦੀ ਜਾਂਚ ਕੀਤੀ।
• [ ] ਮੈਂ ਹਾਈਬ੍ਰਿਡ ਰੂਟਿੰਗ ਵਿਕਲਪ 'ਤੇ ਵਿਚਾਰ ਕੀਤਾ।
• [ ] ਮੈਂ ਫੈਸਲੇ ਅਤੇ ਇਸਦੇ ਤਰਕ ਦਾ ਦਸਤਾਵੇਜ਼ੀਕਰਨ ਕੀਤਾ ਹੈ।