ਰੀਪ੍ਰੋਡਸੀਬਿਲਟੀ ਅਤੇ ਐਂਡ-ਟੂ-ਐਂਡ ਪ੍ਰੋਜੈਕਟ: ਹਰ ਚੀਜ਼ ਨੂੰ ਜੋੜਨਾ

ਲਾਭ:

• ਚਾਰ ਥੰਮ੍ਹਾਂ (ਬੀਜ ਨਿਰਧਾਰਨ, ਡੇਟਾ ਸੰਸਕਰਣ, ਮੀਡੀਆ ਫ੍ਰੀਜ਼ਿੰਗ, ਪ੍ਰਯੋਗ ਨਿਗਰਾਨੀ) ਨਾਲ ਪ੍ਰਜਨਨਯੋਗਤਾ ਨੂੰ ਯਕੀਨੀ ਬਣਾਉਣ ਦੀ ਸਮਰੱਥਾ ਅਤੇ ਉਸੇ ਰਨ ਨੂੰ ਦੁਹਰਾਉਂਦੇ ਸਮੇਂ ਉਹੀ ਨਤੀਜਾ ਪੈਦਾ ਕਰਨਾ
• ਅੰਤ-ਤੋਂ-ਅੰਤ ਦੀ ਲੜੀ ਵਿੱਚ ਮੋਡੀਊਲ ਦੇ ਸਾਰੇ ਸਟਾਪਾਂ (ਮੈਟ੍ਰਿਕਸ, ਡੇਟਾ, ਮਾਡਲ, ਐਲਐਲਐਮ ਭਾਗ, ਈਵਲ, ਨਿਰਪੱਖਤਾ, ਸੁਰੱਖਿਆ, ਵੰਡ, ਨਿਗਰਾਨੀ) ਨੂੰ ਜੋੜਨ ਦੀ ਸਮਰੱਥਾ
• ਇਹ ਤਸਦੀਕ ਕਰਨ ਦੀ ਯੋਗਤਾ ਕਿ ਹਰੇਕ ਸਟਾਪ 'ਤੇ ਨਾਜ਼ੁਕ ਫੈਸਲਾ ਮਨੁੱਖ ਦੇ ਕੋਲ ਰਹਿੰਦਾ ਹੈ ਅਤੇ ਪ੍ਰੋਜੈਕਟ ਨੂੰ ਆਡਿਟ ਕਰਨ ਯੋਗ ਤਰੀਕੇ ਨਾਲ ਦਸਤਾਵੇਜ਼ ਬਣਾਉਂਦਾ ਹੈ

ਇੱਕ ML ਪ੍ਰੋਜੈਕਟ ਦੀ ਸਭ ਤੋਂ ਧੋਖੇਬਾਜ਼ ਅਸਫਲਤਾ ਇੱਕ ਕਰੈਸ਼ ਨਹੀਂ ਹੈ; "ਦੁਬਾਰਾ ਉਹੀ ਨਤੀਜਾ ਨਹੀਂ ਮਿਲ ਰਿਹਾ।" ਜੇਕਰ ਤੁਸੀਂ ਉਸ ਮਾਡਲ ਦੇ ਸਕੋਰ ਨੂੰ ਦੁਬਾਰਾ ਤਿਆਰ ਨਹੀਂ ਕਰ ਸਕਦੇ ਜੋ ਤੁਸੀਂ ਤਿੰਨ ਮਹੀਨੇ ਪਹਿਲਾਂ ਉਤਪਾਦਨ ਵਿੱਚ ਲਿਆ ਸੀ, ਤਾਂ ਤੁਸੀਂ ਅਸਲ ਵਿੱਚ ਉਸ ਮਾਡਲ ਨੂੰ ਕੰਟਰੋਲ ਨਹੀਂ ਕਰਦੇ ਹੋ। ਇਸ ਕਲੋਜ਼ਿੰਗ ਯੂਨਿਟ ਵਿੱਚ, ਅਸੀਂ ਪੁਨਰ-ਉਤਪਾਦਨਸ਼ੀਲਤਾ ਨੂੰ ਡੂੰਘਾ ਕਰਦੇ ਹਾਂ: ਇੱਕੋ ਜਿਹੇ ਇਨਪੁਟਸ ਨਾਲ ਇੱਕੋ ਜਿਹੇ ਨਤੀਜੇ ਨੂੰ ਭਰੋਸੇਯੋਗਤਾ ਨਾਲ ਪ੍ਰਾਪਤ ਕਰਨ ਦੀ ਸਮਰੱਥਾ ਅਤੇ ਇੱਕ ਅੰਤ-ਤੋਂ-ਅੰਤ ਪ੍ਰੋਜੈਕਟ ਅਨੁਸ਼ਾਸਨ ਵਿੱਚ ਪੂਰੇ ਮੋਡੀਊਲ ਨੂੰ ਜੋੜਨਾ।

ਪ੍ਰਜਨਨਯੋਗਤਾ ਮੁਸ਼ਕਲ ਕਿਉਂ ਹੈ

ਸਾਧਾਰਨ ਸੌਫਟਵੇਅਰ ਵਿੱਚ, ਉਹੀ ਕੋਡ ਉਹੀ ਆਉਟਪੁੱਟ ਦਿੰਦਾ ਹੈ। ML ਵਿੱਚ ਬਹੁਤ ਸਾਰੇ ਹੋਰ ਵੇਰੀਏਬਲ ਹਨ ਜੋ ਨਤੀਜਾ ਨਿਰਧਾਰਤ ਕਰਦੇ ਹਨ:

• ਬੇਤਰਤੀਬਤਾ: ਡੇਟਾ ਸ਼ਫਲਿੰਗ, ਭਾਰ ਸ਼ੁਰੂ ਕਰਨਾ, ਡੇਟਾ ਵੰਡਣਾ - ਸਭ ਬੇਤਰਤੀਬਤਾ 'ਤੇ ਨਿਰਭਰ ਕਰਦੇ ਹਨ।
• ਡਾਟਾ: ਇੱਕੋ ਕੋਡ ਵੱਖ-ਵੱਖ ਡਾਟਾ ਸੰਸਕਰਣ ਦੇ ਨਾਲ ਵੱਖ-ਵੱਖ ਮਾਡਲ ਪੈਦਾ ਕਰਦਾ ਹੈ।
• ਵਾਤਾਵਰਣ: ਲਾਇਬ੍ਰੇਰੀ ਸੰਸਕਰਣ, ਹਾਰਡਵੇਅਰ (CPU/GPU), ਇੱਥੋਂ ਤੱਕ ਕਿ ਓਪਰੇਟਿੰਗ ਸਿਸਟਮ ਵੀ ਨਤੀਜਾ ਬਦਲ ਸਕਦਾ ਹੈ।
• ਲੁਕਿਆ ਹੋਇਆ ਕੇਸ: ਇੱਕ ਅਣਰੱਖਿਅਤ ਹਾਈਪਰਪੈਰਾਮੀਟਰ, ਇੱਕ ਮੈਨੂਅਲ ਪ੍ਰੀਪ੍ਰੋਸੈਸਿੰਗ ਪੜਾਅ, ਇੱਕ ਅਣ-ਨੋਟਿਡ ਚੋਣ।

ਪ੍ਰਜਨਨਯੋਗਤਾ "ਹੋਣਾ ਚੰਗਾ" ਨਹੀਂ ਹੈ ਪਰ ਇੱਕ ਵਿਗਿਆਨਕ ਅਤੇ ਇੰਜੀਨੀਅਰਿੰਗ ਜ਼ਰੂਰੀ ਹੈ। ਇੱਕ ਨਤੀਜਾ ਜਿਸ ਨੂੰ ਦੁਬਾਰਾ ਨਹੀਂ ਬਣਾਇਆ ਜਾ ਸਕਦਾ ਇੱਕ ਦਾਅਵਾ ਹੈ ਜੋ ਸਾਬਤ ਨਹੀਂ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ।

ਪ੍ਰਜਨਨਯੋਗਤਾ ਦੇ ਚਾਰ ਥੰਮ੍ਹ

1. ਬੇਤਰਤੀਬਤਾ ਨੂੰ ਠੀਕ ਕਰੋ। ਸਾਰੇ ਬੇਤਰਤੀਬੇ ਬੀਜਾਂ ਨੂੰ ਇੱਕ ਥਾਂ 'ਤੇ ਸੈੱਟ ਕਰੋ: ਡਾਟਾ ਵੰਡਣਾ, ਮਾਡਲ ਸ਼ੁਰੂ ਕਰਨਾ, ਡਾਟਾ ਸ਼ਫਲਿੰਗ। ਸਥਿਰ ਬੀਜ "ਜਦੋਂ ਤੁਸੀਂ ਉਸੇ ਰਨ ਨੂੰ ਦੁਹਰਾਉਂਦੇ ਹੋ ਤਾਂ ਉਹੀ ਨਤੀਜਾ" ਗਾਰੰਟੀ ਦਾ ਆਧਾਰ ਹੈ।

2. ਡੇਟਾ ਦਾ ਸੰਸਕਰਣ। ਰਿਕਾਰਡ ਕਰੋ ਕਿ ਹਰੇਕ ਪ੍ਰਯੋਗ ਕਿਸ ਡੇਟਾ ਸੰਸਕਰਣ ਨਾਲ ਕੀਤਾ ਗਿਆ ਸੀ (ਯੂਨਿਟ 2 ਵਿੱਚ ਡੇਟਾ ਸੰਸਕਰਣ)। "ਨਵੀਨਤਮ ਡੇਟਾ" ਅਸਪਸ਼ਟ ਹੈ; "ਡਾਟਾ ਸੰਸਕਰਣ v3, ਹੈਸ਼ abc123" ਬਿਲਕੁਲ ਸਹੀ ਹੈ।

3. ਮੱਧਮ ਨੂੰ ਫ੍ਰੀਜ਼ ਕਰੋ। ਸਾਰੀਆਂ ਨਿਰਭਰਤਾਵਾਂ ਨੂੰ ਉਹਨਾਂ ਦੇ ਸਹੀ ਸੰਸਕਰਣਾਂ 'ਤੇ ਪਿੰਨ ਕਰੋ (ਜਿਵੇਂ ਕਿ ਲੋੜਾਂ.txt ਵਿੱਚ numpy==1.26.4, ਜਾਂ ਇੱਕ ਕੰਟੇਨਰ ਚਿੱਤਰ)। "ਨਵੀਨਤਮ ਸੰਸਕਰਣ" ਇੱਕ ਦਿਨ ਸਭ ਕੁਝ ਤੋੜ ਦੇਵੇਗਾ.

4. ਹਰ ਚੀਜ਼ ਨੂੰ ਟ੍ਰੈਕ ਕਰੋ (ਪ੍ਰਯੋਗ ਟਰੈਕਿੰਗ)। ਹਰੇਕ ਪ੍ਰਯੋਗ ਲਈ ਸਵੈਚਲਿਤ ਤੌਰ 'ਤੇ ਸੁਰੱਖਿਅਤ ਕਰੋ: ਕੋਡ ਸੰਸਕਰਣ (ਗਿਟ ਕਮਿਟ), ਡੇਟਾ ਸੰਸਕਰਣ, ਸਾਰੇ ਹਾਈਪਰਪੈਰਾਮੀਟਰ, ਮੈਟ੍ਰਿਕਸ ਅਤੇ ਆਉਟਪੁੱਟ ਢਾਂਚੇ। ਪ੍ਰਯੋਗ ਟਰੈਕਿੰਗ ਟੂਲ ਜਿਵੇਂ ਕਿ MLflow, Weights & Biases ਇਸ ਨੂੰ ਯੋਜਨਾਬੱਧ ਢੰਗ ਨਾਲ ਕਰਦੇ ਹਨ। ਰਜਿਸਟ੍ਰੇਸ਼ਨ ਤੋਂ ਬਿਨਾਂ, ਸਵਾਲ "ਕਿਹੜੀ ਸੈਟਿੰਗ ਵਧੀਆ ਸੀ" ਦਾ ਜਵਾਬ ਨਹੀਂ ਮਿਲਦਾ।

ਸਾਵਧਾਨ: "ਮੈਂ ਬਾਅਦ ਵਿੱਚ ਯਾਦ ਕਰਾਂਗਾ" ਸਭ ਤੋਂ ਮਹਿੰਗਾ ਭੁਲੇਖਾ ਹੈ। ਦੋ ਹਫ਼ਤਿਆਂ ਬਾਅਦ ਤੁਹਾਨੂੰ ਯਾਦ ਨਹੀਂ ਹੋਵੇਗਾ ਕਿ ਤੁਸੀਂ ਕਿਹੜਾ ਬੀਜ, ਕਿਹੜਾ ਡੇਟਾ, ਕਿਹੜਾ ਹਾਈਪਰਪੈਰਾਮੀਟਰ ਵਰਤਿਆ ਹੈ। ਆਟੋਮੈਟਿਕ ਟਰੈਕਿੰਗ ਮੈਮੋਰੀ 'ਤੇ ਨਿਰਭਰਤਾ ਨੂੰ ਖਤਮ ਕਰਦੀ ਹੈ।

ਕਮਜ਼ੋਰ ਪਹੁੰਚ / ਮਜ਼ਬੂਤ ਪਹੁੰਚ

ਕਮਜ਼ੋਰ: "ਮੈਨੂੰ ਸਭ ਤੋਂ ਵਧੀਆ ਮਾਡਲ ਮਿਲਿਆ, ਇਹ ਨੋਟਬੁੱਕ 'ਤੇ ਹੈ, ਮੈਨੂੰ ਲਗਦਾ ਹੈ ਕਿ ਇਸਦਾ ਸਕੋਰ 89% ਸੀ."

ਮਜ਼ਬੂਤ: "ਪ੍ਰਯੋਗ ਟਰੈਕਿੰਗ ਟੂਲ ਵਿੱਚ #147 ਚਲਾਓ: git ਕਮਿਟ a3f9c, ਡੇਟਾ ਸੰਸਕਰਣ v3 (ਹੈਸ਼ abc123), ਸੀਡ 42, ਰਜਿਸਟਰਡ ਸਾਰੇ ਹਾਈਪਰਪੈਰਾਮੀਟਰ, ਟੈਸਟ PR-AUC 0.887। ਜਦੋਂ ਮੈਂ ਉਹੀ ਕਮਾਂਡ ਦੁਬਾਰਾ ਚਲਾਉਂਦਾ ਹਾਂ, ਤਾਂ ਮੈਨੂੰ ਬਿੱਟ-ਬਿੱਟ ਉਹੀ ਨਤੀਜਾ ਮਿਲਦਾ ਹੈ। ਮਾਡਲ ਰਜਿਸਟਰੀ ਵਿੱਚ ਇਸ ਰਨ 'ਤੇ ਨਿਰਭਰ ਕਰਦਾ ਹੈ।"

ਫਰਕ: ਮਜ਼ਬੂਤ ​​​​ਪਹੁੰਚ ਵਿੱਚ ਨਤੀਜਾ ਇੱਕ ਮੈਮੋਰੀ 'ਤੇ ਅਧਾਰਤ ਨਹੀਂ ਹੈ, ਪਰ ਇੱਕ ਸਥਿਰ ਅਤੇ ਨਿਗਰਾਨੀ ਕੀਤੀ ਲੜੀ 'ਤੇ ਹੈ. ਹਰ ਕੋਈ ਹਰ ਵਾਰ ਇੱਕੋ ਜਿਹਾ ਨਤੀਜਾ ਦੇ ਸਕਦਾ ਹੈ.

ਐਂਡ-ਟੂ-ਐਂਡ ਪ੍ਰੋਜੈਕਟ: ਮੋਡੀਊਲ ਦਾ ਸੁਮੇਲ

ਆਉ ਹੁਣ ਪੂਰੇ ਮੋਡੀਊਲ ਨੂੰ ਇੱਕ ਸਿੰਗਲ ਪ੍ਰੋਜੈਕਟ ਫਲੋ ਵਿੱਚ ਜੋੜਦੇ ਹਾਂ। ਇੱਕ ਅਸਲ ML ਸਿਸਟਮ ਇਹਨਾਂ ਸਟਾਪਾਂ ਵਿੱਚੋਂ ਲੰਘਦਾ ਹੈ, ਅਤੇ ਹਰ ਇੱਕ ਸਟਾਪ ਪਿਛਲੇ ਇੱਕ 'ਤੇ ਬਣਦਾ ਹੈ:

1. ਸਮੱਸਿਆ ਦੀ ਪਰਿਭਾਸ਼ਾ: ਅਸੀਂ ਕੀ ਹੱਲ ਕਰ ਰਹੇ ਹਾਂ, ਸਫਲਤਾ ਨੂੰ ਕਿਵੇਂ ਮਾਪਣਾ ਹੈ (ਇਕਾਈ 3: ਸਹੀ ਮੈਟ੍ਰਿਕ, ਵਪਾਰਕ ਸੰਦਰਭ)। ਮੈਟ੍ਰਿਕ ਅਤੇ ਥ੍ਰੈਸ਼ਹੋਲਡ ਸ਼ੁਰੂ ਤੋਂ ਹੀ ਸਪਸ਼ਟ ਹਨ।
2. ਡੇਟਾ ਪਾਈਪਲਾਈਨ: ਸੰਗ੍ਰਹਿ, ਪ੍ਰਮਾਣਿਕਤਾ, ਸਫਾਈ, ਲੀਕ-ਮੁਕਤ ਵਿਭਾਗੀਕਰਨ, ਸੰਸਕਰਣ (ਯੂਨਿਟ 2)।
3. ਮਾਡਲ ਵਿਕਾਸ: ਸਿਖਲਾਈ, ਬੇਸਲਾਈਨ ਤੁਲਨਾ, ਅੰਤਰ-ਪ੍ਰਮਾਣਿਕਤਾ, ਸਖ਼ਤ ਬੀਜ (ਯੂਨਿਟ 3 + ਇਹ ਯੂਨਿਟ)।
4. LLM ਕੰਪੋਨੈਂਟ (ਜੇ ਲਾਗੂ ਹੋਵੇ): RAG (ਯੂਨਿਟ 4) ਅਤੇ/ਜਾਂ ਏਜੰਟ (ਯੂਨਿਟ 5); ਜੇਕਰ ਲੋੜ ਹੋਵੇ ਤਾਂ ਫਾਈਨ-ਟਿਊਨਿੰਗ (ਯੂਨਿਟ 6)।
5. ਮੁਲਾਂਕਣ: ਕਿਨਾਰੇ ਅਤੇ ਸੁਰੱਖਿਆ ਮਾਮਲਿਆਂ ਦੇ ਨਾਲ ਈਵਲ ਕਲੱਸਟਰ, ਐਲਐਲਐਮ ਪ੍ਰਣਾਲੀਆਂ ਵਿੱਚ ਮਲਟੀ-ਲੇਅਰ ਈਵਲ (ਯੂਨਿਟ 8)।
6. ਨਿਆਂ ਅਤੇ ਨੈਤਿਕਤਾ ਆਡਿਟ: ਉਪ ਸਮੂਹ ਵਿਸ਼ਲੇਸ਼ਣ, ਮਾਡਲ ਕਾਰਡ, ਵਿਆਖਿਆਯੋਗਤਾ (ਯੂਨਿਟ 10)।
7. ਸੁਰੱਖਿਆ ਆਡਿਟ: ਪ੍ਰੋਂਪਟ ਇੰਜੈਕਸ਼ਨ, ਗੋਪਨੀਯਤਾ, ਸਪਲਾਈ ਚੇਨ (ਯੂਨਿਟ 9)।
8. ਵੰਡ: ਪੈਕੇਜਿੰਗ, ਹੌਲੀ-ਹੌਲੀ ਵੰਡ, ਰੋਲਬੈਕ, ਮਾਡਲ ਰਜਿਸਟਰੀ (ਯੂਨਿਟ 7)।
9. ਨਿਗਰਾਨੀ: ਥ੍ਰੀ-ਲੇਅਰ ਮਾਨੀਟਰਿੰਗ, ਡਰਿਫਟ ਅਲਾਰਮ (ਯੂਨਿਟ 8)।
10. ਪ੍ਰਜਨਨਯੋਗਤਾ: ਪੂਰੀ ਲੜੀ (ਇਸ ਯੂਨਿਟ) ਵਿੱਚ ਬੀਜ, ਡੇਟਾ ਸੰਸਕਰਣ, ਮੀਡੀਆ ਅਤੇ ਪ੍ਰਯੋਗ ਟਰੈਕਿੰਗ।

ਇਸ ਪ੍ਰਵਾਹ ਵਿੱਚ, AI ਹਰ ਸਟਾਪ 'ਤੇ ਇੱਕ ਐਕਸਲੇਟਰ ਅਤੇ ਬਲੂਪ੍ਰਿੰਟ ਜਨਰੇਟਰ ਹੈ; ਪਰ ਮੀਟ੍ਰਿਕ ਚੋਣ, ਡੇਟਾ ਫੈਸਲੇ, ਨਿਰਪੱਖਤਾ ਦੀ ਤਰਜੀਹ, ਤੈਨਾਤੀ ਥ੍ਰੈਸ਼ਹੋਲਡ, ਅਤੇ ਰੀਲੀਜ਼ ਪ੍ਰਵਾਨਗੀ — ਨਾਜ਼ੁਕ ਫੈਸਲੇ ਮਨੁੱਖ ਦੇ ਨਾਲ ਰਹਿੰਦੇ ਹਨ। ਇਹ ਮੋਡੀਊਲ ਦਾ ਸਾਰ ਹੈ.

ਦਸਤਾਵੇਜ਼: ਭਵਿੱਖ ਤੁਹਾਡਾ ਧੰਨਵਾਦ ਕਰੇਗਾ

ਇੱਕ ਚੰਗਾ ML ਪ੍ਰੋਜੈਕਟ ਆਪਣੇ ਆਪ ਨੂੰ ਦਸਤਾਵੇਜ਼ ਦਿੰਦਾ ਹੈ. ਘੱਟੋ-ਘੱਟ, ਹੇਠਾਂ ਲਿਖਿਆ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ: ਸਮੱਸਿਆ ਅਤੇ ਸਫਲਤਾ ਦੇ ਮਾਪਦੰਡ, ਡੇਟਾ ਸਰੋਤ ਅਤੇ ਸੰਸਕਰਣ, ਮਾਡਲ ਦੀ ਚੋਣ ਅਤੇ ਜਾਇਜ਼ਤਾ, ਮੁਲਾਂਕਣ ਨਤੀਜੇ (ਉਪ ਸਮੂਹਾਂ ਸਮੇਤ), ਜਾਣੀਆਂ ਗਈਆਂ ਸੀਮਾਵਾਂ ਅਤੇ ਜੋਖਮ, ਤੈਨਾਤੀ ਅਤੇ ਮੁੜ ਪ੍ਰਾਪਤੀ ਪ੍ਰਕਿਰਿਆ, ਨਿਗਰਾਨੀ ਯੋਜਨਾ। ਇਹ ਦਸਤਾਵੇਜ਼ ਉਸ ਵਿਅਕਤੀ ਦਾ ਸਭ ਤੋਂ ਵਧੀਆ ਦੋਸਤ ਹੈ (ਸ਼ਾਇਦ ਇਹ ਤੁਸੀਂ ਹੋ) ਜੋ ਛੇ ਮਹੀਨਿਆਂ ਬਾਅਦ ਪ੍ਰੋਜੈਕਟ 'ਤੇ ਵਾਪਸ ਆਉਂਦਾ ਹੈ।

ਤਿੰਨ ਛੋਟੇ ਕੇਸ

ਕੇਸ 1 - ਗੁੰਮ ਹੋਇਆ ਨਤੀਜਾ। ਇੱਕ ਇੰਜੀਨੀਅਰ ਨੇ ਇੱਕ ਵਧੀਆ ਮਾਡਲ ਨੂੰ ਸਿਖਲਾਈ ਦਿੱਤੀ, ਪਰ ਉਸਨੇ ਬੀਜ ਨੂੰ ਠੀਕ ਨਹੀਂ ਕੀਤਾ ਅਤੇ ਡਾਟਾ ਸੰਸਕਰਣ ਨੂੰ ਸੁਰੱਖਿਅਤ ਨਹੀਂ ਕੀਤਾ। ਜਦੋਂ ਉਸਨੇ ਨੌਕਰੀ ਛੱਡ ਦਿੱਤੀ, ਕੋਈ ਵੀ ਉਸ ਨਤੀਜੇ ਨੂੰ ਦੁਬਾਰਾ ਪੇਸ਼ ਨਹੀਂ ਕਰ ਸਕਦਾ ਸੀ; ਮਾਡਲ ਇੱਕ "ਬਲੈਕ ਬਾਕਸ ਲੀਜੈਂਡ" ਬਣ ਗਿਆ ਅਤੇ ਆਖਰਕਾਰ ਸਕ੍ਰੈਚ ਤੋਂ ਬਣਾਇਆ ਗਿਆ। ਹਫ਼ਤੇ ਬਰਬਾਦ ਹੋ ਗਏ। ਪਾਠ: ਇੱਕ ਗੈਰ-ਪ੍ਰਜਨਨ ਨਤੀਜਾ ਇੱਕ ਗੈਰ-ਮੌਜੂਦ ਨਤੀਜਾ ਹੈ।

ਕੇਸ 2 - ਵਾਤਾਵਰਣ ਦਾ ਪਤਨ। ਇੱਕ ਟੀਮ ਨੇ ਨਿਰਭਰਤਾ ਨੂੰ ਠੀਕ ਨਹੀਂ ਕੀਤਾ ਸੀ। ਜਦੋਂ ਇੱਕ ਲਾਇਬ੍ਰੇਰੀ ਆਟੋਮੈਟਿਕਲੀ ਅੱਪਡੇਟ ਹੋ ਜਾਂਦੀ ਸੀ, ਤਾਂ ਮਾਡਲ ਆਉਟਪੁੱਟ ਚੁੱਪਚਾਪ ਬਦਲ ਜਾਂਦੇ ਸਨ ਅਤੇ ਉਤਪਾਦਨ ਵਿੱਚ ਵਿਘਨ ਪੈਂਦਾ ਸੀ। ਸਮੱਸਿਆ ਦਾ ਪਤਾ ਲਗਾਉਣ ਵਿੱਚ ਦਿਨ ਲੱਗ ਗਏ। ਜਦੋਂ ਨਿਰਭਰਤਾਵਾਂ ਨੂੰ ਫ੍ਰੀਜ਼ ਕੀਤਾ ਗਿਆ ਸੀ ਅਤੇ ਨਿਸ਼ਚਿਤ ਸੰਸਕਰਣਾਂ ਨਾਲ ਕੰਟੇਨਰਾਈਜ਼ ਕੀਤਾ ਗਿਆ ਸੀ, ਤਾਂ ਸਮੱਸਿਆ ਦੁਬਾਰਾ ਨਹੀਂ ਆਈ। ਸਬਕ: ਵਾਤਾਵਰਣ ਨੂੰ ਫ੍ਰੀਜ਼ ਕਰੋ।

ਕੇਸ 3 - ਨਿਗਰਾਨੀ ਦੀ ਸ਼ਕਤੀ। ਇੱਕ ਟੀਮ ਨੇ ਹਰੇਕ ਪ੍ਰਯੋਗ ਦੀ ਆਪਣੇ ਆਪ ਨਿਗਰਾਨੀ ਕੀਤੀ। ਤਿੰਨ ਮਹੀਨਿਆਂ ਬਾਅਦ, ਇੱਕ ਰੈਗੂਲੇਟਰੀ ਆਡਿਟ ਦੌਰਾਨ, ਉਹਨਾਂ ਨੇ ਇਸ ਸਵਾਲ ਦਾ ਜਵਾਬ ਦਿੱਤਾ ਕਿ "ਕਿਹੜੇ ਡੇਟਾ ਨਾਲ, ਕਿਹੜੀਆਂ ਸੈਟਿੰਗਾਂ ਨਾਲ, ਕਿਹੜੇ ਸਮੂਹਾਂ ਵਿੱਚ ਇਹ ਪ੍ਰਦਰਸ਼ਨ ਪ੍ਰਾਪਤ ਹੋਇਆ?" ਮਿੰਟਾਂ ਦੇ ਅੰਦਰ ਪੂਰੀ ਰਿਕਾਰਡਿੰਗ ਦੇ ਨਾਲ. ਨਿਰੀਖਣ ਸੁਚਾਰੂ ਢੰਗ ਨਾਲ ਹੋਇਆ। ਸਬਕ: ਨਿਗਰਾਨੀ ਇੱਕ ਪਾਲਣਾ ਸਾਧਨ ਹੈ, ਨਾ ਕਿ ਸਿਰਫ਼ ਇੱਕ ਇੰਜੀਨੀਅਰਿੰਗ।

ਨਕਲ ਕਰਨ ਯੋਗ ਟੈਂਪਲੇਟਸ

ਕੀ ਇਸ ML ਪ੍ਰੋਜੈਕਟ ਲਈ ਪੁਨਰ-ਉਤਪਾਦਨਯੋਗਤਾ ਦੀ ਜਾਂਚ ਕਰੋ।- ਕੀ ਸਾਰੇ ਬੇਤਰਤੀਬੇ ਬੀਜ ਫਿਕਸ ਕੀਤੇ ਗਏ ਹਨ (ਵਿਭਾਜਿਤ, ਸ਼ੁਰੂਆਤੀ, ਸ਼ਫਲ)?- ਕੀ ਡੇਟਾ ਸੰਸਕਰਣ ਕੀਤਾ ਗਿਆ ਹੈ?- ਕੀ ਨਿਰਭਰਤਾਵਾਂ ਸਹੀ ਸੰਸਕਰਣਾਂ ਲਈ ਫ੍ਰੀਜ਼ ਕੀਤੀਆਂ ਗਈਆਂ ਹਨ?- ਕੀ ਹਰ ਪ੍ਰਯੋਗ (ਕੋਡ ਪ੍ਰਤੀਬੱਧ, ਡੇਟਾ, ਹਾਈਪਰਪੈਰਾਮੀਟਰ, ਮੀਟ੍ਰਿਕ) ਨੂੰ ਟਰੈਕ ਕੀਤਾ ਗਿਆ ਹੈ? ਹਰੇਕ ਗੁੰਮ ਹੋਏ ਕਾਲਮ ਲਈ ਇਸਨੂੰ ਕਿਵੇਂ ਠੀਕ ਕਰਨਾ ਹੈ ਇਸ ਬਾਰੇ ਠੋਸ ਕਦਮ ਲਿਖੋ। ਪ੍ਰੋਜੈਕਟ ਬਣਤਰ: [ਵੇਰਵਾ]

ਇਸ ਐਂਡ-ਟੂ-ਐਂਡ ML ਪ੍ਰੋਜੈਕਟ ਲਈ ਇੱਕ ਯੋਜਨਾ ਪਿੰਜਰ ਤਿਆਰ ਕਰੋ। ਸਮੱਸਿਆ: [ਵੇਰਵਾ] ਹੇਠਾਂ ਦਿੱਤੇ ਸਟਾਪਾਂ ਨੂੰ ਕਵਰ ਕਰੋ ਅਤੇ ਨਿਸ਼ਾਨ ਲਗਾਓ ਕਿ ਹਰ ਸਟਾਪ 'ਤੇ ਮਨੁੱਖੀ ਫੈਸਲਾ ਕਿੱਥੇ ਹੈ: ਸਮੱਸਿਆ/ਮੈਟ੍ਰਿਕ, ਪਾਈਪਲਾਈਨ, ਮਾਡਲ, (RAG/ਏਜੰਟ/ਫਾਈਨ-ਟਿਊਨ?), ਈਵਲ, ਨਿਰਪੱਖਤਾ, ਸੁਰੱਖਿਆ, ਵੰਡ, ਨਿਗਰਾਨੀ, ਪ੍ਰਜਨਨਯੋਗਤਾ। ਹਰੇਕ ਸਟਾਪ ਲਈ ਮੁੱਖ ਜੋਖਮ ਅਤੇ ਪੁਸ਼ਟੀਕਰਨ ਪੜਾਅ ਲਿਖੋ।

ਇਸ ਪ੍ਰੋਜੈਕਟ ਲਈ ਇੱਕ ਤਕਨੀਕੀ ਦਸਤਾਵੇਜ਼ ਟੈਮਪਲੇਟ ਤਿਆਰ ਕਰੋ। ਸੈਕਸ਼ਨ: ਸਮੱਸਿਆ+ਸਫਲਤਾ ਦੇ ਮਾਪਦੰਡ, ਡੇਟਾ (ਸਰੋਤ + ਸੰਸਕਰਣ), ਮਾਡਲ ਚੋਣ + ਜਾਇਜ਼ਤਾ, ਮੁਲਾਂਕਣ (ਉਪ ਸਮੂਹਾਂ ਸਮੇਤ), ਜਾਣੀਆਂ ਗਈਆਂ ਸੀਮਾਵਾਂ + ਜੋਖਮ, ਤੈਨਾਤੀ + ਰੋਲਬੈਕ, ਨਿਗਰਾਨੀ ਯੋਜਨਾ। ਪ੍ਰਸ਼ਨਾਂ ਦੇ ਰੂਪ ਵਿੱਚ ਹਰੇਕ ਭਾਗ ਲਈ ਭਰੇ ਜਾਣ ਵਾਲੇ ਖੇਤਰ ਦਿਓ।

ਮੇਰੇ ਪ੍ਰਯੋਗ ਨਿਗਰਾਨੀ ਸੈੱਟਅੱਪ ਦੀ ਜਾਂਚ ਕਰੋ: ਕੀ ਇਹ ਹਰ ਰਨ 'ਤੇ ਆਟੋ-ਸੁਰੱਖਿਅਤ ਹੈ: ਗਿੱਟ ਕਮਿਟ, ਡੇਟਾ ਸੰਸਕਰਣ/ਹੈਸ਼, ਸਾਰੇ ਹਾਈਪਰਪੈਰਾਮੀਟਰ, ਸਾਰੇ ਮੈਟ੍ਰਿਕਸ, ਵਾਤਾਵਰਣ (ਲਾਇਬ੍ਰੇਰੀ ਸੰਸਕਰਣ)? ਕੀ ਮੈਨੂੰ ਉਹੀ ਨਤੀਜਾ ਮਿਲਦਾ ਹੈ ਜਦੋਂ ਮੈਂ ਉਹੀ ਦੌੜ ਦੁਬਾਰਾ ਚਲਾਉਂਦਾ ਹਾਂ? ਸੈੱਟਅੱਪ: [ਵੇਰਵਾ]। ਖਾਮੀਆਂ ਅਤੇ ਸੁਧਾਰਾਂ ਦੀ ਸੂਚੀ ਬਣਾਓ।

ਰੀਪ੍ਰੋਡਸੀਬਿਲਟੀ ਕਾਲਮ ਸਾਰਣੀ

ਕਾਲਮ

ਕੀ ਸਥਿਰ ਹੈ

ਵਾਹਨ ਦੀ ਉਦਾਹਰਨ

ਬੇਤਰਤੀਬਤਾ

ਸਾਰੇ ਬੀਜ

ਬੀਜ ਸੈਟਿੰਗ

ਡਾਟਾ

ਡਾਟਾ ਸੰਸਕਰਣ/ਹੈਸ਼

ਡੀ.ਵੀ.ਸੀ

ਵਾਤਾਵਰਣ

ਲਾਇਬ੍ਰੇਰੀ ਸੰਸਕਰਣ

ਲੋੜਾਂ ਵਾਲਾ ਪਿੰਨ, ਡੌਕਰ

ਨਿਗਰਾਨੀ

ਕੋਡ+ਡਾਟਾ+ਸੈਟਿੰਗ+ਮੈਟ੍ਰਿਕ

MLflow, W&B

ਆਮ ਗਲਤੀਆਂ

• ਬੀਜ ਨੂੰ ਠੀਕ ਨਹੀਂ ਕਰਨਾ। ਨਤੀਜਾ ਦੁਹਰਾਇਆ ਨਹੀਂ ਜਾ ਸਕਦਾ।
• ਡਾਟਾ ਸੰਸਕਰਣ ਨੂੰ ਸੁਰੱਖਿਅਤ ਨਹੀਂ ਕੀਤਾ ਜਾ ਰਿਹਾ ਹੈ। "ਕਿਹੜੇ ਡੇਟਾ ਨਾਲ?" ਜਵਾਬ ਰਹਿਤ ਹੈ।
• ਨਾ ਠੰਢਾ ਨਸ਼ਾ। ਇੱਕ ਅੱਪਡੇਟ ਚੁੱਪਚਾਪ ਸਭ ਕੁਝ ਤੋੜ ਦੇਵੇਗਾ।
• ਪ੍ਰਯੋਗਾਂ ਨੂੰ ਮੈਮੋਰੀ 'ਤੇ ਛੱਡਣਾ. ਦੋ ਹਫ਼ਤੇ ਬਾਅਦ ਕੁਝ ਵੀ ਯਾਦ ਨਹੀਂ ਹੈ।
• ਨਾਜ਼ੁਕ ਫੈਸਲਿਆਂ ਨੂੰ ਆਰਟੀਫੀਸ਼ੀਅਲ ਇੰਟੈਲੀਜੈਂਸ 'ਤੇ ਛੱਡਣਾ। ਮੈਟ੍ਰਿਕਸ, ਨਿਆਂ ਅਤੇ ਵੰਡ ਦੇ ਫੈਸਲੇ ਲੋਕਾਂ ਕੋਲ ਰਹਿਣੇ ਚਾਹੀਦੇ ਹਨ।
• ਦਸਤਾਵੇਜ਼ਾਂ ਨੂੰ ਮੁਲਤਵੀ ਕਰਨਾ। ਭਵਿੱਖ ਦੀ ਟੀਮ (ਅਤੇ ਤੁਸੀਂ) ਕੀਮਤ ਅਦਾ ਕਰਦੇ ਹੋ।

ਸੰਖੇਪ ਵਿੱਚ

ਪੁਨਰ-ਉਤਪਾਦਨਸ਼ੀਲਤਾ ਗੰਭੀਰ ML ਇੰਜੀਨੀਅਰਿੰਗ ਦਾ ਹਸਤਾਖਰ ਹੈ: ਗੈਰ-ਪ੍ਰਜਨਨਯੋਗ ਨਤੀਜਾ ਅਪ੍ਰਵਾਨਯੋਗ ਦਾਅਵਾ ਹੈ। ਇਹ ਚਾਰ ਕਾਲਮਾਂ ਦੇ ਨਾਲ ਆਉਂਦਾ ਹੈ — ਬੇਤਰਤੀਬਤਾ, ਸੰਸਕਰਣ ਡੇਟਾ, ਫ੍ਰੀਜ਼ ਵਾਤਾਵਰਣ, ਹਰੇਕ ਪ੍ਰਯੋਗ ਨੂੰ ਟਰੈਕ ਕਰੋ। ਇੱਕ ਐਂਡ-ਟੂ-ਐਂਡ ਪ੍ਰੋਜੈਕਟ ਇਸ ਮੋਡੀਊਲ ਦੇ ਸਾਰੇ ਸਟਾਪਾਂ (ਮੈਟ੍ਰਿਕ, ਡੇਟਾ, ਮਾਡਲ, ਐਲਐਲਐਮ ਕੰਪੋਨੈਂਟਸ, ਈਵਲ, ਨਿਰਪੱਖਤਾ, ਸੁਰੱਖਿਆ, ਵੰਡ, ਨਿਗਰਾਨੀ) ਨੂੰ ਇੱਕ ਇੰਟਰਕਨੈਕਟਡ ਚੇਨ ਵਿੱਚ ਜੋੜਦਾ ਹੈ; ਆਰਟੀਫੀਸ਼ੀਅਲ ਇੰਟੈਲੀਜੈਂਸ ਹਰ ਸਟਾਪ 'ਤੇ ਇੱਕ ਪ੍ਰਵੇਗਕ ਹੈ, ਪਰ ਮਹੱਤਵਪੂਰਣ ਫੈਸਲੇ ਮਨੁੱਖ ਦੇ ਕੋਲ ਰਹਿੰਦੇ ਹਨ। ਭਵਿੱਖ ਦੀ ਟੀਮ ਅਤੇ ਆਡਿਟ ਲਈ - ਹਰ ਚੀਜ਼ ਨੂੰ ਦਸਤਾਵੇਜ਼ ਬਣਾਓ। ਇਹ ਅਨੁਸ਼ਾਸਨ ਇੱਕ ਫਰੇਮਵਰਕ ਹੈ ਜੋ ਤੁਹਾਡੇ ਦੁਆਰਾ ਪੂਰੇ ਮੋਡਿਊਲ ਵਿੱਚ ਸਿੱਖਣ ਵਾਲੀ ਹਰ ਚੀਜ਼ ਨੂੰ ਕਾਇਮ ਰੱਖਦਾ ਹੈ।

ਐਪਲੀਕੇਸ਼ਨ ਦਾ ਕੰਮ

ਚਾਰ ਪੁਨਰ-ਉਤਪਾਦਨਸ਼ੀਲਤਾ ਥੰਮ੍ਹਾਂ ਦੇ ਵਿਰੁੱਧ ਇੱਕ ML ਪ੍ਰੋਜੈਕਟ ਦੀ ਜਾਂਚ ਕਰੋ: ਕੀ ਬੀਜ ਅਟੱਲ ਹਨ, ਕੀ ਡੇਟਾ ਸੰਸਕਰਣ ਕੀਤਾ ਗਿਆ ਹੈ, ਕੀ ਵਾਤਾਵਰਣ ਫ੍ਰੀਜ਼ ਕੀਤਾ ਗਿਆ ਹੈ, ਕੀ ਪ੍ਰਯੋਗਾਂ ਨੂੰ ਟਰੈਕ ਕੀਤਾ ਗਿਆ ਹੈ? ਕਿਸੇ ਵੀ ਗੁੰਮ ਹੋਏ ਕਾਲਮਾਂ ਨੂੰ ਠੀਕ ਕਰੋ ਅਤੇ ਸਾਬਤ ਕਰੋ ਕਿ ਤੁਸੀਂ ਇੱਕੋ ਦੌੜ ਨੂੰ ਦੋ ਵਾਰ ਚਲਾ ਸਕਦੇ ਹੋ ਅਤੇ ਇੱਕੋ ਨਤੀਜਾ ਪ੍ਰਾਪਤ ਕਰ ਸਕਦੇ ਹੋ। ਫਿਰ ਇੱਕ ਪੰਨੇ 'ਤੇ ਪ੍ਰੋਜੈਕਟ ਦੇ ਅੰਤ-ਤੋਂ-ਅੰਤ ਦੇ ਪ੍ਰਵਾਹ (10 ਸਟਾਪਸ) ਨੂੰ ਆਉਟਪੁੱਟ ਕਰੋ ਅਤੇ ਹਰੇਕ ਸਟਾਪ 'ਤੇ "ਮਨੁੱਖੀ ਫੈਸਲਾ ਕਿੱਥੇ ਹੈ" ਨੂੰ ਚਿੰਨ੍ਹਿਤ ਕਰੋ। ਅੰਤ ਵਿੱਚ, ਇੱਕ ਛੋਟਾ ਤਕਨੀਕੀ ਦਸਤਾਵੇਜ਼ ਡਰਾਫਟ ਲਿਖੋ।

ਚੈੱਕਲਿਸਟ

• [ ] ਸਾਰੇ ਬੇਤਰਤੀਬੇ ਬੀਜ ਸਥਿਰ.
• [ ] ਡੇਟਾ ਸੰਸਕਰਣ/ਹੈਸ਼ ਹਰੇਕ ਪ੍ਰਯੋਗ ਦੇ ਨਾਲ ਰਿਕਾਰਡ ਕੀਤਾ ਜਾਂਦਾ ਹੈ।
• [ ] ਨਿਰਭਰਤਾ ਫਰਮ ਸੰਸਕਰਣਾਂ (ਪਿੰਨ/ਕੰਟੇਨਰ) ਤੱਕ ਫ੍ਰੀਜ਼ ਕੀਤੀ ਜਾਂਦੀ ਹੈ।
• [ ] ਹਰੇਕ ਪ੍ਰਯੋਗ ਦੀ ਆਪਣੇ ਆਪ ਨਿਗਰਾਨੀ ਕੀਤੀ ਜਾਂਦੀ ਹੈ (ਕੋਡ+ਡਾਟਾ+ਸੈਟਿੰਗ+ਮੈਟ੍ਰਿਕ)।
• ਜਦੋਂ ਮੈਂ ਉਹੀ ਦੌੜ ਦੁਹਰਾਉਂਦਾ ਹਾਂ, ਤਾਂ ਮੈਨੂੰ ਉਹੀ ਨਤੀਜਾ ਮਿਲਦਾ ਹੈ।
• [ ] ਮੈਂ ਤਸਦੀਕ ਕੀਤਾ ਅਤੇ ਦਸਤਾਵੇਜ਼ੀਕਰਨ ਕੀਤਾ ਕਿ ਅੰਤ-ਤੋਂ-ਅੰਤ ਦੇ ਪ੍ਰਵਾਹ ਵਿੱਚ ਮਹੱਤਵਪੂਰਨ ਫੈਸਲੇ ਮਨੁੱਖਾਂ ਦੁਆਰਾ ਲਏ ਜਾਂਦੇ ਹਨ।

ਮੋਡੀਊਲ ਪ੍ਰੀਖਿਆ

1. ਇੱਕ ML ਇੰਜੀਨੀਅਰ ਦੇ ਰੂਪ ਵਿੱਚ, ਵਰਕਫਲੋ ਵਿੱਚ ਨਕਲੀ ਬੁੱਧੀ ਦੀ ਸਥਿਤੀ ਬਣਾਉਣ ਵੇਲੇ ਸਭ ਤੋਂ ਵਧੀਆ ਪਹੁੰਚ ਕੀ ਹੈ?

• A) AI ਘੱਟ-ਜੋਖਮ ਵਾਲੇ ਕਾਰੋਬਾਰਾਂ ਵਿੱਚ ਇੱਕ ਐਕਸਲੇਟਰ ਹੈ; ਮੈਟ੍ਰਿਕਸ, ਡੇਟਾ, ਅਤੇ ਉਤਪਾਦਨ ਵਰਗੇ ਨਾਜ਼ੁਕ ਫੈਸਲੇ ਪ੍ਰਮਾਣਿਤ ਰਹਿੰਦੇ ਹਨ ਅਤੇ ਮਨੁੱਖ ਲਈ ਛੱਡ ਦਿੱਤੇ ਜਾਂਦੇ ਹਨ ✔
• ਅ) ਜਿੰਨਾ ਚਿਰ AI ਆਉਟਪੁੱਟ ਵਧੀਆ ਦਿਖਾਈ ਦਿੰਦੇ ਹਨ, ਤਸਦੀਕ ਦੀ ਕੋਈ ਲੋੜ ਨਹੀਂ ਹੈ
• C) ਮਾਡਲ ਨੂੰ ਨਕਲੀ ਬੁੱਧੀ ਦੇ ਉਤਪਾਦਨ ਵਿੱਚ ਪਾਉਣ ਦੇ ਫੈਸਲੇ ਨੂੰ ਛੱਡਣ ਨਾਲ ਸਮੇਂ ਦੀ ਬਚਤ ਹੁੰਦੀ ਹੈ।
• ਡੀ) ਆਰਟੀਫੀਸ਼ੀਅਲ ਇੰਟੈਲੀਜੈਂਸ ਸਿਰਫ ਟੈਕਸਟ ਲਿਖਣ ਲਈ ਉਪਯੋਗੀ ਹੈ, ਇਸਦਾ ਡੇਟਾ ਅਤੇ ਮਾਡਲ ਦੇ ਕੰਮ ਨਾਲ ਕੋਈ ਲੈਣਾ-ਦੇਣਾ ਨਹੀਂ ਹੈ

ਵਰਣਨ: AI ਘੱਟ-ਜੋਖਮ ਵਾਲੇ, ਆਸਾਨੀ ਨਾਲ ਤਸਦੀਕ ਕੀਤੇ ਕੰਮਾਂ ਜਿਵੇਂ ਕਿ ਕੋਡ, ਡੇਟਾ ਡਾਇਜੈਸਟ, ਅਤੇ ਦਸਤਾਵੇਜ਼ਾਂ ਲਈ ਇੱਕ ਸ਼ਕਤੀਸ਼ਾਲੀ ਐਕਸਲੇਟਰ ਹੈ; ਹਾਲਾਂਕਿ, ਪੈਸੇ, ਗੋਪਨੀਯਤਾ, ਅਤੇ ਕਨੂੰਨੀ ਦੇਣਦਾਰੀ ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕਰਨ ਵਾਲੇ ਫੈਸਲਿਆਂ ਦੀ ਜ਼ਿੰਮੇਵਾਰੀ, ਜਿਵੇਂ ਕਿ ਮੀਟ੍ਰਿਕ ਚੋਣ, ਜੋ ਡੇਟਾ ਸਿਖਲਾਈ ਵਿੱਚ ਜਾਂਦਾ ਹੈ, ਅਤੇ ਮਾਡਲ ਨੂੰ ਉਤਪਾਦਨ ਵਿੱਚ ਸ਼ਾਮਲ ਕਰਦਾ ਹੈ, ਯੋਗਤਾ ਪ੍ਰਾਪਤ ਇੰਜੀਨੀਅਰ ਅਤੇ ਟੀਮ ਦੀ ਹੈ। ਹਰੇਕ ਆਉਟਪੁੱਟ ਨੂੰ ਬਿਨਾਂ ਤਸਦੀਕ ਦੇ ਨਹੀਂ ਵਰਤਿਆ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ।

2. ਡਾਟਾ ਪਾਈਪਲਾਈਨ ਦੇ ਸ਼ੁਰੂ ਵਿੱਚ ਸਕੀਮਾ ਪ੍ਰਮਾਣਿਕਤਾ ਕਿਉਂ ਰੱਖੀ ਜਾਂਦੀ ਹੈ?

• ਏ) ਕਿਉਂਕਿ ਇਹ ਸਿੱਧੇ ਤੌਰ 'ਤੇ ਮਾਡਲ ਦੀ ਸ਼ੁੱਧਤਾ ਨੂੰ ਵਧਾਉਂਦਾ ਹੈ
• ਅ) ਕਿਉਂਕਿ ਇਹ ਡੇਟਾ ਸੰਸਕਰਣ ਨੂੰ ਬੇਲੋੜੀ ਬਣਾਉਂਦਾ ਹੈ
• C) ਕਿਉਂਕਿ ਇਹ ਸਭ ਤੋਂ ਪਹਿਲਾਂ ਅਤੇ ਸਭ ਤੋਂ ਸਸਤੇ ਪੁਆਇੰਟ 'ਤੇ ਖਰਾਬ ਡੇਟਾ ਨੂੰ ਫੜਦਾ ਹੈ ਅਤੇ ਇਸ ਨੂੰ ਅਗਲੇ ਕਦਮਾਂ ਵਿੱਚ ਲੀਕ ਹੋਣ ਤੋਂ ਰੋਕਦਾ ਹੈ ✔
• ਡੀ) ਕਿਉਂਕਿ ਇਹ ਲੇਬਲਿੰਗ ਦੀ ਜ਼ਰੂਰਤ ਨੂੰ ਖਤਮ ਕਰਦਾ ਹੈ

ਸਪੱਸ਼ਟੀਕਰਨ: ਪਹਿਲਾਂ ਭ੍ਰਿਸ਼ਟ ਡੇਟਾ ਫੜਿਆ ਜਾਂਦਾ ਹੈ, ਇਸ ਨੂੰ ਠੀਕ ਕਰਨਾ ਸਸਤਾ ਹੁੰਦਾ ਹੈ। ਸਕੀਮਾ ਪ੍ਰਮਾਣਿਕਤਾ ਲਾਈਨ ਦੇ ਸ਼ੁਰੂ ਵਿੱਚ ਸੰਭਾਵਿਤ ਕਿਸਮ ਅਤੇ ਰੇਂਜ ਤੋਂ ਬਾਹਰ ਡੇਟਾ ਨੂੰ ਰੱਦ ਕਰਕੇ ਸਿਖਲਾਈ ਜਾਂ ਉਤਪਾਦਨ ਵਿੱਚ ਚੁੱਪਚਾਪ ਲੀਕ ਹੋਣ ਤੋਂ ਭ੍ਰਿਸ਼ਟ ਡੇਟਾ ਨੂੰ ਰੋਕਦੀ ਹੈ (ਜਿਵੇਂ ਕਿ ਯੂਨਿਟ ਤਬਦੀਲੀ ਨਾਲ ਕੀਮਤ 100x ਬਦਲਣਾ); ਉਤਪਾਦਨ ਵਿੱਚ ਫੜੀ ਗਈ ਇਹੀ ਗਲਤੀ ਕਈ ਗੁਣਾ ਜ਼ਿਆਦਾ ਮਹਿੰਗੀ ਹੈ।

3. ਸਮਾਂ (ਸਮਾਂ ਲੜੀ) ਨੂੰ ਸ਼ਾਮਲ ਕਰਨ ਵਾਲੀ ਸਮੱਸਿਆ ਵਿੱਚ ਸਿਖਲਾਈ ਅਤੇ ਟੈਸਟਿੰਗ ਵਿੱਚ ਡੇਟਾ ਨੂੰ ਵੰਡਣ ਵੇਲੇ ਸਹੀ ਪਹੁੰਚ ਕੀ ਹੈ?

• ਏ) ਬੇਤਰਤੀਬੇ ਵੰਡ ਦੀ ਵਰਤੋਂ ਕਰਨਾ ਕਿਉਂਕਿ ਇਹ ਹਮੇਸ਼ਾਂ ਸਭ ਤੋਂ ਵਧੀਆ ਤਰੀਕਾ ਹੁੰਦਾ ਹੈ
• ਅ) ਅਸਥਾਈ ਵੰਡ ਦੀ ਵਰਤੋਂ ਕਰਨਾ: ਅਤੀਤ ਨਾਲ ਸਿਖਲਾਈ ਅਤੇ ਭਵਿੱਖ ਵਿੱਚ ਟੈਸਟ ਕਰਕੇ ਲੀਕੇਜ ਨੂੰ ਰੋਕੋ ✔
• C) ਸਿਖਲਾਈ ਅਤੇ ਟੈਸਟਿੰਗ ਦੋਵਾਂ ਦੇ ਤੌਰ 'ਤੇ ਸਾਰੇ ਡੇਟਾ ਦੀ ਵਰਤੋਂ ਕਰਨਾ
• D) ਸਿਖਲਾਈ ਤੋਂ ਪਹਿਲਾਂ ਸਕੇਲਿੰਗ ਪੈਰਾਮੀਟਰਾਂ ਵਿੱਚ ਟੈਸਟ ਡੇਟਾ ਨੂੰ ਸ਼ਾਮਲ ਕਰਨਾ

ਵਿਆਖਿਆ: ਸਮੇਂ ਦੀ ਲੜੀ 'ਤੇ ਬੇਤਰਤੀਬ ਵੰਡਣਾ ਮਾਡਲ ਨੂੰ 'ਭਵਿੱਖ ਨੂੰ ਦੇਖਣ ਵਾਲਾ' ਫਾਇਦਾ ਦਿੰਦਾ ਹੈ ਜੋ ਉਤਪਾਦਨ ਵਿੱਚ ਕਦੇ ਨਹੀਂ ਹੋਵੇਗਾ ਅਤੇ ਨਕਲੀ ਤੌਰ 'ਤੇ ਮੈਟ੍ਰਿਕਸ (ਟੈਂਪੋਰਲ ਲੀਕੇਜ) ਨੂੰ ਵਧਾਉਂਦਾ ਹੈ। ਸਹੀ ਇੱਕ ਅਸਥਾਈ ਵੰਡ ਹੈ: ਅਤੀਤ ਨਾਲ ਟ੍ਰੇਨ ਕਰੋ, ਭਵਿੱਖ ਵਿੱਚ ਟੈਸਟ ਕਰੋ। ਇਹ ਅਸਲ ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਮਾਪਦਾ ਹੈ ਜੋ ਇਸਨੂੰ ਉਤਪਾਦਨ ਵਿੱਚ ਰੱਖਦਾ ਹੈ।

4. 1.5% ਦੀ ਸਕਾਰਾਤਮਕ ਸ਼੍ਰੇਣੀ ਦਰ ਦੇ ਨਾਲ ਇੱਕ ਧੋਖਾਧੜੀ ਖੋਜ ਮਾਡਲ ਵਿੱਚ ਸ਼ੁੱਧਤਾ ਗੁੰਮਰਾਹਕੁੰਨ ਕਿਉਂ ਹੈ?

• A) ਕਿਉਂਕਿ ਅਸੰਤੁਲਿਤ ਡੇਟਾ 'ਤੇ ਸ਼ੁੱਧਤਾ ਹਮੇਸ਼ਾ ਘੱਟ ਹੁੰਦੀ ਹੈ
• ਅ) ਕਿਉਂਕਿ ਸ਼ੁੱਧਤਾ ਸਿਰਫ ਰਿਗਰੈਸ਼ਨ ਸਮੱਸਿਆਵਾਂ 'ਤੇ ਵਰਤੀ ਜਾ ਸਕਦੀ ਹੈ
• C) ਕਿਉਂਕਿ ਸ਼ੁੱਧਤਾ ਗਣਨਾ ਲਈ ਬਹੁਤ ਸਾਰੀ ਪ੍ਰੋਸੈਸਿੰਗ ਸ਼ਕਤੀ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ
• D) ਬਹੁਗਿਣਤੀ ਵਰਗ ਦੀ ਭਵਿੱਖਬਾਣੀ ਕਰਨ ਵਾਲਾ ਮਾਮੂਲੀ ਮਾਡਲ ਵੀ ਬਹੁਤ ਸਹੀ ਹੋ ਸਕਦਾ ਹੈ, ਇਸ ਤਰ੍ਹਾਂ ਅਸਲ ਸਫਲਤਾ ਨੂੰ ਲੁਕਾਇਆ ਜਾ ਸਕਦਾ ਹੈ ✔

ਸਪੱਸ਼ਟੀਕਰਨ: ਅਸੰਤੁਲਿਤ ਡੇਟਾ 'ਤੇ, ਇੱਥੋਂ ਤੱਕ ਕਿ ਇੱਕ ਬੁਨਿਆਦੀ ਮਾਡਲ ਜੋ ਕਹਿੰਦਾ ਹੈ ਕਿ 'ਕਾਲ ਏਵਿੰਗ ਨੈਗੇਟਿਵ' ਲਗਭਗ 98.5% ਸ਼ੁੱਧਤਾ ਪ੍ਰਾਪਤ ਕਰਦਾ ਹੈ ਪਰ ਇੱਕ ਵੀ ਧੋਖਾਧੜੀ ਨਹੀਂ ਫੜੇਗਾ। ਇਸ ਲਈ, ਅਸੰਤੁਲਿਤ ਵਰਗੀਕਰਣ ਵਿੱਚ, ਸ਼ੁੱਧਤਾ ਦੀ ਬਜਾਏ ਸ਼ੁੱਧਤਾ, ਰੀਕਾਲ, F1 ਜਾਂ PR-AUC ਦੀ ਵਰਤੋਂ ਕੀਤੀ ਜਾਂਦੀ ਹੈ, ਅਤੇ ਹਰੇਕ ਮੈਟ੍ਰਿਕ ਨੂੰ ਇੱਕ ਅਧਾਰ ਮਾਡਲ ਦੇ ਅਨੁਸਾਰ ਵਿਆਖਿਆ ਕੀਤੀ ਜਾਂਦੀ ਹੈ।

5. ਇੱਕ ਮਾਡਲ ਦੇ ਮੈਟ੍ਰਿਕ ਬਾਰੇ ਗੱਲ ਕਰਦੇ ਸਮੇਂ ਬੇਸਲਾਈਨ ਤੁਲਨਾ ਕਿਉਂ ਜ਼ਰੂਰੀ ਹੈ?

• ਏ) ਕਿਉਂਕਿ ਬੇਸ ਮਾਡਲ ਹਮੇਸ਼ਾ ਅਸਲੀ ਮਾਡਲ ਨਾਲੋਂ ਬਿਹਤਰ ਹੁੰਦਾ ਹੈ
• ਅ) ਕਿਉਂਕਿ ਇਹ ਸਪੱਸ਼ਟ ਹੈ ਕਿ ਕੀ ਇੱਕ ਮੈਟ੍ਰਿਕ ਸਾਰਥਕ ਹੈ ਜਾਂ ਨਹੀਂ ਜਦੋਂ ਇੱਕ ਸਧਾਰਨ ਬੇਸਲਾਈਨ ਮਾਡਲ ਦੀ ਤੁਲਨਾ ਕੀਤੀ ਜਾਂਦੀ ਹੈ ✔
• C) ਕਿਉਂਕਿ ਬੇਸ ਮਾਡਲ ਅੰਤਰ-ਪ੍ਰਮਾਣਿਕਤਾ ਨੂੰ ਬੇਲੋੜਾ ਬਣਾਉਂਦਾ ਹੈ
• ਡੀ) ਕਿਉਂਕਿ ਬੁਨਿਆਦੀ ਮਾਡਲ ਹਰ ਰਿਪੋਰਟ ਵਿੱਚ ਕਾਨੂੰਨੀ ਤੌਰ 'ਤੇ ਲੋੜੀਂਦਾ ਹੈ

ਵਿਆਖਿਆ: ਇੱਕ ਮੈਟ੍ਰਿਕ ਆਪਣੇ ਆਪ ਵਿੱਚ ਚੰਗਾ ਜਾਂ ਮਾੜਾ ਨਹੀਂ ਹੁੰਦਾ; ਇਹ ਇੱਕ ਬੁਨਿਆਦੀ ਮਾਡਲ ਦੇ ਅਨੁਸਾਰ ਚੰਗਾ ਜਾਂ ਮਾੜਾ ਹੈ। ਵਾਕ '85% ਸਹੀ' ਦਾ ਮਤਲਬ ਲਗਭਗ ਬੇਕਾਰ ਹੈ ਜੇਕਰ ਬੇਸ ਮਾਡਲ ਪਹਿਲਾਂ ਹੀ 84% ਪ੍ਰਾਪਤ ਕਰਦਾ ਹੈ, ਅਤੇ ਸੰਪੂਰਨ ਜੇਕਰ ਇਹ 50% ਪ੍ਰਾਪਤ ਕਰਦਾ ਹੈ। ਤੁਲਨਾ ਐਂਕਰ ਤੋਂ ਬਿਨਾਂ, ਮੈਟ੍ਰਿਕ ਅਰਥਹੀਣ ਹੈ।

6. ਸਭ ਤੋਂ ਨਾਜ਼ੁਕ ਸੁਰੱਖਿਆ ਤੱਤ ਕਿਹੜਾ ਹੈ ਜੋ RAG (ਰੀਟ੍ਰੀਵਲ-ਔਗਮੈਂਟੇਡ ਜਨਰੇਸ਼ਨ) ਸਿਸਟਮ ਦੇ ਉਤਪਾਦਨ ਪ੍ਰੋਂਪਟ ਵਿੱਚ ਸ਼ਾਮਲ ਕੀਤਾ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ?

• A) ਸਿਰਫ ਦਿੱਤੇ ਗਏ ਸਰੋਤ 'ਤੇ ਭਰੋਸਾ ਕਰਨ ਦੀ ਹਦਾਇਤ, ਜੇਕਰ ਸਰੋਤ ਮੌਜੂਦ ਨਹੀਂ ਹੈ ਤਾਂ 'ਮੈਨੂੰ ਨਹੀਂ ਪਤਾ' ਕਹਿਣਾ, ਅਤੇ ਸਰੋਤ ਦਾ ਹਵਾਲਾ ਦੇਣਾ ✔
• ਅ) ਮਾਡਲ ਨੂੰ ਜਿੰਨਾ ਸੰਭਵ ਹੋ ਸਕੇ ਲੰਬੇ ਅਤੇ ਰਚਨਾਤਮਕ ਜਵਾਬ ਦੇਣ ਲਈ ਕਹਿਣਾ
• C) ਮਾਡਲ ਸਰੋਤਾਂ ਨਾਲੋਂ ਆਪਣੇ ਵਿਦਿਅਕ ਗਿਆਨ ਨੂੰ ਤਰਜੀਹ ਦਿੰਦਾ ਹੈ
• ਡੀ) ਕਮਾਂਡਾਂ ਵਜੋਂ ਲਿਆਂਦੇ ਦਸਤਾਵੇਜ਼ਾਂ ਵਿੱਚ ਸਾਰੀਆਂ ਹਦਾਇਤਾਂ ਨੂੰ ਲਾਗੂ ਕਰੋ

ਵਿਆਖਿਆ: RAG ਦਾ ਸਭ ਤੋਂ ਮਹੱਤਵਪੂਰਨ ਨਿਰਦੇਸ਼ ਮਾਡਲ ਨੂੰ ਸਿਰਫ਼ ਦਿੱਤੇ ਗਏ ਸਰੋਤ 'ਤੇ ਭਰੋਸਾ ਕਰਨ ਲਈ ਕਹਿਣਾ ਹੈ, ਅਤੇ ਜੇਕਰ ਜਾਣਕਾਰੀ ਸਰੋਤ ਵਿੱਚ ਨਹੀਂ ਹੈ, ਤਾਂ 'ਮੈਨੂੰ ਨਹੀਂ ਪਤਾ' ਕਹੋ ਅਤੇ ਇਸ ਨੂੰ ਬਣਾਏ ਬਿਨਾਂ ਸਰੋਤ ਦਾ ਹਵਾਲਾ ਦਿਓ। ਇਸ ਤਿਕੋਣੀ ਤੋਂ ਬਿਨਾਂ, ਮਾਡਲ ਸੰਦਰਭ ਨੂੰ ਨਜ਼ਰਅੰਦਾਜ਼ ਕਰ ਸਕਦਾ ਹੈ ਅਤੇ ਭਰਮ ਪੈਦਾ ਕਰ ਸਕਦਾ ਹੈ, ਅਤੇ ਜਵਾਬ ਅਪ੍ਰਮਾਣਿਤ ਹੋ ਜਾਂਦਾ ਹੈ।

7. ਇੱਕ RAG ਸਿਸਟਮ ਗਲਤ ਜਵਾਬ ਦਿੰਦਾ ਹੈ। ਨਿਦਾਨ ਸ਼ੁਰੂ ਕਰਨ ਲਈ ਸਭ ਤੋਂ ਵਧੀਆ ਥਾਂ ਕਿੱਥੇ ਹੈ?

• A) ਪਹਿਲਾਂ ਪ੍ਰਾਪਤੀ ਨੂੰ ਮਾਪਣਾ (Recall@K): ਕੀ ਸਹੀ ਟੁਕੜਾ ਕਦੇ ਆਉਂਦਾ ਹੈ? ✔
• ਅ) ਤੁਰੰਤ ਮਾਡਲ ਨੂੰ ਇੱਕ ਵੱਡੇ ਨਾਲ ਬਦਲੋ
• C) ਪ੍ਰੋਂਪਟ ਨੂੰ ਬੇਤਰਤੀਬੇ ਬਦਲੋ ਅਤੇ ਕੋਸ਼ਿਸ਼ ਕਰਨਾ ਜਾਰੀ ਰੱਖੋ
• ਡੀ) ਸਾਰੇ ਦਸਤਾਵੇਜ਼ਾਂ ਨੂੰ ਮਾਡਲ ਵਿੱਚ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਨਾਲ ਜੋੜਨਾ

ਵਿਆਖਿਆ: RAG ਦਾ ਸਭ ਤੋਂ ਕਮਜ਼ੋਰ ਲਿੰਕ ਆਮ ਤੌਰ 'ਤੇ ਪ੍ਰਾਪਤ ਹੁੰਦਾ ਹੈ, ਉਤਪਾਦਨ ਨਹੀਂ। ਜੇਕਰ ਸਹੀ ਹਿੱਸਾ ਕਦੇ ਨਹੀਂ ਲਿਆਇਆ ਜਾਂਦਾ ਹੈ, ਤਾਂ ਮਾਡਲ ਉਸ ਜਾਣਕਾਰੀ ਨੂੰ ਪੈਦਾ ਨਹੀਂ ਕਰ ਸਕਦਾ ਹੈ, ਚਾਹੇ ਪ੍ਰੋਂਪਟ ਵਿੱਚ ਕਿੰਨਾ ਵੀ ਸੁਧਾਰ ਕੀਤਾ ਗਿਆ ਹੋਵੇ। ਇਸ ਲਈ, ਪਹਿਲਾਂ Recall@K ਨੂੰ ਇਹ ਦੇਖਣ ਲਈ ਮਾਪਿਆ ਜਾਂਦਾ ਹੈ ਕਿ ਕੀ ਸਹੀ ਹਿੱਸਾ ਆਇਆ ਹੈ; ਜੇਕਰ ਪ੍ਰਾਪਤੀ ਚੰਗੀ ਹੈ, ਤਾਂ ਉਤਪਾਦਨ ਅਤੇ ਪ੍ਰੋਂਪਟ ਦੀ ਜਾਂਚ ਕੀਤੀ ਜਾਂਦੀ ਹੈ.

8. ਕਿਸੇ ਏਜੰਟ ਨੂੰ ਸੰਦ ਦੇਣ ਵੇਲੇ ਮਨੁੱਖੀ ਪ੍ਰਵਾਨਗੀ ਦੇ ਪਿੱਛੇ ਕਿਹੜੀਆਂ ਕਾਰਵਾਈਆਂ ਕੀਤੀਆਂ ਜਾਣੀਆਂ ਚਾਹੀਦੀਆਂ ਹਨ?

• ਏ) ਕੋਈ ਨਹੀਂ; ਏਜੰਟ ਹਰ ਕਾਰਵਾਈ ਨੂੰ ਖੁਦਮੁਖਤਿਆਰੀ ਨਾਲ ਕਰਨ ਦੇ ਯੋਗ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ
• ਅ) ਸਿਰਫ ਉਲਟੀਆਂ ਕਾਰਵਾਈਆਂ ਜਿਵੇਂ ਕਿ ਡਾਟਾ ਪੜ੍ਹਨਾ ਅਤੇ ਖੋਜਣਾ
• C) ਅਟੱਲ ਜਾਂ ਉੱਚ ਪ੍ਰਭਾਵ ਵਾਲੀਆਂ ਕਾਰਵਾਈਆਂ ਜਿਵੇਂ ਕਿ ਪੈਸੇ ਟ੍ਰਾਂਸਫਰ ਕਰਨਾ, ਮਿਟਾਉਣਾ, ਭੇਜਣਾ ✔
• D) ਉਹ ਕਾਰਵਾਈਆਂ ਜਿਹਨਾਂ ਵਿੱਚ ਸਿਰਫ਼ ਗਣਨਾ ਸ਼ਾਮਲ ਹੁੰਦੀ ਹੈ

ਵਰਣਨ: ਕਾਰਵਾਈਆਂ ਨੂੰ ਜੋਖਮ ਦੇ ਪੱਧਰ ਦੁਆਰਾ ਵੱਖ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। ਪ੍ਰਾਪਤ ਕਰਨ ਯੋਗ ਕੰਮ ਜਿਵੇਂ ਕਿ ਪੜ੍ਹਨਾ, ਖੋਜ ਕਰਨਾ, ਗਣਨਾ ਕਰਨਾ ਅਤੇ ਡਰਾਫਟ ਤਿਆਰ ਕਰਨਾ ਖੁਦਮੁਖਤਿਆਰ ਢੰਗ ਨਾਲ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ; ਹਾਲਾਂਕਿ, ਅਟੱਲ ਜਾਂ ਉੱਚ ਪ੍ਰਭਾਵ ਵਾਲੀਆਂ ਕਾਰਵਾਈਆਂ ਜਿਵੇਂ ਕਿ ਪੈਸੇ ਟ੍ਰਾਂਸਫਰ ਕਰਨਾ, ਈਮੇਲ ਭੇਜਣਾ, ਡੇਟਾ ਮਿਟਾਉਣਾ, ਆਰਡਰ ਦੇਣਾ ਆਦਿ ਲਈ ਮਨੁੱਖੀ ਪ੍ਰਵਾਨਗੀ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। ਹਰ ਅਟੱਲ ਕਾਰਵਾਈ ਸਹਿਮਤੀ ਦੇ ਅਧੀਨ ਹੋਣੀ ਚਾਹੀਦੀ ਹੈ।

9. ਅਸਿੱਧੇ ਪ੍ਰੋਂਪਟ ਇੰਜੈਕਸ਼ਨ ਦੇ ਜੋਖਮ ਦੇ ਵਿਰੁੱਧ ਸਭ ਤੋਂ ਵਧੀਆ ਡਿਜ਼ਾਈਨ ਪਹੁੰਚ ਕੀ ਹੈ?

• ਏ) ਸਿਸਟਮ ਪ੍ਰੋਂਪਟ 'ਤੇ 'ਬੁਰੀਆਂ ਹਦਾਇਤਾਂ ਨੂੰ ਨਜ਼ਰਅੰਦਾਜ਼ ਕਰੋ' ਇੱਕ ਸਿੰਗਲ ਵਾਕ ਜੋੜਨਾ ਕਾਫ਼ੀ ਹੈ
• ਅ) ਬਾਹਰੀ ਸਮੱਗਰੀ ਵਿੱਚ ਨਿਰਦੇਸ਼ਾਂ 'ਤੇ ਭਰੋਸਾ ਕਰਕੇ ਮਾਡਲ ਨੂੰ ਵਧੇਰੇ ਅਧਿਕਾਰ ਦਿਓ
• C) ਕੋਈ ਸਾਵਧਾਨੀ ਨਾ ਲੈਣਾ ਕਿਉਂਕਿ ਇੰਜੈਕਸ਼ਨ ਰੋਕ ਨਹੀਂ ਸਕਦਾ
• D) ਬਾਹਰੀ ਸਮਗਰੀ ਨੂੰ ਅਵਿਸ਼ਵਾਸਯੋਗ ਡੇਟਾ ਦੇ ਤੌਰ 'ਤੇ ਅਲੱਗ ਕਰਨਾ ਅਤੇ ਘੱਟੋ-ਘੱਟ ਅਧਿਕਾਰ, ਪ੍ਰਵਾਨਗੀ ਅਤੇ ਆਉਟਪੁੱਟ ਨਿਯੰਤਰਣ ਦੇ ਨਾਲ ਲੇਅਰਡ ਸੁਰੱਖਿਆ ਸਥਾਪਤ ਕਰਨਾ ✔

ਵਰਣਨ: ਏਜੰਟ ਜਾਂ RAG ਦੁਆਰਾ ਸੰਸਾਧਿਤ ਬਾਹਰੀ ਸਮੱਗਰੀ, ਜਿਵੇਂ ਕਿ ਇੱਕ ਵੈੱਬ ਪੰਨਾ, ਦਸਤਾਵੇਜ਼, ਈਮੇਲ, ਆਦਿ, ਅਵਿਸ਼ਵਾਸਯੋਗ ਡੇਟਾ ਹੈ ਅਤੇ ਇਸ ਵਿੱਚ ਗੁਪਤ ਨਿਰਦੇਸ਼ ਹੋ ਸਕਦੇ ਹਨ। ਸਹੀ ਪਹੁੰਚ ਲੇਅਰਡ ਡਿਫੈਂਸ ਹੈ: ਬਾਹਰੀ ਸਮੱਗਰੀ ਨੂੰ 'ਡਾਟਾ, ਨਾ ਕਿ ਕਮਾਂਡਾਂ' ਦੇ ਤੌਰ 'ਤੇ ਸਪੱਸ਼ਟ ਸੀਮਾਕਾਰਾਂ ਨਾਲ ਅਲੱਗ ਕਰਨਾ, ਘੱਟੋ-ਘੱਟ ਅਧਿਕਾਰਾਂ ਨੂੰ ਲਾਗੂ ਕਰਨਾ, ਮਨੁੱਖੀ ਮਨਜ਼ੂਰੀ ਲਈ ਅਟੱਲ ਕਾਰਵਾਈਆਂ ਨੂੰ ਬੰਨ੍ਹਣਾ, ਅਤੇ ਆਉਟਪੁੱਟ ਦਾ ਆਡਿਟ ਕਰਨਾ। ਨਿਰਦੇਸ਼ਾਂ ਦੀ ਇੱਕ ਲਾਈਨ ਕਾਫ਼ੀ ਨਹੀਂ ਹੈ।

10. ਇਹ ਫੈਸਲਾ ਕਰਦੇ ਸਮੇਂ ਮੁੱਖ ਅੰਤਰ ਕੀ ਹੈ ਕਿ ਕੀ ਕਿਸੇ ਸਮੱਸਿਆ ਨੂੰ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਜਾਂ RAG ਨਾਲ ਹੱਲ ਕੀਤਾ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ?

• A) ਜਾਣਕਾਰੀ ਦੀਆਂ ਸਮੱਸਿਆਵਾਂ ਨੂੰ RAG ਨਾਲ ਬਿਹਤਰ ਢੰਗ ਨਾਲ ਹੱਲ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਵਿਹਾਰ/ਫਾਰਮੈਟ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਵਧੀਆ-ਟਿਊਨਿੰਗ ਨਾਲ ਬਿਹਤਰ ਢੰਗ ਨਾਲ ਹੱਲ ਕੀਤਾ ਜਾਂਦਾ ਹੈ ✔
• ਅ) ਹਰ ਸਮੱਸਿਆ ਦਾ ਹੱਲ ਹਮੇਸ਼ਾ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਦੁਆਰਾ ਕੀਤਾ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ
• C) RAG ਦੀ ਵਰਤੋਂ ਸਿਰਫ਼ ਕੋਡ ਬਣਾਉਣ ਲਈ ਕੀਤੀ ਜਾਂਦੀ ਹੈ, ਫਾਈਨ-ਟਿਊਨਿੰਗ ਸਿਰਫ਼ ਅਨੁਵਾਦ ਲਈ ਵਰਤੀ ਜਾਂਦੀ ਹੈ
• D) ਫਾਈਨ-ਟਿਊਨਿੰਗ ਨੂੰ ਹਮੇਸ਼ਾ RAG ਨਾਲੋਂ ਸਸਤਾ ਅਤੇ ਤੇਜ਼ੀ ਨਾਲ ਅੱਪਡੇਟ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ

ਵਿਆਖਿਆ: ਮਾਡਲ ਨਵੀਂ ਜਾਣਕਾਰੀ ਸਿਖਾਉਣ ਵਿੱਚ ਵਧੀਆ ਟਿਊਨਿੰਗ ਕਮਜ਼ੋਰ ਅਤੇ ਜੋਖਮ ਭਰਪੂਰ ਹੈ; ਪਰ ਸਿੱਖਿਆ ਦੇ ਵਿਹਾਰ, ਫਾਰਮੈਟ, ਟੋਨ ਅਤੇ ਸ਼ੈਲੀ ਵਿੱਚ ਸ਼ਕਤੀਸ਼ਾਲੀ ਹੈ। 'ਮਾਡਲ ਕੰਪਨੀ ਸਾਡੇ ਡੇਟਾ ਨੂੰ ਨਹੀਂ ਜਾਣਦੀ' ਇੱਕ ਜਾਣਕਾਰੀ ਸਮੱਸਿਆ ਹੈ ਅਤੇ RAG ਨਾਲ ਸਬੰਧਤ ਹੈ। 'ਮਾਡਲ ਨੂੰ ਹਮੇਸ਼ਾ ਸਾਡੇ ਸਖ਼ਤ ਫਾਰਮੈਟ ਵਿੱਚ ਆਉਟਪੁੱਟ ਕਰਨ ਦਿਓ' ਇੱਕ ਵਿਵਹਾਰ ਸੰਬੰਧੀ ਸਮੱਸਿਆ ਹੈ ਅਤੇ ਵਧੀਆ ਟਿਊਨਿੰਗ ਲਈ ਇੱਕ ਉਮੀਦਵਾਰ ਹੈ। ਇਸ ਤੋਂ ਇਲਾਵਾ, ਫਾਈਨ-ਟਿਊਨਿੰਗ ਤੋਂ ਪਹਿਲਾਂ ਪ੍ਰੋਂਪਟ ਅਤੇ ਕੁਝ-ਸ਼ਾਟ ਦਾ ਸੇਵਨ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ।

11. ਉਤਪਾਦਨ ਵਿੱਚ ਇੱਕ ਨਵਾਂ ਮਾਡਲ ਲਗਾਉਣ ਵੇਲੇ ਸੁਰੱਖਿਅਤ ਤੈਨਾਤੀ ਲਈ ਕਿਹੜਾ ਲਾਜ਼ਮੀ ਹੈ?

• ਏ) ਜੇਕਰ ਮਾਡਲ ਟੈਸਟਿੰਗ ਵਿੱਚ ਵਧੀਆ ਹੈ, ਤਾਂ ਇਸਨੂੰ ਸਿੱਧੇ 100% ਟ੍ਰੈਫਿਕ ਲਈ ਖੋਲ੍ਹੋ
• ਅ) ਤੈਨਾਤੀ ਤੋਂ ਬਾਅਦ ਬਿਲਕੁਲ ਵੀ ਨਿਗਰਾਨੀ ਸਥਾਪਤ ਨਾ ਕਰਨਾ
• C) ਪੜਾਅਵਾਰ ਤੈਨਾਤੀ (ਸ਼ੈਡੋ/ਕੈਨਰੀ) ਅਤੇ ਇੱਕ ਪ੍ਰੀ-ਟੈਸਟ ਰੋਲਬੈਕ ਯੋਜਨਾ ✔
• ਡੀ) ਮਾਡਲ ਨੂੰ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਨਾ ਭਾਵੇਂ ਮੁਲਾਂਕਣ ਥ੍ਰੈਸ਼ਹੋਲਡ ਪੂਰਾ ਨਾ ਹੋਵੇ

ਸਪੱਸ਼ਟੀਕਰਨ: ਨਵੇਂ ਮਾਡਲ ਨੂੰ ਸਾਰੇ ਟ੍ਰੈਫਿਕ ਲਈ ਸਿੱਧਾ ਖੋਲ੍ਹਣਾ ਜੋਖਮ ਭਰਿਆ ਹੈ; ਜੇਕਰ ਇਹ ਗਲਤ ਹੈ, ਤਾਂ ਹਰ ਕੋਈ ਪ੍ਰਭਾਵਿਤ ਹੁੰਦਾ ਹੈ। ਸਹੀ ਗੱਲ ਇਹ ਹੈ ਕਿ ਇਹ ਇੱਕ ਹੌਲੀ-ਹੌਲੀ ਵੰਡ (ਸ਼ੈਡੋ, ਕੈਨਰੀ) ਹੈ ਅਤੇ ਹਰ ਡਿਸਟਰੀਬਿਊਸ਼ਨ ਦੀ ਇੱਕ ਟੈਸਟ ਕੀਤੀ ਰੋਲਬੈਕ ਯੋਜਨਾ ਹੈ। ਇੱਕ ਵੰਡ ਯੋਜਨਾ ਬਿਨਾਂ ਪੂਰੀ ਨਹੀਂ ਹੁੰਦੀ; ਮਿੰਟਾਂ ਦੇ ਅੰਦਰ ਪਿਛਲੇ ਸੰਸਕਰਣ ਤੇ ਵਾਪਸ ਜਾਣ ਦੇ ਯੋਗ ਹੋਣਾ ਉਪਭੋਗਤਾ ਦੀ ਰੱਖਿਆ ਕਰਦਾ ਹੈ ਜਦੋਂ ਮਾਡਲ ਉਤਪਾਦਨ ਵਿੱਚ ਅਚਾਨਕ ਵਿਵਹਾਰ ਕਰਦਾ ਹੈ।

12. ਇੱਕ ਐਮਐਲ ਮਾਡਲ ਉਤਪਾਦਨ ਵਿੱਚ 'ਚੁੱਪ' ਕਿਵੇਂ ਅਸਫਲ ਹੋ ਸਕਦਾ ਹੈ ਅਤੇ ਇਸ ਨੂੰ ਫੜਨ ਦਾ ਤਰੀਕਾ ਕੀ ਹੈ?

• ਏ) ਮਾਡਲ ਢਹਿ ਜਾਂਦਾ ਹੈ; ਸਰਵਰ ਲੌਗ ਇਹ ਦਿਖਾਉਂਦੇ ਹਨ
• ਅ) ਗਲਤੀਆਂ ਕੀਤੇ ਬਿਨਾਂ ਗਲਤ ਭਵਿੱਖਬਾਣੀਆਂ ਪੈਦਾ ਕਰਕੇ; ✔ ਇਹ ਕਾਰਜਸ਼ੀਲ, ਇਨਪੁਟ ਅਤੇ ਆਉਟਪੁੱਟ ਲੇਅਰਡ ਨਿਗਰਾਨੀ ਨੂੰ ਕੈਪਚਰ ਕਰਦਾ ਹੈ
• C) ਮਾਡਲ ਕਦੇ ਵੀ ਚੁੱਪਚਾਪ ਅਸਫਲ ਨਹੀਂ ਹੋ ਸਕਦਾ, ਹਮੇਸ਼ਾ ਅਲਾਰਮ
• ਡੀ) ਕਿਸੇ ਵੀ ਗਿਰਾਵਟ ਨੂੰ ਫੜਨ ਲਈ ਸਿਰਫ ਲੇਟੈਂਸੀ ਦੀ ਨਿਗਰਾਨੀ ਕਰਨਾ ਕਾਫ਼ੀ ਹੈ

ਵਿਆਖਿਆ: ਮਾਡਲ ਬਿਨਾਂ ਕਰੈਸ਼ ਕੀਤੇ ਜਾਂ ਗਲਤੀਆਂ ਦੇ ਕੇ ਗਲਤ ਪੂਰਵ-ਅਨੁਮਾਨਾਂ ਪੈਦਾ ਕਰਕੇ ਅਸਫ਼ਲ ਹੋ ਸਕਦਾ ਹੈ; ਇਸ ਦਾ ਮੁੱਖ ਕਾਰਨ ਡਾਟਾ ਡ੍ਰਾਈਫਟ ਅਤੇ ਕੰਸੈਪਟ ਡਰਾਫਟ ਹੈ। ਸਿਰਫ਼ ਸੰਚਾਲਨ ਮੈਟ੍ਰਿਕਸ (ਲੇਟੈਂਸੀ, ਗਲਤੀ ਦਰ) ਦੀ ਨਿਗਰਾਨੀ ਕਰਨਾ ਕਾਫ਼ੀ ਨਹੀਂ ਹੈ; ਇਨਪੁਟ ਵੰਡ ਅਤੇ ਆਉਟਪੁੱਟ/ਅਨੁਮਾਨ ਵੰਡ ਦੀ ਵੀ ਨਿਗਰਾਨੀ ਕੀਤੀ ਜਾਣੀ ਚਾਹੀਦੀ ਹੈ। ਅਸਲ ਨਤੀਜੇ ਵਿੱਚ ਦੇਰੀ ਹੋਣ 'ਤੇ ਇਨਪੁਟ ਡ੍ਰਾਈਫਟ ਸ਼ੁਰੂਆਤੀ ਚੇਤਾਵਨੀ ਦਿੰਦਾ ਹੈ।

13. ਇੱਕ LLM ਸਿਸਟਮ ਦਾ ਮੁਲਾਂਕਣ ਕਰਨ ਲਈ LLM-ਅਜ਼-ਜੱਜ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਸਮੇਂ ਕਿਹੜਾ ਸਿਧਾਂਤ ਜ਼ਰੂਰੀ ਹੈ?

• ਏ) LLM-ਰੈਫਰੀ ਹਮੇਸ਼ਾ ਸਹੀ ਹੁੰਦਾ ਹੈ, ਮਨੁੱਖੀ ਤਸਦੀਕ ਬੇਲੋੜੀ ਹੈ
• ਅ) ਰੈਫਰੀ ਨੂੰ ਸਿਰਫ਼ ਜਵਾਬ ਦੀ ਲੰਬਾਈ ਦੇ ਆਧਾਰ 'ਤੇ ਫ਼ੈਸਲਾ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ।
• C) ਨਿਯਮ-ਅਧਾਰਿਤ ਨਿਯੰਤਰਣ ਅਤੇ ਮਨੁੱਖੀ ਮੁਲਾਂਕਣ ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਰੱਦ ਕਰ ਦੇਣਾ ਚਾਹੀਦਾ ਹੈ ਜਦੋਂ ਰੈਫਰੀ ਵਰਤੇ ਜਾਂਦੇ ਹਨ
• D) ਜੱਜ ਸਕੋਰਾਂ ਨੂੰ ਮਾਨਵ-ਲੇਬਲ ਵਾਲੇ ਨਮੂਨੇ ਨਾਲ ਕੈਲੀਬਰੇਟ ਕੀਤਾ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ ਅਤੇ ਉਹਨਾਂ 'ਤੇ ਭਰੋਸਾ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਉਹਨਾਂ ਦੇ ਪੱਖਪਾਤ ਨੂੰ ਮਾਪਿਆ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ ✔

ਵਰਣਨ: LLM-ਰੈਫਰੀ ਵੀ ਇੱਕ ਮਾਡਲ ਹੈ; ਇਹ ਭਰਮ, ਪੱਖਪਾਤੀ (ਲੰਬੇ, ਭਰੋਸੇਮੰਦ ਜਵਾਬਾਂ ਦਾ ਪੱਖ) ਅਤੇ ਅਸੰਗਤ ਹੋ ਸਕਦਾ ਹੈ। ਇਸ ਲਈ, ਰੈਫਰੀ ਸਕੋਰਾਂ ਨੂੰ ਮਨੁੱਖੀ ਲੇਬਲ ਵਾਲੇ ਨਮੂਨੇ ਨਾਲ ਕੈਲੀਬਰੇਟ ਕੀਤਾ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ ਅਤੇ ਉਤਪਾਦਨ ਦਾ ਫੈਸਲਾ ਲੈਣ ਤੋਂ ਪਹਿਲਾਂ ਉਹਨਾਂ ਦੇ ਯੋਜਨਾਬੱਧ ਪੱਖਪਾਤ ਨੂੰ ਮਾਪਿਆ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ। ਇੱਕ ਗੈਰ-ਪ੍ਰਮਾਣਿਤ ਰੈਫਰੀ ਗਲਤ ਵਿਸ਼ਵਾਸ ਦਿੰਦਾ ਹੈ।

14. ਮਾਡਲ ਪੱਖਪਾਤ ਦਾ ਮੁਲਾਂਕਣ ਕਰਦੇ ਸਮੇਂ ਸਮੁੱਚੀ ਸ਼ੁੱਧਤਾ ਨੂੰ ਨਾਕਾਫੀ ਕਿਉਂ ਹੈ?

• A) ਸਮੁੱਚੀ ਸ਼ੁੱਧਤਾ ਕਾਫ਼ੀ ਹੈ ਕਿਉਂਕਿ ਇਹ ਹਮੇਸ਼ਾਂ ਸਭ ਤੋਂ ਮਾੜੇ ਸਮੂਹ ਦੇ ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਦਰਸਾਉਂਦੀ ਹੈ
• ਅ) ਸਮੁੱਚੀ ਸ਼ੁੱਧਤਾ ਇਕੱਲੀ ਨਾਕਾਫ਼ੀ ਹੈ ਕਿਉਂਕਿ ਇਹ ਉਪ ਸਮੂਹਾਂ ਵਿਚਕਾਰ ਵਿਵਸਥਿਤ ਅੰਤਰ (ਲੁਕਿਆ ਹੋਇਆ ਵਿਤਕਰਾ) ਨੂੰ ਅਸਪਸ਼ਟ ਕਰ ਸਕਦੀ ਹੈ ✔
• C) ਕਿਉਂਕਿ ਸ਼ੁੱਧਤਾ ਇੱਕ ਮੈਟ੍ਰਿਕ ਹੈ ਜਿਸਦਾ ਪੱਖਪਾਤ ਨਾਲ ਕੋਈ ਲੈਣਾ-ਦੇਣਾ ਨਹੀਂ ਹੈ
• D) ਪੱਖਪਾਤ ਸਿਰਫ ਮਾਡਲ ਤੋਂ ਆਉਂਦਾ ਹੈ ਅਤੇ ਇਸਦਾ ਡੇਟਾ ਨਾਲ ਕੋਈ ਲੈਣਾ-ਦੇਣਾ ਨਹੀਂ ਹੈ।

ਵਿਆਖਿਆ: ਸਮੁੱਚੀ ਸ਼ੁੱਧਤਾ ਉਪ-ਸਮੂਹਾਂ ਵਿਚਕਾਰ ਵਿਵਸਥਿਤ ਅੰਤਰ ਨੂੰ ਅਸਪਸ਼ਟ ਕਰ ਸਕਦੀ ਹੈ। ਉਦਾਹਰਨ ਲਈ, ਜਦੋਂ ਕਿ ਸਮੁੱਚੀ ਸ਼ੁੱਧਤਾ 88% ਹੈ, ਰੀਕਾਲ ਇੱਕ ਸਮੂਹ ਵਿੱਚ 91% ਅਤੇ ਦੂਜੇ ਸਮੂਹ ਵਿੱਚ 67% ਹੋ ਸਕਦਾ ਹੈ; ਮਾਡਲ ਯੋਜਨਾਬੱਧ ਤੌਰ 'ਤੇ ਉਸ ਸਮੂਹ ਨੂੰ ਗੁਆ ਦਿੰਦਾ ਹੈ. ਇਸ ਲਈ, ਮਾਡਲ ਦਾ ਮੁਲਾਂਕਣ ਉਪ ਸਮੂਹਾਂ (ਜਨਸੰਖਿਆ/ਖੰਡ) ਦੇ ਆਧਾਰ 'ਤੇ ਕੀਤਾ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ ਅਤੇ ਨਿਆਂ ਦੀ ਕਿਹੜੀ ਪਰਿਭਾਸ਼ਾ ਨੂੰ ਤਰਜੀਹ ਦਿੱਤੀ ਜਾਣੀ ਚਾਹੀਦੀ ਹੈ, ਹਿੱਸੇਦਾਰਾਂ ਨਾਲ ਫੈਸਲਾ ਕੀਤਾ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ।

15. ਇੱਕ ML ਨਤੀਜਾ ਮੁੜ ਪੈਦਾ ਕਰਨ ਯੋਗ ਹੋਣ ਲਈ ਕਿਹੜੀਆਂ ਚਾਰ ਚੀਜ਼ਾਂ ਨੂੰ ਇਕੱਠਿਆਂ ਨਿਸ਼ਚਿਤ ਕੀਤਾ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ?

• ਏ) ਸਿਰਫ ਮਾਡਲ ਦਾ ਨਾਮ, ਆਕਾਰ, ਕੀਮਤ ਅਤੇ ਰੀਲੀਜ਼ ਦੀ ਮਿਤੀ
• ਅ) ਸਿਰਫ਼ GPU ਬ੍ਰਾਂਡ ਅਤੇ ਇੰਟਰਨੈੱਟ ਸਪੀਡ
• C) ਮਾਡਲ ਦਾ ਸਿਰਫ ਅੰਤਿਮ ਸ਼ੁੱਧਤਾ ਸਕੋਰ; ਬਾਕੀ ਮੈਮੋਰੀ ਵਿੱਚ ਰੱਖਿਆ ਜਾ ਸਕਦਾ ਹੈ
• ਡੀ) ਬੇਤਰਤੀਬੀ ਬੀਜ, ਡੇਟਾ ਸੰਸਕਰਣ, ਵਾਤਾਵਰਣ (ਨਿਰਭਰਤਾ ਸੰਸਕਰਣ) ਅਤੇ ਪ੍ਰਯੋਗ ਟਰੈਕਿੰਗ ✔

ਵਰਣਨ: ਪ੍ਰਜਨਨਯੋਗਤਾ ਚਾਰ ਥੰਮ੍ਹਾਂ ਦੁਆਰਾ ਪ੍ਰਾਪਤ ਕੀਤੀ ਜਾਂਦੀ ਹੈ: ਬੇਤਰਤੀਬੇ ਬੀਜਾਂ ਨੂੰ ਫਿਕਸ ਕਰਨਾ, ਡੇਟਾ ਨੂੰ ਸੰਸਕਰਣ (ਵਰਜਨ/ਹੈਸ਼), ਵਾਤਾਵਰਣ ਨੂੰ ਫ੍ਰੀਜ਼ ਕਰਨਾ (ਸਹੀ ਲਾਇਬ੍ਰੇਰੀ ਸੰਸਕਰਣ/ਕੰਟੇਨਰ), ਅਤੇ ਹਰੇਕ ਪ੍ਰਯੋਗ ਨੂੰ ਟਰੈਕ ਕਰਨਾ (ਕੋਡ ਪ੍ਰਤੀਬੱਧ, ਡੇਟਾ, ਹਾਈਪਰਪੈਰਾਮੀਟਰ, ਮੀਟ੍ਰਿਕ)। ਇਸ ਲੜੀ ਤੋਂ ਬਿਨਾਂ ਇੱਕੋ ਨਤੀਜੇ ਨੂੰ ਦੁਬਾਰਾ ਪੈਦਾ ਕਰਨਾ ਸੰਭਵ ਨਹੀਂ ਹੈ; ਇੱਕ ਗੈਰ-ਪ੍ਰਜਨਨ ਨਤੀਜਾ ਇੱਕ ਦਾਅਵਾ ਹੈ ਜੋ ਸਾਬਤ ਨਹੀਂ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ।