ਲਾਭ:
- ਮੈਟ੍ਰਿਕਸ ਨੂੰ ਪਰਿਭਾਸ਼ਿਤ ਕਰਨ ਦੀ ਸਮਰੱਥਾ ਜੋ ਵਰਤੋਂ, ਸੁਰੱਖਿਆ, ਗੁਣਵੱਤਾ ਅਤੇ ਪ੍ਰਦਰਸ਼ਨ ਸਿਗਨਲਾਂ ਦੀ ਨਿਗਰਾਨੀ ਕਰਦੇ ਹਨ
- ਬੇਸਲਾਈਨ ਅਤੇ ਨਮੂਨੇ ਦੇ ਨਾਲ ਆਉਟਪੁੱਟ ਗੁਣਵੱਤਾ ਡ੍ਰਾਈਫਟ ਦਾ ਪਤਾ ਲਗਾਉਣ ਦੀ ਸਮਰੱਥਾ
- ਵਿਗਾੜਾਂ ਅਤੇ ਜੇਲਬ੍ਰੇਕ ਵੇਵਜ਼ ਲਈ ਅਲਾਰਮ ਅਤੇ ਫੀਡਬੈਕ ਲੂਪ ਸੈਟ ਕਰਨ ਦੀ ਸਮਰੱਥਾ
ਏਆਈ ਸਿਸਟਮ ਨੂੰ ਉਤਪਾਦਨ ਵਿੱਚ ਲਗਾਉਣਾ ਸ਼ੁਰੂਆਤ ਹੈ, ਅੰਤ ਨਹੀਂ। ਭਾਵੇਂ ਮਾਡਲ ਇੱਕੋ ਜਿਹਾ ਰਹਿੰਦਾ ਹੈ, ਸੰਸਾਰ ਬਦਲਦਾ ਹੈ: ਉਪਭੋਗਤਾ ਵਿਹਾਰ, ਆਉਣ ਵਾਲਾ ਡੇਟਾ, ਹਮਲੇ ਦੀਆਂ ਤਕਨੀਕਾਂ, ਅਤੇ ਵਪਾਰਕ ਸੰਦਰਭ ਲਗਾਤਾਰ ਬਦਲ ਰਹੇ ਹਨ. ਕੱਲ੍ਹ ਦਾ ਸਹੀ ਜਵਾਬ ਅੱਜ ਗਲਤ ਹੋ ਸਕਦਾ ਹੈ। ਇਸ ਲਈ ਸੁਰੱਖਿਆ ਦਾ ਅੰਤਮ ਥੰਮ੍ਹ ਨਿਰੰਤਰ ਨਿਗਰਾਨੀ ਅਤੇ ਨਿਰੀਖਣਯੋਗਤਾ ਹੈ - ਸਿਸਟਮ ਦੇ ਅੰਦਰ ਕੀ ਹੋ ਰਿਹਾ ਹੈ ਬਾਹਰੋਂ ਦੇਖਣ ਦੀ ਯੋਗਤਾ। ਇਸ ਯੂਨਿਟ ਵਿੱਚ, ਅਸੀਂ ਸਿਖਾਂਗੇ ਕਿ ਕਿਹੜੇ ਮਾਪਦੰਡਾਂ ਦੀ ਨਿਗਰਾਨੀ ਕਰਨੀ ਹੈ, ਆਉਟਪੁੱਟ ਕੁਆਲਿਟੀ ਡ੍ਰਾਫਟ ਨੂੰ ਕਿਵੇਂ ਕੈਪਚਰ ਕਰਨਾ ਹੈ, ਅਤੇ ਵਿਗਾੜਾਂ ਲਈ ਕਿਵੇਂ ਸੁਚੇਤ ਕਰਨਾ ਹੈ।
ਲਗਾਤਾਰ ਨਿਗਰਾਨੀ ਕਿਉਂ?
ਕਲਾਸੀਕਲ ਸੌਫਟਵੇਅਰ ਵਿੱਚ, "ਕੀ ਇਹ ਕੰਮ ਕਰਦਾ ਹੈ" ਇੱਕ ਬਾਈਨਰੀ ਸਵਾਲ ਹੈ: ਜਾਂ ਤਾਂ ਇਹ ਜਵਾਬ ਦਿੰਦਾ ਹੈ ਜਾਂ ਇਹ ਨਹੀਂ ਕਰਦਾ। AI ਵਿੱਚ, ਜਦੋਂ ਕਿ ਸਿਸਟਮ "ਕੰਮ" ਕਰਦਾ ਜਾਪਦਾ ਹੈ, ਇਹ ਚੁੱਪਚਾਪ ਵਿਗੜ ਸਕਦਾ ਹੈ: ਜਵਾਬ ਹੌਲੀ-ਹੌਲੀ ਗਲਤ ਹੋ ਜਾਂਦੇ ਹਨ, ਖਰਚੇ ਵਧਦੇ ਹਨ, ਜੇਲ੍ਹ ਤੋੜਨ ਦੀਆਂ ਕੋਸ਼ਿਸ਼ਾਂ ਵਧਦੀਆਂ ਹਨ। ਇਹਨਾਂ ਨੂੰ ਹਾਸਲ ਕਰਨ ਦਾ ਇੱਕੋ ਇੱਕ ਤਰੀਕਾ ਹੈ ਲਗਾਤਾਰ ਸਹੀ ਸਿਗਨਲਾਂ ਨੂੰ ਮਾਪਣਾ।
ਧਿਆਨ ਦਿਓ: ਸਭ ਤੋਂ ਖਤਰਨਾਕ ਖਰਾਬੀ ਚੁੱਪ ਹੈ, ਰੌਲਾ ਪਾਉਣ ਵਾਲਾ ਨਹੀਂ। ਸਿਸਟਮ ਗਲਤੀਆਂ ਨਹੀਂ ਸੁੱਟਦਾ, ਇਸਦੀ ਗੁਣਵੱਤਾ ਸਿਰਫ ਘਟਦੀ ਹੈ. ਜੇਕਰ ਤੁਸੀਂ ਮਾਨੀਟਰਿੰਗ ਸੈਟ ਅਪ ਨਹੀਂ ਕਰਦੇ ਹੋ, ਤਾਂ ਨੋਟਿਸ ਕਰਨ ਵਾਲਾ ਪਹਿਲਾ ਵਿਅਕਤੀ ਤੁਹਾਡਾ ਗਾਹਕ ਜਾਂ ਆਡੀਟਰ ਹੋਵੇਗਾ, ਤੁਸੀਂ ਨਹੀਂ।
ਦੇਖਣ ਲਈ ਚਾਰ ਸਿਗਨਲ ਪਰਿਵਾਰ
- ਵਰਤੋਂ ਅਤੇ ਲਾਗਤ: ਬੇਨਤੀ ਦੀ ਮਾਤਰਾ, ਟੋਕਨ ਦੀ ਖਪਤ, ਪ੍ਰਤੀ ਉਪਭੋਗਤਾ ਲਾਗਤ। ਅਚਾਨਕ ਛਾਲ; ਇਹ ਦੁਰਵਿਵਹਾਰ, ਇੱਕ ਲੂਪੀ ਏਕੀਕਰਣ, ਜਾਂ ਇੱਕ ਲੀਕੀ ਸਵਿੱਚ ਦੀ ਨਿਸ਼ਾਨੀ ਹੋ ਸਕਦੀ ਹੈ।
- ਸੁਰੱਖਿਆ ਸਿਗਨਲ: ਜੇਲਬ੍ਰੇਕ/ਇੰਜੈਕਸ਼ਨ ਦੀਆਂ ਕੋਸ਼ਿਸ਼ਾਂ, ਵਾਹਨ ਕਾਲਾਂ ਨੂੰ ਅਸਵੀਕਾਰ ਕੀਤਾ ਗਿਆ, ਅਧਿਕਾਰਤ ਤਰੁੱਟੀਆਂ। ਵਾਧਾ ਇੱਕ ਸਰਗਰਮ ਹਮਲੇ ਦੀ ਮੁਹਿੰਮ ਨੂੰ ਦਰਸਾ ਸਕਦਾ ਹੈ।
- ਗੁਣਵੱਤਾ ਅਤੇ ਵਹਿਣ: ਸਮੇਂ ਦੇ ਨਾਲ ਆਉਟਪੁੱਟ ਗੁਣਵੱਤਾ ਵਿੱਚ ਕਮੀ (ਡਰਿੱਫਟ)। ਉਦਾਹਰਨ ਲਈ, ਤਸਦੀਕ ਪਾਸ ਦਰ, ਮਨੁੱਖੀ ਪ੍ਰਵਾਨਗੀ ਵਿੱਚ ਸੁਧਾਰ ਦਰ, ਉਪਭੋਗਤਾ ਦੀ ਸੰਤੁਸ਼ਟੀ।
- ਪ੍ਰਦਰਸ਼ਨ: ਲੇਟੈਂਸੀ, ਗਲਤੀ ਦਰ, ਸਮਾਂ ਸਮਾਪਤ। ਇਹ ਸਿੱਧੇ ਤੌਰ 'ਤੇ ਉਪਭੋਗਤਾ ਅਨੁਭਵ ਅਤੇ ਲਾਗਤ ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕਰਦਾ ਹੈ।
ਡਰਾਫਟ ਕੀ ਹੈ ਅਤੇ ਇਸਨੂੰ ਕਿਵੇਂ ਫੜਨਾ ਹੈ?
ਡਰਾਫਟ ਉਦੋਂ ਹੁੰਦਾ ਹੈ ਜਦੋਂ ਮਾਡਲ ਦੇ ਇਨਪੁਟਸ ਜਾਂ ਆਉਟਪੁੱਟ ਦੀ ਗੁਣਵੱਤਾ ਸਮੇਂ ਦੇ ਨਾਲ ਕਿਸੇ ਦਾ ਧਿਆਨ ਨਹੀਂ ਜਾਂਦੀ। ਇੱਥੇ ਦੋ ਕਿਸਮਾਂ ਹਨ: ਡੇਟਾ ਡ੍ਰਾਈਫਟ (ਆਉਣ ਵਾਲੀਆਂ ਬੇਨਤੀਆਂ ਦੀ ਵੰਡ ਬਦਲਦੀ ਹੈ - ਨਵਾਂ ਵਿਸ਼ਾ, ਨਵੀਂ ਭਾਸ਼ਾ) ਅਤੇ ਗੁਣਵੱਤਾ ਡ੍ਰਾਈਫਟ (ਇੱਕੋ ਕੰਮ ਲਈ ਆਉਟਪੁੱਟ ਹੌਲੀ-ਹੌਲੀ ਵਿਗੜਦੀ ਜਾਂਦੀ ਹੈ)। ਕੈਪਚਰ ਕਰਨ ਲਈ ਇੱਕ ਬੇਸਲਾਈਨ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ: ਮੈਟ੍ਰਿਕਸ ਦੀ ਆਮ ਰੇਂਜ ਨੂੰ ਰਿਕਾਰਡ ਕਰੋ ਜਦੋਂ ਸਿਸਟਮ ਤੰਦਰੁਸਤ ਹੋਵੇ; ਭਟਕਣ ਨੂੰ ਇੱਕ ਅਲਾਰਮ ਬਣਨ ਦਿਓ.
ਕਦਮ ਦਰ ਕਦਮ: ਨਿਗਰਾਨੀ ਸੈੱਟਅੱਪ ਕਰਨਾ
- ਬੇਸਲਾਈਨ ਨੂੰ ਮਾਪੋ। ਸਿਸਟਮ ਤੰਦਰੁਸਤ ਹੋਣ 'ਤੇ ਹਰੇਕ ਸਿਗਨਲ ਦੀ ਆਮ ਰੇਂਜ ਨੂੰ ਰਿਕਾਰਡ ਕਰੋ।
- ਥ੍ਰੈਸ਼ਹੋਲਡ ਅਤੇ ਅਲਾਰਮ ਨੂੰ ਪਰਿਭਾਸ਼ਿਤ ਕਰੋ। ਕਿਹੜੀ ਭਟਕਣਾ ਕਿਸ ਨੂੰ ਅਤੇ ਕਿਵੇਂ ਚੇਤਾਵਨੀ ਦੇਵੇਗੀ?
- ਨਮੂਨਾ + ਮਨੁੱਖੀ ਨਿਰੀਖਣ. ਆਉਟਪੁੱਟ ਦੇ ਨਮੂਨੇ ਦੀ ਨਿਯਮਤ ਤੌਰ 'ਤੇ ਮਨੁੱਖੀ ਸਮੀਖਿਆ ਕਰੋ (ਗੁਣਵੱਤਾ ਡ੍ਰਾਈਫਟ ਅਕਸਰ ਸਿਰਫ ਦਿਖਾਈ ਦਿੰਦਾ ਹੈ)।
- ਇੱਕ ਡੈਸ਼ਬੋਰਡ ਸਥਾਪਿਤ ਕਰੋ। ਇੱਕ ਸਕ੍ਰੀਨ 'ਤੇ ਚਾਰ ਸਿਗਨਲ ਪਰਿਵਾਰਾਂ ਦੀ ਨਿਗਰਾਨੀ ਕਰੋ।
- ਫੀਡਬੈਕ ਲੂਪ। ਖੋਜਾਂ ਨੂੰ ਨਿਗਰਾਨੀ ਤੋਂ ਤੁਰੰਤ/ਨਿਯੰਤਰਣ ਸੁਧਾਰ ਤੱਕ ਜੋੜੋ।
ਚਾਰ ਕਾਪੀ ਕਰਨ ਯੋਗ ਨਮੂਨੇ
ਕੁਆਲਿਟੀ ਸੈਂਪਲਿੰਗ ਮੁਲਾਂਕਣ ਪ੍ਰੋਂਪਟ (ਐਲਐਲਐਮ-ਜੱਜ-ਜੱਜ ਦੇ ਨਾਲ ਡ੍ਰਫਟ ਟਰੈਕਿੰਗ):
ਹੇਠਾਂ ਇਸ ਹਫ਼ਤੇ ਦੇ 20 ਬੇਤਰਤੀਬ ਪ੍ਰਿੰਟਬਲ ਹਨ। ਹਰ ਇੱਕ ਨੂੰ "ਚੰਗਾ/ਸਵੀਕਾਰਯੋਗ/ਮਾੜਾ" ਦੇ ਤੌਰ ਤੇ ਦਰਜਾ ਦਿਓ ਅਤੇ ਇੱਕ ਛੋਟਾ ਤਰਕ ਲਿਖੋ। ਅੰਤ ਵਿੱਚ ਮੈਂ ਪਿਛਲੇ ਹਫਤੇ ਦੀ ਦਰ ਨਾਲ ਖਰਾਬ ਦਰ ਦੀ ਤੁਲਨਾ ਕਰਾਂਗਾ; ਜੇਕਰ ਕੋਈ ਪੈਟਰਨ (ਉਸੇ ਕਿਸਮ ਦੀ ਗਲਤੀ ਦੀ ਦੁਹਰਾਈ) ਹੈ ਜੋ ਇਸ ਹਫ਼ਤੇ ਵੱਖਰਾ ਹੈ, ਤਾਂ ਇਸ 'ਤੇ ਨਿਸ਼ਾਨ ਲਗਾਓ।<outputs>{{ਉਦਾਹਰਨਾਂ }}</outputs>
ਅਨੌਮਲੀ ਸੰਖੇਪ ਪ੍ਰੋਂਪਟ:
ਨਿਮਨਲਿਖਤ ਰੋਜ਼ਾਨਾ ਮੈਟ੍ਰਿਕਸ ਦੀ ਜਾਂਚ ਕਰੋ: ਬੇਨਤੀਆਂ ਦੀ ਸੰਖਿਆ, ਟੋਕਨ, ਲਾਗਤ, ਟੂਲ ਕਾਲ ਅਸਵੀਕਾਰ ਕੀਤੀ ਗਈ, ਜੇਲ੍ਹ ਤੋੜਨ ਦੀਆਂ ਕੋਸ਼ਿਸ਼ਾਂ, ਔਸਤ ਲੇਟੈਂਸੀ। ਕਿਸੇ ਵੀ ਮੈਟ੍ਰਿਕ ਦੀ ਨਿਸ਼ਾਨਦੇਹੀ ਕਰੋ ਜੋ ਬੇਸਲਾਈਨ ਤੋਂ 30% ਤੋਂ ਵੱਧ ਨੂੰ "ANOMALIT" ਵਜੋਂ ਭਟਕਾਉਂਦੀ ਹੈ ਅਤੇ ਸੰਭਾਵੀ ਕਾਰਨ (ਹਮਲਾ, ਬੱਗ, ਦੁਰਵਿਵਹਾਰ) ਦਾ ਅੰਦਾਜ਼ਾ ਲਗਾਓ।<metrics>{{ daily_data }}</metrics>
ਅਲਾਰਮ ਥ੍ਰੈਸ਼ਹੋਲਡ ਪਰਿਭਾਸ਼ਾ ਨਿਯਮ:
ਹਰੇਕ ਸਿਗਨਲ ਲਈ ਅਲਾਰਮ ਪਰਿਭਾਸ਼ਿਤ ਕਰੋ:- ਲਾਗਤ: ਜੇਕਰ ਰੋਜ਼ਾਨਾ ਔਸਤ 2x ਤੋਂ ਵੱਧ ਹੈ -> ਉੱਚ ਤਰਜੀਹ ਚੇਤਾਵਨੀ- ਜੇਲਬ੍ਰੇਕ ਕੋਸ਼ਿਸ਼ਾਂ: ਜੇਕਰ 10 ਪ੍ਰਤੀ ਘੰਟੇ ਤੋਂ ਵੱਧ ਹੈ -> ਸੁਰੱਖਿਆ ਟੀਮ ਨੂੰ ਸੂਚਿਤ ਕਰੋ- ਤਸਦੀਕ ਪਾਸ ਦਰ: ਜੇਕਰ 90% ਤੋਂ ਘੱਟ ਹੈ -> ਗੁਣਵੱਤਾ ਸਮੀਖਿਆ- ਲੇਟੈਂਸੀ: ਜੇਕਰ p95 2x ਦੁਆਰਾ ਟੀਚੇ ਤੋਂ ਵੱਧ ਹੈ -> ਪ੍ਰਦਰਸ਼ਨ ਸਮੀਖਿਆ
ਡਰਾਫਟ ਖੋਜ ਪ੍ਰੋਂਪਟ:
ਪਿਛਲੇ 2 ਹਫ਼ਤਿਆਂ ਵਿੱਚ ਪੁਸ਼ਟੀਕਰਨ ਪਾਸ ਦਰ 94% ਤੋਂ ਘਟ ਕੇ 78% ਹੋ ਗਈ ਹੈ। ਇਹਨਾਂ ਸਵਾਲਾਂ ਦੇ ਜਵਾਬ ਦੇਣ ਵਿੱਚ ਮੇਰੀ ਮਦਦ ਕਰੋ: (1) ਕੀ ਆਉਣ ਵਾਲੀਆਂ ਬੇਨਤੀਆਂ ਵਿੱਚ ਕੋਈ ਨਵਾਂ ਵਿਸ਼ਾ/ਭਾਸ਼ਾ/ਫਾਰਮੈਟ ਪ੍ਰਗਟ ਹੋਇਆ ਹੈ? (2) ਕੀ ਗਲਤੀਆਂ ਕਿਸੇ ਖਾਸ ਸ਼੍ਰੇਣੀ ਵਿੱਚ ਕੇਂਦ੍ਰਿਤ ਹਨ? (3) ਕੀ ਸਮਾਂ ਇੱਕ ਪ੍ਰੋਂਪਟ/ਮਾਡਲ/ਟੂਲ ਤਬਦੀਲੀ ਨਾਲ ਮੇਲ ਖਾਂਦਾ ਹੈ? ਹਰੇਕ ਲਈ ਜਾਂਚੇ ਜਾਣ ਵਾਲੇ ਡੇਟਾ ਨੂੰ ਨਾਮ ਦਿਓ।
ਕਮਜ਼ੋਰ ਪ੍ਰੋਂਪਟ / ਮਜ਼ਬੂਤ ਪ੍ਰੋਂਪਟ
ਮਾੜੀ ਪਹੁੰਚ
ਮਜ਼ਬੂਤ ਪਹੁੰਚ
"ਜੇ ਕੋਈ ਗਲਤੀ ਹੈ, ਅਸੀਂ ਦੇਖਾਂਗੇ"
ਬੇਸਲਾਈਨ + ਥ੍ਰੈਸ਼ਹੋਲਡ + ਪ੍ਰੋਐਕਟਿਵ ਅਲਾਰਮ
ਬੱਸ ਇਹ ਦੇਖਣ ਲਈ ਜਾਂਚ ਕਰ ਰਿਹਾ ਹੈ ਕਿ ਕੀ ਸਿਸਟਮ ਖੜ੍ਹਾ ਹੈ।
ਸਿਗਨਲਾਂ ਦੇ ਚਾਰ ਪਰਿਵਾਰਾਂ ਦੀ ਨਿਗਰਾਨੀ (ਵਰਤੋਂ, ਸੁਰੱਖਿਆ, ਗੁਣਵੱਤਾ, ਪ੍ਰਦਰਸ਼ਨ)
ਆਉਟਪੁੱਟ ਗੁਣਵੱਤਾ ਦਾ ਬਿਲਕੁਲ ਵੀ ਨਮੂਨਾ ਨਹੀਂ ਲੈਣਾ
ਨਿਯਮਤ ਮਨੁੱਖੀ ਨਮੂਨਾ + ਜੱਜ ਵਜੋਂ ਐਲਐਲਐਮ
ਮੈਟ੍ਰਿਕਸ ਨੂੰ ਇਕੱਠਾ ਨਹੀਂ ਕਰਨਾ ਅਤੇ ਦੇਖਣਾ ਨਹੀਂ
ਡੈਸ਼ਬੋਰਡ + ਫੀਡਬੈਕ ਲੂਪ
ਤਿੰਨ ਮਿੰਨੀ ਕੇਸ
ਕੇਸ 1 - ਲਾਗਤ ਅਲਾਰਮ ਨੇ ਲੀਕ ਹੋਣ ਵਾਲੀ ਕੁੰਜੀ ਨੂੰ ਫੜ ਲਿਆ। ਇੱਕ ਕੰਪਨੀ ਦੀ ਰੋਜ਼ਾਨਾ ਟੋਕਨ ਦੀ ਲਾਗਤ ਰਾਤੋ ਰਾਤ ਤਿੰਨ ਗੁਣਾ ਹੋ ਗਈ। ਥ੍ਰੈਸ਼ਹੋਲਡ ਅਲਾਰਮ ਨੇ ਸੁਰੱਖਿਆ ਟੀਮ ਨੂੰ ਸੁਚੇਤ ਕੀਤਾ; ਜਾਂਚ ਨੇ ਦਿਖਾਇਆ ਕਿ ਇੱਕ ਟੈਸਟ ਕੁੰਜੀ ਲੀਕ ਹੋ ਗਈ ਸੀ ਅਤੇ ਇੱਕ ਬੋਟ ਦੁਆਰਾ ਵਰਤੀ ਗਈ ਸੀ। ਕੁੰਜੀ ਨੂੰ 25 ਮਿੰਟਾਂ ਵਿੱਚ ਰੱਦ ਕਰ ਦਿੱਤਾ ਗਿਆ ਸੀ; ਜੇ ਕੋਈ ਅਲਾਰਮ ਨਾ ਹੁੰਦਾ, ਤਾਂ ਬਿੱਲ ਮਹੀਨੇ ਦੇ ਅੰਤ 'ਤੇ ਨਜ਼ਰ ਆਉਣਾ ਸੀ।
ਕੇਸ 2 - ਸਾਈਲੈਂਟ ਕੁਆਲਿਟੀ ਡ੍ਰਾਈਫਟ। ਇੱਕ ਸਹਾਇਤਾ ਸਹਾਇਕ ਦੀ ਪੁਸ਼ਟੀਕਰਨ ਪਾਸ ਦਰ ਤਿੰਨ ਹਫ਼ਤਿਆਂ ਵਿੱਚ ਚੁੱਪਚਾਪ 95% ਤੋਂ ਘਟ ਕੇ 80% ਹੋ ਗਈ ਹੈ। ਹਫਤਾਵਾਰੀ ਨਮੂਨੇ ਨੇ ਇਸ ਨੂੰ ਹਾਸਲ ਕੀਤਾ; ਕਾਰਨ ਇਹ ਸੀ ਕਿ ਗਾਹਕਾਂ ਨੇ ਇੱਕ ਨਵੀਂ ਉਤਪਾਦ ਲਾਈਨ ਬਾਰੇ ਪੁੱਛਣਾ ਸ਼ੁਰੂ ਕਰ ਦਿੱਤਾ ਅਤੇ ਇਸ ਬਾਰੇ ਮਾਡਲ ਦਾ ਗਿਆਨ ਅਧਾਰ ਅਧੂਰਾ ਸੀ। ਜਦੋਂ ਗਿਆਨ ਅਧਾਰ ਨੂੰ ਅੱਪਡੇਟ ਕੀਤਾ ਗਿਆ ਸੀ ਤਾਂ ਦਰ ਮੁੜ ਪ੍ਰਾਪਤ ਹੋਈ।
ਕੇਸ 3 - ਜੇਲ੍ਹ ਬਰੇਕ ਦੀ ਲਹਿਰ ਛੇਤੀ ਸੀ। ਇੱਕ ਸਹਾਇਕ ਦੁਆਰਾ ਕੀਤੇ ਗਏ ਟੀਕੇ ਦੀ ਕੋਸ਼ਿਸ਼ ਇੱਕ ਦਿਨ ਵਿੱਚ 2 ਤੋਂ 40 ਪ੍ਰਤੀ ਘੰਟਾ ਤੱਕ ਵਧ ਗਈ. ਸੁਰੱਖਿਆ ਅਲਾਰਮ ਸ਼ੁਰੂ ਹੋਇਆ; ਇਹ ਦੇਖਿਆ ਗਿਆ ਸੀ ਕਿ ਸਿਸਟਮ ਨੂੰ ਤੋੜਨ ਲਈ ਇੱਕ "ਵਿਅੰਜਨ" ਇੱਕ ਫੋਰਮ ਵਿੱਚ ਸਾਂਝਾ ਕੀਤਾ ਗਿਆ ਸੀ. ਟੀਮ ਨੇ ਰੱਖਿਆ ਪ੍ਰੋਂਪਟ ਅਤੇ ਰੇਟ-ਸੀਮਿਤ ਸ਼ੱਕੀ ਖਾਤਿਆਂ ਨੂੰ ਅਪਡੇਟ ਕੀਤਾ; ਇਹ ਇੱਕ ਅਸਲੀ ਲੀਕ ਵਿੱਚ ਬਦਲਣ ਤੋਂ ਪਹਿਲਾਂ ਹੀ ਤਰੰਗ ਮਰ ਗਈ।
ਸੁਝਾਅ: ਸਿਰਫ਼ ਮਸ਼ੀਨ ਮੈਟ੍ਰਿਕਸ ਲਈ ਸੈਟਲ ਨਾ ਕਰੋ। ਕੁਆਲਿਟੀ ਡ੍ਰਾਈਫਟ ਅਕਸਰ ਮਨੁੱਖ ਦੁਆਰਾ ਨਮੂਨੇ ਦੇ ਆਉਟਪੁੱਟ ਨੂੰ ਪੜ੍ਹ ਕੇ ਫੜਿਆ ਜਾਂਦਾ ਹੈ। ਪ੍ਰਤੀ ਹਫ਼ਤੇ 15-20 ਬੇਤਰਤੀਬ ਪ੍ਰਿੰਟਆਉਟਸ ਦੀ ਸਮੀਖਿਆ ਕਰਨ ਦੀ ਇੱਕ ਛੋਟੀ ਜਿਹੀ ਰੁਟੀਨ ਸਭ ਤੋਂ ਮਹਿੰਗੀਆਂ ਚੁੱਪ ਅਸਫਲਤਾਵਾਂ ਨੂੰ ਜਲਦੀ ਫੜ ਲਵੇਗੀ।
ਆਮ ਗਲਤੀਆਂ
- ਇਸ ਨੂੰ ਉਤਪਾਦਨ ਵਿੱਚ ਨਾ ਪਾਓ ਅਤੇ ਨਿਗਰਾਨੀ ਸਥਾਪਤ ਕਰੋ ("ਇਹ ਕੰਮ ਕਰ ਰਿਹਾ ਹੈ, ਠੀਕ ਹੈ")।
- ਬੇਸਲਾਈਨ ਨੂੰ ਮਾਪਣ ਤੋਂ ਬਿਨਾਂ ਵਿਗਾੜ ਦੀ ਪਛਾਣ ਕਰਨ ਦੇ ਯੋਗ ਨਹੀਂ ਹੋਣਾ।
- ਸਿਰਫ "ਕੀ ਇਹ ਖੜ੍ਹਾ ਹੈ" ਨੂੰ ਦੇਖ ਕੇ ਗੁਣਵੱਤਾ ਦੇ ਵਹਿਣ ਨੂੰ ਗੁਆਉਣਾ.
- ਮਨੁੱਖੀ ਅੱਖਾਂ ਰਾਹੀਂ ਆਉਟਪੁੱਟ ਗੁਣਵੱਤਾ ਦਾ ਨਮੂਨਾ ਬਿਲਕੁਲ ਨਹੀਂ ਲੈਣਾ।
- ਅਲਾਰਮ ਨਾ ਉਠਾਉਣਾ ਅਤੇ ਗਾਹਕ/ਸੁਪਰਵਾਈਜ਼ਰ ਤੋਂ ਸਮੱਸਿਆ ਦਾ ਪਤਾ ਲਗਾਉਣਾ।
- ਨਿਗਰਾਨੀ ਖੋਜਾਂ ਨੂੰ ਸੁਧਾਰ ਨਾਲ ਜੋੜਨਾ ਨਹੀਂ (ਕੋਈ ਫੀਡਬੈਕ ਲੂਪ ਨਹੀਂ)
ਸੰਖੇਪ ਵਿੱਚ
- AI ਸਿਸਟਮ ਚੁੱਪਚਾਪ ਵਿਗੜ ਸਕਦੇ ਹਨ; ਸਭ ਤੋਂ ਖ਼ਤਰਨਾਕ ਖਰਾਬੀ ਉਹ ਹੈ ਜੋ ਗਲਤੀਆਂ ਨਹੀਂ ਸੁੱਟਦੀ, ਪਰ ਸਿਰਫ ਗੁਣਵੱਤਾ ਨੂੰ ਘਟਾਉਂਦੀ ਹੈ.
- ਸਿਗਨਲਾਂ ਦੇ ਚਾਰ ਪਰਿਵਾਰਾਂ ਨੂੰ ਟ੍ਰੈਕ ਕਰੋ: ਵਰਤੋਂ/ਕੀਮਤ, ਸੁਰੱਖਿਆ, ਗੁਣਵੱਤਾ/ਪ੍ਰਦਰਸ਼ਨ, ਅਤੇ ਪ੍ਰਦਰਸ਼ਨ।
- ਡ੍ਰਾਈਫਟ (ਸਮੇਂ ਦੇ ਨਾਲ ਇਨਪੁਟ ਜਾਂ ਆਉਟਪੁੱਟ ਗੁਣਵੱਤਾ ਦਾ ਵਹਾਅ) ਸਿਰਫ ਇੱਕ ਬੇਸਲਾਈਨ ਦੀ ਤੁਲਨਾ ਵਿੱਚ ਕੈਪਚਰ ਕੀਤਾ ਜਾਂਦਾ ਹੈ।
- ਮਸ਼ੀਨ ਮੈਟ੍ਰਿਕਸ ਤੋਂ ਇਲਾਵਾ ਨਿਯਮਤ ਮਨੁੱਖੀ ਨਮੂਨਾ ਕੁਆਲਿਟੀ ਡ੍ਰਾਈਫਟ ਨੂੰ ਹਾਸਲ ਕਰਦਾ ਹੈ।
- ਨਿਗਰਾਨੀ ਨੂੰ ਅਲਾਰਮ ਅਤੇ ਫੀਡਬੈਕ ਲੂਪ ਨਾਲ ਕਨੈਕਟ ਕਰੋ; ਮਾਪਣਾ ਅਤੇ ਨਾ ਦੇਖਣਾ ਨਿਗਰਾਨੀ ਨਹੀਂ ਹੈ।
ਐਪਲੀਕੇਸ਼ਨ ਦਾ ਕੰਮ
ਆਪਣੇ ਖੁਦ ਦੇ AI ਸਿਸਟਮ ਲਈ ਚਾਰ ਸਿਗਨਲ ਪਰਿਵਾਰਾਂ ਵਿੱਚੋਂ ਹਰੇਕ ਵਿੱਚੋਂ ਘੱਟੋ-ਘੱਟ ਇੱਕ ਮੀਟ੍ਰਿਕ ਚੁਣੋ ਅਤੇ ਉਹਨਾਂ ਦੀਆਂ ਮੌਜੂਦਾ (ਜਾਂ ਅਨੁਮਾਨਿਤ) ਬੇਸਲਾਈਨਾਂ ਨੂੰ ਲਿਖੋ। ਹਰੇਕ ਮੈਟ੍ਰਿਕ ਲਈ ਇੱਕ ਅਲਾਰਮ ਥ੍ਰੈਸ਼ਹੋਲਡ ਪਰਿਭਾਸ਼ਿਤ ਕਰੋ। ਫਿਰ ਆਪਣੇ ਆਖਰੀ ਸਮੈਸਟਰ ਦੇ 15 ਆਉਟਪੁੱਟ ਲਓ ਅਤੇ ਉੱਪਰ ਦਿੱਤੇ ਨਮੂਨੇ ਦੇ ਪ੍ਰੋਂਪਟ ਨਾਲ ਉਹਨਾਂ ਨੂੰ ਸਕੋਰ ਕਰੋ; "ਬੁਰਾ" ਦਰ ਨੂੰ ਨੋਟ ਕਰੋ। ਇਹ ਤੁਹਾਡੀ ਪਹਿਲੀ ਬੇਸਲਾਈਨ ਹੋਣ ਦਿਓ ਜਿਸਦੇ ਨਾਲ ਭਵਿੱਖ ਵਿੱਚ ਡ੍ਰਾਈਫਟ ਦੀ ਤੁਲਨਾ ਕਰਨੀ ਹੈ।
ਚੈੱਕਲਿਸਟ
- [ ] ਮੈਂ ਚਾਰ ਸਿਗਨਲ ਪਰਿਵਾਰਾਂ (ਵਰਤੋਂ, ਸੁਰੱਖਿਆ, ਗੁਣਵੱਤਾ, ਪ੍ਰਦਰਸ਼ਨ) ਤੋਂ ਮੈਟ੍ਰਿਕਸ ਨੂੰ ਪਰਿਭਾਸ਼ਿਤ ਕੀਤਾ ਹੈ।
- [ ] ਮੈਂ ਹਰੇਕ ਮੈਟ੍ਰਿਕ ਲਈ ਇੱਕ ਬੇਸਲਾਈਨ ਅਤੇ ਅਲਾਰਮ ਥ੍ਰੈਸ਼ਹੋਲਡ ਸੈੱਟ ਕਰਦਾ ਹਾਂ।
- [ ] ਮੈਂ ਨਿਯਮਿਤ ਤੌਰ 'ਤੇ ਮਨੁੱਖੀ ਅੱਖਾਂ ਰਾਹੀਂ ਆਉਟਪੁੱਟ ਗੁਣਵੱਤਾ ਦਾ ਨਮੂਨਾ ਲੈਂਦਾ ਹਾਂ।
- [ ] ਮੈਂ ਇੱਕ ਡਿਸਪਲੇ ਪੈਨਲ ਦੇ ਨਾਲ ਇੱਕ ਸਿੰਗਲ ਸਕ੍ਰੀਨ 'ਤੇ ਸਿਗਨਲਾਂ ਦੀ ਨਿਗਰਾਨੀ ਕਰਦਾ ਹਾਂ।
- [ ] ਅਲਾਰਮ ਅਸਮਾਨਤਾਵਾਂ ਅਤੇ ਜੇਲ੍ਹ ਬਰੇਕ ਤਰੰਗਾਂ ਲਈ ਸੁਰੱਖਿਆ ਟੀਮ ਨੂੰ ਜਾਂਦਾ ਹੈ।
- [ ] ਮੈਂ ਨਿਗਰਾਨੀ ਖੋਜਾਂ ਨੂੰ ਪ੍ਰੋਂਪਟ/ਕੰਟਰੋਲ ਸੁਧਾਰ ਲਈ ਵਿਸ਼ੇਸ਼ਤਾ ਦਿੰਦਾ ਹਾਂ।