ਮਾਡਲ ਜੋਖਮ ਪ੍ਰਬੰਧਨ ਅਤੇ ਲਾਲ ਟੀਮ

ਲਾਭ:

• ਪ੍ਰਭਾਵ ਦੇ ਅਨੁਸਾਰ ਵਰਤੋਂ ਦੇ ਦ੍ਰਿਸ਼ਾਂ ਨੂੰ ਘੱਟ/ਮੱਧਮ/ਉੱਚ ਜੋਖਮ ਪੱਧਰਾਂ ਵਿੱਚ ਸ਼੍ਰੇਣੀਬੱਧ ਕਰਨ ਦੀ ਸਮਰੱਥਾ
• ਰੈੱਡ-ਟੀਮਿੰਗ ਨਾਲ ਉਤਪਾਦਨ ਤੋਂ ਪਹਿਲਾਂ ਮਾਡਲ ਦੀ ਯੋਜਨਾਬੱਧ ਢੰਗ ਨਾਲ ਜਾਂਚ ਕਰਨ ਦੀ ਸਮਰੱਥਾ
• ਮਾਡਲ ਕਾਰਡ ਅਤੇ ਸਵੀਕ੍ਰਿਤੀ ਦੇ ਦਰਵਾਜ਼ੇ ਨਾਲ ਉਤਪਾਦਨ ਦੇ ਫੈਸਲੇ ਲੈਣ ਦੀ ਸਮਰੱਥਾ (ਗੋ/ਨੋ-ਗੋ)

AI ਦੀ ਹਰ ਵਰਤੋਂ ਵਿੱਚ ਇੱਕੋ ਜਿਹਾ ਜੋਖਮ ਨਹੀਂ ਹੁੰਦਾ। ਇੱਕ ਸਹਾਇਕ ਇੱਕ ਮੀਟਿੰਗ ਨੋਟ ਦਾ ਸਾਰ ਕਰਦਾ ਹੈ ਅਤੇ ਇੱਕ ਸਹਾਇਕ ਇੱਕ ਕਰਜ਼ੇ ਦੀ ਅਰਜ਼ੀ ਦਾ ਮੁਲਾਂਕਣ ਕਰਦਾ ਹੈ, ਬਹੁਤ ਵੱਖਰੇ ਨਤੀਜੇ ਪੈਦਾ ਕਰਦਾ ਹੈ। ਕਾਰਪੋਰੇਟ ਗਵਰਨੈਂਸ ਦਾ ਆਧਾਰ ਜੋਖਮ ਪੱਧਰ ਦੇ ਅਨੁਸਾਰ ਵਰਤੋਂ ਦਾ ਵਰਗੀਕਰਨ ਕਰਨਾ ਅਤੇ ਹਰੇਕ ਪੱਧਰ 'ਤੇ ਉਚਿਤ ਨਿਯੰਤਰਣ ਲਾਗੂ ਕਰਨਾ ਹੈ। ਇਸ ਯੂਨਿਟ ਵਿੱਚ, ਅਸੀਂ ਮਾਡਲ ਜੋਖਮ ਪ੍ਰਬੰਧਨ (ਇੱਕ ਮਾਡਲ ਦੇ ਗਲਤ, ਪੱਖਪਾਤੀ ਜਾਂ ਸ਼ੋਸ਼ਣਯੋਗ ਹੋਣ ਕਾਰਨ ਹੋਣ ਵਾਲੇ ਜੋਖਮ ਦੇ ਪ੍ਰਬੰਧਨ ਦਾ ਅਨੁਸ਼ਾਸਨ), ਰੇਡ-ਟੀਮਿੰਗ ਨਾਲ ਉਤਪਾਦਨ ਤੋਂ ਪਹਿਲਾਂ ਮਾਡਲ ਦੀ ਜਾਂਚ ਕਿਵੇਂ ਕਰਨੀ ਹੈ, ਅਤੇ ਮਾਡਲ ਕਾਰਡ ਅਤੇ ਸਵੀਕ੍ਰਿਤੀ ਦੇ ਮਾਪਦੰਡ ਬਾਰੇ ਸਿੱਖਾਂਗੇ।

ਜੋਖਮ ਦੁਆਰਾ ਵਰਗੀਕਰਨ

ਪਹਿਲਾ ਕਦਮ ਹਮੇਸ਼ਾ ਇੱਕੋ ਜਿਹਾ ਹੁੰਦਾ ਹੈ: "ਜੇ ਇਹ ਵਰਤੋਂ ਗਲਤ ਹੋ ਜਾਂਦੀ ਹੈ ਤਾਂ ਕੀ ਹੁੰਦਾ ਹੈ?" ਸ਼ਕਤੀ ਅਤੇ ਉਲਟਾਤਮਕਤਾ ਦੇ ਅਨੁਸਾਰ ਤਿੰਨ ਮੋਟੇ ਪੱਧਰ:

• ਘੱਟ ਖਤਰਾ: ਗਲਤੀ ਆਸਾਨੀ ਨਾਲ ਖੋਜੀ ਜਾਂਦੀ ਹੈ ਅਤੇ ਅਣਕੀਤੀ ਜਾਂਦੀ ਹੈ; ਕੋਈ ਨਿੱਜੀ/ਵਿੱਤੀ ਨਤੀਜੇ ਨਹੀਂ। ਉਦਾਹਰਨ: ਅੰਦਰੂਨੀ ਮੀਟਿੰਗ ਦਾ ਸਾਰ, ਡਰਾਫਟ ਵਿਚਾਰ ਪੈਦਾ ਕਰਨਾ।
• ਦਰਮਿਆਨਾ ਜੋਖਮ: ਗਲਤੀ ਕਾਰੋਬਾਰੀ ਪ੍ਰਕਿਰਿਆ ਨੂੰ ਪ੍ਰਭਾਵਤ ਕਰਦੀ ਹੈ ਪਰ ਮਨੁੱਖੀ ਅੱਖ ਵਿੱਚੋਂ ਲੰਘਦੀ ਹੈ। ਉਦਾਹਰਨ: ਗਾਹਕ ਨੂੰ ਡਰਾਫਟ ਜਵਾਬ, ਸ਼ੁਰੂਆਤੀ ਰਿਪੋਰਟ ਦਾ ਸਾਰ।
• ਉੱਚ ਜੋਖਮ: ਫੈਸਲਾ ਸਿੱਧੇ ਤੌਰ 'ਤੇ ਵਿਅਕਤੀ/ਪੈਸੇ ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕਰਦਾ ਹੈ, ਉਲਟਾ ਕਰਨਾ ਮੁਸ਼ਕਲ ਹੈ। ਉਦਾਹਰਨ: ਕ੍ਰੈਡਿਟ/ਬੀਮਾ ਫੈਸਲੇ, ਹੈਲਥਕੇਅਰ ਟ੍ਰਾਈਜ, ਰੁਜ਼ਗਾਰ ਸਕ੍ਰੀਨਿੰਗ।

ਜੋਖਮ ਦੇ ਪੱਧਰ ਦੇ ਨਾਲ ਨਿਯੰਤਰਣ ਦੀ ਤੀਬਰਤਾ ਵਧਦੀ ਹੈ: ਘੱਟ ਜੋਖਮ ਤੇ, ਰੋਸ਼ਨੀ ਨਿਯੰਤਰਣ ਕਾਫ਼ੀ ਹਨ; ਉੱਚ ਜੋਖਮ 'ਤੇ, ਮਨੁੱਖੀ ਨਿਗਰਾਨੀ, ਸਖਤ ਤਸਦੀਕ, ਲਾਲ ਟੀਮ ਬਣਾਉਣਾ ਅਤੇ ਨਿਰੰਤਰ ਨਿਗਰਾਨੀ ਲਾਜ਼ਮੀ ਹੈ।

ਧਿਆਨ ਦਿਓ: ਜੋਖਮ ਦਾ ਵਰਗੀਕਰਨ ਵਰਤੋਂ ਦੇ ਪ੍ਰਭਾਵ ਦੇ ਅਨੁਸਾਰ ਕਰੋ, ਨਾ ਕਿ ਇਸਦਾ ਨਾਮ। ਅਖੌਤੀ "ਸਿਰਫ਼ ਇੱਕ ਚੈਟਬੋਟ" ਸਿਸਟਮ ਉੱਚ ਜੋਖਮ ਹੈ ਜੇਕਰ ਇਹ ਭੁਗਤਾਨ ਸ਼ੁਰੂ ਕਰ ਸਕਦਾ ਹੈ।

ਲਾਲ ਟੀਮ (ਰੈੱਡ-ਟੀਮਿੰਗ)

ਰੈੱਡ ਟੀਮਿੰਗ ਜਾਣਬੁੱਝ ਕੇ ਇੱਕ ਖਤਰਨਾਕ ਹਮਲਾਵਰ ਹੋਣ ਦਾ ਦਿਖਾਵਾ ਕਰਕੇ ਇੱਕ ਸਿਸਟਮ ਨੂੰ ਤੋੜਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰ ਰਹੀ ਹੈ। ਇਹ AI ਵਿੱਚ ਹੈ; ਇਸ ਵਿੱਚ ਜੇਲ੍ਹ ਬਰੇਕਿੰਗ (ਮਾਡਲ ਦੇ ਸੁਰੱਖਿਆ ਨਿਯਮਾਂ ਨੂੰ ਬਾਈਪਾਸ ਕਰਨਾ), ਪ੍ਰੋਂਪਟ ਇੰਜੈਕਸ਼ਨ, ਡੇਟਾ ਐਕਸਫਿਲਟਰੇਸ਼ਨ, ਪੱਖਪਾਤੀ/ਨੁਕਸਾਨਦਾਇਕ ਆਉਟਪੁੱਟ ਤਿਆਰ ਕਰਨਾ, ਅਤੇ ਕਿਨਾਰੇ ਦੇ ਦ੍ਰਿਸ਼ਾਂ ਦੀ ਜਾਂਚ ਕਰਨਾ ਸ਼ਾਮਲ ਹੈ। ਟੀਚਾ ਅਸਲ ਹਮਲਾਵਰ ਤੋਂ ਪਹਿਲਾਂ ਕਮਜ਼ੋਰੀਆਂ ਨੂੰ ਲੱਭਣਾ ਹੈ.

ਕਦਮ ਦਰ ਕਦਮ:

1. ਖ਼ਤਰੇ ਦੇ ਦ੍ਰਿਸ਼ਾਂ ਦੀ ਸੂਚੀ ਬਣਾਓ। ਇਸ ਪ੍ਰਣਾਲੀ ਦੀ ਦੁਰਵਰਤੋਂ ਕਿਵੇਂ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈ?
2. ਹਮਲੇ ਦਾ ਸੈੱਟ ਤਿਆਰ ਕਰੋ। ਹਰੇਕ ਖਤਰੇ ਲਈ ਠੋਸ ਐਂਟਰੀ ਉਦਾਹਰਨਾਂ ਲਿਖੋ।
3. ਯੋਜਨਾਬੱਧ ਤਰੀਕੇ ਨਾਲ ਕੋਸ਼ਿਸ਼ ਕਰੋ. ਹਰੇਕ ਦ੍ਰਿਸ਼ ਨੂੰ ਚਲਾਓ ਅਤੇ ਨਤੀਜਾ ਰਿਕਾਰਡ ਕਰੋ।
4. ਖੋਜਾਂ ਨੂੰ ਤਰਜੀਹ ਦਿਓ। ਪ੍ਰਭਾਵ × ਸੰਭਾਵਨਾ ਦੁਆਰਾ ਕ੍ਰਮਬੱਧ ਕਰੋ।
5. ਇਸਨੂੰ ਠੀਕ ਕਰੋ ਅਤੇ ਦੁਬਾਰਾ ਜਾਂਚ ਕਰੋ। ਪੈਚ ਤੋਂ ਬਾਅਦ, ਉਸੇ ਸੈੱਟ (ਰਿਗਰੈਸ਼ਨ) ਨਾਲ ਦੁਬਾਰਾ ਕੋਸ਼ਿਸ਼ ਕਰੋ।

ਮਾਡਲ ਕਾਰਡ ਅਤੇ ਸਵੀਕ੍ਰਿਤੀ ਮਾਪਦੰਡ

ਇੱਕ ਮਾਡਲ ਕਾਰਡ ਇੱਕ ਦਸਤਾਵੇਜ਼ ਹੈ ਜੋ ਸਾਰ ਦਿੰਦਾ ਹੈ ਕਿ ਇੱਕ ਮਾਡਲ ਕਿਸ ਲਈ ਢੁਕਵਾਂ ਹੈ, ਇਸ ਦੀਆਂ ਸੀਮਾਵਾਂ, ਜਾਣੇ-ਪਛਾਣੇ ਜੋਖਮ ਅਤੇ ਪ੍ਰਦਰਸ਼ਨ। ਇਸ ਤੋਂ ਪਹਿਲਾਂ ਕਿ ਤੁਸੀਂ ਇਸਨੂੰ ਉਤਪਾਦਨ ਵਿੱਚ ਪਾਓ, ਤੁਹਾਡੇ ਕੋਲ ਇੱਕ ਸਵੀਕ੍ਰਿਤੀ ਦੇ ਫੈਸਲੇ ਲਈ ਮਾਪਦੰਡ ਹੋਣੇ ਚਾਹੀਦੇ ਹਨ: ਸ਼ੁੱਧਤਾ ਥ੍ਰੈਸ਼ਹੋਲਡ, ਲਾਲ ਟੀਮ ਪਾਸ ਦਰ, ਲੇਟੈਂਸੀ, ਲਾਗਤ, ਅਤੇ ਪੱਖਪਾਤ ਟੈਸਟ।

ਚਾਰ ਕਾਪੀ ਕਰਨ ਯੋਗ ਨਮੂਨੇ

ਜੋਖਮ ਵਰਗੀਕਰਣ ਪ੍ਰੋਂਪਟ:

ਨਿਮਨਲਿਖਤ ਵਰਤੋਂ ਦੇ ਮਾਮਲੇ 'ਤੇ ਵਿਚਾਰ ਕਰੋ: {{ ਦ੍ਰਿਸ਼ }} ਸਵਾਲ:- ਬੱਗ ਕਿਸ ਨੂੰ/ਕੀ ਪ੍ਰਭਾਵਿਤ ਕਰਦਾ ਹੈ? (ਵਿਅਕਤੀ, ਪੈਸਾ, ਪ੍ਰਤਿਸ਼ਠਾ, ਸਦਭਾਵਨਾ) - ਕੀ ਇਹ ਉਲਟ ਹੈ? (ਹਾਂ/ਨਹੀਂ) - ਕੀ ਇਨਸਾਨ ਦਖਲ ਦੇ ਸਕਦੇ ਹਨ? ਨਤੀਜਾ: "ਘੱਟ / ਮੱਧਮ / ਉੱਚ ਜੋਖਮ" + ਲਾਜ਼ਮੀ ਜਾਂਚਾਂ ਦੀ ਸੂਚੀ।

ਲਾਲ ਟੀਮ ਹਮਲਾ ਸੈੱਟ ਜਨਰੇਟਰ:

ਤੁਸੀਂ ਲਾਲ ਟੀਮ ਦੇ ਮਾਹਰ ਹੋ। ਹੇਠਾਂ ਦਿੱਤੇ ਸਹਾਇਕ ਲਈ 15 ਹਮਲੇ ਦੇ ਦ੍ਰਿਸ਼ ਤਿਆਰ ਕਰੋ: 5 ਜੇਲਬ੍ਰੇਕ, 5 ਪ੍ਰੋਂਪਟ ਇੰਜੈਕਸ਼ਨ (ਜਿਨ੍ਹਾਂ ਵਿੱਚੋਂ 3 ਅਸਿੱਧੇ ਹਨ), 5 ਡੇਟਾ ਐਕਸਫਿਲਟਰੇਸ਼ਨ ਕੋਸ਼ਿਸ਼ਾਂ। ਹਰੇਕ ਦ੍ਰਿਸ਼ ਲਈ: ਉਦੇਸ਼, ਪੂਰਾ ਜਾਣ-ਪਛਾਣ ਪਾਠ, ਅਤੇ "ਸਫਲਤਾ ਦੇ ਮਾਪਦੰਡ" (ਜੋ ਵੀ ਮੈਂ ਦੇਖਦਾ ਹਾਂ ਉਹ ਹਮਲੇ ਨੂੰ ਸਫਲ ਮੰਨਦਾ ਹੈ) ਲਿਖੋ।

ਮਾਡਲ ਬੋਰਡ ਪਿੰਜਰ:

ਮਾਡਲ ਕਾਰਡ:- ਇੱਛਤ ਵਰਤੋਂ / ਅਣਇੱਛਤ ਵਰਤੋਂ- ਸਿਖਲਾਈ/ਡਾਟਾ ਸੀਮਾਵਾਂ ਅਤੇ ਜਾਣੀਆਂ ਗਈਆਂ ਕਮਜ਼ੋਰੀਆਂ- ਪ੍ਰਦਰਸ਼ਨ: ਸ਼ੁੱਧਤਾ, ਲੇਟੈਂਸੀ, ਲਾਗਤ (ਟੈਸਟ ਸੈੱਟ 'ਤੇ)- ਸੁਰੱਖਿਆ: ਲਾਲ ਟੀਮ ਦੀ ਪਾਸ ਦਰ, ਜਾਣੇ ਜਾਂਦੇ ਜੇਲਬ੍ਰੇਕ- ਪੱਖਪਾਤ ਟੈਸਟਿੰਗ ਨਤੀਜੇ- ਸਵੀਕ੍ਰਿਤੀ ਦਾ ਫੈਸਲਾ: ਮਨਜ਼ੂਰੀ / ਸ਼ਰਤ / ਅਸਵੀਕਾਰ + ਜਾਇਜ਼ਤਾ

ਦਾਖਲਾ ਗੇਟ ਕੰਟਰੋਲ ਨਿਯਮ:

ਉਤਪਾਦਨ 'ਤੇ ਜਾਣ ਲਈ ਸਾਰੀਆਂ ਸ਼ਰਤਾਂ ਪੂਰੀਆਂ ਕੀਤੀਆਂ ਜਾਣੀਆਂ ਚਾਹੀਦੀਆਂ ਹਨ:- >= ਸ਼ੁੱਧਤਾ ਟੈਸਟ ਸੈੱਟ 'ਤੇ ਟੀਚਾ ਥ੍ਰੈਸ਼ਹੋਲਡ- ਰੈੱਡ ਟੀਮ ਦੀਆਂ ਨਾਜ਼ੁਕ ਖੋਜਾਂ ਦੀ ਗਿਣਤੀ = 0- ਜੇ ਉੱਚ ਜੋਖਮ: ਮਨੁੱਖੀ ਨਿਰੀਖਣ ਅਤੇ ਨਿਗਰਾਨੀ ਬੋਰਡਜੇਕਰ ਕੋਈ ਵੀ ਪੂਰਾ ਨਹੀਂ ਹੁੰਦਾ ਹੈ: "NO-GO" + ਗੁੰਮ ਆਈਟਮ।

ਕਮਜ਼ੋਰ ਪ੍ਰੋਂਪਟ / ਮਜ਼ਬੂਤ ਪ੍ਰੋਂਪਟ

ਮਾੜੀ ਪਹੁੰਚ

ਮਜ਼ਬੂਤ ਪਹੁੰਚ

ਉਸੇ ਨਿਯੰਤਰਣ ਨਾਲ ਹਰੇਕ ਵਰਤੋਂ ਦੀ ਪ੍ਰਕਿਰਿਆ ਕਰਨਾ

ਜੋਖਮ ਅਤੇ ਸਕੇਲ ਨਿਯੰਤਰਣ ਦੁਆਰਾ ਸ਼੍ਰੇਣੀਬੱਧ ਕਰੋ

"ਅਸੀਂ ਇਸ ਦੀ ਜਾਂਚ ਕੀਤੀ, ਇਹ ਕੰਮ ਕਰਦਾ ਹੈ" (ਖੁਸ਼ ਤਰੀਕੇ ਨਾਲ)

ਲਾਲ ਟੀਮ ਨਾਲ ਜਾਣਬੁੱਝ ਕੇ ਤੋੜਨ ਦੀ ਕੋਸ਼ਿਸ਼

ਨਿਰਪੱਖਤਾ ਦੇ ਬਿਨਾਂ ਮਾਡਲ ਨੂੰ ਉਤਪਾਦਨ ਵਿੱਚ ਪਾਉਣਾ

ਮਾਡਲ ਕਾਰਡ + ਸਵੀਕ੍ਰਿਤੀ ਗੇਟ (go/no-go)

ਪੈਚ ਕਰਨ ਤੋਂ ਬਾਅਦ ਦੁਬਾਰਾ ਟੈਸਟ ਨਹੀਂ ਕਰਨਾ

ਸੁਧਾਰ ਤੋਂ ਬਾਅਦ ਰਿਗਰੈਸ਼ਨ ਟੈਸਟ

ਤਿੰਨ ਮਿੰਨੀ ਕੇਸ

ਕੇਸ 1 - ਗਲਤ ਵਰਗੀਕਰਨ ਮਹਿੰਗਾ ਸੀ। ਇੱਕ ਕੰਪਨੀ ਨੇ ਭਰਤੀ ਪ੍ਰੀਸਕ੍ਰੀਨਿੰਗ ਨੂੰ "ਸਿਰਫ਼ ਇੱਕ ਸਹਾਇਕ" ਮੰਨਿਆ ਅਤੇ ਇਸਨੂੰ ਘੱਟ ਜੋਖਮ ਮੰਨਿਆ। ਮਾਡਲ ਨੇ ਕੁਝ ਸਕੂਲਾਂ ਤੋਂ ਗ੍ਰੈਜੂਏਟਾਂ ਨੂੰ ਯੋਜਨਾਬੱਧ ਢੰਗ ਨਾਲ ਖਤਮ ਕਰ ਦਿੱਤਾ; ਇਹ ਇੱਕ ਵਿਤਕਰੇ ਦੀ ਸ਼ਿਕਾਇਤ ਵਿੱਚ ਬਦਲ ਗਿਆ। ਵਰਤੋਂ ਨੂੰ "ਉੱਚ ਜੋਖਮ" ਦੇ ਤੌਰ 'ਤੇ ਮੁੜ ਵਰਗੀਕ੍ਰਿਤ ਕੀਤਾ ਗਿਆ ਸੀ ਅਤੇ ਪੱਖਪਾਤ ਜਾਂਚ ਅਤੇ ਮਨੁੱਖੀ ਨਿਗਰਾਨੀ ਨੂੰ ਜੋੜਿਆ ਗਿਆ ਸੀ।

ਕੇਸ 2 - ਲਾਲ ਟੀਮ ਨੂੰ 3 ਗੰਭੀਰ ਕਮਜ਼ੋਰੀਆਂ ਮਿਲੀਆਂ। ਉਤਪਾਦਨ ਵਿੱਚ ਜਾਣ ਤੋਂ ਪਹਿਲਾਂ ਇੱਕ ਗਾਹਕ ਸਹਾਇਕ ਨੂੰ ਲਾਲ ਟੀਮ ਨੂੰ ਸੌਂਪਿਆ ਗਿਆ ਸੀ। 15 ਵਿੱਚੋਂ 3 ਦ੍ਰਿਸ਼ ਸਫਲ ਸਨ: ਕਿਸੇ ਹੋਰ ਗਾਹਕ ਦੀ ਆਰਡਰ ਜਾਣਕਾਰੀ ਇੱਕ ਅਸਿੱਧੇ ਟੀਕੇ ਦੁਆਰਾ ਲੀਕ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈ। ਪਾੜੇ ਨੂੰ ਬੰਦ ਕਰ ਦਿੱਤਾ ਗਿਆ ਸੀ ਅਤੇ ਉਸੇ ਸੈੱਟ ਨਾਲ ਦੁਬਾਰਾ ਟੈਸਟ ਕੀਤਾ ਗਿਆ ਸੀ; ਉਤਪਾਦਨ ਉਦੋਂ ਹੀ ਮੁੜ ਸ਼ੁਰੂ ਕੀਤਾ ਗਿਆ ਸੀ ਜਦੋਂ ਨਾਜ਼ੁਕ ਖੋਜ ਨੂੰ ਰੀਸੈਟ ਕੀਤਾ ਗਿਆ ਸੀ।

ਕੇਸ 3 - ਮਾਡਲ ਨੇ ਕਾਰਡ ਸਵੀਕਾਰ ਕਰਨ ਦੇ ਫੈਸਲੇ ਨੂੰ ਸਪੱਸ਼ਟ ਕੀਤਾ। ਦੋ ਮਾਡਲਾਂ ਵਿਚਕਾਰ ਚੋਣ ਕਰਦੇ ਹੋਏ, ਇੱਕ ਟੀਮ ਨੇ ਮਾਡਲ ਕਾਰਡਾਂ ਨੂੰ ਨਾਲ-ਨਾਲ ਰੱਖਿਆ। ਸਸਤੇ ਮਾਡਲ ਨੇ ਸਟੀਕਤਾ ਵਿੱਚ ਨਿਸ਼ਾਨ ਨੂੰ ਮਾਰਿਆ, ਪਰ ਲਾਲ ਟੀਮ 'ਤੇ 2 ਗੰਭੀਰ ਜੇਲ੍ਹ ਬਰੇਕਾਂ ਲਈ ਕਮਜ਼ੋਰ ਸੀ। ਟੀਮ ਨੇ ਸਵੀਕ੍ਰਿਤੀ ਗੇਟ "ਨਾਜ਼ੁਕ ਖੋਜ = 0" ਨਿਯਮ ਦੇ ਕਾਰਨ ਮਹਿੰਗਾ ਪਰ ਸੁਰੱਖਿਅਤ ਮਾਡਲ ਚੁਣਿਆ ਅਤੇ ਫੈਸਲੇ ਦਾ ਦਸਤਾਵੇਜ਼ੀਕਰਨ ਕੀਤਾ।

ਸੰਕੇਤ: ਲਾਲ ਟੀਮ ਇੱਕ ਵਾਰ ਦੀ ਘਟਨਾ ਨਹੀਂ ਹੈ। ਜਦੋਂ ਵੀ ਮਾਡਲ, ਪ੍ਰੋਂਪਟ, ਜਾਂ ਟੂਲ ਬਦਲਦੇ ਹਨ ਤਾਂ ਹਮਲਾ ਸੈੱਟ ਨੂੰ ਦੁਬਾਰਾ ਚਲਾਓ; ਸੁਰੱਖਿਆ ਇੱਕ ਰਾਜ ਨਹੀਂ ਹੈ, ਪਰ ਇੱਕ ਨਿਰੰਤਰ ਅਭਿਆਸ ਹੈ।

ਆਮ ਗਲਤੀਆਂ

• ਨਾਮ ਦੁਆਰਾ ਵਰਤੋਂ ਨੂੰ ਸ਼੍ਰੇਣੀਬੱਧ ਕਰੋ (ਪ੍ਰਭਾਵ ਦੀ ਬਜਾਏ); ਘੱਟ ਲਈ ਉੱਚ ਜੋਖਮ ਨੂੰ ਸਮਝਣਾ.
• ਸਿਰਫ਼ "ਖੁਸ਼ਹਾਲ ਮਾਰਗ" ਦੀ ਪਰਖ ਕਰਨਾ ਅਤੇ ਦੁਰਵਿਵਹਾਰ ਦੀ ਕੋਸ਼ਿਸ਼ ਨਹੀਂ ਕਰਨਾ।
• ਲਾਲ ਟੀਮ ਨੂੰ ਇੱਕ ਵਾਰ ਕਰਨਾ ਅਤੇ ਤਬਦੀਲੀਆਂ ਤੋਂ ਬਾਅਦ ਇਸਨੂੰ ਦੁਹਰਾਉਣਾ ਨਹੀਂ।
• ਮਾਡਲ ਕਾਰਡ ਅਤੇ ਸਵੀਕ੍ਰਿਤੀ ਮਾਪਦੰਡ ਦੇ ਬਿਨਾਂ ਮਾਡਲ ਨੂੰ ਉਤਪਾਦਨ ਵਿੱਚ ਪਾਉਣਾ।
• ਪੱਖਪਾਤ/ਵਿਤਕਰੇ ਦੀ ਜਾਂਚ ਨੂੰ ਬਾਈਪਾਸ ਕਰਨਾ (ਖ਼ਾਸਕਰ ਉੱਚ-ਦਾਅ ਵਾਲੇ ਮਨੁੱਖੀ ਫੈਸਲਿਆਂ ਵਿੱਚ)।
• ਇਸਦਾ ਅਰਥ ਹੈ ਪੋਸਟ-ਕੁਰੈਕਸ਼ਨ ਰੀਗਰੈਸ਼ਨ ਟੈਸਟਿੰਗ ਕੀਤੇ ਬਿਨਾਂ "ਬੰਦ"।

ਸੰਖੇਪ ਵਿੱਚ

• ਪਹਿਲਾ ਕਦਮ ਪ੍ਰਭਾਵ ਦੇ ਅਨੁਸਾਰ ਵਰਤੋਂ ਨੂੰ ਘੱਟ/ਮੱਧਮ/ਉੱਚ ਜੋਖਮ ਵਜੋਂ ਸ਼੍ਰੇਣੀਬੱਧ ਕਰਨਾ ਹੈ; ਨਿਯੰਤਰਣ ਦੀ ਤੀਬਰਤਾ ਜੋਖਮ ਦੇ ਨਾਲ ਵਧਦੀ ਹੈ।
• ਰੈੱਡ ਟੀਮਿੰਗ ਜਾਣਬੁੱਝ ਕੇ ਹਮਲਾਵਰ ਵਾਂਗ ਸਿਸਟਮ ਨੂੰ ਤੋੜਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰ ਰਹੀ ਹੈ; ਅਸਲ ਹਮਲਾਵਰ ਦੇ ਸਾਹਮਣੇ ਕਮਜ਼ੋਰੀ ਲੱਭਦਾ ਹੈ।
• ਮਾਡਲ ਕਾਰਡ ਮਾਡਲ ਦੇ ਉਦੇਸ਼, ਸੀਮਾਵਾਂ ਅਤੇ ਜੋਖਮਾਂ ਨੂੰ ਦਸਤਾਵੇਜ਼ ਦਿੰਦਾ ਹੈ; ਦਾਖਲੇ ਦੇ ਫੈਸਲੇ ਦਾ ਆਧਾਰ ਹੈ।
• ਉਤਪਾਦਨ ਵਿੱਚ ਪਰਿਵਰਤਨ ਇੱਕ go/no-go ਨਾਲ ਬੰਨ੍ਹਿਆ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ: ਸ਼ੁੱਧਤਾ, ਨਾਜ਼ੁਕ ਖੋਜ ਜ਼ੀਰੋ, ਲੋੜੀਂਦੀ ਨਿਗਰਾਨੀ।
• ਸੁਰੱਖਿਆ ਨਿਰੰਤਰ ਹੈ: ਰੈੱਡ ਟੀਮਿੰਗ ਅਤੇ ਰਿਗਰੈਸ਼ਨ ਟੈਸਟਿੰਗ ਹਰ ਤਬਦੀਲੀ ਨਾਲ ਦੁਹਰਾਈ ਜਾਂਦੀ ਹੈ।

ਐਪਲੀਕੇਸ਼ਨ ਦਾ ਕੰਮ

ਇੱਕ AI ਦੀ ਆਪਣੀ ਵਰਤੋਂ ਦੀ ਚੋਣ ਕਰੋ, ਪ੍ਰਭਾਵ ਦੇ ਅਧਾਰ ਤੇ ਜੋਖਮ ਦੇ ਪੱਧਰ ਨੂੰ ਨਿਰਧਾਰਤ ਕਰੋ, ਅਤੇ ਜਾਇਜ਼ਤਾ ਲਿਖੋ। ਫਿਰ ਉਸ ਵਰਤੋਂ ਲਈ ਘੱਟੋ-ਘੱਟ 10 ਹਮਲੇ ਦੇ ਦ੍ਰਿਸ਼ ਤਿਆਰ ਕਰੋ (ਜੇਲਬ੍ਰੇਕ, ਇੰਜੈਕਸ਼ਨ, ਡੇਟਾ ਐਕਸਫਿਲਟਰੇਸ਼ਨ) ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਹੱਥੀਂ ਅਜ਼ਮਾਓ। ਹਰੇਕ ਸਫਲ ਹਮਲੇ ਲਈ, ਇੱਕ ਫਿਕਸ ਪ੍ਰਸਤਾਵਿਤ ਕਰੋ। ਅੰਤ ਵਿੱਚ, ਇੱਕ ਮਾਡਲ ਕਾਰਡ ਪਿੰਜਰ ਭਰੋ ਅਤੇ ਕਾਰਨਾਂ ਦੇ ਨਾਲ "GO/NO-GO" ਦਾ ਫੈਸਲਾ ਕਰੋ।

ਚੈੱਕਲਿਸਟ

• [] ਮੈਂ ਪ੍ਰਭਾਵ ਦੇ ਅਨੁਸਾਰ ਜੋਖਮ ਦੇ ਪੱਧਰ ਦੇ ਅਨੁਸਾਰ ਵਰਤੋਂ ਨੂੰ ਸ਼੍ਰੇਣੀਬੱਧ ਕੀਤਾ ਹੈ।
• [ ] ਮੈਂ ਨਿਯੰਤਰਣ ਤੀਬਰਤਾ ਨੂੰ ਜੋਖਮ ਦੇ ਪੱਧਰ ਨਾਲ ਮੇਲ ਖਾਂਦਾ ਹਾਂ।
• [ ] ਮੈਂ ਇੱਕ ਲਾਲ ਟੀਮ ਹਮਲੇ ਦਾ ਸੈੱਟ ਤਿਆਰ ਕੀਤਾ ਅਤੇ ਇਸਨੂੰ ਯੋਜਨਾਬੱਧ ਤਰੀਕੇ ਨਾਲ ਅਜ਼ਮਾਇਆ।
• [ ] ਮੈਂ ਨਾਜ਼ੁਕ ਖੋਜਾਂ ਨੂੰ ਠੀਕ ਕੀਤਾ ਹੈ ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਰਿਗਰੈਸ਼ਨ ਟੈਸਟਿੰਗ ਨਾਲ ਪ੍ਰਮਾਣਿਤ ਕੀਤਾ ਹੈ।
• [ ] ਮੈਂ ਇੱਕ ਮਾਡਲ ਕਾਰਡ ਤਿਆਰ ਕੀਤਾ (ਉਦੇਸ਼, ਸੀਮਾ, ਪ੍ਰਦਰਸ਼ਨ, ਸੁਰੱਖਿਆ)।
• [ ] ਮੈਂ ਉਤਪਾਦਨ ਦੇ ਫੈਸਲੇ ਨੂੰ go/no-go ਨਾਲ ਜੋੜਿਆ ਹੈ।