ਲਾਭ:
- ਆਟੋਮੈਟਿਕ QA ਅਤੇ ਭਾਸ਼ਾਈ LQA ਪਰਤਾਂ ਵਿਚਕਾਰ ਫਰਕ ਕਰਨ ਦੀ ਸਮਰੱਥਾ ਅਤੇ ਦੋਵਾਂ ਨੂੰ ਸਹੀ ਕ੍ਰਮ ਵਿੱਚ ਲਾਗੂ ਕਰਨ ਦੀ ਸਮਰੱਥਾ
- ਇੱਕ ਗਲਤੀ ਫਰੇਮਵਰਕ ਜਿਵੇਂ ਕਿ MQM ਦੇ ਨਾਲ ਸ਼੍ਰੇਣੀ ਅਤੇ ਭਾਰ (ਨਾਜ਼ੁਕ/ਮੁੱਖ/ਮਾਮੂਲੀ) ਦੇ ਅਨੁਸਾਰ ਅਨੁਵਾਦ ਦਾ ਨਿਰਪੱਖਤਾ ਨਾਲ ਮੁਲਾਂਕਣ ਕਰਨ ਦੀ ਸਮਰੱਥਾ
- ਇੱਕ ਆਡੀਟਰ ਵਜੋਂ AI ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਸਮੇਂ ਅੰਤਮ ਫੈਸਲਾ ਲੈਣ ਦੇ ਯੋਗ ਹੋਣਾ, ਇਸਦੇ ਆਪਣੇ ਅਨੁਵਾਦ ਪ੍ਰਤੀ ਅੰਨ੍ਹੇਪਣ, ਗਲਤੀਆਂ ਕਰਨ ਦੇ ਜੋਖਮ, ਅਤੇ ਸਵੈਚਲਿਤ ਮੈਟ੍ਰਿਕਸ ਦੀਆਂ ਸੀਮਾਵਾਂ ਨੂੰ ਜਾਣਨਾ
ਜਿਸ ਪਲ ਤੁਸੀਂ ਕਹਿੰਦੇ ਹੋ ਕਿ ਅਨੁਵਾਦ "ਹੋ ਗਿਆ" ਹੈ, ਇਹ ਅੱਧਾ ਕੰਮ ਹੈ; ਦੂਜਾ ਅੱਧਾ ਇਹ ਸਾਬਤ ਕਰਨਾ ਹੈ ਕਿ ਉਹ ਅਨੁਵਾਦ ਅਸਲ ਵਿੱਚ ਭਰੋਸੇਯੋਗ ਹੈ। ਇਸ ਯੂਨਿਟ ਵਿੱਚ, ਤੁਸੀਂ ਅਨੁਵਾਦ ਦੀ ਗੁਣਵੱਤਾ ਨੂੰ ਮਾਪਣ ਦੇ ਵਿਵਸਥਿਤ ਤਰੀਕੇ ਸਿੱਖੋਗੇ: ਸਵੈਚਲਿਤ QA ਜਾਂਚ, ਮਨੁੱਖੀ-ਅਧਾਰਿਤ LQA ਗਲਤੀ ਫਰੇਮਵਰਕ, ਗੁਣਵੱਤਾ ਮੈਟ੍ਰਿਕਸ, ਅਤੇ ਇੱਕ "ਇੰਸਪੈਕਟਰ" ਵਜੋਂ AI ਦੀ ਵਰਤੋਂ ਕਿਵੇਂ ਕਰੀਏ — ਅਤੇ ਇਸ ਦੀਆਂ ਸੀਮਾਵਾਂ। ਉਦੇਸ਼ "ਮੈਨੂੰ ਲਗਦਾ ਹੈ ਕਿ ਇਹ ਚੰਗਾ ਹੈ" ਦੀ ਵਿਸ਼ਾ-ਵਸਤੂ ਤੋਂ ਦੂਰ ਜਾਣਾ ਅਤੇ ਇੱਕ ਮਾਹਰ ਬਣਨਾ ਹੈ ਜੋ ਗੁਣਵੱਤਾ ਨੂੰ ਪਰਿਭਾਸ਼ਿਤ ਕਰਦਾ ਹੈ, ਮਾਪਦਾ ਹੈ ਅਤੇ ਸਾਬਤ ਕਰਦਾ ਹੈ।
ਗੁਣਵੱਤਾ ਨਿਯੰਤਰਣ ਦੀਆਂ ਦੋ ਕਿਸਮਾਂ: ਆਟੋਮੈਟਿਕ ਅਤੇ ਭਾਸ਼ਾਈ
QA (ਗੁਣਵੱਤਾ ਭਰੋਸਾ) ਅਨੁਵਾਦ ਵਿੱਚ ਦੋ ਪਰਤਾਂ ਵਿੱਚ ਕੰਮ ਕਰਦਾ ਹੈ:
ਸਵੈਚਲਿਤ QA: ਸ਼ੈਲੀਗਤ ਤਰੁੱਟੀਆਂ ਜੋ CAT ਟੂਲ ਅਤੇ ਸਕ੍ਰਿਪਟਾਂ ਨੂੰ ਫੜਦੀਆਂ ਹਨ — ਨੰਬਰ ਬੇਮੇਲ, ਗੁੰਮ/ਵੱਧ ਸਪੇਸ, ਅਸੰਗਤ ਸ਼ਬਦ, ਅਣਅਨੁਵਾਦਿਤ ਖੰਡ, ਖਰਾਬ ਪਲੇਸਹੋਲਡਰ/ਟੈਗ, ਡਬਲ ਸਪੇਸ, ਵਿਰਾਮ ਚਿੰਨ੍ਹ। ਇਹ ਮਸ਼ੀਨ ਦੁਆਰਾ ਤੇਜ਼ੀ ਨਾਲ ਅਤੇ ਪੂਰੀ ਤਰ੍ਹਾਂ ਸਕੈਨ ਕੀਤੇ ਜਾਂਦੇ ਹਨ; ਇਹ ਮਨੁੱਖੀ ਅੱਖ ਤੋਂ ਬਚ ਜਾਂਦਾ ਹੈ, ਪਰ ਵਾਹਨ ਇਸ ਨੂੰ ਫੜ ਲੈਂਦਾ ਹੈ।
LQA (ਭਾਸ਼ਾਈ ਗੁਣਵੱਤਾ ਭਰੋਸਾ): ਇਹ ਉਹ ਪਰਤ ਹੈ ਜਿੱਥੇ ਇੱਕ ਮਨੁੱਖੀ ਮੁਲਾਂਕਣਕਰਤਾ ਅਰਥ, ਸ਼ਬਦਾਵਲੀ, ਸ਼ੈਲੀ, ਵਿਆਕਰਣ ਅਤੇ ਸਥਾਨਕ ਅਨੁਕੂਲਤਾ ਦੀ ਜਾਂਚ ਕਰਦਾ ਹੈ। ਸਵੈਚਲਿਤ QA "ਕੀ ਨੰਬਰ ਮੇਲ ਖਾਂਦਾ ਹੈ?" ਸਵਾਲ ਨੂੰ ਵੇਖਦਾ ਹੈ; LQA "ਕੀ ਮਤਲਬ ਸਹੀ ਹੈ, ਕੀ ਟੋਨ ਢੁਕਵਾਂ ਹੈ, ਕੀ ਇਹ ਸੱਭਿਆਚਾਰਕ ਤੌਰ 'ਤੇ ਢੁਕਵਾਂ ਹੈ?" ਉਹ ਸਵਾਲ ਵੱਲ ਦੇਖਦਾ ਹੈ। ਦੋਵੇਂ ਇੱਕ ਦੂਜੇ ਦੇ ਪੂਰਕ ਹਨ; ਇੱਕ ਦੂਜੇ ਦੀ ਥਾਂ ਨਹੀਂ ਲੈਂਦਾ।
ਸੰਕੇਤ: ਹਮੇਸ਼ਾ ਪਹਿਲਾਂ ਆਟੋ QA ਚਲਾਓ; ਰਸਮੀ ਗਲਤੀਆਂ ਨੂੰ ਸਾਫ਼ ਕਰਨਾ ਮਨੁੱਖੀ ਮੁਲਾਂਕਣਕਰਤਾ ਨੂੰ ਅਸਲ ਭਾਸ਼ਾਈ ਸਮੱਸਿਆਵਾਂ ਵੱਲ ਧਿਆਨ ਦੇਣ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ। ਇੱਕ ਸਮੀਖਿਅਕ ਜੋ ਨੰਬਰ ਦੀ ਗਲਤੀ ਨਾਲ ਪਰੇਸ਼ਾਨ ਹੈ, ਟੋਨ ਗਲਤੀ ਨੂੰ ਖੁੰਝ ਜਾਵੇਗਾ।
ਗਲਤੀ ਫਰੇਮ: MQM ਅਤੇ DQF
ਮਿਆਰੀ ਗਲਤੀ ਟਾਈਪੋਲੋਜੀ ਦੀ ਵਰਤੋਂ "ਚੰਗੇ/ਮਾੜੇ" ਦੀ ਬਜਾਏ ਗੁਣਵੱਤਾ ਨੂੰ ਮਾਪਣਯੋਗ ਬਣਾਉਣ ਲਈ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। ਸਭ ਤੋਂ ਆਮ MQM (ਬਹੁ-ਆਯਾਮੀ ਗੁਣਵੱਤਾ ਮੈਟ੍ਰਿਕਸ) ਹੈ: ਇਹ ਹਰੇਕ ਗਲਤੀ ਨੂੰ ਇੱਕ ਸ਼੍ਰੇਣੀ (ਸ਼ੁੱਧਤਾ, ਰਵਾਨਗੀ, ਸ਼ਬਦਾਵਲੀ, ਸ਼ੈਲੀ, ਸਥਾਨ, ਫਾਰਮੈਟ) ਅਤੇ ਇੱਕ ਭਾਰ (ਨਾਜ਼ੁਕ, ਵੱਡਾ, ਮਾਮੂਲੀ) ਨਿਰਧਾਰਤ ਕਰਦਾ ਹੈ। ਇੱਕ ਹੋਰ ਫਰੇਮਵਰਕ DQF (ਡਾਇਨਾਮਿਕ ਕੁਆਲਿਟੀ ਫਰੇਮਵਰਕ) ਹੈ ਅਤੇ MQM ਦੇ ਨਾਲ ਮਿਲ ਕੇ ਜ਼ਿਕਰ ਕੀਤਾ ਗਿਆ ਹੈ।
ਇਹ ਮਹੱਤਵਪੂਰਨ ਕਿਉਂ ਹੈ? ਕਿਉਂਕਿ ਇਸ ਫਰੇਮਵਰਕ ਦੇ ਨਾਲ, ਤੁਸੀਂ ਇੱਕ ਅਨੁਵਾਦ ਨੂੰ ਇੱਕ ਗਲਤੀ ਸਕੋਰ ਦੇ ਸਕਦੇ ਹੋ, ਵੱਖ-ਵੱਖ ਅਨੁਵਾਦਕਾਂ/ਇੰਜਣਾਂ ਦੀ ਨਿਰਪੱਖਤਾ ਨਾਲ ਤੁਲਨਾ ਕਰ ਸਕਦੇ ਹੋ ਅਤੇ ਪੁੱਛ ਸਕਦੇ ਹੋ ਕਿ "ਕੀ ਇਹ ਟੈਕਸਟ ਡਿਲੀਵਰ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ?" ਤੁਸੀਂ ਇੱਕ ਸੰਖਿਆਤਮਕ ਥ੍ਰੈਸ਼ਹੋਲਡ ਨਾਲ ਸਵਾਲ ਦਾ ਜਵਾਬ ਦਿੰਦੇ ਹੋ। ਉਦਾਹਰਨ ਲਈ: ਨਾਜ਼ੁਕ ਗਲਤੀ = 10 ਅੰਕ, ਵੱਡੇ = 5, ਮਾਮੂਲੀ = 1; ਇੱਕ ਨਿਸ਼ਚਿਤ ਥ੍ਰੈਸ਼ਹੋਲਡ ਤੋਂ ਹੇਠਾਂ ਦਾ ਟੈਕਸਟ ਪ੍ਰਤੀ ਨਿਸ਼ਚਿਤ ਸ਼ਬਦ ਪਾਸ ਕਰਦਾ ਹੈ।
ਗੰਭੀਰ ਗਲਤੀ: ਗਲਤੀ ਜੋ ਅਰਥ ਨੂੰ ਉਲਟਾਉਂਦੀ ਹੈ, ਸੁਰੱਖਿਆ/ਕਾਨੂੰਨੀ ਜੋਖਮ ਪੈਦਾ ਕਰਦੀ ਹੈ, ਬ੍ਰਾਂਡ ਨੂੰ ਨੁਕਸਾਨ ਪਹੁੰਚਾਉਂਦੀ ਹੈ (ਗਲਤ ਖੁਰਾਕ, "ਜ਼ਿੰਮੇਵਾਰ" ਦੀ ਬਜਾਏ "ਜ਼ਿੰਮੇਵਾਰ ਨਹੀਂ")। ਮੇਜਰ: ਵਿਘਨਕਾਰੀ ਪਰ ਨੁਕਸਾਨਦੇਹ। ਮਾਮੂਲੀ: ਧਿਆਨ ਦੇਣ ਯੋਗ ਪਰ ਅਰਥ ਤੋਂ ਵਿਗੜਨ ਵਾਲਾ ਨਹੀਂ (ਮਾਮੂਲੀ ਸ਼ੈਲੀ/ਵਿਰਾਮ ਚਿੰਨ੍ਹ)।
AI ਨੂੰ ਇੱਕ ਕੰਟਰੋਲਰ ਵਜੋਂ ਵਰਤਣਾ — ਅਤੇ ਇਸ ਦੀਆਂ ਸੀਮਾਵਾਂ
AI ਤਰੁਟੀ ਫਰੇਮਵਰਕ ਦੇ ਵਿਰੁੱਧ ਅਨੁਵਾਦ ਦੀ ਜਾਂਚ ਕਰਨ ਵਿੱਚ ਤੇਜ਼ ਅਤੇ ਮਦਦਗਾਰ ਹੈ: ਤੁਸੀਂ "MQM ਸ਼੍ਰੇਣੀਆਂ ਦੇ ਨਾਲ ਇਸ ਅਨੁਵਾਦ ਵਿੱਚ ਸ਼ੁੱਧਤਾ, ਸ਼ਬਦਾਵਲੀ, ਤਰਤੀਬ ਦੀਆਂ ਗਲਤੀਆਂ ਨੂੰ ਨਿਸ਼ਾਨਬੱਧ ਕਰੋ" ਕਹਿ ਸਕਦੇ ਹੋ। ਇਹ ਤੁਹਾਡੇ ਅੰਨ੍ਹੇ ਧੱਬਿਆਂ ਨੂੰ ਘਟਾਉਂਦਾ ਹੈ ਅਤੇ ਤੁਹਾਨੂੰ ਇੱਕ ਤੇਜ਼ "ਦੂਜੀ ਅੱਖ" ਦਿੰਦਾ ਹੈ।
ਪਰ ਇੱਥੇ ਤਿੰਨ ਨਾਜ਼ੁਕ ਸੀਮਾਵਾਂ ਹਨ: (1) AI ਅੰਨ੍ਹਾ ਹੋ ਸਕਦਾ ਹੈ ਜਦੋਂ ਇਸ ਦੁਆਰਾ ਕੀਤੇ ਅਨੁਵਾਦ ਦੀ ਜਾਂਚ ਕੀਤੀ ਜਾਂਦੀ ਹੈ - ਇੱਕੋ ਗਲਤੀ ਬਣਾਉਣਾ ਅਤੇ ਪੁਸ਼ਟੀ ਕਰਨਾ ਦੋਵੇਂ; ਕਿਸੇ ਵੱਖਰੇ ਮਾਡਲ ਨਾਲ ਕਰਾਸ-ਚੈੱਕ ਕਰੋ ਜਾਂ ਸਰੋਤ 'ਤੇ ਵਾਪਸ ਜਾਓ। (2) AI ਭੁਲੇਖੇ ਵਾਲੀਆਂ "ਗਲਤੀਆਂ" ਵੀ ਬਣਾ ਸਕਦਾ ਹੈ - ਅਜਿਹੀ ਗਲਤੀ ਦੀ ਰਿਪੋਰਟ ਕਰੋ ਜੋ ਮੌਜੂਦ ਨਹੀਂ ਹੈ; ਹਰੇਕ ਚੇਤਾਵਨੀ ਦੀ ਪੁਸ਼ਟੀ ਕਰੋ। (3) AI ਇੱਕ ਗੰਭੀਰ ਗਲਤੀ ਦੀ ਅਸਲ-ਸੰਸਾਰ ਗੰਭੀਰਤਾ ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਨਹੀਂ ਸਮਝ ਸਕਦਾ (ਇੱਕ ਖੁਰਾਕ ਦੀ ਗਲਤੀ ਘਾਤਕ ਹੋ ਸਕਦੀ ਹੈ); ਮਾਹਿਰ ਵਜ਼ਨ ਕਰਦਾ ਹੈ। ਇਸ ਲਈ AI QA ਨੂੰ ਤੇਜ਼ ਕਰਦਾ ਹੈ, ਪਰ ਅੰਤਮ ਗੁਣਵੱਤਾ ਦਾ ਫੈਸਲਾ ਅਤੇ ਸਪੁਰਦਗੀ ਦੀ ਪ੍ਰਵਾਨਗੀ ਮਨੁੱਖ ਦੇ ਨਾਲ ਹੈ।
ਸਾਵਧਾਨ: "AI ਨੇ QA ਪਾਸ ਕੀਤਾ ਹੈ, ਇਹ ਸਾਫ਼ ਹੈ" ਕਹਿਣਾ ਵਿਸ਼ਵਾਸ ਦੀ ਇੱਕ ਗਲਤ ਭਾਵਨਾ ਹੈ। AI ਆਡਿਟਿੰਗ ਮਨੁੱਖੀ LQA ਦਾ ਬਦਲ ਨਹੀਂ ਹੈ ਅਤੇ ਸਰੋਤ ਨਾਲ ਤੁਲਨਾ ਹੈ; ਇਹ ਇੱਕ ਪ੍ਰੀ-ਸਕ੍ਰੀਨਿੰਗ ਲੇਅਰ ਹੈ ਜੋ ਉਹਨਾਂ ਨੂੰ ਗਤੀ ਤੱਕ ਲੈ ਜਾਂਦੀ ਹੈ।
ਤਿੰਨ ਛੋਟੇ ਕੇਸ
ਕੇਸ 1 — ਸਵੈਚਲਿਤ QA ਨੂੰ 40 ਨੰਬਰ ਤਰੁੱਟੀਆਂ ਮਿਲੀਆਂ। ਇੱਕ ਵਿੱਤੀ ਰਿਪੋਰਟ ਦੇ ਅਨੁਵਾਦ ਵਿੱਚ, ਸਵੈਚਲਿਤ QA ਨੇ ਸਰੋਤ ਅਤੇ ਟੀਚੇ (ਹਜ਼ਾਰ ਵਿਭਾਜਕ, ਦਸ਼ਮਲਵ, ਮੁਦਰਾ) ਦੇ ਵਿਚਕਾਰ 40 ਨੰਬਰ/ਫਾਰਮੈਟ ਦੀ ਬੇਮੇਲਤਾ ਫੜੀ। ਮਨੁੱਖੀ ਅੱਖ ਇਹਨਾਂ ਵਿੱਚੋਂ ਜ਼ਿਆਦਾਤਰ ਨੂੰ ਗੁਆ ਦੇਵੇਗੀ; ਵਾਹਨ ਸਕਿੰਟਾਂ ਵਿੱਚ ਸੂਚੀਬੱਧ.
ਕੇਸ 2 — MQM ਸਕੋਰ ਨੇ ਇੰਜਣ ਦੀ ਚੋਣ ਕੀਤੀ। ਇੱਕ ਬਿਊਰੋ MQM- ਨੇ ਦੋ ਵੱਖ-ਵੱਖ MT ਇੰਜਣਾਂ ਦੇ ਆਉਟਪੁੱਟ ਨੂੰ 2,000 ਸ਼ਬਦਾਂ 'ਤੇ ਦਰਜਾ ਦਿੱਤਾ: ਇੰਜਣ A 12 ਗਲਤੀ ਪੁਆਇੰਟ, ਇੰਜਣ B 31। ਉਦੇਸ਼ ਮਾਪ ਨੇ ਸਕੋਰ ਦੇ ਨਾਲ "ਕੌਣ ਬਿਹਤਰ ਹੈ" ਬਹਿਸ ਦਾ ਨਿਪਟਾਰਾ ਕੀਤਾ; ਬਿਊਰੋ ਨੇ ਇੰਜਣ A ਨੂੰ ਮਿਆਰੀ ਬਣਾਇਆ ਅਤੇ ਉਸ ਅਨੁਸਾਰ ਆਪਣੇ ਸੰਸ਼ੋਧਨ ਤੋਂ ਬਾਅਦ ਦੇ ਬਜਟ ਦੀ ਯੋਜਨਾ ਬਣਾਈ।
ਕੇਸ 3 - ਏਆਈ ਆਡਿਟ ਆਪਣੀ ਗਲਤੀ ਤੋਂ ਖੁੰਝ ਗਿਆ। ਇੱਕ ਅਨੁਵਾਦਕ ਕੋਲ LLM ਦੇ ਅਨੁਵਾਦ ਦੀ ਨਿਗਰਾਨੀ ਉਸੇ LLM ਦੁਆਰਾ ਕੀਤੀ ਗਈ ਸੀ; ਮਾਡਲ ਨੇ ਕਿਹਾ "ਕੋਈ ਸਮੱਸਿਆ ਨਹੀਂ", ਇੱਕ ਸ਼ਬਦਾਵਲੀ ਦੀ ਗਲਤੀ ਉਸਨੇ ਆਪਣੇ ਆਪ ਕੀਤੀ। ਗਲਤੀ ਉਦੋਂ ਪ੍ਰਗਟ ਹੋਈ ਜਦੋਂ ਅਨੁਵਾਦਕ ਨੇ ਇੱਕ ਵੱਖਰੇ ਮਾਡਲ ਅਤੇ ਸਰੋਤ ਨਾਲ ਕਰਾਸ-ਚੈੱਕ ਕੀਤਾ; ਟੀਮ ਨੇ ਨਿਯਮ ਅਪਣਾਇਆ ਕਿ "ਉਹੀ ਮਾਡਲ ਆਪਣੇ ਆਪ 'ਤੇ ਕਾਬੂ ਨਹੀਂ ਰੱਖਣਾ ਚਾਹੀਦਾ"।
ਚਾਰ ਕਾਪੀ ਕਰਨ ਯੋਗ ਟੈਂਪਲੇਟ
1) MQM ਅਧਾਰਤ ਗਲਤੀ ਜਾਂਚ:
ਤੁਹਾਡੀ ਭੂਮਿਕਾ: LQA ਮੁਲਾਂਕਣਕਰਤਾ। ਹੇਠਾਂ ਦਿੱਤੇ ਸਰੋਤ ਅਤੇ ਅਨੁਵਾਦ ਦੀ ਤੁਲਨਾ ਕਰੋ। ਹਰ ਇੱਕ ਗਲਤੀ ਜੋ ਤੁਸੀਂ ਹੇਠਾਂ ਦਿੱਤੇ ਫਾਰਮੈਟ ਵਿੱਚ ਲੱਭਦੇ ਹੋ ਪ੍ਰਦਾਨ ਕਰੋ: [ਸ਼੍ਰੇਣੀ: ਸ਼ੁੱਧਤਾ/ਸ਼ਬਦ-ਵਿਗਿਆਨ/ਪ੍ਰਵਾਹ/ਸ਼ੈਲੀ/ਫਾਰਮੈਟ][ਵਜ਼ਨ: ਨਾਜ਼ੁਕ/ਮੁੱਖ/ਮਾਮੂਲੀ] [ਸਥਾਨ] [ਟਿੱਪਣੀ] [ਸੁਧਾਰ]। ਉਸ ਚੇਤਾਵਨੀ 'ਤੇ ਨਿਸ਼ਾਨ ਲਗਾਓ ਜਿਸ ਬਾਰੇ ਤੁਸੀਂ ਯਕੀਨੀ ਨਹੀਂ ਹੋ "ਪੁਸ਼ਟੀ ਦੀ ਲੋੜ ਹੈ"; errorfabrication.Source: [...] | ਅਨੁਵਾਦ: [...]
2) ਗੰਭੀਰ ਗਲਤੀ ਸਕੈਨਿੰਗ (ਉੱਚ ਜੋਖਮ):
ਸਿਰਫ਼ ਹੇਠਾਂ ਦਿੱਤੇ ਅਨੁਵਾਦ ਵਿੱਚ ਗੰਭੀਰ ਤਰੁਟੀਆਂ ਲੱਭੋ: ਮਤਲਬ ਉਲਟਾ, ਸੰਖਿਆ/ਖੁਰਾਕ/ਤਾਰੀਖ ਗਲਤੀ, ਨਕਾਰਾਤਮਕ ਘਾਟਾ, ਕਾਨੂੰਨੀ ਜ਼ਿੰਮੇਵਾਰੀ ਦਾ ਬਦਲ, ਸੁਰੱਖਿਆ ਚੇਤਾਵਨੀ ਗਲਤੀ। ਮਾਮੂਲੀ ਸਟਾਈਲਿੰਗ ਮੁੱਦਿਆਂ ਨੂੰ ਨਜ਼ਰਅੰਦਾਜ਼ ਕਰੋ। ਹਰੇਕ ਨਾਜ਼ੁਕ ਖੋਜ ਲਈ ਸਰੋਤ ਦਾ ਹਵਾਲਾ ਦਿਓ। ਸਰੋਤ: [...] | ਅਨੁਵਾਦ: [...]
3) ਆਟੋਮੈਟਿਕ QA ਪੂਰਕ ਨਿਯੰਤਰਣ:
ਨਿਮਨਲਿਖਤ ਸਰੋਤ-ਨਿਸ਼ਾਨਾ ਜੋੜਿਆਂ ਵਿੱਚ ਰਸਮੀ ਅਸੰਗਤਤਾਵਾਂ ਦੀ ਸੂਚੀ ਬਣਾਓ: ਨੰਬਰ ਬੇਮੇਲ, ਗੁੰਮ/ਵਾਧੂ ਪਲੇਸਹੋਲਡਰ ਜਾਂ ਟੈਗ, ਅਸੰਗਤ ਸ਼ਬਦ, ਅਣਅਨੁਵਾਦਿਤ ਖੰਡ, ਇਕਾਈ/ਮੁਦਰਾ ਅੰਤਰ। ਬਸ ਉਹਨਾਂ ਦੇ ਟਿਕਾਣੇ ਨਾਲ ਸਮੱਸਿਆਵਾਂ ਦਿਓ. ਜੋੜੇ: [...]
4) ਸੁਤੰਤਰ ਦੂਜੀ ਅੱਖ (ਕਰਾਸ-ਚੈੱਕ):
ਬਿਨਾਂ ਪੱਖਪਾਤ ਦੇ ਇਸ ਅਨੁਵਾਦ ਦਾ ਮੁਲਾਂਕਣ ਕਰੋ; ਇਹ ਨਾ ਸੋਚੋ ਕਿ ਤੁਸੀਂ ਇਹ ਲਿਖਿਆ ਹੈ। ਵਫ਼ਾਦਾਰੀ, ਸ਼ਬਦਾਵਲੀ ਅਤੇ ਸੁਭਾਵਿਕਤਾ ਲਈ ਸਰੋਤ ਨੂੰ ਗੁਣਵੱਤਾ ਰੇਟਿੰਗ (1-5) ਦਿਓ, ਅਤੇ ਚੋਟੀ ਦੀਆਂ 3 ਸਮੱਸਿਆਵਾਂ ਦੀ ਸੂਚੀ ਬਣਾਓ। ਇਹ ਫੈਸਲਾ ਕਰਨਾ ਮੇਰੇ 'ਤੇ ਨਿਰਭਰ ਕਰਦਾ ਹੈ। ਸਰੋਤ: [...] | ਅਨੁਵਾਦ: [...]
ਕਮਜ਼ੋਰ ਪ੍ਰੋਂਪਟ / ਮਜ਼ਬੂਤ ਪ੍ਰੋਂਪਟ
ਕਮਜ਼ੋਰ: "ਕੀ ਇਹ ਅਨੁਵਾਦ ਚੰਗਾ ਹੈ?" (ਕੋਈ ਮਾਪਦੰਡ ਨਹੀਂ; AI ਇੱਕ ਬੇਕਾਰ ਜਵਾਬ ਦਿੰਦਾ ਹੈ ਜਿਵੇਂ "ਆਮ ਤੌਰ 'ਤੇ ਚੰਗਾ।")
ਮਜ਼ਬੂਤ: "ਸਰੋਤ ਦੇ ਵਿਰੁੱਧ ਇਸ ਅਨੁਵਾਦ ਦੀ ਜਾਂਚ ਕਰੋ। ਹਰੇਕ ਗਲਤੀ ਨੂੰ ਸ਼੍ਰੇਣੀ (ਸ਼ੁੱਧਤਾ/ਸ਼ਬਦ-ਵਿਗਿਆਨ/ਪ੍ਰਵਾਹ) ਅਤੇ ਗੰਭੀਰਤਾ (ਨਾਜ਼ੁਕ/ਮੁੱਖ/ਮਾਮੂਲੀ) ਨਾਲ ਲੇਬਲ ਕਰੋ। ਵਿਸ਼ੇਸ਼ ਤੌਰ 'ਤੇ ਸੰਖਿਆ, ਨਕਾਰਾਤਮਕ, ਅਤੇ ਸ਼ਬਦਾਵਲੀ ਦੀਆਂ ਗਲਤੀਆਂ 'ਤੇ ਧਿਆਨ ਦਿਓ। ਗਲਤੀਆਂ ਨਾ ਬਣਾਓ; ਜੇਕਰ ਤੁਹਾਨੂੰ ਯਕੀਨ ਨਹੀਂ ਹੈ ਤਾਂ 'ਪੁਸ਼ਟੀ ਦੀ ਲੋੜ' 'ਤੇ ਨਿਸ਼ਾਨ ਲਗਾਓ।"
ਅੰਤਰ: ਮਜ਼ਬੂਤ ਪ੍ਰੋਂਪਟ ਇੱਕ ਗਲਤੀ ਫਰੇਮ ਅਤੇ ਫੋਕਸ ਦਿੰਦਾ ਹੈ; ਆਉਟਪੁੱਟ ਇੱਕ ਤੁਲਨਾਤਮਕ ਅਤੇ ਕਾਰਵਾਈਯੋਗ ਗੁਣਵੱਤਾ ਰਿਪੋਰਟ ਹੈ।
ਗੁਣਵੱਤਾ ਲੇਅਰ ਟੇਬਲ
ਪਰਤ
ਕੀ ਫੜਦਾ ਹੈ
ਕੌਣ/ਕੀ ਕਰਦਾ ਹੈ
ਆਟੋ QA
ਸੰਖਿਆ, ਲੇਬਲ, ਇਕਸਾਰਤਾ
ਟੂਲ/ਸਕ੍ਰਿਪਟ
AI ਨਿਯੰਤਰਣ
ਸੰਭਾਵੀ ਅਰਥ/ਸ਼ਬਦ-ਵਿਗਿਆਨ ਦੀਆਂ ਗਲਤੀਆਂ
LLM (ਪੁਸ਼ਟੀ ਨਾਲ)
ਮਨੁੱਖੀ LQA
ਅਰਥ, ਸੁਰ, ਸੱਭਿਆਚਾਰ, ਵਜ਼ਨ
ਮਾਹਰ ਮੁਲਾਂਕਣਕਰਤਾ
MQM/DQF ਸਕੋਰ
ਉਦੇਸ਼ ਗਲਤੀ ਸਕੋਰ
ਫਰੇਮ ਨਾਲ ਮਨੁੱਖ
ਡਿਲਿਵਰੀ ਪੁਸ਼ਟੀ
ਅੰਤਮ ਜ਼ਿੰਮੇਵਾਰੀ
ਸਮਰੱਥ ਅਨੁਵਾਦਕ
ਆਮ ਗਲਤੀਆਂ
- ਸਵੈਚਲਿਤ QA ਨੂੰ ਛੱਡਣਾ ਅਤੇ ਸਿੱਧਾ ਪੜ੍ਹਨ ਵਿੱਚ ਜਾਣਾ। ਸ਼ੈਲੀ ਸੰਬੰਧੀ ਗਲਤੀਆਂ ਧਿਆਨ ਭਟਕਾਉਂਦੀਆਂ ਹਨ।
- AI ਨਿਰੀਖਣ ਨੂੰ ਮਨੁੱਖੀ LQA ਨਾਲ ਬਦਲਣਾ। AI ਪ੍ਰੀ-ਸਕ੍ਰੀਨ, ਮਨਜ਼ੂਰ ਨਹੀਂ ਕਰਦਾ।
- ਇੱਕੋ ਮਾਡਲ ਹੋਣ ਨਾਲ ਇਸਦੇ ਆਪਣੇ ਅਨੁਵਾਦ ਦੀ ਜਾਂਚ ਕਰੋ। ਅੰਨ੍ਹੇ ਸਥਾਨ; ਕਰਾਸ ਜਾਂਚ ਦੀ ਲੋੜ ਹੈ।
- ਵਜ਼ਨ ਦੀਆਂ ਗਲਤੀਆਂ ਨਹੀਂ। ਨਾਜ਼ੁਕ ਅਤੇ ਮਾਮੂਲੀ ਨੂੰ ਇੱਕੋ ਜਿਹਾ ਦੇਖਣਾ ਤਰਜੀਹ ਨੂੰ ਵਿਗਾੜਦਾ ਹੈ।
- AI ਦੁਆਰਾ ਉਹਨਾਂ ਦੀ ਪੁਸ਼ਟੀ ਕੀਤੇ ਬਿਨਾਂ ਕੀਤੀਆਂ "ਗਲਤੀਆਂ" ਨੂੰ ਠੀਕ ਕਰਨਾ। ਤੁਸੀਂ ਸਹੀ ਵਾਕ ਨੂੰ ਵਿਗਾੜ ਸਕਦੇ ਹੋ।
ਆਟੋਮੈਟਿਕ ਮੈਟ੍ਰਿਕਸ: BLEU, COMET ਅਤੇ ਸੀਮਾਵਾਂ
ਗੁਣਵੱਤਾ ਮਾਪ ਵਿੱਚ ਆਟੋਮੇਟਿਡ ਮੈਟ੍ਰਿਕਸ ਦੀ ਇੱਕ ਦੁਨੀਆ ਵੀ ਹੈ. BLEU (ਬਾਈਲਿੰਗੁਅਲ ਇਵੈਲੂਏਸ਼ਨ ਅੰਡਰਸਟੱਡੀ) ਮਸ਼ੀਨ ਅਨੁਵਾਦ ਦੀ ਤੁਲਨਾ ਮਨੁੱਖੀ ਸੰਦਰਭ ਅਨੁਵਾਦ ਨਾਲ ਕਰਦਾ ਹੈ ਅਤੇ ਸ਼ਬਦ ਓਵਰਲੈਪ ਦੇ ਆਧਾਰ 'ਤੇ 0-100 ਦਾ ਸਕੋਰ ਦਿੰਦਾ ਹੈ; ਇਹ ਲੰਬੇ ਸਮੇਂ ਲਈ MT ਪ੍ਰਣਾਲੀਆਂ ਦੀ ਤੁਲਨਾ ਕਰਨ ਲਈ ਮਿਆਰੀ ਸੀ। ਇੱਕ ਨਵਾਂ ਮੀਟ੍ਰਿਕ, COMET, ਨਿਊਰਲ ਨੈੱਟਵਰਕ ਅਧਾਰਤ ਹੈ ਅਤੇ BLEU ਨਾਲੋਂ ਬਿਹਤਰ ਅਰਥ-ਵਿਗਿਆਨਕ ਸਮਾਨਤਾ ਹਾਸਲ ਕਰਦਾ ਹੈ। ਇਹ ਮੈਟ੍ਰਿਕਸ ਵੱਡੇ ਡੇਟਾ 'ਤੇ ਦੋ ਇੰਜਣਾਂ ਦੀ ਤੇਜ਼ੀ ਅਤੇ ਆਟੋਮੈਟਿਕ ਤੁਲਨਾ ਕਰਨ ਲਈ ਕੀਮਤੀ ਹਨ।
ਪਰ ਇਸ ਦੀਆਂ ਸੀਮਾਵਾਂ ਸਪੱਸ਼ਟ ਹਨ: BLEU ਵਰਗੇ ਮੈਟ੍ਰਿਕਸ ਸ਼ਬਦ ਓਵਰਲੈਪ ਨੂੰ ਦੇਖਦੇ ਹਨ, ਅਸਲ ਵਿੱਚ ਅਰਥ ਨਹੀਂ ਸਮਝਦੇ. ਇੱਕ ਅਨੁਵਾਦ ਜੋ ਸੰਦਰਭ ਤੋਂ ਵੱਖਰਾ ਹੈ ਪਰ ਸਹੀ ਹੈ, ਘੱਟ ਸਕੋਰ ਪ੍ਰਾਪਤ ਕਰ ਸਕਦਾ ਹੈ; ਇੱਕ ਅਨੁਵਾਦ ਜੋ ਸੰਦਰਭ ਦੇ ਸਮਾਨ ਹੈ ਪਰ ਗਲਤ ਹੈ ਇੱਕ ਉੱਚ ਸਕੋਰ ਪ੍ਰਾਪਤ ਕਰ ਸਕਦਾ ਹੈ। ਇੱਕ ਗੰਭੀਰ ਨਕਾਰਾਤਮਕਤਾ ਗਲਤੀ ਇੱਕ ਇੱਕਲਾ ਸ਼ਬਦ ਹੈ ਇਸਲਈ ਇਸਦਾ ਮੈਟ੍ਰਿਕ 'ਤੇ ਬਹੁਤ ਘੱਟ ਪ੍ਰਭਾਵ ਪੈਂਦਾ ਹੈ, ਪਰ ਅਸਲ ਵਿੱਚ ਘਾਤਕ ਹੈ। ਇਸ ਲਈ ਆਟੋਮੇਟਿਡ ਮੈਟ੍ਰਿਕਸ ਸਿਸਟਮ ਪੱਧਰ 'ਤੇ ਰੁਝਾਨਾਂ ਨੂੰ ਮਾਪਦੇ ਹਨ, ਨਾ ਕਿ ਕਿਸੇ ਵਿਅਕਤੀਗਤ ਟੈਕਸਟ ਦੀ ਡਿਲਿਵਰੀਯੋਗਤਾ ਦਾ ਫੈਸਲਾ ਕਰਦੇ ਹਨ। MQM-ਅਧਾਰਿਤ ਮਨੁੱਖੀ ਮੁਲਾਂਕਣ ਅਤੇ ਮਾਹਰ ਨਿਰਣਾ ਇਹ ਫੈਸਲਾ ਕਰਦੇ ਹਨ ਕਿ ਕੀ ਅਨੁਵਾਦ ਕਲਾਇੰਟ ਨੂੰ ਜਾਂਦਾ ਹੈ, ਆਟੋਮੈਟਿਕ ਸਕੋਰ ਨਹੀਂ। ਮੈਟ੍ਰਿਕਸ ਨੂੰ ਕੰਪਾਸ ਵਜੋਂ ਵਰਤੋ, ਜੱਜ ਨਹੀਂ।
ਸਾਰੰਸ਼ ਵਿੱਚ
ਅਨੁਵਾਦ ਦੀ ਗੁਣਵੱਤਾ ਇੱਕ ਵਿਅਕਤੀਗਤ ਭਾਵਨਾ ਨਹੀਂ ਹੈ, ਇਹ ਮਾਪਣਯੋਗ ਚੀਜ਼ ਹੈ। ਆਟੋਮੈਟਿਕ QA ਰਸਮੀ ਤਰੁੱਟੀਆਂ ਲਈ ਚੰਗੀ ਤਰ੍ਹਾਂ ਸਕੈਨ ਕਰਦਾ ਹੈ; ਮਨੁੱਖੀ LQA ਅਰਥ, ਟੋਨ, ਅਤੇ ਸੱਭਿਆਚਾਰ ਦਾ ਮੁਲਾਂਕਣ ਕਰਦਾ ਹੈ; ਗਲਤੀ ਫਰੇਮਵਰਕ ਜਿਵੇਂ ਕਿ MQM ਸ਼੍ਰੇਣੀ ਅਤੇ ਭਾਰ ਦੁਆਰਾ ਗੁਣਵੱਤਾ ਨੂੰ ਮਾਪਦਾ ਹੈ, ਉਦੇਸ਼ ਤੁਲਨਾ ਨੂੰ ਸਮਰੱਥ ਬਣਾਉਂਦਾ ਹੈ। AI ਇੱਕ ਸ਼ਕਤੀਸ਼ਾਲੀ ਦੂਜੀ ਅੱਖ ਹੈ ਜੋ ਇਸ ਨਿਯੰਤਰਣ ਨੂੰ ਤੇਜ਼ ਕਰਦੀ ਹੈ, ਪਰ ਇਹ ਆਪਣੇ ਅਨੁਵਾਦ ਲਈ ਅੰਨ੍ਹਾ ਹੋ ਸਕਦੀ ਹੈ, ਗਲਤੀਆਂ ਕਰ ਸਕਦੀ ਹੈ, ਅਤੇ ਅਸਲ-ਸੰਸਾਰ ਭਾਰ ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਸਮਝਣ ਵਿੱਚ ਅਸਫਲ ਹੋ ਸਕਦੀ ਹੈ; ਇਸ ਲਈ, ਅੰਤਮ ਗੁਣਵੱਤਾ ਦਾ ਫੈਸਲਾ, ਵਜ਼ਨ ਅਤੇ ਡਿਲੀਵਰੀ ਦੀ ਪ੍ਰਵਾਨਗੀ ਸਮਰੱਥ ਅਨੁਵਾਦਕ ਨਾਲ ਸਬੰਧਤ ਹੈ।
ਐਪਲੀਕੇਸ਼ਨ ਦਾ ਕੰਮ
ਇੱਕ ਮਸ਼ੀਨ ਅਨੁਵਾਦ ਆਉਟਪੁੱਟ ਪ੍ਰਾਪਤ ਕਰੋ। "ਆਟੋਮੈਟਿਕ QA ਪੂਰਕ ਜਾਂਚ" ਦੇ ਨਾਲ ਪਹਿਲਾਂ ਰਸਮੀ ਤਰੁੱਟੀਆਂ ਦੀ ਸੂਚੀ ਬਣਾਓ, ਫਿਰ "MQM- ਅਧਾਰਤ ਗਲਤੀ ਜਾਂਚ" ਦੇ ਨਾਲ ਸ਼੍ਰੇਣੀ ਅਤੇ ਭਾਰ ਦੁਆਰਾ ਭਾਸ਼ਾਈ ਗਲਤੀਆਂ ਦੀ ਸੂਚੀ ਬਣਾਓ। ਮੈਂ ਹਰੇਕ ਗਲਤੀ (ਨਾਜ਼ੁਕ 10, ਮੁੱਖ 5, ਮਾਮੂਲੀ 1) ਨੂੰ ਪ੍ਰਤੀ ਸ਼ਬਦ ਥ੍ਰੈਸ਼ਹੋਲਡ ਨਾਲ ਦਰਜਾ ਦਿੰਦਾ ਹਾਂ ਅਤੇ ਪੁੱਛਦਾ ਹਾਂ "ਕੀ ਇਹ ਡਿਲੀਵਰ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ?" ਸਵਾਲ ਦਾ ਜਵਾਬ ਦਿਓ। ਅੰਤ ਵਿੱਚ, ਸਰੋਤ ਨਾਲ ਪੁਸ਼ਟੀ ਕਰੋ ਕਿ AI ਦੁਆਰਾ ਫਲੈਗ ਕੀਤੀਆਂ ਗਈਆਂ ਕਿੰਨੀਆਂ ਗਲਤੀਆਂ ਅਸਲ ਹਨ ਅਤੇ ਕਿੰਨੀਆਂ ਮਨਘੜਤ ਹਨ।
ਚੈੱਕਲਿਸਟ
- [ ] ਮੈਂ ਆਟੋਮੈਟਿਕ QA ਚਲਾਇਆ ਅਤੇ ਕਿਸੇ ਵੀ ਰਸਮੀ ਗਲਤੀਆਂ ਨੂੰ ਸਾਫ਼ ਕੀਤਾ।
- [ ] ਮੈਂ ਭਾਸ਼ਾਈ ਗਲਤੀਆਂ ਨੂੰ ਬਕਸੇ (ਸ਼੍ਰੇਣੀ + ਭਾਰ) ਨਾਲ ਚਿੰਨ੍ਹਿਤ ਕੀਤਾ ਹੈ।
- [ ] ਮੈਂ ਇੱਕ ਵੱਖਰੇ, ਤਰਜੀਹੀ ਦੌਰ ਵਿੱਚ ਗੰਭੀਰ ਤਰੁੱਟੀਆਂ ਨੂੰ ਸਕੈਨ ਕੀਤਾ ਹੈ।
- [ ] ਮੈਂ AI ਨਿਯੰਤਰਣ ਪ੍ਰਾਪਤ ਕੀਤਾ ਅਤੇ ਜੇਕਰ ਲੋੜ ਹੋਵੇ ਤਾਂ ਇਸ ਨੂੰ ਇੱਕ ਵੱਖਰੇ ਮਾਡਲ ਨਾਲ ਕਰਾਸ-ਚੈੱਕ ਕੀਤਾ।
- [ ] ਮੈਂ ਸੰਖਿਆਤਮਕ ਥ੍ਰੈਸ਼ਹੋਲਡ ਅਤੇ ਆਪਣੇ ਖੁਦ ਦੇ ਮਾਹਰ ਨਿਰਣੇ ਦੇ ਆਧਾਰ 'ਤੇ ਡਿਲੀਵਰੀ ਦਾ ਫੈਸਲਾ ਲਿਆ ਹੈ।