ਫਾਈਨ-ਟਿਊਨਿੰਗ ਆਧਾਰ: ਕਦੋਂ, ਕਿਵੇਂ ਅਤੇ ਕਿਸ ਜੋਖਮ ਨਾਲ

ਲਾਭ:

• ਇਹ ਫਰਕ ਕਰਨ ਦੀ ਸਮਰੱਥਾ ਕਿ ਕੀ ਕੋਈ ਸਮੱਸਿਆ ਜਾਣਕਾਰੀ ਜਾਂ ਵਿਵਹਾਰ ਹੈ ਅਤੇ ਪ੍ਰੋਂਪਟ, ਕੁਝ-ਸ਼ਾਟ ਅਤੇ ਆਰਏਜੀ ਦੇ ਖਤਮ ਹੋਣ ਤੋਂ ਬਾਅਦ ਹੀ ਵਿਵਹਾਰ ਸੰਬੰਧੀ ਸਮੱਸਿਆਵਾਂ ਲਈ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਦਾ ਮੁਲਾਂਕਣ ਕਰੋ।
• ਫਾਈਨ-ਟਿਊਨਿੰਗ ਵਿਧੀਆਂ (SFT, LoRA/PEFT, RLHF) ਅਤੇ ਡਾਟਾ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਨੂੰ ਸਮਝਣਾ ਜੋ ਗੁਣਵੱਤਾ (ਇਕਸਾਰਤਾ, ਵਿਭਿੰਨਤਾ, ਗੁਪਤਤਾ) ਨੂੰ ਨਿਰਧਾਰਤ ਕਰਦੇ ਹਨ
• ਮੁਲਾਂਕਣ ਤੋਂ ਪਹਿਲਾਂ-ਬਾਅਦ ਦੇ ਮੁਲਾਂਕਣ, ਓਵਰਲਰਨਿੰਗ ਅਤੇ ਵਿਨਾਸ਼ਕਾਰੀ ਭੁੱਲਣ ਵਾਲੇ ਟੈਸਟਾਂ ਨਾਲ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਦੇ ਅਸਲ ਮੁੱਲ ਨੂੰ ਮਾਪਣ ਦੀ ਸਮਰੱਥਾ

ਫਾਈਨ-ਟਿਊਨਿੰਗ (ਆਪਣੇ ਖੁਦ ਦੇ ਡੇਟਾ ਦੇ ਨਾਲ ਇੱਕ ਪੂਰਵ-ਸਿਖਿਅਤ ਮਾਡਲ ਨੂੰ ਸਿਖਲਾਈ ਦੇ ਕੇ ਇਸਦੇ ਵਿਵਹਾਰ ਨੂੰ ਅਨੁਕੂਲਿਤ ਕਰਨਾ) LLMs ਨਾਲ ਕੰਮ ਕਰਨ ਵਾਲੇ ਇੰਜੀਨੀਅਰ ਦੇ ਅਸਲੇ ਵਿੱਚ ਇੱਕ ਸ਼ਕਤੀਸ਼ਾਲੀ ਪਰ ਮਹਿੰਗਾ ਸਾਧਨ ਹੈ। ਜਦੋਂ ਗਲਤ ਜਗ੍ਹਾ 'ਤੇ ਵਰਤੀ ਜਾਂਦੀ ਹੈ, ਤਾਂ ਇਹ ਪੈਸੇ ਅਤੇ ਸਮੇਂ ਦੀ ਬਰਬਾਦੀ ਹੁੰਦੀ ਹੈ, ਪਰ ਜਦੋਂ ਸਹੀ ਜਗ੍ਹਾ 'ਤੇ ਵਰਤੀ ਜਾਂਦੀ ਹੈ, ਤਾਂ ਇਹ ਇੱਕ ਅਜਿਹਾ ਗੁਣ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ ਜੋ ਹੋਰ ਪ੍ਰਾਪਤ ਨਹੀਂ ਕੀਤਾ ਜਾ ਸਕਦਾ। ਇਸ ਯੂਨਿਟ ਵਿੱਚ, ਅਸੀਂ ਕਵਰ ਕਰਦੇ ਹਾਂ ਜਦੋਂ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਜ਼ਰੂਰੀ ਹੁੰਦੀ ਹੈ, ਇਸਦੇ ਬੁਨਿਆਦੀ ਢੰਗਾਂ ਅਤੇ ਜੋਖਮਾਂ। ਟੀਚਾ ਤੁਹਾਨੂੰ ਨਿਰਣਾਇਕ ਬਣਾਉਣਾ ਹੈ।

ਪਹਿਲਾਂ ਸਹੀ ਸਵਾਲ: ਕੀ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਜ਼ਰੂਰੀ ਹੈ?

ਸ਼ੁਰੂਆਤ ਕਰਨ ਵਾਲਿਆਂ ਦੀ ਸਭ ਤੋਂ ਮਹਿੰਗੀ ਗਲਤੀ ਇੱਕ ਸਮੱਸਿਆ ਨੂੰ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਕਰਨ ਲਈ ਤੁਰੰਤ ਦੌੜਨਾ ਹੈ ਜਿਸਦਾ ਹੱਲ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ. ਇਸ ਤਰ੍ਹਾਂ ਆਰਡਰ ਸੈਟ ਅਪ ਕਰੋ:

1. ਪ੍ਰੋਂਪਟ ਇੰਜਨੀਅਰਿੰਗ: ਇੱਕ ਵਧੀਆ ਪ੍ਰੋਂਪਟ ਜੋ ਕੰਮ ਦੀ ਸਪਸ਼ਟ ਰੂਪ ਵਿੱਚ ਵਿਆਖਿਆ ਕਰਦਾ ਹੈ ਜ਼ਿਆਦਾਤਰ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਹੱਲ ਕਰਦਾ ਹੈ। ਪਹਿਲਾਂ ਇੱਥੇ ਸੇਵਨ ਕਰੋ।
2. ਕੁਝ-ਸ਼ਾਟ ਲਰਨਿੰਗ: ਪ੍ਰੋਂਪਟ ਵਿੱਚ ਕੁਝ ਉਦਾਹਰਣਾਂ ਪਾਉਣਾ ਮਾਡਲ ਨੂੰ ਲੋੜੀਂਦਾ ਫਾਰਮੈਟ ਅਤੇ ਵਿਵਹਾਰ ਦਿਖਾਉਂਦਾ ਹੈ।
3. RAG: ਜੇਕਰ ਸਮੱਸਿਆ "ਜਾਣਕਾਰੀ ਦੀ ਘਾਟ" ਹੈ (ਡਾਟੇ ਦੀ ਲੋੜ ਜੋ ਮਾਡਲ ਨੂੰ ਨਹੀਂ ਪਤਾ), ਤਾਂ ਹੱਲ RAG (ਯੂਨਿਟ 4) ਹੈ, ਫਾਈਨ-ਟਿਊਨਿੰਗ ਨਹੀਂ।
4. ਫਾਈਨ-ਟਿਊਨਿੰਗ: ਇਹ ਲਾਗੂ ਹੁੰਦਾ ਹੈ ਜੇਕਰ ਉਪਰੋਕਤ ਕਾਫ਼ੀ ਨਹੀਂ ਹੈ ਅਤੇ ਸਮੱਸਿਆ "ਵਿਹਾਰ/ਫਾਰਮੈਟ/ਸ਼ੈਲੀ" ਹੈ।

ਮੁੱਖ ਅੰਤਰ: ਮਾੱਡਲ ਨੂੰ ਨਵੀਂ ਜਾਣਕਾਰੀ ਸਿਖਾਉਣ ਵਿਚ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਕਮਜ਼ੋਰ ਅਤੇ ਜੋਖਮ ਭਰਪੂਰ ਹੈ; ਪਰ ਇਹ ਸਿਖਾਉਣ ਵਿੱਚ ਮਜ਼ਬੂਤ ​​ਹੈ ਕਿ ਕਿਵੇਂ ਵਿਵਹਾਰ ਕਰਨਾ ਹੈ (ਇੱਕ ਖਾਸ ਫਾਰਮੈਟ, ਟੋਨ, ਫੀਲਡ ਜਾਰਗਨ, ਇਕਸਾਰ ਬਣਤਰ)। “ਮੇਰਾ ਮਾਡਲ ਸਾਡੀ ਕੰਪਨੀ ਦੀ ਜਾਣਕਾਰੀ ਨਹੀਂ ਜਾਣਦਾ” → RAG। "ਮੇਰੇ ਮਾਡਲ ਨੂੰ ਹਮੇਸ਼ਾ ਸਹੀ ਫਾਰਮੈਟ ਵਿੱਚ ਆਉਟਪੁੱਟ ਦੇਣ ਦਿਓ ਜੋ ਅਸੀਂ ਚਾਹੁੰਦੇ ਹਾਂ" → ਫਾਈਨ-ਟਿਊਨਿੰਗ ਉਮੀਦਵਾਰ।

ਸੁਝਾਅ: ਫਾਈਨ-ਟਿਊਨਿੰਗ ਬਾਰੇ ਫੈਸਲਾ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ, ਪੁੱਛੋ: "ਕੀ ਇਹ ਇੱਕ ਗਿਆਨ ਸਮੱਸਿਆ ਹੈ ਜਾਂ ਇੱਕ ਵਿਹਾਰ ਸਮੱਸਿਆ ਹੈ?" ਜਾਣਕਾਰੀ ਦੀਆਂ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਆਰਏਜੀ ਨਾਲ ਬਿਹਤਰ ਢੰਗ ਨਾਲ ਹੱਲ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਵਿਹਾਰ ਸੰਬੰਧੀ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਵਧੀਆ-ਟਿਊਨਿੰਗ ਨਾਲ ਬਿਹਤਰ ਢੰਗ ਨਾਲ ਹੱਲ ਕੀਤਾ ਜਾਂਦਾ ਹੈ।

ਵਧੀਆ ਟਿਊਨਿੰਗ ਢੰਗ

ਪੂਰੀ ਫਾਈਨ-ਟਿਊਨਿੰਗ: ਮਾਡਲ ਦੇ ਸਾਰੇ ਮਾਪਦੰਡਾਂ ਨੂੰ ਮੁੜ ਸਿਖਲਾਈ ਦੇਣਾ। ਸਭ ਤੋਂ ਸ਼ਕਤੀਸ਼ਾਲੀ ਪਰ ਸਭ ਤੋਂ ਮਹਿੰਗਾ; ਇਸ ਲਈ ਵੱਡੇ ਹਾਰਡਵੇਅਰ (GPU) ਅਤੇ ਸਾਵਧਾਨ ਡੇਟਾ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। ਇਹ ਜ਼ਿਆਦਾਤਰ ਟੀਮਾਂ ਲਈ ਬੇਲੋੜਾ ਹੈ।

ਪੈਰਾਮੀਟਰ-ਕੁਸ਼ਲ ਫਾਈਨ-ਟਿਊਨਿੰਗ (PEFT): ਵਿਧੀਆਂ ਜੋ ਮਾਡਲ ਦੀ ਵਿਸ਼ਾਲ ਬਹੁਗਿਣਤੀ ਨੂੰ ਫ੍ਰੀਜ਼ ਕਰਦੀਆਂ ਹਨ, ਸਿਰਫ਼ ਵਾਧੂ ਪੈਰਾਮੀਟਰਾਂ ਦੇ ਇੱਕ ਛੋਟੇ ਸਮੂਹ ਨੂੰ ਸਿਖਲਾਈ ਦਿੰਦੀਆਂ ਹਨ। ਸਭ ਤੋਂ ਆਮ ਹੈ LoRA (ਲੋਅ-ਰੈਂਕ ਅਡੈਪਟੇਸ਼ਨ: ਮਾਡਲ ਵਿੱਚ ਸ਼ਾਮਲ ਛੋਟੀਆਂ "ਅਡਾਪਟਰ" ਲੇਅਰਾਂ ਦੀ ਸਿਖਲਾਈ)। LoRA ਬਹੁਤ ਘੱਟ ਮੈਮੋਰੀ ਅਤੇ ਲਾਗਤ ਦੇ ਨਾਲ, ਪੂਰੀ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਦੇ ਨੇੜੇ ਨਤੀਜੇ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ; ਇਸ ਲਈ ਅਭਿਆਸ ਵਿੱਚ ਇਹ ਪਹਿਲੀ ਪਸੰਦ ਹੈ।

ਸੁਪਰਵਾਈਜ਼ਡ ਫਾਈਨ-ਟਿਊਨਿੰਗ (SFT): ਇਨਪੁਟ-ਆਦਰਸ਼ ਆਉਟਪੁੱਟ ਜੋੜਿਆਂ ਵਾਲੇ ਡੇਟਾ ਦੇ ਨਾਲ ਮਾਡਲ ਨੂੰ "ਇਸ ਇੰਪੁੱਟ ਦਾ ਇਸ ਤਰ੍ਹਾਂ ਜਵਾਬ" ਦੇਣਾ ਸਿਖਾਉਣਾ। ਇਹ ਸਭ ਤੋਂ ਆਮ ਦ੍ਰਿਸ਼ ਹੈ।

ਮਨੁੱਖੀ ਫੀਡਬੈਕ (RLHF) ਤੋਂ ਮਜ਼ਬੂਤੀ ਸਿਖਲਾਈ: ਲੋਕਾਂ ਦੇ ਪਸੰਦੀਦਾ ਜਵਾਬਾਂ ਤੋਂ ਮਾਡਲ ਦੇ ਵਿਵਹਾਰ ਨੂੰ ਇਕਸਾਰ ਕਰਨਾ। ਇਹ ਗੁੰਝਲਦਾਰ ਅਤੇ ਮਹਿੰਗਾ ਹੈ; ਜ਼ਿਆਦਾਤਰ ਐਪਲੀਕੇਸ਼ਨ ਟੀਮਾਂ ਦੀਆਂ ਲੋੜਾਂ SFT ਨਾਲ ਪੂਰੀਆਂ ਹੁੰਦੀਆਂ ਹਨ। RLHF ਨੂੰ ਇੱਕ ਸੰਕਲਪ ਵਜੋਂ ਜਾਣਨਾ ਕਾਫ਼ੀ ਹੈ.

ਡੇਟਾ: ਫਾਈਨ-ਟਿਊਨਿੰਗ ਦਾ ਦਿਲ

ਫਾਈਨ-ਟਿਊਨਿੰਗ ਦੀ ਗੁਣਵੱਤਾ ਪੂਰੀ ਤਰ੍ਹਾਂ ਸਿਖਲਾਈ ਡੇਟਾ ਦੀ ਗੁਣਵੱਤਾ 'ਤੇ ਨਿਰਭਰ ਕਰਦੀ ਹੈ। ਕੁਝ ਸੌ ਉੱਚ ਗੁਣਵੱਤਾ, ਇਕਸਾਰ ਨਮੂਨੇ ਹਜ਼ਾਰਾਂ ਢਲਾਣ ਵਾਲੇ ਨਮੂਨੇ ਨਾਲੋਂ ਬਿਹਤਰ ਹਨ। ਡਾਟਾ ਤਿਆਰ ਕਰਦੇ ਸਮੇਂ:

• ਇਕਸਾਰਤਾ: ਸਾਰੀਆਂ ਉਦਾਹਰਣਾਂ ਲਗਾਤਾਰ ਤੁਹਾਡੇ ਦੁਆਰਾ ਚਾਹੁੰਦੇ ਫਾਰਮੈਟ ਅਤੇ ਟੋਨ ਨੂੰ ਦਰਸਾਉਂਦੀਆਂ ਹਨ। ਵਿਰੋਧੀ ਉਦਾਹਰਨਾਂ ਮਾਡਲ ਨੂੰ ਉਲਝਣ ਵਿੱਚ ਛੱਡ ਦਿੰਦੀਆਂ ਹਨ।
• ਵਿਭਿੰਨਤਾ: ਉਦਾਹਰਨਾਂ ਅਸਲ ਵਰਤੋਂ ਵਿੱਚ ਵਿਭਿੰਨਤਾ ਨੂੰ ਕਵਰ ਕਰਦੀਆਂ ਹਨ, ਪਰ ਇੱਕਸਾਰ ਨਹੀਂ ਹੁੰਦੀਆਂ ਹਨ।
• ਸਫਾਈ: ਗਲਤ, ਪੱਖਪਾਤੀ, ਜਾਂ ਲੁਕਵੇਂ ਡੇਟਾ ਵਾਲੇ ਉਦਾਹਰਨਾਂ ਨੂੰ ਸਥਾਈ ਤੌਰ 'ਤੇ ਮਾਡਲ ਵਿੱਚ ਪਾਸ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। ਫਾਈਨ-ਟਿਊਨਿੰਗ ਡੇਟਾ ਨੂੰ ਇਕਰਾਰਨਾਮੇ ਵਾਂਗ ਧਿਆਨ ਨਾਲ ਪੜ੍ਹਿਆ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ।

ਸਾਵਧਾਨ: ਹਰ ਪੱਖਪਾਤ, ਗਲਤੀ, ਅਤੇ ਲੁਕਵੀਂ ਜਾਣਕਾਰੀ ਜੋ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਡੇਟਾ ਵਿੱਚ ਦਾਖਲ ਹੁੰਦੀ ਹੈ, ਮਾਡਲ ਵਿੱਚ ਨੱਕਾਸ਼ੀ ਕੀਤੀ ਜਾਂਦੀ ਹੈ ਅਤੇ ਇਸਦੇ ਆਉਟਪੁੱਟ ਵਿੱਚ ਮੁੜ ਪ੍ਰਗਟ ਹੁੰਦੀ ਹੈ। ਆਪਣੇ ਸਿਖਲਾਈ ਡੇਟਾ ਨੂੰ ਇੰਨੀ ਸਾਵਧਾਨੀ ਨਾਲ ਆਡਿਟ ਕਰੋ ਜਿਵੇਂ ਕਿ ਤੁਸੀਂ ਇਸਨੂੰ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰ ਰਹੇ ਹੋ; ਨਿੱਜੀ ਡਾਟਾ ਪੋਸਟ ਨਾ ਕਰੋ.

ਸਮੀਖਿਆ: ਕੀ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਕੰਮ ਕਰਦੀ ਹੈ?

ਫਾਈਨ-ਟਿਊਨਿੰਗ ਤੋਂ ਪਹਿਲਾਂ, ਇੱਕ ਹੋਲਡ-ਆਊਟ ਈਵਲ ਸੈੱਟ ਰਿਜ਼ਰਵ ਕਰੋ ਅਤੇ ਫਾਈਨ-ਟਿਊਨਿੰਗ (ਬੇਸ ਮਾਡਲ) ਤੋਂ ਬਿਨਾਂ ਮਾਡਲ ਦੇ ਸਕੋਰ ਨੂੰ ਮਾਪੋ। ਫਾਈਨ-ਟਿਊਨਿੰਗ ਤੋਂ ਬਾਅਦ, ਉਸੇ ਬੈਂਕ ਵਿੱਚ ਦੁਬਾਰਾ ਮਾਪੋ। ਤੁਸੀਂ ਤੁਲਨਾ ਕੀਤੇ ਬਿਨਾਂ "ਇਹ ਬਿਹਤਰ ਹੋ ਗਿਆ" ਨਹੀਂ ਕਹਿ ਸਕਦੇ। ਇਸ ਤੋਂ ਇਲਾਵਾ ਦੋ ਜਾਲਾਂ ਬਾਰੇ ਵੀ ਸੁਚੇਤ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ:

• ਓਵਰਲਰਨਿੰਗ: ਛੋਟੇ ਡੇਟਾ ਦੇ ਨਾਲ ਓਵਰਟਰੇਨਿੰਗ ਮਾਡਲ ਨੂੰ ਸਿਖਲਾਈ ਦੀਆਂ ਉਦਾਹਰਣਾਂ ਨੂੰ ਯਾਦ ਕਰਨ ਅਤੇ ਆਮ ਬਣਾਉਣ ਦੀ ਯੋਗਤਾ ਗੁਆ ਦਿੰਦਾ ਹੈ।
• ਘਾਤਕ ਭੁੱਲਣਾ: ਇੱਕ ਤੰਗ ਕੰਮ 'ਤੇ ਓਵਰਟ੍ਰੇਨਿੰਗ ਮਾਡਲ ਦੀ ਸਮੁੱਚੀ ਕਾਬਲੀਅਤ ਨੂੰ ਵਿਗਾੜ ਸਕਦੀ ਹੈ। ਜਾਂਚ ਕਰੋ ਕਿ ਕੀ ਨਵਾਂ ਵਿਵਹਾਰ ਹਾਸਲ ਕਰਦੇ ਸਮੇਂ ਪੁਰਾਣੇ ਹੁਨਰ ਨੂੰ ਬਰਕਰਾਰ ਰੱਖਿਆ ਗਿਆ ਹੈ।

ਕਮਜ਼ੋਰ ਪਹੁੰਚ / ਮਜ਼ਬੂਤ ਪਹੁੰਚ

ਕਮਜ਼ੋਰ: "ਮੇਰੇ ਕੋਲ 3000 ਚੈਟ ਲੌਗ ਹਨ, ਆਓ ਉਨ੍ਹਾਂ ਸਾਰਿਆਂ ਨੂੰ ਵਧੀਆ-ਟਿਊਨਿੰਗ ਲਈ ਦੇਈਏ, ਤਾਂ ਜੋ ਮਾਡਲ ਸਾਡੇ ਵਾਂਗ ਗੱਲ ਕਰ ਸਕੇ।"

Güçlü: "ਪਹਿਲਾਂ ਮੈਂ 100 ਅਸਲ ਕਾਰਜਾਂ ਦੇ ਨਾਲ ਬੇਸ ਮਾਡਲ ਦਾ ਮੁਲਾਂਕਣ ਕੀਤਾ, ਸਕੋਰ ਨੋਟ ਕੀਤਾ। ਮੈਂ ਮਾਪਿਆ ਕਿ ਇਹ ਪ੍ਰੋਂਪਟ ਅਤੇ ਕੁਝ-ਸ਼ੌਟਸ ਨਾਲ ਕਿੰਨਾ ਸੁਧਾਰਿਆ ਹੈ — ਇਹ ਕਾਫ਼ੀ ਨਹੀਂ ਸੀ। ਫਿਰ 3000 ਲੌਗਸ ਵਿੱਚੋਂ, ਮੈਂ ਉੱਚ ਗੁਣਵੱਤਾ, ਇਕਸਾਰ ਫਾਰਮੈਟ ਦੇ ਨਾਲ ਸਿਰਫ 400 ਨਮੂਨਿਆਂ ਨੂੰ ਚੁਣਿਆ ਅਤੇ ਸਾਫ਼ ਕੀਤਾ, I-100 ਆਰਏ ਦੇ ਨਾਲ ਦੁਬਾਰਾ ਉਹੀ ਮਾਪਿਆ ਗਿਆ ਡਾਟਾ ਨਹੀਂ ਹੈ। ਕੰਮ ਅਤੇ ਇੱਕ ਵੱਖਰੇ ਟੈਸਟ ਨਾਲ ਪੁਸ਼ਟੀ ਕੀਤੀ ਗਈ ਹੈ ਕਿ ਆਮ ਸਮਰੱਥਾਵਾਂ ਬਰਕਰਾਰ ਹਨ।"

ਫਰਕ: ਮਜ਼ਬੂਤ ​​ਪਹੁੰਚ ਪਹਿਲਾਂ ਵਿਕਲਪਾਂ ਨੂੰ ਖਤਮ ਕਰਦੀ ਹੈ, ਚੈਰੀ-ਪਿਕਸ ਡੇਟਾ, ਪਹਿਲਾਂ ਅਤੇ ਬਾਅਦ ਦੇ ਉਪਾਅ, ਅਤੇ ਮਾੜੇ ਪ੍ਰਭਾਵਾਂ ਲਈ ਟੈਸਟ।

ਲਾਗਤ ਅਤੇ ਰੱਖ-ਰਖਾਅ ਦੀ ਅਸਲੀਅਤ

ਫਾਈਨ-ਟਿਊਨਿੰਗ ਇੱਕ ਵਾਰ ਦਾ ਕੰਮ ਨਹੀਂ ਹੈ; ਇਹ ਦੇਖਭਾਲ ਦਾ ਫਰਜ਼ ਹੈ. ਜਦੋਂ ਬੇਸ ਮਾਡਲ ਨੂੰ ਅੱਪਡੇਟ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਤਬਦੀਲੀ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ, ਜਾਂ ਡਾਟਾ ਗੁੰਮ ਹੋ ਜਾਂਦਾ ਹੈ ਤਾਂ ਇਸਨੂੰ ਦੁਬਾਰਾ ਸਿਖਲਾਈ ਦੇਣ ਦੀ ਲੋੜ ਹੋ ਸਕਦੀ ਹੈ। ਇਸ ਤੋਂ ਇਲਾਵਾ, ਇੱਕ ਵਧੀਆ-ਟਿਊਨਡ ਮਾਡਲ ਦੀ ਮੇਜ਼ਬਾਨੀ ਵਾਧੂ ਲਾਗਤਾਂ ਅਤੇ ਸੰਚਾਲਨ ਲਿਆਉਂਦੀ ਹੈ। ਇਸ ਦੁਆਰਾ ਪ੍ਰਦਾਨ ਕੀਤੀ ਗੁਣਵੱਤਾ ਵਿੱਚ ਵਾਧੇ ਦੇ ਨਾਲ ਮਾਲਕੀ ਦੀ ਇਸ ਕੁੱਲ ਲਾਗਤ ਦੀ ਤੁਲਨਾ ਕਰੋ। ਜ਼ਿਆਦਾਤਰ ਸਮਾਂ ਇੱਕ ਵਧੀਆ ਪ੍ਰੋਂਪਟ + ਆਰਏਜੀ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਨਾਲੋਂ ਸਸਤਾ ਅਤੇ ਵਧੇਰੇ ਲਚਕਦਾਰ ਹੁੰਦਾ ਹੈ।

ਤਿੰਨ ਛੋਟੇ ਕੇਸ

ਕੇਸ 1 - ਬੇਲੋੜੀ ਫਾਈਨ-ਟਿਊਨਿੰਗ। ਇੱਕ ਟੀਮ ਨੇ ਇੱਕ ਮਹਿੰਗਾ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਪ੍ਰੋਜੈਕਟ ਸ਼ੁਰੂ ਕੀਤਾ ਕਿਉਂਕਿ "ਸਾਡਾ ਮਾਡਲ ਸਾਡੇ ਉਤਪਾਦਾਂ ਨੂੰ ਨਹੀਂ ਜਾਣਦਾ।" ਮਹੀਨੇ ਅਤੇ ਬਜਟ ਖਰਚ ਕੀਤੇ ਗਏ ਸਨ, ਨਤੀਜਾ ਨਾਜ਼ੁਕ ਸੀ — ਜਦੋਂ ਵੀ ਉਤਪਾਦ ਕੈਟਾਲਾਗ ਬਦਲਿਆ ਤਾਂ ਮਾਡਲ ਪੁਰਾਣਾ ਹੋ ਗਿਆ। ਅੰਤ ਵਿੱਚ ਉਹ RAG ਵਿੱਚ ਬਦਲ ਗਏ: ਉਹਨਾਂ ਨੇ ਦਸਤਾਵੇਜ਼ ਅਧਾਰ ਤੋਂ ਉਤਪਾਦ ਡੇਟਾ ਪ੍ਰਾਪਤ ਕੀਤਾ, ਅੱਪਡੇਟ ਤੁਰੰਤ ਸੀ ਅਤੇ ਲਾਗਤ ਘਟ ਗਈ। ਸਬਕ: ਜਾਣਕਾਰੀ ਦੀ ਸਮੱਸਿਆ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਦੁਆਰਾ ਹੱਲ ਨਹੀਂ ਹੁੰਦੀ।

ਕੇਸ 2 - ਸਹੀ ਫਾਈਨ-ਟਿਊਨਿੰਗ। ਇੱਕ ਬੀਮਾ ਕੰਪਨੀ ਚਾਹੁੰਦੀ ਸੀ ਕਿ ਮਾਡਲ ਹਮੇਸ਼ਾ ਉਸੇ ਸਖ਼ਤ ਢਾਂਚੇ ਵਿੱਚ ਪਾਲਿਸੀ ਸਾਰਾਂਸ਼ਾਂ ਨੂੰ ਤਿਆਰ ਕਰੇ (ਧਾਰਾ ਦੁਆਰਾ ਆਈਟਮ, ਖਾਸ ਸਿਰਲੇਖਾਂ ਦੇ ਨਾਲ)। ਪ੍ਰੋਂਪਟ ਨਾਲ ਇਕਸਾਰਤਾ 70% 'ਤੇ ਅਟਕ ਗਈ ਹੈ। 300 ਚੰਗੇ ਨਮੂਨਿਆਂ ਦੇ ਨਾਲ LoRA ਫਾਈਨ-ਟਿਊਨਿੰਗ ਤੋਂ ਬਾਅਦ, ਫਾਰਮੈਟ ਦੀ ਇਕਸਾਰਤਾ ਵਧ ਕੇ 98% ਹੋ ਗਈ। This was a behavior problem and fine-tuning was the right tool.

ਕੇਸ 3 - ਡੇਟਾ ਵਿੱਚ ਗੋਪਨੀਯਤਾ ਤੋਂ ਬਚਣਾ। ਇੱਕ ਟੀਮ ਨੇ ਚੈਟ ਲੌਗਸ ਨੂੰ ਸਾਫ਼-ਸਫ਼ਾਈ ਕੀਤੇ ਬਿਨਾਂ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਲਈ ਜਮ੍ਹਾਂ ਕਰ ਦਿੱਤਾ। ਲੌਗਸ ਵਿੱਚ ਅਸਲ ਗਾਹਕ ਦੇ ਨਾਮ ਅਤੇ ਪਛਾਣ ਨੰਬਰ ਸਨ। ਫਾਈਨ-ਟਿਊਨਡ ਮਾਡਲ ਨੇ ਇਹਨਾਂ ਨਾਵਾਂ ਨੂੰ ਗੈਰ-ਸਬੰਧਿਤ ਪ੍ਰਸ਼ਨਾਂ ਵਿੱਚ ਆਉਟਪੁੱਟ ਵਜੋਂ "ਲੀਕ" ਕਰਨਾ ਸ਼ੁਰੂ ਕੀਤਾ। ਮਾਡਲ ਨੂੰ ਵਾਪਸ ਲੈ ਲਿਆ ਗਿਆ ਸੀ, ਡਾਟਾ ਮਾਸਕ ਕੀਤਾ ਗਿਆ ਸੀ ਅਤੇ ਦੁਬਾਰਾ ਸਿਖਲਾਈ ਦਿੱਤੀ ਗਈ ਸੀ। ਪਾਠ: ਫਾਈਨ-ਟਿਊਨਿੰਗ ਡੇਟਾ ਵਿੱਚ ਲੁਕੀ ਹੋਈ ਜਾਣਕਾਰੀ ਨੂੰ ਸਥਾਈ ਤੌਰ 'ਤੇ ਮਾਡਲ ਵਿੱਚ ਟ੍ਰਾਂਸਫਰ ਕੀਤਾ ਜਾਂਦਾ ਹੈ।

ਨਕਲ ਕਰਨ ਯੋਗ ਟੈਂਪਲੇਟਸ

ਇਹ ਫੈਸਲਾ ਕਰਨ ਵਿੱਚ ਮੇਰੀ ਮਦਦ ਕਰੋ ਕਿ ਕੀ ਮੇਰੀ ਇਸ ਸਮੱਸਿਆ ਲਈ ਵਧੀਆ ਟਿਊਨਿੰਗ ਜ਼ਰੂਰੀ ਹੈ। ਸਮੱਸਿਆ: [ਵੇਰਵਾ] ਕੀ ਇਹ ਇੱਕ ਜਾਣਕਾਰੀ ਸਮੱਸਿਆ ਹੈ (ਮਾਡਲ ਨੂੰ ਕੁਝ ਨਹੀਂ ਪਤਾ) ਜਾਂ ਇੱਕ ਵਿਵਹਾਰ ਸਮੱਸਿਆ (ਮਾਡਲ ਉਹ ਫਾਰਮੈਟ/ਟੋਨ/ਢਾਂਚਾ ਨਹੀਂ ਬਣਾਉਂਦਾ ਜੋ ਮੈਂ ਚਾਹੁੰਦਾ ਹਾਂ)? ਕੀ ਇਸਨੂੰ ਪ੍ਰੋਂਪਟ, ਕੁਝ-ਸ਼ਾਟ ਅਤੇ ਆਰਏਜੀ ਨਾਲ ਪਹਿਲਾਂ ਹੱਲ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ? ਇਹਨਾਂ ਵਿੱਚੋਂ ਹਰ ਇੱਕ ਨੂੰ ਕਿਉਂ ਅਜ਼ਮਾਓ/ਨਹੀਂ ਕੋਸ਼ਿਸ਼ ਕਰੋ? ਸਿਰਫ਼ ਕਿਸ ਸਥਿਤੀ ਵਿੱਚ ਤੁਸੀਂ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਦੀ ਸਿਫਾਰਸ਼ ਕਰੋਗੇ?

ਇਸ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਡੇਟਾਸੈਟ ਦੀ ਜਾਂਚ ਕਰੋ: 1) ਕੀ ਉਦਾਹਰਨਾਂ ਫਾਰਮੈਟ ਅਤੇ ਟੋਨ ਵਿੱਚ ਇਕਸਾਰ ਹਨ? 2) ਕੀ ਉਹ ਅਸਲ ਵਰਤੋਂ ਵਿੱਚ ਪਰਿਵਰਤਨ ਨੂੰ ਕਵਰ ਕਰਦੇ ਹਨ? 3) ਕੀ ਇਸ ਵਿੱਚ ਗੁਪਤ/ਨਿੱਜੀ ਡੇਟਾ ਸ਼ਾਮਲ ਹੈ (ਮਾਸਕ ਕੀਤਾ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ)? 4) ਕੀ ਵਿਵਾਦਪੂਰਨ ਉਦਾਹਰਣਾਂ ਹਨ? ਉਦਾਹਰਣਾਂ ਦਾ ਇੱਕ ਉਪ ਸਮੂਹ: [ਉਦਾਹਰਨਾਂ] ਹਰੇਕ ਮੁੱਦੇ ਨੂੰ ਸੂਚੀਬੱਧ ਕਰੋ ਅਤੇ ਤੁਹਾਨੂੰ ਲੱਭਿਆ ਹੱਲ ਕਰੋ।

ਫਾਈਨ-ਟਿਊਨਿੰਗ ਤੋਂ ਪਹਿਲਾਂ ਅਤੇ ਬਾਅਦ ਵਿੱਚ ਇੱਕ ਮੁਲਾਂਕਣ ਯੋਜਨਾ ਤਿਆਰ ਕਰੋ। ਟਾਸਕ: [ਵਿਆਖਿਆ]- ਹੋਲਡ-ਆਊਟ ਈਵਲ ਸੈੱਟ ਨੂੰ ਕਿਵੇਂ ਚੁਣਿਆ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ?- ਬੇਸ ਮਾਡਲ ਦਾ ਸਕੋਰ ਕਿਵੇਂ ਮਾਪਿਆ ਜਾਂਦਾ ਹੈ?- ਫਾਈਨ-ਟਿਊਨਿੰਗ ਤੋਂ ਬਾਅਦ ਕਿਸ ਮੈਟ੍ਰਿਕ ਨਾਲ ਇਸਦੀ ਤੁਲਨਾ ਕੀਤੀ ਜਾਂਦੀ ਹੈ?- ਮੈਂ ਕਿਵੇਂ ਜਾਂਚ ਕਰਾਂ ਕਿ ਆਮ ਸਮਰੱਥਾਵਾਂ ਕਮਜ਼ੋਰ ਨਹੀਂ ਹਨ (ਘਾਤਕ ਭੁੱਲਣਾ)?

LoRA.Data ਆਕਾਰ ਦੇ ਨਾਲ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਲਈ ਸ਼ੁਰੂਆਤੀ ਹਾਈਪਰਪੈਰਾਮੀਟਰਾਂ ਦਾ ਸੁਝਾਅ ਦਿਓ: [ਨਮੂਨਿਆਂ ਦੀ ਗਿਣਤੀ] ਉਦੇਸ਼: [ਫਾਰਮੈਟ/ਟੋਨ ਟੀਚਿੰਗ] ਓਵਰਲਰਨਿੰਗ ਤੋਂ ਬਚਣ ਲਈ ਯੁੱਗ, ਸਿੱਖਣ ਦੀ ਦਰ, ਅਤੇ ਜਲਦੀ ਰੋਕਣ ਦਾ ਸੁਝਾਅ ਦਿਓ।

ਫੈਸਲਾ ਸਾਰਣੀ: ਕਿਹੜਾ ਸੰਦ ਕਦੋਂ

ਲੋੜ

ਪਹਿਲਾਂ ਕੋਸ਼ਿਸ਼ ਕਰੋ

ਵਧੀਆ ਟਿਊਨਿੰਗ?

ਮਾਡਲ ਨੂੰ ਕੋਈ ਜਾਣਕਾਰੀ ਨਹੀਂ ਹੈ

ਰਾਗ

ਨਹੀਂ

ਮੌਜੂਦਾ ਡਾਟਾ ਲੋੜੀਂਦਾ ਹੈ

ਰਾਗ

ਨਹੀਂ

ਖਾਸ ਸਖ਼ਤ ਫਾਰਮੈਟ

ਕੁਝ ਸ਼ਾਟ

ਜੇ ਕਾਫ਼ੀ ਨਹੀਂ ਹਾਂ

ਇਕਸਾਰ ਟੋਨ/ਸ਼ੈਲੀ

ਪ੍ਰੋਂਪਟ + ਕੁਝ-ਸ਼ਾਟ

ਜੇ ਕਾਫ਼ੀ ਨਹੀਂ ਹਾਂ

ਖੇਤਰ ਸ਼ਬਦ/ਸ਼ੈਲੀ

ਪ੍ਰੋਂਪਟ

ਜੇ ਇਹ ਕਾਫ਼ੀ ਨਹੀਂ ਹੈ, LoRA

ਸਧਾਰਨ ਕਾਰਜ ਅਨੁਕੂਲਤਾ

ਤੁਰੰਤ ਇੰਜੀਨੀਅਰਿੰਗ

ਆਮ ਤੌਰ 'ਤੇ ਨਹੀਂ

ਆਮ ਗਲਤੀਆਂ

• ਫਾਈਨ-ਟਿਊਨਿੰਗ ਨਾਲ ਜਾਣਕਾਰੀ ਦੀ ਸਮੱਸਿਆ ਨੂੰ ਹੱਲ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰ ਰਿਹਾ ਹੈ. RAG ਸਹੀ ਸਾਧਨ ਹੈ।
• ਪ੍ਰੋਂਪਟ/ਕੁਝ-ਸ਼ੌਟ/RAG ਦੀ ਵਰਤੋਂ ਕੀਤੇ ਬਿਨਾਂ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਵਿੱਚ ਚੱਲ ਰਿਹਾ ਹੈ। ਮਹਿੰਗਾ ਅਤੇ ਬੇਲੋੜਾ।
• ਘੱਟ ਗੁਣਵੱਤਾ/ਵਿਰੋਧੀ ਡੇਟਾ ਦੇ ਨਾਲ ਸਿਖਲਾਈ। ਘੱਟ ਪਰ ਸਪਸ਼ਟ ਡੇਟਾ ਬਿਹਤਰ ਹੈ।
• ਸਿੱਖਿਆ ਵਿੱਚ ਗੁਪਤ ਡੇਟਾ ਪਾਉਣਾ। ਸਥਾਈ ਤੌਰ 'ਤੇ ਮਾਡਲ ਵਿੱਚ ਘੁਸਪੈਠ ਕਰਦਾ ਹੈ.
• ਪਹਿਲਾਂ ਅਤੇ ਬਾਅਦ ਵਿੱਚ ਮਾਪਣਾ ਨਹੀਂ. ਤੁਸੀਂ ਰਿਕਵਰੀ ਸਾਬਤ ਨਹੀਂ ਕਰ ਸਕਦੇ।
• ਵਿਨਾਸ਼ਕਾਰੀ ਭੁੱਲਣ ਦੀ ਪਰਖ ਨਹੀਂ. ਨਵਾਂ ਹੁਨਰ ਪੁਰਾਣੇ ਨੂੰ ਵਿਗਾੜ ਸਕਦਾ ਹੈ।

ਸੰਖੇਪ ਵਿੱਚ

ਫਾਈਨ-ਟਿਊਨਿੰਗ ਇੱਕ ਸ਼ਕਤੀਸ਼ਾਲੀ ਪਰ ਮਹਿੰਗਾ ਟੂਲ ਹੈ ਅਤੇ ਇਸਨੂੰ ਸਿਰਫ਼ ਪ੍ਰੋਂਪਟ-ਕੁਝ-ਸ਼ੌਟ-ਆਰਏਜੀ ਦੀ ਵਰਤੋਂ ਕਰਨ ਤੋਂ ਬਾਅਦ ਵਿਹਾਰ/ਫਾਰਮੈਟ ਸਮੱਸਿਆਵਾਂ ਲਈ ਵਿਚਾਰਿਆ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ; ਜਾਣਕਾਰੀ ਦੀਆਂ ਸਮੱਸਿਆਵਾਂ RAG ਨਾਲ ਸਬੰਧਤ ਹਨ। ਪੈਰਾਮੀਟਰ-ਕੁਸ਼ਲ ਢੰਗ ਜਿਵੇਂ ਕਿ LoRA ਵਿਹਾਰਕ ਪਹਿਲੀ ਪਸੰਦ ਹਨ। ਗੁਣਵੱਤਾ ਪੂਰੀ ਤਰ੍ਹਾਂ ਡਾਟਾ ਗੁਣਵੱਤਾ 'ਤੇ ਨਿਰਭਰ ਕਰਦੀ ਹੈ; ਛੋਟੇ ਪਰ ਸਾਫ਼, ਇਕਸਾਰ ਅਤੇ ਗੁਪਤ ਡੇਟਾ ਦੀ ਵਰਤੋਂ ਕਰੋ। ਪਹਿਲਾਂ ਅਤੇ ਬਾਅਦ ਵਿੱਚ ਮਾਪੋ, ਓਵਰਲਰਿੰਗ ਅਤੇ ਯੋਗਤਾ ਦੇ ਨੁਕਸਾਨ ਲਈ ਟੈਸਟ ਕਰੋ। ਫਾਈਨ-ਟਿਊਨਿੰਗ ਦੇਖਭਾਲ ਦਾ ਫਰਜ਼ ਹੈ; ਇਸਦੀ ਪ੍ਰਦਾਨ ਕੀਤੀ ਗੁਣਵੱਤਾ ਦੇ ਮੁਕਾਬਲੇ ਇਸਦੀ ਕੁੱਲ ਲਾਗਤ ਦਾ ਤੋਲ ਕਰੋ।

ਐਪਲੀਕੇਸ਼ਨ ਦਾ ਕੰਮ

ਇੱਕ ਸਮੱਸਿਆ ਚੁਣੋ ਅਤੇ ਫੈਸਲਾ ਕਰੋ ਕਿ ਕੀ "ਗਿਆਨ ਜਾਂ ਵਿਵਹਾਰ" ਵਿਚਕਾਰ ਫਰਕ ਕਰਕੇ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਜ਼ਰੂਰੀ ਹੈ ਅਤੇ ਆਪਣੀ ਤਰਕਸੰਗਤ ਲਿਖੋ। ਜੇਕਰ ਇਹ ਇੱਕ ਵਿਵਹਾਰ ਦੀ ਸਮੱਸਿਆ ਹੈ, ਤਾਂ 20-30 ਇਕਸਾਰ ਨਮੂਨੇ ਤਿਆਰ ਕਰੋ, ਲੁਕਵੇਂ ਡੇਟਾ ਦੀ ਜਾਂਚ ਕਰੋ, ਅਤੇ ਮੁਲਾਂਕਣ ਤੋਂ ਪਹਿਲਾਂ ਅਤੇ ਬਾਅਦ ਦੀ ਯੋਜਨਾ (ਹੋਲਡ-ਆਊਟ ਕਲੱਸਟਰ, ਬੇਸ ਸਕੋਰ, ਤੁਲਨਾ ਮੈਟ੍ਰਿਕ, ਭੁੱਲਣਾ ਟੈਸਟ) ਦਾ ਦਸਤਾਵੇਜ਼ ਬਣਾਓ। ਜੇਕਰ ਇਸ ਨੂੰ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਦੀ ਬਜਾਏ RAG/few-shot ਨਾਲ ਹੱਲ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ, ਤਾਂ ਇਸਦਾ ਵੀ ਇੱਕ ਨੋਟ ਬਣਾਓ।

ਚੈੱਕਲਿਸਟ

• [ ] ਮੈਂ ਨਿਰਧਾਰਿਤ ਕੀਤਾ ਕਿ ਸਮੱਸਿਆ ਗਿਆਨ ਜਾਂ ਵਿਵਹਾਰ ਦੀ ਹੈ।
• [ ] ਮੈਂ ਪਹਿਲਾਂ ਪ੍ਰੋਂਪਟ, ਕੁਝ-ਸ਼ਾਟ ਅਤੇ RAG ਵਿਕਲਪਾਂ ਦਾ ਮੁਲਾਂਕਣ ਕੀਤਾ।
• [ ] ਮੈਂ ਇਕਸਾਰਤਾ, ਵਿਭਿੰਨਤਾ ਅਤੇ ਗੁਪਤਤਾ ਲਈ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਡੇਟਾ ਦਾ ਆਡਿਟ ਕੀਤਾ।
• [ ] ਮੈਂ ਇੱਕ ਹੋਲਡ-ਆਊਟ ਈਵਲ ਕਲੱਸਟਰ ਨਿਰਧਾਰਤ ਕੀਤਾ ਅਤੇ ਬੇਸ ਸਕੋਰ ਨੂੰ ਮਾਪਿਆ।
• [ ] ਮੈਂ ਪਹਿਲਾਂ-ਬਾਅਦ ਦੀ ਤੁਲਨਾ ਅਤੇ ਭੁੱਲਣ ਦੀ ਪ੍ਰੀਖਿਆ ਦੀ ਯੋਜਨਾ ਬਣਾਈ।
• [ ] ਮੈਂ ਕੁੱਲ ਲਾਗਤ ਦੀ ਤੁਲਨਾ ਇਸ ਦੁਆਰਾ ਪ੍ਰਦਾਨ ਕੀਤੀ ਗੁਣਵੱਤਾ ਨਾਲ ਕੀਤੀ।