Ganhos:
- Capacidade de distinguir se um problema é de informação ou de comportamento e avaliar o ajuste fino para problemas comportamentais somente após o esgotamento do prompt, poucos disparos e RAG.
- Compreender métodos de ajuste fino (SFT, LoRA/PEFT, RLHF) e atributos de dados que determinam a qualidade (consistência, diversidade, confidencialidade)
- Capacidade de medir o verdadeiro valor do ajuste fino com avaliação antes e depois, superaprendizagem e testes de esquecimento catastrófico
O ajuste fino (personalizar seu comportamento treinando ainda mais um modelo pré-treinado com seus próprios dados) é uma ferramenta poderosa, mas cara, no arsenal do engenheiro que trabalha com LLMs. Quando usado no lugar errado, é uma perda de tempo e dinheiro, mas quando usado no lugar certo, proporciona uma qualidade que não pode ser alcançada de outra forma. Nesta unidade, abordamos quando o ajuste fino é necessário, seus métodos básicos e riscos. O objetivo é fazer com que você tome decisões.
Primeiro, a pergunta certa: é necessário um ajuste fino?
O erro mais caro dos iniciantes é correr imediatamente para ajustar um problema que pode ser resolvido. Configure o pedido assim:
- Engenharia de prompt: Um bom prompt que explica a tarefa resolve claramente a maioria dos problemas. Consuma aqui primeiro.
- Aprendizado rápido: colocar alguns exemplos no prompt mostra ao modelo o formato e o comportamento desejados.
- RAG: Se o problema for “falta de informação” (necessidade de dados que o modelo não conhece), a solução é RAG (unidade 4), não ajuste fino.
- Ajuste fino: Entra em jogo se o que foi dito acima não for suficiente e o problema for "comportamento/formato/estilo".
Distinção principal: O ajuste fino é fraco e arriscado para ensinar novas informações ao modelo; mas é forte em ensinar como se comportar (formato específico, tom, jargão de campo, estrutura consistente). “Meu modelo não conhece as informações da nossa empresa” → RAG. "Deixe meu modelo sempre fornecer a saída no formato exato que desejamos" → candidato de ajuste fino.
Dica: Antes de decidir pelo ajuste fino, pergunte: “Isso é um problema de conhecimento ou de comportamento?” Os problemas de informação são melhor resolvidos com RAG, os problemas comportamentais são melhor resolvidos com o ajuste fino.
Métodos de ajuste fino
Ajuste fino completo: Retreinar todos os parâmetros do modelo. Mais poderoso, mas mais caro; Requer hardware grande (GPU) e dados cuidadosos. É desnecessário para a maioria das equipes.
Ajuste fino com eficiência de parâmetros (PEFT): Métodos que congelam a grande maioria do modelo, treinando apenas um pequeno conjunto de parâmetros adicionais. O mais comum é LoRA (Low-Rank Adaptation: treinamento de pequenas camadas “adaptadoras” adicionadas ao modelo). LoRA fornece resultados próximos do ajuste fino total, com muito menos memória e custo; É por isso que é a primeira escolha na prática.
Ajuste fino supervisionado (SFT): Ensina o modelo a "responder a esta entrada assim" com dados que consistem em pares de entrada-saída ideais. É o cenário mais comum.
Aprendizagem por reforço com feedback humano (RLHF): Alinhando o comportamento do modelo com as respostas preferidas das pessoas. É complexo e caro; As necessidades da maioria das equipes de aplicação são atendidas com o SFT. Basta conhecer o RLHF como conceito.
Dados: o coração do ajuste fino
A qualidade do ajuste fino depende inteiramente da qualidade dos dados de treinamento. Algumas centenas de amostras consistentes e de alta qualidade são melhores do que milhares de amostras desleixadas. Ao preparar dados:
- Consistência: Todos os exemplos mostram consistentemente o formato e o tom desejado. Exemplos contraditórios deixam o modelo confuso.
- Variedade: Os exemplos cobrem a variedade em uso real, mas não são uniformes.
- Limpeza: Instâncias contendo dados incorretos, tendenciosos ou ocultos são permanentemente passadas para o modelo. Os dados de ajuste fino devem ser lidos tão cuidadosamente quanto um contrato.
Cuidado: Cada tendência, erro e informação oculta que entra nos dados de ajuste fino é gravada no modelo e reaparece em seus resultados. Audite seus dados de treinamento tão meticulosamente como se você os estivesse publicando; Não publique dados pessoais.
Revisão: o ajuste fino funcionou?
Antes do ajuste fino, reserve um conjunto de avaliação mantido e meça a pontuação do modelo sem ajuste fino (modelo base). Após o ajuste fino, meça novamente no mesmo banco. Você não pode dizer “melhorou” sem comparação. Também duas armadilhas a serem observadas:
- Overlearning: O overtraining com pequenos dados faz com que o modelo perca a capacidade de memorizar e generalizar exemplos de treinamento.
- Esquecimento catastrófico: O overtraining em uma tarefa restrita pode prejudicar as habilidades gerais do modelo. Teste se as habilidades antigas são mantidas durante a aquisição do novo comportamento.
Abordagem fraca/abordagem forte
Fraco: “Tenho 3.000 registros de bate-papo, vamos ajustá-los todos, para que a modelo possa falar como nós.”
Güçlü: "Primeiro avaliei o modelo básico com 100 tarefas reais, anotei a pontuação. Medi o quanto ele melhorou com prompts e poucos disparos - não foi suficiente. Depois, dos 3.000 registros, selecionei e limpei apenas 400 amostras com alta qualidade, formato consistente e sem dados ocultos. Ajustei com LoRA, medi novamente com as mesmas 100 tarefas e confirmei com um teste separado que as capacidades gerais estavam intactas."
A diferença: a abordagem forte esgota primeiro as alternativas, seleciona os dados, mede antes e depois e testa os efeitos colaterais.
A realidade do custo e da manutenção
O ajuste fino não é uma tarefa única; É um dever de cuidado. Pode ser necessário treinar novamente quando o modelo base for atualizado, precisar de alterações ou os dados forem perdidos. Além disso, hospedar um modelo ajustado traz custos e operações adicionais. Compare esse custo total de propriedade com o aumento na qualidade que ele proporciona. Na maioria das vezes, um bom prompt + RAG é mais barato e flexível do que o ajuste fino.
três mini cases
Caso 1 – Ajustes desnecessários. Uma equipe embarcou em um projeto caro de ajuste fino porque “nosso modelo não conhece nossos produtos”. Foram gastos meses e orçamento, o resultado foi frágil — o modelo ficava obsoleto toda vez que o catálogo de produtos mudava. Finalmente mudaram para o RAG: buscaram os dados do produto na base de documentos, a atualização foi instantânea e o custo caiu. Lição: o problema da informação não se resolve com ajustes finos.
Caso 2 - Ajuste fino correto. Uma seguradora queria que o modelo produzisse sempre resumos de apólices na mesma estrutura rígida (item por cláusula, com títulos específicos). A consistência com o prompt está estagnada em 70%. Após o ajuste fino do LoRA com 300 amostras boas, a consistência do formato aumentou para 98%. Este era um problema de comportamento e o ajuste fino era a ferramenta certa.
Caso 3 – Privacidade escapando para os dados. Uma equipe enviou os registros de bate-papo para ajuste fino sem limpá-los. Os registros continham nomes reais de clientes e números de identificação. O modelo ajustado começou a “vazar” esses nomes como resultados em questões não relacionadas. O modelo foi retirado, os dados mascarados e retreinados. Lição: As informações ocultas nos dados de ajuste fino são transferidas permanentemente para o modelo.
Modelos copiáveis
Ajude-me a decidir se o ajuste fino é necessário para este meu problema. Problema: [descrição] Este é um problema de INFORMAÇÃO (o modelo não sabe algo) ou um problema de COMPORTAMENTO (o modelo não produz o formato/tom/estrutura que desejo)? Pode ser resolvido com prompt, poucos tiros e RAG primeiro? Por que tentar/não tentar cada um deles? Somente sob quais condições você recomendaria o ajuste fino?
Verifique este conjunto de dados de ajuste fino:1) Os exemplos são consistentes em formato e tom?2) Eles cobrem a variação no uso real?3) Contém dados confidenciais/pessoais (devem ser mascarados)?4) Existem exemplos conflitantes?Um subconjunto dos exemplos: [exemplos]Liste cada problema e correção que você encontrou.
Produza um plano de avaliação antes e depois do ajuste fino. Tarefa: [explicação]- Como o conjunto de avaliação mantido deve ser selecionado?- Como a pontuação do modelo base é medida?- Com qual métrica ela é comparada após o ajuste fino?- Como faço para testar se as capacidades gerais não são prejudicadas (esquecimento catastrófico)?
Sugira hiperparâmetros iniciais para ajuste fino com LoRA.Tamanho dos dados: [número de amostras]Objetivo: [ensino de formato/tom]Sugerir época, taxa de aprendizagem e parada antecipada para evitar superaprendizado.
Tabela de decisão: qual ferramenta quando
preciso
tente primeiro
Ajuste fino?
O modelo não conhece nenhuma informação
pano
não
Dados atuais necessários
pano
não
Formato rígido específico
algumas fotos
Se não for suficiente, sim
Tom/estilo consistente
prompt + poucos tiros
Se não for suficiente, sim
Jargão/estilo de campo
alerta
Se isso não bastasse, LoRA
Otimização de tarefas simples
engenharia imediata
Geralmente não
Erros comuns
- Tentando resolver o problema de informação com ajuste fino. RAG é a ferramenta certa.
- Executando o ajuste fino sem consumir prompt/poucos disparos/RAG. Caro e desnecessário.
- Treinamento com dados de baixa qualidade/conflitantes. Menos dados, mas claros, são melhores.
- Colocando dados confidenciais na educação. Infiltra-se permanentemente no modelo.
- Não medindo antes e depois. Você não pode provar a recuperação.
- Não testando o esquecimento catastrófico. A nova habilidade pode atrapalhar a antiga.
Em resumo
O ajuste fino é uma ferramenta poderosa, mas cara, e só deve ser considerada para problemas de comportamento/formato após consumir o RAG de prompt-few-shot; problemas de informação pertencem ao RAG. Métodos com parâmetros eficientes, como LoRA, são a primeira escolha prática. A qualidade depende inteiramente da qualidade dos dados; Use dados pequenos, mas limpos, consistentes e confidenciais. Meça antes e depois, teste o excesso de aprendizagem e a perda de habilidade. O ajuste fino é um dever de cuidado; Pese seu custo total em relação à qualidade que ele oferece.
Tarefa de aplicativo
Escolha um problema e decida se o ajuste fino é necessário, distinguindo entre “conhecimento ou comportamento” e escreva sua justificativa. Se for um problema de comportamento, prepare 20 a 30 amostras consistentes, verifique se há dados ocultos e documente um plano de avaliação antes e depois (cluster retido, pontuação base, métrica de comparação, teste de esquecimento). Se puder ser resolvido com RAG/few-shot em vez de ajuste fino, anote isso também.
lista de verificação
- [] Eu determinei se o problema é de conhecimento ou de comportamento.
- [] Avaliei primeiro as alternativas de prompt, poucos disparos e RAG.
- [ ] Auditei os dados de ajuste fino quanto à consistência, diversidade e confidencialidade.
- [] Aloquei um cluster de avaliação retido e medi a pontuação básica.
- [ ] Planejei uma comparação antes-depois e um teste de esquecimento.
- [ ] Comparei o custo total com a qualidade que ele proporciona.