Ganhos:
- Capacidade de escolher a métrica apropriada ao tipo de problema e contexto de negócio (PR-AUC/recall em dados desequilibrados, MAE/RMSE em regressão) e reconhecer excesso/falta de aprendizagem
- Capacidade de interpretar cada métrica em relação a uma linha de base e medir o desvio e separar o ruído do progresso com validação cruzada
- Capacidade de relatar resultados não otimistas ajustando hiperparâmetros com o conjunto de validação e usando o conjunto de teste somente no final
O treinamento de modelo (treinamento: o processo de aprendizagem de padrões a partir de dados) é a etapa mais visível, porém mais enganosa, da engenharia de ML. Aparece porque produz um número satisfatório como “precisão de 95%”. Enganador porque esse número costuma ser a resposta certa para a pergunta errada. Nesta unidade o ensino e a avaliação são discutidos com a disciplina de engenharia; Utilizamos a inteligência artificial como parceira no desenho experimental e baseamos a decisão na medição.
Lógica do ciclo de treinamento
Um modelo aprende o padrão nos dados minimizando uma função de perda: uma função que mede numericamente o erro do modelo. O algoritmo de otimização (por exemplo, descida gradiente) reduz a perda ajustando os parâmetros passo a passo. O objetivo não é memorizar os dados de treinamento, mas sim generalizá-los para dados sem precedentes.
Dois perigos principais:
- Overfitting: o modelo memoriza os dados de treinamento e falha em novos dados. O sucesso do treinamento é alto, o sucesso da verificação é baixo.
- Underfitting: O modelo não consegue capturar o padrão; O sucesso do treinamento e da validação é baixo.
Encontrar o equilíbrio é a arte da educação. O conjunto de validação existe para monitorar esse equilíbrio: se o sucesso da validação começar a diminuir enquanto o sucesso do treinamento aumenta, a superaprendizagem começou.
Dica: plote a perda de treinamento e validação juntas em cada etapa. O ponto em que as duas curvas começam a divergir é onde começa a superaprendizagem e é o momento certo para “parar cedo”.
Seleção de métricas: a decisão mais crítica
A métrica errada faz com que um bom modelo pareça ruim e um modelo ruim pareça bom. O problema determina a métrica:
- Classificação desequilibrada (uma classe é muito rara, por exemplo, fraude): A precisão é enganosa. Um modelo que diz “chame tudo normal” obterá 99% de precisão, mas não detectará uma única fraude. Em vez disso, são usados precisão (quanto do que capturei é realmente positivo), recall (quanto do que capturei é verdadeiramente positivo) e seu equilíbrio F1 ou PR-AUC.
- Classificação equilibrada: A precisão e o ROC-AUC podem ser apropriados.
- Regressão (estimativa de números): MAE (erro médio absoluto), RMSE (penaliza erros grandes), MAPE (erro percentual).
- Classificação/recomendação: NDCG, MRR, Recall@K.
A importância da precisão ou do recall depende do contexto do negócio. A recordação (não faltar nenhum paciente) é uma prioridade no rastreio do cancro; A precisão no filtro de spam (não enviar e-mails importantes para spam) é importante. Esta é uma decisão comercial, não técnica, e é tomada em conjunto pelo engenheiro e pelo proprietário.
Alerta fraco / Alerta forte
Prompt fraco: "Avalie o desempenho do meu modelo, precisão 0,97."
Prompt poderoso: "Eu tenho um modelo de detecção de fraude; a taxa de classe positiva é de 1,5%. A precisão é relatada como 0,97. Explique por que essa métrica pode ser enganosa, diga-me quais métricas (precisão, recall, PR-AUC) eu deveria preferir e por quê. Calcule também quão preciso seria um modelo de linha de base 'chamar tudo negativo' nesses dados, para que eu possa ver o valor agregado real."
Diferença: um prompt poderoso fornece proporção de classe e contexto de negócios; também pede uma comparação do modelo de base – esta é a âncora mais importante para saber se uma métrica é significativa.
Linha de base: métrica sem comparação não tem sentido
Uma métrica não é boa nem ruim por si só; É bom ou ruim de acordo com um modelo básico. O modelo básico é a solução mais simples que vem à mente: “diga sempre à turma majoritária”, “repita o valor da semana passada”, “adivinhe a média”. Se o seu modelo não consegue passar claramente por essa solução simples, toda a complexidade é em vão.
Cuidado: A frase “Meu modelo é 85% preciso” por si só não diz nada. Se o modelo básico já atinge 84%, seu modelo quase não vale nada; Se o modelo básico obtiver 50%, seu modelo é perfeito. Sempre fale em termos do modelo básico.
Validação cruzada e confiança
Uma única divisão de treinamento/teste pode ser devido ao acaso. Validação cruzada: dividir os dados em k partes e testar cada parte sequencialmente mostra o quão estável é o desempenho. Na validação cruzada 5 vezes você obtém cinco pontuações diferentes; Sua média e desvio padrão são importantes. Se a média for 80%, mas o desvio for ±12%, seu modelo é instável — ele pode se comportar de maneira muito diferente no próximo lote de dados.
Isto também é crítico para a “comparação de dois modelos”. Se o Modelo A obteve 81% e o Modelo B obteve 82%, B é realmente melhor? Se o desvio for de ±3%, esta diferença pode ser ruído. Considere se a diferença é significativa antes de decidir.
Ajuste de hiperparâmetros: com validação, não teste
Os hiperparâmetros (configurações determinadas manualmente antes do treinamento – taxa de aprendizagem, profundidade da árvore, etc.) são definidos com o conjunto de validação. O conjunto de teste é usado apenas no final, uma vez. Se você selecionar hiperparâmetros observando o conjunto de testes, o conjunto de testes será contaminado e o desempenho relatado será otimista, o que não é o caso na realidade.
A inteligência artificial é um bom auxiliar no projeto do espaço de busca de hiperparâmetros e na escrita do código de busca (pesquisa em grade, busca aleatória, otimização bayesiana). Mas você ainda decide "qual métrica otimizaremos?"
três mini cases
Caso 1 – Armadilha de precisão. Uma equipe médica ficou orgulhosa de um modelo que detectou uma doença rara: 98% de precisão. Quando foi feita a comparação do modelo básico, a verdade veio à tona: como a taxa de doença era de 2%, o modelo que dizia “chamar todos de saudáveis” também recebeu 98%. A recordação do modelo foi de apenas 11% – faltando a maioria dos pacientes. Depois que a métrica foi convertida para PR-AUC, o desempenho real foi medido e o modelo foi redesenhado.
Caso 2 – Confundindo ruído com progresso. Uma equipe passou meses melhorando o modelo de 86,2% para 86,9%. A validação cruzada mostrou que o viés foi de ± 1,4% – portanto, a “melhoria” de 0,7 ponto foi ruído estatístico. A equipe desperdiçou três semanas com ganhos irreais. Lição: não declare vitória sem verificar se a melhoria é maior que o desvio.
Caso 3 – Contaminação do conjunto de testes. Um engenheiro examinou repetidamente o conjunto de testes para escolher os melhores hiperparâmetros. Os 91% relatados caíram para 83% na produção. Por quê: ele, sem saber, selecionou o modelo de acordo, observando o conjunto de testes repetidas vezes (aprendizagem excessiva no conjunto de testes). O desempenho relatado e o real se sobrepuseram quando um conjunto de validação separado foi usado.
Modelos copiáveis
Ajude-me a escolher a métrica certa para este problema de classificação. Problema: [o que está previsto] Distribuição de classes: [taxa positiva
Avalie a comparação dos dois modelos a seguir.Validação cruzada do modelo A: [lista de pontuações]Validação cruzada do modelo B: [lista de pontuações]Calcule a média e o desvio padrão. A diferença é estatisticamente significativa ou é apenas ruído dentro do desvio? Qual você recomendaria que eu escolhesse e por quê?
Verifique este código de treinamento para o seguinte:1) Os hiperparâmetros são selecionados com o conjunto de teste ou conjunto de validação?2) A parada antecipada é monitorada com o conjunto correto?3) Há algum sinal de superaprendizado (diferença de perda de treinamento/validação)?Código: [código]
Qual dos MAE, RMSE e MAPE devo relatar para este problema de regressão?Escala da variável alvo: [intervalo]Os erros grandes são desproporcionalmente ruins (RMSE) ou são todos iguais (MAE)?Existem valores próximos de zero (eles distorcem o MAPE)?Sugerir com breve justificativa.
Tabela de seleção de métricas
Tipo de problema
Métrica apropriada
Para ser evitado
Por que
Classificação desequilibrada
PR-AUC, F1, recall
Precisão
Classe majoritária inflaciona a métrica
Classificação equilibrada
Precisão, ROC-AUC
-
Confiável em dados balanceados
Regressão (outlier significativo)
REQM
MAPE (se zero)
Pune erros graves
Regressão (peso igual)
MAE
-
Fácil de interpretar
Classificação/recomendação
NDCG, Recall@K
Precisão
A ordem é importante
Erros comuns
- Usando precisão em dados não balanceados. O erro métrico mais comum.
- Não fazendo comparações de modelos básicos. Isso faz com que a métrica perca o significado.
- Olhando para o conjunto de testes para hiperparâmetros. Resultado otimista e irreal.
- Contando com um único compartimento. Sem validação cruzada você não verá o viés.
- Confundindo ruído com progresso. Pequenas “melhorias” decorrentes do desvio são principalmente sorte.
- Ignorando o contexto de negócios. O equilíbrio de precisão/recall é uma decisão de negócios.
Em resumo
A verdadeira habilidade no treinamento de modelos não é produzir um número alto, mas saber o que esse número significa. O problema e o contexto empresarial determinam a métrica correta; interpretar cada métrica de acordo com um modelo de referência; meça o preconceito com validação cruzada e não confunda ruído com progresso; Use o conjunto de testes apenas no final, uma vez. A IA é sua parceira no design de experimentos, mas a decisão de “bom o suficiente” depende de você e dos seus.
Tarefa de aplicativo
Para um modelo de classificação: (1) escreva a distribuição de classes, (2) construa um modelo base apropriado e meça sua pontuação, (3) avalie seu modelo com validação cruzada de 5 vezes e relate a média e o desvio padrão, (4) calcule a métrica apropriada para o problema (por exemplo, PR-AUC) em vez de precisão. Anote se o seu modelo supera o modelo de linha de base por uma grande margem, sem preconceitos.
lista de verificação
- [ ] Escolhi a métrica com base no tipo de problema e no contexto de negócios.
- [] Eu construí um modelo básico e comparei com ele.
- [] Relatei a média e o desvio com validação cruzada.
- [ ] Confirmei que a melhoria é maior que o desvio.
- [] Selecionei os hiperparâmetros com o conjunto de validação.
- [] Usei o conjunto de testes apenas uma vez, bem no final.