Ganhos:
- Reconhecendo estágios de modelo leves, equilibrados e poderosos e modo de raciocínio
- Selecionando o nível de modelo apropriado com base na dificuldade de uma tarefa
- Capacidade de estabelecer conscientemente o equilíbrio entre latência, precisão e custo
Aprendemos a calcular o preço; Agora vamos falar sobre o que obtemos por esse preço, ou seja, níveis e capacidades do modelo. Três forças competem constantemente na escolha de um modelo: qualidade (precisão), velocidade (latência) e custo. Melhorar dois destes três muitas vezes significa comprometer o terceiro. Na unidade, você aprenderá sobre níveis leves, balanceados e poderosos, modo de raciocínio e preferência de modelo pequeno/grande; Você será capaz de estabelecer conscientemente o equilíbrio certo de acordo com a dificuldade da tarefa.
Três níveis, três personagens de trabalho diferentes
Quase todos os provedores oferecem três níveis dentro da mesma família. Vamos combiná-los com o caráter da tarefa:
- Camada leve (modelo pequeno): Muito rápido, muito barato, "bom o suficiente". Ideal para tarefas simples, repetitivas e de alto volume: classificação, briefing, marcação, limpeza de dados, rascunhos de respostas simples.
- Camada balanceada (modelo médio): Boa qualidade, velocidade razoável, custo razoável. A escolha “padrão” para a maior parte do trabalho diário: produção de conteúdo, análise intermediária, respostas do cliente.
- Camada poderosa (modelo grande): Mais alta qualidade, mais lenta e mais cara. Para raciocínio complexo, análise longa e em várias etapas, código difícil, avaliação jurídica/financeira precisa.
Dica: Uma boa regra inicial: comece com um nível equilibrado. Se a qualidade for ruim, passe para o nível forte; Se a qualidade for extremamente boa e o volume alto, desça para o nível de luz. A abordagem “comece com o que é bom o suficiente”, e não a abordagem “comece com o mais forte”, economiza tempo e dinheiro.
O que é o modo de raciocínio?
Alguns modelos podem primeiro “pensar” a resposta passo a passo, em vez de gerá-la diretamente. Isso é chamado de modo de raciocínio. O modelo divide um problema em partes, processa dentro de si as etapas intermediárias e só então dá a resposta final. Isso é semelhante a um aluno resolvendo um problema de matemática passo a passo no papel.
Quando é valioso? Em problemas lógicos de várias etapas: um cálculo complexo, detecção de contradições, uma longa cadeia de inferência, um erro de código difícil. Neste tipo de trabalho, o raciocínio aumenta significativamente a precisão.
Qual é o custo? O raciocínio aumenta o custo e a latência à medida que o modelo gera mais “tokens de pensamento”. Portanto, será mais caro e mais lento. Um simples “esta avaliação é positiva?” Raciocinar sobre a questão é como matar uma mosca com um martelo; cria custos e atrasos desnecessários.
Cuidado: Não deixe o modo de raciocínio aberto para todas as tarefas. É mais rápido e mais barato mantê-lo fechado para tarefas simples. Alguns dos modelos modernos vêm com um modo de pensamento “adaptativo” que decide por si mesmo quando precisa pensar; No entanto, é sua função gerenciá-lo conscientemente.
Triângulo Qualidade, Velocidade e Custo
prioridade
Nível apropriado
raciocínio
Menor custo, alto volume
leve
Fechado
Equilíbrio (maioria dos empregos)
equilibrado
dependendo da situação
Maior precisão, decisão crítica
forte
aberto
Resposta instantânea, baixa latência (chat)
Leve/equilibrado
Fechado
Análise complexa e em várias etapas
forte
aberto
Ao olhar para esta tabela, pergunte-se: “Qual será o custo se eu cometer um erro nesta tarefa?” Se o preço for elevado (avaliação jurídica errada, decisão financeira errada) justifica-se o investimento de forte calibre e raciocínio. Se o preço for baixo (classificação incorreta do rótulo do produto), um modelo leve e rápido é suficiente.
Modelo pequeno ou modelo grande?
Ao contrário da crença popular, nem todo trabalho exige um modelo grande. Os modelos menores tornaram-se surpreendentemente capazes, executando muitas tarefas a um décimo do custo e várias vezes mais rápido que o modelo maior. Três questões para decisão:
- A tarefa é simples e estereotipada? (Classificação, extração, breve resumo) → Modelo pequeno.
- O volume está muito alto e a velocidade é crítica? → Modelo pequeno, porque modelo grande é caro e lento.
- A tarefa requer raciocínio matizado, contexto ampliado ou criatividade? → Modelo grande.
Três casos realistas
Caso 1 — O modelo leve é suficiente. Uma equipe de comércio eletrônico classifica 40.000 comentários de clientes por dia em positivos/negativos/neutros. Eles testam com o modelo poderoso e depois comparam com o modelo leve: a precisão é quase a mesma (96% vs 94%), mas o modelo leve é 8 vezes mais barato e 3 vezes mais rápido. O modelo leve é de longe a escolha certa para esta tarefa; A precisão extra de 2% não justifica 8x o custo.
Caso 2 — Modelo forte + raciocínio é obrigatório. Uma empresa de consultoria tributária deseja calcular um cenário tributário complexo em vários estágios. O modelo leve comete erros nas etapas intermediárias e dá resultados incorretos. Quando usam o modelo poderoso com o modo de raciocínio ativado, o modelo avança passo a passo e chega à conclusão correta. Aqui, custos adicionais e atrasos são aceitáveis porque o custo do erro é elevado; No entanto, um especialista confirma o resultado.
Caso 3 — Uso misto. Um call center processa transcrições de chamadas em duas etapas: primeiro, resume brevemente cada chamada com um modelo leve (alto volume, trabalho simples), depois fornece apenas as chamadas marcadas como "reclamações" ao modelo poderoso e realiza uma análise de causa raiz (baixo volume, trabalho complexo). Assim, eles processam a maior parte do volume de forma barata, reservando ao mesmo tempo o poder do padrão forte para as poucas chamadas que realmente importam.
Alerta Fraco/Prompt Forte
Alerta fraco:
Resolva esse cenário tributário. [cenário complexo]
Não está claro com que cuidado o modelo será considerado.
Alerta poderoso:
Sua função: especialista tributário sênior. Tarefa: Resolva passo a passo o seguinte cenário de vários estágios. Primeiro liste as suposições, depois calcule e mostre cada etapa separadamente e, finalmente, forneça o resultado líquido. Caso haja algum ponto que você não tenha certeza ou que dependa da legislação, marque-o como “é necessária confirmação de especialista”. Ignorando etapas intermediárias.[cenário]
O poderoso prompt orienta o modelo através do pensamento passo a passo (encorajando o raciocínio) e torna as etapas intermediárias visíveis para verificabilidade.
Modelos copiáveis
Diagnóstico do estágio 1:
Minha missão: [TAREFA]. Volume: [NÚMERO/dia]. Custo de erro: [BAIXO/MÉDIO/ALTO].Prioridade de velocidade: [BAIXO/ALTO]. Com base nesse perfil, que nível (leve/equilibrado/forte) e raciocínio (aberto/fechado) você recomendaria? Justificar.
2. Decisão do modelo pequeno/grande:
Defino a seguinte tarefa: [TASK]. Este problema pode ser resolvido com um modelo pequeno (leve) ou é necessário um modelo grande? Sugira 3 casos de teste e um limite de sucesso para eu tentar resolver com o modelo pequeno.
3. Adequação do raciocínio:
O modo de raciocínio (pensamento passo a passo) seria benéfico ou custoso na seguinte tarefa: [TAREFA]? Justifique sua decisão com base no número de etapas e na complexidade lógica da tarefa.
4. Projeto de fluxo de trabalho em dois estágios:
Projete um fluxo de dois estágios para reduzir custos na seguinte tarefa de alto volume [TAREFA]: qual parte deve ir para o modelo leve, qual parte deve ir para o modelo poderoso? Escreva o nível e a justificativa para cada etapa.
Erros comuns
- Um modelo poderoso para cada trabalho: Criando custos e atrasos desnecessários usando o modelo mais poderoso em trabalhos simples e volumosos.
- Deixar sempre o raciocínio ligado: Manter o modo de pensar ligado em tarefas simples e perder tempo e dinheiro em vão.
- Tomar decisões sem medir a qualidade: presumir que “quanto maior, melhor” sem comparar dois níveis com seus próprios dados.
- Esquecer a necessidade de velocidade: Em locais onde é necessária uma resposta instantânea, como chat, escolher um modelo lento e poderoso e deixar o usuário esperando.
- Não pensar em nada no fluxo de dois estágios: não ter todo o volume construído por um único modelo e não economizar na parte que pode ser feita mais barato.
Em resumo
- A seleção do modelo é um ato de equilíbrio no triângulo qualidade, velocidade e custo; Melhorar dois muitas vezes requer comprometer o terceiro.
- A fase leve é adequada para trabalhos simples/volumosos, a fase forte é adequada para trabalhos complexos/críticos; O estágio equilibrado é um bom começo para a maioria dos trabalhos.
- O modo de raciocínio melhora a precisão em problemas de várias etapas, mas aumenta o custo e a latência; Não deve ser deixado aberto a todas as tarefas.
- "Qual é o custo do fracasso nesta missão?" A questão é a bússola da decisão de nível e raciocínio. Os fluxos de dois estágios proporcionam grandes economias em trabalhos de grande volume.
Tarefa de aplicativo
Selecione uma tarefa em seu trabalho e determine qual estágio e configuração de raciocínio são apropriados com o modelo 1 (diagnóstico de estágio). Se a tarefa for de alto volume, crie um design que direcione parte do volume para o modelo leve e a parte crítica para o modelo forte com o modelo 4 (fluxo de trabalho em dois estágios). Usaremos esse design no estudo de portfólio modelo na unidade 9.
lista de verificação
- [ ] Consigo combinar o caráter de trabalho de palcos leves, equilibrados e potentes.
- [ ] Posso explicar o que o modo de raciocínio faz e quanto custa.
- [ ] Consigo estabelecer conscientemente o equilíbrio qualidade-velocidade-custo para uma tarefa.
- [] Posso responder à questão do modelo pequeno ou grande com três perguntas.
- [] Posso projetar um fluxo de dois estágios para um trabalho de alto volume.