Verificação de saída e inspeção humana

Ganhos:

• Capacidade de estabelecer camadas de validação de saída baseadas em esquema e regras
• Capacidade de exigir significativamente a participação humana em decisões de alto impacto
• Capacidade de projetar roteamento baseado em verificação e limite de confiança com o segundo modelo

Um modelo de linguagem produz resultados fluidos, persuasivos e muitas vezes precisos – mas “persuasivo” não é o mesmo que “correto”. O modelo pode ajustar silenciosamente um valor, uma data ou um campo JSON; Isso é chamado de alucinação (o modelo produz com segurança informações que não existem na realidade). Em um sistema empresarial, se essa saída flui para a próxima etapa – um pagamento, um e-mail, uma gravação no banco de dados – o erro se espalha para o mundo real. Nesta unidade, aprenderemos a filtrar a saída com camadas de verificação antes que ela entre no sistema e a exigir a participação humana em decisões de alto impacto.

Por que a validação de saída é necessária?

A saída do modelo pode ser corrompida de duas maneiras principais: formato (não está em conformidade com o esquema JSON esperado, campo está faltando/excesso) e conteúdo (o formato está correto, mas o valor está errado — um código de produto inexistente, uma data ilógica). Existe uma terceira dimensão em termos de segurança: saída maliciosa (um comando malicioso produzido como resultado de injeção ou vazamento). Um sistema sólido para todos os três na porta.

Cuidado: “Modelo geralmente preciso” não é um critério de produção. Num sistema sem verificação, mesmo um erro em mil significa 100 transações erradas por dia em 100.000 solicitações por dia.

Camadas de autenticação: passo a passo

1. Validação de esquema. Verifique com a máquina se a saída está de acordo com a estrutura esperada: os campos estão presentes, seus tipos estão corretos, os campos obrigatórios estão preenchidos?
2. Validação de regras/lógica de negócios. Os valores correspondem às regras de negócio? (Valor > 0, a data não está no futuro, o código do produto pertence ao catálogo.)
3. Controle de referência/fonte. Se o modelo produz uma afirmação, ela pode ser vinculada à fonte? (A citação RAG está realmente no documento?)
4. Validação com o segundo modelo (LLM-como-juiz). Um modelo independente avalia o resultado como "correto/incompleto/arriscado".
5. Limite de confiança e orientação. Se o modelo ou validador relatar baixa confiança, a saída não será aprovada automaticamente; é direcionado aos humanos.
6. Controle humano. Um resultado de alta potência ou baixa segurança depende da aprovação de um especialista.

Quatro modelos copiáveis

Esquema + "invente se não souber" juntos:

Retorne a resposta SOMENTE no seguinte esquema JSON: Escreva "low". NUNCA escreva uma estimativa como se fosse exata.

Verificação com segundo modelo (prompt do juiz):

Você é um validador independente. Abaixo está um texto <source> e uma <claim>. Verifique se TODOS os números e datas da reivindicação ocorrem literalmente na fonte. Para cada um, diga: "verificado | não está na fonte | contradiz a fonte." Se pelo menos um deles estiver 'ausente/conflitante', marque o resultado como "REVISÃO HUMANA NECESSÁRIA".<source>{{ text }}</source><claim>{{ model_output }}</claim>

Regra de roteamento de limite de confiança:

Regra de roteamento: - emin_misin = "alto" AND valor < 10.000 TL -> processamento automático - emin_misin = "médio" OR valor 10.000-100.000 TL -> verificação do segundo modelo - emin_misin = "baixo" OU valor > 100.000 TL -> aprovação humana necessária

Cartão de resumo de auditoria humana (acelera a revisão):

Ao apresentar a decisão a uma pessoa, apresente este cartão: - O que está sendo proposto? (uma frase)- Em que fonte se baseia? (referência do artigo/documento)- Quais são as 2 suposições mais fracas?- Se aprovadas, podem ser revertidas? (sim/não)

Alerta Fraco/Prompt Forte

abordagem pobre

Abordagem forte

"Subtrair valor da fatura" (texto livre)

Esquema JSON estrito + campo nulo + confiança

Gravando a saída diretamente no sistema de pagamento

Esquema → regra → aprovação humana (se necessário)

Apenas dizendo ao modelo "tenha certeza"

Validação de número/data com segundo modelo

Processando cada saída com igual confiança

Roteamento baseado em influência e confiança

A abordagem forte não espera que o modelo esteja correto; Cria uma porta que o pegará quando você estiver errado.

Três Mini Estojos

Caso 1 — O esquema por si só não foi suficiente. Uma automação contábil extraía o valor das faturas em JSON. O esquema estava correto, mas o modelo produzia “125.000” em vez de “1.250,00” na fatura (mudança decimal). O esquema não conseguiu captar isso; a verificação da regra ("o valor deve estar alinhado com o total de itens da fatura em ±1%") foi detectada e o registro incorreto de 112.500 TL foi evitado.

Caso 2 — O segundo modelo capturou a alucinação. “aviso de rescisão com 30 dias de antecedência”, disse um assistente de apoio jurídico no resumo do contrato; Porém, no contrato eram 90 dias. Quando o juiz independente sinalizou o modelo como “conflitante com a fonte”, a saída foi encaminhada ao humano e corrigida. Se fosse automático, o cliente notificaria o cancelamento com base na data errada.

Caso 3 — O roteamento reduziu a carga em 70%. Um sistema de sinistros de seguros aprovou automaticamente sinistros de baixo valor e alta segurança e enviou apenas os que estavam acima do limite/pouca segurança ao especialista. Das 3.200 demandas diárias, apenas 950 recaíram sobre os seres humanos; os especialistas dedicaram seu tempo aos 30% verdadeiramente arriscados, com o tempo médio de transação caindo de 4 horas para 40 minutos.

Dica: Não configure o controle humano para que “as pessoas possam ver tudo” – isso cansará as pessoas e a aprovação se tornará um carimbo. Em vez disso, encaminhe apenas resultados de alto impacto e baixa confiança para o ser humano; Isso concentra a atenção no que realmente importa.

Tornando o controle humano significativo

Human-in-the-loop não significa colocar uma caixa de seleção no papel. O revisor deve ter (1) o contexto para compreender a decisão, (2) acesso à fonte e (3) autoridade para dizer “não”. Caso contrário, o controle permanece cosmético. O cartão de revisão (quarto modelo acima) destina-se a fornecer exatamente esse contexto.

Erros comuns

• Apenas fazendo validação de esquema e ignorando erros de conteúdo/valor.
• Pensar que ao dizer ao modelo "certifique-se" você está fazendo uma verificação real.
• Implemente automaticamente decisões irreversíveis e de alto impacto.
• Colocar controle humano em todos os resultados e transformar a aprovação em um carimbo sem sentido.
• Dizer “aprova” ao revisor sem fornecer a fonte e o contexto.
• Processar todas as saídas com o mesmo risco sem estabelecer um limite de confiança e roteamento.

Em resumo

• A saída é corrompida de três maneiras: forma, conteúdo e intenção maliciosa; um sistema sólido para todos os três na porta.
• Camadas: validação de esquema, regra/lógica de negócios, controle de origem, segundo modelo (LLM como juiz) e roteamento de limite de confiança.
• A interação humana deve ser obrigatória para resultados de alto impacto e baixa segurança.
• A revisão humana deve ser significativa: o revisor deve ter contexto, acesso a recursos e autoridade para dizer “não”.
• Tanto a segurança como a eficiência são obtidas direcionando apenas os riscos para os seres humanos, e não todos os resultados.

Tarefa de aplicativo

Veja um exemplo de sua própria saída de IA. Primeiro defina um esquema JSON e force a saída para ele. Em seguida, escreva pelo menos duas regras de negócios (por exemplo, “a quantidade corresponde ao total de itens”). Por fim, configure uma tabela de roteamento: qual combinação de confiança/influência vai automaticamente, qual vai para o segundo modelo, qual vai para o humano? Gere uma amostra defeituosa e observe onde cada camada a captura.

lista de verificação

• [] Eu defino um esquema estrito para a saída e verifico-o com a máquina.
• [] Adicionei pelo menos uma validação de negócios/regras (lógica de valor).
• [] Posso vincular as afirmações à fonte e verificá-las.
• [ ] Segundo modelo ou validação humana disponível para resultados de alto impacto/baixa segurança.
• [] Regra de roteamento definida com base em confiança e influência.
• [] O revisor recebe contexto, fonte e autoridade para rejeitar.