Ganhos:
- Entenda como funciona o RAG (fragmentação, acesso, geração dependente de recursos) e como ele reduz a alucinação
- Capacidade de aumentar a qualidade das respostas estabelecendo uma base de conhecimento atual, clara, livre de conflitos e com uma única fonte correta.
- Capacidade de instruir o modelo 'se não estiver na fonte, diga-me que você não sabe' e transformar as questões que ele não consegue responder em melhoria da base de conhecimento
A resposta que um bot ou assistente de agente dá é tão boa quanto as informações nas quais ela se baseia. Quando o cliente pergunta “A campanha continua?”, a resposta correta não está na memória do modelo, mas sim na atual base de conhecimento da instituição. É por isso que o coração da inteligência artificial do call center é a base de conhecimento (KB): um recurso atualizado onde produtos, políticas, perguntas frequentes, procedimentos e regras são mantidos por escrito. E o método que conecta com segurança essa base de conhecimento à inteligência artificial é chamado RAG: Retrieval-Augmented Generation — em vez de inventar a resposta a partir de sua própria memória, o modelo primeiro recupera as informações relevantes da fonte (recuperação) e depois gera a resposta com base apenas nessas informações (geração).
RAG é o método mais poderoso de prevenir alucinações. O modelo não gera um número mental para a pergunta “qual é a taxa de juros do empréstimo?” Ele recupera o texto de interesse atual da base de conhecimento e responde com base nele. Nesta unidade veremos como montar a base de conhecimento, como funciona o RAG e como uma boa base de conhecimento determina a qualidade das respostas.
Como funciona o RAG: quatro etapas
Pense no RAG como um bibliotecário. O cliente faz perguntas; O sistema primeiro encontra as páginas relevantes na prateleira direita da biblioteca, depois lê essas páginas e escreve a resposta. As etapas técnicas são as seguintes:
- Fragmentação: Documentos longos na base de conhecimento são divididos em pedaços pequenos e significativos (por exemplo, cada FAQ é um pedaço). Porque o modelo responde a uma pergunta com mais precisão com peças pequenas relacionadas.
- Incorporação e indexação: Cada peça é traduzida em uma forma numérica que representa seu significado (incorporação – uma sequência de números que representa o significado do texto) e colocada em um banco de dados pesquisável. Assim, não se trata de uma “correspondência de palavras”, mas de uma “correspondência de significado”; Mesmo que o cliente pergunte “quando meu dinheiro será depositado?”, a parte do “período de reembolso” poderá ser encontrada.
- Recuperação: As partes com significado mais próximo da pergunta do cliente são recuperadas (por exemplo, as 3-5 partes mais próximas).
- Geração: O modelo escreve a resposta com base APENAS nas partes desenhadas e indica a fonte se possível.
O ponto crítico está na etapa 4: o modelo é instruído a “apenas confiar nas peças fornecidas ou dizer que não sabe”. Sem esta instrução, o RAG não impede o ajuste do modelo.
Dica: regra de ouro do RAG: “Se não estiver na fonte, não há resposta”. Um bom sistema RAG dirá “Não tenho certeza sobre isso” para uma pergunta que não está na base de conhecimento; nunca preenche a lacuna com suposições. A capacidade de um bot dizer “não sei” é um recurso de segurança, não um ponto fraco.
Uma boa base de conhecimento: a verdadeira fonte de qualidade de resposta
Não importa quão bom seja o RAG, se a base de conhecimento for ruim, a resposta será ruim. A qualidade da base de conhecimento é medida por:
recurso
base de conhecimento ruim
Boa base de conhecimento
Atualidade
Não atualizado há meses
Atualizado imediatamente quando alterado
Clareza
Texto longo e complicado
Artigos curtos e de tópico único
estrutura
Pilha de PDF bagunçada
Substâncias degradáveis rotuladas
Consistência
Duas respostas conflitantes
Fonte única de verdade
Escopo
Existem muitas lacunas
Abrange perguntas frequentes
propriedade
Ninguém é responsável
Todo tópico tem um dono
O problema mais perigoso no contexto do call center é a contradição: se dois períodos de retorno diferentes forem escritos na base de conhecimento, o RAG dirá o que for preciso e uma resposta inconsistente será enviada ao cliente. É por isso que o princípio da “fonte única de verdade” é fundamental: as informações são mantidas atualizadas em um só lugar; São usadas referências a essa fonte, não cópias.
Passo a passo: construindo um sistema de resposta apoiado por RAG
- Limpe a base de conhecimento: remova artigos desatualizados, conflitantes e duplicados. Faça cada artigo curto e com um único tópico.
- Divida e marque-o: adicione uma tag de tópico e a data da última atualização a cada artigo.
- Estabeleça o acesso: conecte um mecanismo que extraia peças relevantes quando solicitado (as ferramentas RAG corporativas fornecem isso).
- Escreva uma solicitação estrita: diga ao modelo "confie apenas nas peças fornecidas, cite a fonte ou diga que não sabe".
- Cite a fonte: Mostre o artigo em que se baseia a resposta; Isso dá confiança e facilita a verificação.
- Fique atento às lacunas: colete perguntas onde o bot diz “não sei”; Estes mostram as deficiências na base de conhecimento, alimentadas a partir daí.
Quatro modelos copiáveis
1) Prompt de resposta RAG estrito:
Responda COM BASE nas seguintes partes [FONTE]. Regras: (1) usar apenas as informações da fonte, (2) se não estiver na fonte, dizer "Não tenho informações definitivas sobre isso, deixe-me conectá-lo ao representante", (3) indicar em qual artigo se baseia como [Fonte: item-no], (4) citar o valor/duração/condição exatamente da fonte, não arredondar/compensar. [FONTE]: <<peças puxadas>>Pergunta: "<<pergunta do cliente>>"
2) Redação de artigos da base de conhecimento:
Converta o seguinte texto disperso de política em um artigo de FAQ adequado para RAG. Formato: Pergunta (no idioma do cliente) / Resposta curta (2-3 frases) / Condições (cláusula) / Data da última atualização / Tag do tópico. Marque quaisquer pontos ambíguos como “a serem esclarecidos”, faz-de-conta. Texto bruto: <<texto>>
3) Procurando contradições e lacunas:
Examine os seguintes artigos da base de conhecimento. (1) Marque os pares de artigos que CONFLITAM entre si (por exemplo, período de devolução diferente). (2) Adivinhe os tópicos que serão perguntados com frequência, mas NÃO têm respostas. Veja apenas os artigos fornecidos; produzindo uma nova política. Artigos: <<lista>>
4) Melhoria do registro "Não sei":
Abaixo estão perguntas que o bot não conseguiu responder (não foi possível encontrar uma fonte). Agrupe-os em tópicos e sugira o título do artigo que deve ser adicionado à base de conhecimento de cada grupo. Não invente o conteúdo da resposta, apenas me diga qual item está faltando.Perguntas: <<lista>>
Alerta fraco / Alerta forte
Alerta fraco:
Responda à pergunta de devolução do cliente.
Nenhuma fonte; O modelo pode caber na memória, a quantidade/duração pode estar errada, não pode ser verificado.
Alerta poderoso:
Responda apenas com base na cláusula da política de devolução abaixo. Se não estiver disponível na fonte, diga “Não tenho certeza”. Cite o período e condição literalmente, dê referência no formato de [Fonte: RETURN-03].[FONTE: RETURN-03]: "Produto não utilizado pode ser devolvido em até 14 dias. Produtos personalizados não estão dentro do escopo de devolução." Pergunta: "Posso devolver o produto personalizado que comprei há 20 dias?"
Diferença: dependente da fonte, referência obrigatória, proibição de fabricação clara; o modelo gera a resposta correta (“14 dias passados e personalizada, não reembolsável”) da fonte.
três mini cases
Caso 1 — Fim da alucinação. A precisão das respostas de um bot de telecomunicações às perguntas da campanha foi de 71% em uma configuração sem RAG; A modelo às vezes inventava campanhas antigas. Quando as páginas atuais da campanha foram conectadas ao RAG e a regra “não diga se não estiver na fonte” foi adicionada, a precisão aumentou para 96% e as reclamações sobre “palavras erradas da campanha” quase terminaram.
Caso 2 — O preço da contradição. Na base de conhecimento de uma empresa de comércio eletrônico, dois custos de envio diferentes foram escritos em duas páginas (uma página atual e uma página antiga esquecida). O bot estava puxando alguém aleatoriamente e dizendo a alguns clientes o preço errado. Quando a página antiga foi arquivada com o princípio da única fonte correta, a inconsistência desapareceu. Lição: RAG não resolve a contradição, ele propaga a contradição tal como ela é.
Caso 3 — O valor do log “Não sei”. Em um banco, o bot dizia “Não tenho certeza” para cerca de 4.000 perguntas por mês. Ao agrupar essas questões, constatou-se que 40% eram sobre “uso de cartão internacional”; Não havia nenhum artigo sobre isso. Quando os itens relevantes foram somados, essas questões foram resolvidas e a rotatividade de pessoas nesse assunto diminuiu 55%. O fato de o bot ter dito que não sabia tornou-se o roteiro para melhorias.
Erros comuns
- Respondendo sem vincular à fonte. Sem RAG, o modelo ajusta informações concretas; Qualquer resposta concreta deve depender da fonte.
- Desativando a opção "Não sei". Forçar o modelo a responder a todas as perguntas garante o ajuste.
- Não limpar informações conflitantes/antigas. RAG espalha contradição; Uma única fonte correta é essencial.
- Negligenciar a destruição. Exportar PDFs grandes no estado em que se encontram interrompe o acesso preciso; Use artigos curtos e de tópico único.
- Escondendo a fonte. Não indicar em que se baseia a resposta enfraquece a verificação e a confiança.
Cuidado: o RAG melhora a precisão, mas não oferece 100% de garantia. O modelo às vezes pode interpretar mal a parte capturada. Portanto, questões financeiras, jurídicas e de segurança exigem aprovação humana, mesmo que a fonte seja citada; RAG reduz a alucinação, mas não elimina a responsabilidade.
Resumindo
A base de conhecimento e o RAG são a base da precisão da IA do call center. O RAG evita em grande parte a alucinação, impedindo que o modelo ajuste a resposta da memória e confiando apenas na fonte atual. Mas o RAG é tão bom quanto a sua base de conhecimento: é essencial uma base de conhecimento que seja atualizada, clara, estruturada, livre de conflitos e que tenha uma única fonte de verdade. Diga ao modelo “se não estiver na fonte, diga-me que você não sabe”, aponte para a fonte e use as perguntas que o bot não consegue responder para melhorar sua base de conhecimento. Manter o consentimento humano, apesar da fonte, em assuntos de alto risco.
Tarefa de aplicativo
Escreva 8 perguntas reais/realistas de clientes do seu setor e 8 artigos curtos correspondentes da base de conhecimento (cada artigo: pergunta, resposta curta, condições, data, etiqueta). Em seguida, teste se o modelo pode dizer “Não sei” usando o padrão “1) prompt de resposta RAG apertado” e também fazendo uma pergunta, uma das quais não está na base de conhecimento. Por fim, verifique seus artigos com "3) Contradição e varredura de lacunas".
lista de verificação
- [ ] Cada resposta concreta dada pelo bot/assistente depende da base de conhecimento atual (via RAG).
- [ ] Instruí o modelo "se não estiver na fonte, diga-me que não sabe" e testei.
- [] Minha base de conhecimento consiste em artigos atualizados, claros e de tópico único.
- [ ] Limpei os artigos conflitantes e antigos; Existe apenas uma fonte correta para todas as informações.
- [] As respostas mostram em qual artigo se baseia (fonte).
- [] Eu coleciono perguntas do tipo "não sei" e alimento a base de conhecimento.