Ganancias:
- Comprender cómo funciona RAG (fragmentación, acceso, generación dependiente de recursos) y cómo reduce las alucinaciones
- Capacidad para aumentar la calidad de las respuestas estableciendo una base de conocimientos actual, clara, libre de conflictos y con una única fuente correcta.
- Capacidad para indicar al modelo "si no está en la fuente, dime que no lo sabes" y convertir las preguntas que no puede responder en mejoras de la base de conocimientos.
La respuesta que da un bot o un asistente de agente es tan buena como la información en la que se basa. Cuando el cliente pregunta "¿Continúa la campaña?", la respuesta correcta no está en la memoria del modelo, sino en la base de conocimientos actual de la institución. Es por eso que el corazón de la inteligencia artificial de los call center es la base de conocimiento (KB): un recurso actualizado donde los productos, políticas, preguntas frecuentes, procedimientos y reglas se mantienen por escrito. Y el método que conecta de forma segura esta base de conocimientos con la inteligencia artificial se llama RAG: Recuperación-Generación Aumentada: en lugar de inventar la respuesta a partir de su propia memoria, el modelo primero recupera las piezas de información relevantes de la fuente (recuperación) y luego genera la respuesta basándose únicamente en esas piezas (generación).
RAG es el método más poderoso para prevenir las alucinaciones. El modelo no genera un número mental para la pregunta "¿cuál es la tasa de interés del préstamo?" Recupera el texto de interés actual de la base de conocimientos y responde en función de él. En esta unidad veremos cómo configurar la base de conocimientos, cómo funciona RAG y cómo una buena base de conocimientos determina la calidad de las respuestas.
Cómo funciona RAG: cuatro pasos
Piense en RAG como si fuera un bibliotecario. El cliente hace preguntas; El sistema primero encuentra las páginas relevantes en el estante derecho de la biblioteca, luego las lee y escribe la respuesta. Los pasos técnicos son los siguientes:
- Fragmentación: los documentos extensos de la base de conocimientos se dividen en partes pequeñas y significativas (por ejemplo, cada pregunta frecuente es una porción). Porque el modelo responde una pregunta con mayor precisión con piezas pequeñas relacionadas.
- Incrustación e indexación: cada pieza se traduce a una forma numérica que representa su significado (incrustación, una secuencia de números que representan el significado del texto) y se coloca en una base de datos con capacidad de búsqueda. Por tanto, no se trata de una "coincidencia de palabras" sino de una "coincidencia de significado"; Incluso si el cliente pregunta "¿cuándo se depositará mi dinero?", es posible que encuentre la parte "período de reembolso".
- Recuperación: se recuperan las partes más cercanas en significado a la pregunta del cliente (por ejemplo, las 3 a 5 partes más cercanas).
- Generación: El modelo escribe la respuesta basándose ÚNICAMENTE en las partes dibujadas e indica la fuente si es posible.
El punto crítico está en el paso 4: se le indica al modelo que "simplemente confíe en las piezas dadas o diga que no lo sabe". Sin estas instrucciones, RAG no impide que el modelo encaje.
Pista: regla de oro de RAG: "Si no está en la fuente, no hay respuesta". Un buen sistema RAG dirá "No estoy seguro de esto" a una pregunta que no esté en la base de conocimientos; nunca llena el vacío con conjeturas. La capacidad de un robot de decir "No sé" es una característica de seguridad, no una debilidad.
Una buena base de conocimientos: la verdadera fuente de calidad de las respuestas
No importa qué tan bueno sea el RAG, si la base de conocimientos es mala, la respuesta es mala. La calidad de la base de conocimientos se mide por:
característica
mala base de conocimientos
Buena base de conocimientos
Actualidad
No actualizado desde hace meses.
Actualizado inmediatamente cuando se cambia
claridad
Texto largo y complicado
Artículos breves de un solo tema.
estructura
Pila de PDF desordenada
Sustancias degradables etiquetadas
consistencia
Dos respuestas contradictorias
Única fuente de verdad
Alcance
Hay muchas lagunas
Cubre preguntas frecuentes
propiedad
nadie es responsable
Cada tema tiene un dueño.
El problema más peligroso en el contexto del call center es la contradicción: si se escriben dos períodos de devolución diferentes en la base de conocimiento, RAG dirá el que sea necesario y se enviará una respuesta inconsistente al cliente. Por eso el principio de "fuente única de verdad" es fundamental: la información se mantiene actualizada en un solo lugar; Se utilizan referencias a esa fuente, no copias.
Paso a paso: construir un sistema de respuesta respaldado por RAG
- Limpiar la base de conocimientos: eliminar artículos obsoletos, conflictivos y duplicados. Haga que cada artículo sea breve y de un solo tema.
- Desglose y etiquételo: agregue una etiqueta de tema y la fecha de la última actualización a cada artículo.
- Establezca acceso: conecte un mecanismo que extraiga las piezas relevantes cuando se le solicite (las herramientas RAG empresariales proporcionan esto).
- Escriba un mensaje estricto: dígale al modelo "confíe únicamente en las piezas proporcionadas, cite la fuente o diga que no lo sabe".
- Citar la fuente: Mostrar el artículo en el que se basa la respuesta; Da confianza y facilita la verificación.
- Esté atento a las lagunas: recopile preguntas en las que el robot diga "No sé"; Estos muestran las deficiencias en la base de conocimientos, se alimentan de ahí.
Cuatro plantillas copiables
1) Mensaje de respuesta estricto de RAG:
Responda BASADO en las siguientes partes de [FUENTE]. Reglas: (1) use solo la información en la fuente, (2) si no está en la fuente, diga "No tengo información definitiva sobre esto, déjeme conectarlo con el representante", (3) indique en qué artículo se basa como [Fuente: número de artículo], (4) cite la cantidad/duración/condición exactamente de la fuente, no redondee/compense. [FUENTE]: <<piezas extraídas>>Pregunta: "<<pregunta del cliente>>"
2) Redacción de artículos de la base de conocimientos:
Convierta el siguiente texto de política disperso en un artículo de preguntas frecuentes adecuado para RAG. Formato: Pregunta (en el idioma del cliente) / Respuesta corta (2-3 oraciones) / Condiciones (cláusula) / Fecha de última actualización / Etiqueta de tema. Marque cualquier punto ambiguo como "por aclarar", ficción. Texto sin formato: <<texto>>
3) Búsqueda de contradicciones y lagunas:
Examine los siguientes artículos de la base de conocimientos. (1) Marque los pares de artículos que ENFLICTAN entre sí (por ejemplo, período de devolución diferente). (2) Adivina los temas que se preguntarán con frecuencia pero NO tienen respuestas. Mire sólo los artículos indicados; produciendo una nueva política. Artículos: <<lista>>
4) Mejora del registro "No sé":
A continuación se muestran preguntas que el bot no pudo responder (no pudo encontrar una fuente). Agrúpelos en temas y sugiera el título del artículo que debe agregarse a la base de conocimientos de cada grupo. No inventes el contenido de la respuesta, solo dime qué elemento falta.Preguntas: <<lista>>
Aviso débil / Aviso fuerte
Aviso débil:
Responda la pregunta de devolución del cliente.
Sin fuente; El modelo puede encajar en la memoria, la cantidad/duración puede ser incorrecta, no se puede verificar.
Potente mensaje:
Responda únicamente según la cláusula de política de devolución a continuación. Si no está disponible en la fuente, diga "No estoy seguro". Cite el período y la condición textualmente, proporcione la referencia en forma de [Fuente: DEVOLUCIÓN-03].[FUENTE: DEVOLUCIÓN-03]: "El producto no utilizado se puede devolver dentro de los 14 días. Los productos personalizados no están dentro del alcance de la devolución". Pregunta: "¿Puedo devolver el producto personalizado que compré hace 20 días?"
Diferencia: dependiente de la fuente, referencia obligatoria, prohibición de fabricación clara; el modelo genera la respuesta correcta ("14 días pasados y personalizada, no reembolsable") de la fuente.
tres mini casos
Caso 1: Poner fin a la alucinación. La precisión de las respuestas de un robot de telecomunicaciones a las preguntas de la campaña fue del 71 % en una configuración sin RAG; La modelo en ocasiones inventaba campañas antiguas. Cuando las páginas de la campaña actual se conectaron a RAG y se agregó la regla "no decirlo si no está en la fuente", la precisión aumentó al 96 % y las quejas sobre "palabras de campaña incorrectas" casi terminaron.
Caso 2: El precio de la contradicción. En la base de conocimientos de una empresa de comercio electrónico, se escribieron dos costos de envío diferentes en dos páginas (una página actual y otra antigua olvidada). El robot atraía a alguien al azar y le decía a algunos de los clientes el precio equivocado. Cuando la página antigua fue archivada según el principio de fuente única correcta, la inconsistencia desapareció. Lección: RAG no resuelve la contradicción, la propaga tal como es.
Caso 3: El valor del registro "No sé". En un banco, el robot respondía "No estoy seguro" a aproximadamente 4000 preguntas al mes. Al agrupar estas preguntas se vio que el 40% eran sobre “uso de tarjeta internacional”; No hubo ningún artículo al respecto. Cuando se agregaron los elementos relevantes, estas preguntas se resolvieron y la rotación de personas sobre ese tema disminuyó en un 55%. El hecho de que el robot dijera que no lo sabía se convirtió en la hoja de ruta para mejorar.
Errores comunes
- Respondiendo sin vincular a la fuente. Sin RAG, el modelo se ajusta a información concreta; Cualquier respuesta concreta debe depender de la fuente.
- Desactivando la opción "No sé". Obligar al modelo a responder todas las preguntas garantiza la adaptación.
- No borrar información contradictoria o antigua. RAG difunde contradicciones; Una única fuente correcta es esencial.
- Olvidar triturar. Exportar archivos PDF de gran tamaño tal como están interrumpe el acceso preciso; Utilice artículos breves y de un solo tema.
- Ocultar la fuente. No indicar en qué se basa la respuesta debilita la verificación y la confianza.
Precaución: RAG mejora la precisión pero no ofrece una garantía del 100%. En ocasiones, el modelo puede malinterpretar la parte capturada. Por lo tanto, las cuestiones financieras, legales y de seguridad requieren la aprobación humana incluso si se cita la fuente; RAG reduce las alucinaciones pero no elimina la responsabilidad.
En resumen
La base de conocimientos y RAG son la base de la precisión de la IA del call center. RAG previene en gran medida las alucinaciones al evitar que el modelo ajuste la respuesta de memoria y dependa únicamente de la fuente actual. Pero RAG es tan bueno como su base de conocimientos: es esencial una base de conocimientos que esté actualizada, clara, estructurada, libre de conflictos y que tenga una única fuente de verdad. Dígale al modelo "si no está en la fuente, dígame que no lo sabe", señale la fuente y utilice las preguntas que el bot no puede responder para mejorar su base de conocimientos. Mantener el consentimiento humano a pesar de la fuente en asuntos de alto riesgo.
Tarea de aplicación
Escriba 8 preguntas reales/realistas de clientes de su industria y 8 artículos breves correspondientes de la base de conocimientos (cada artículo: pregunta, respuesta corta, condiciones, fecha, etiqueta). Luego pruebe si el modelo puede decir “No sé” usando el patrón “1) Pregunta de respuesta Tight RAG” y también haciendo una pregunta, una de las cuales no está en la base de conocimientos. Finalmente, consulte sus artículos con "3) Exploración de contradicciones y brechas".
lista de verificación
- [] Cada respuesta concreta dada por el bot/asistente depende de la base de conocimientos actual (a través de RAG).
- [] Le dije al modelo "si no está en la fuente, dime que no lo sabes" y lo probé.
- [] Mi base de conocimientos se compone de artículos actualizados, claros y de un solo tema.
- [] Borré los artículos antiguos y conflictivos; Sólo hay una fuente correcta para toda la información.
- [] Las respuestas muestran en qué artículo se basa (fuente).
- [] Recopilo preguntas de tipo "No sé" y alimento la base de conocimientos.