Ganancias:
- Reconocer las etapas del modelo y el modo de razonamiento ligeros, equilibrados y potentes.
- Seleccionar el nivel de modelo apropiado según la dificultad de una tarea
- Capacidad para establecer conscientemente el equilibrio entre latencia, precisión y costo.
Aprendimos a calcular el precio; Ahora hablemos de lo que obtenemos por ese precio, es decir, niveles y capacidades del modelo. Tres fuerzas compiten constantemente a la hora de elegir un modelo: calidad (precisión), velocidad (latencia) y coste. Mejorar dos de estos tres a menudo significa comprometer el tercero. En la unidad, aprenderá sobre los niveles de luz, equilibrio y potencia, el modo de razonamiento y la preferencia de modelo pequeño/grande; Podrás establecer conscientemente el equilibrio adecuado según la dificultad de la tarea.
Tres niveles, tres personajes de trabajo diferentes
Casi todos los proveedores ofrecen tres niveles dentro de la misma familia. Relacionemos estos con el carácter de la tarea:
- Nivel ligero (modelo pequeño): Muy rápido, muy barato, "suficientemente bueno". Ideal para tareas simples, repetitivas y de gran volumen: clasificación, instrucciones, etiquetado, limpieza de datos, borradores de respuestas simples.
- Nivel equilibrado (modelo mediano): buena calidad, velocidad razonable, costo razonable. La opción "predeterminada" para la mayor parte del trabajo diario: producción de contenido, análisis intermedio, respuestas de los clientes.
- Nivel potente (modelo grande): la más alta calidad, la más lenta y la más cara. Para razonamientos complejos, análisis largos y de varios pasos, códigos difíciles y evaluaciones legales/financieras precisas.
Consejo: una buena regla inicial: empezar con un nivel equilibrado. Si la calidad es mala, suba al nivel fuerte; Si la calidad es extremadamente buena y el volumen es alto, baje al nivel de luz. El enfoque de "comenzar con lo suficientemente bueno", no el de "comenzar con el más fuerte", ahorra dinero y tiempo.
¿Qué es el modo de razonamiento?
Algunos modelos pueden "pensar" primero la respuesta paso a paso en lugar de generarla directamente. A esto se le llama modo de razonamiento. El modelo divide un problema en partes, procesa los pasos intermedios dentro de sí mismo y sólo entonces da la respuesta final. Esto es similar a un estudiante que resuelve un problema de matemáticas paso a paso en un papel.
¿Cuándo es valioso? En problemas lógicos de varios pasos: un cálculo complejo, detección de contradicciones, una larga cadena de inferencia, un error de código difícil. En este tipo de trabajo, el razonamiento aumenta significativamente la precisión.
¿Cuál es el costo? El razonamiento aumenta el costo y la latencia a medida que el modelo genera más "tokens de pensamiento". Por tanto, será más caro y más lento. Un simple "¿es positiva esta reseña?" Razonar sobre esta cuestión es como matar una mosca con un martillo; genera costes y retrasos innecesarios.
Precaución: No deje abierto el modo de razonamiento para cada tarea. Es más rápido y económico mantenerlo cerrado para tareas sencillas. Algunos de los modelos modernos vienen con un modo de pensamiento "adaptativo" que decide por sí mismo cuándo necesita pensar; Sin embargo, es tu trabajo gestionarlo conscientemente.
Triángulo de Calidad, Velocidad y Costo
prioridad
Nivel apropiado
razonamiento
Menor costo, alto volumen
ligero
Cerrado
Saldo (la mayoría de los trabajos)
equilibrado
dependiendo de la situación
Máxima precisión, decisión crítica
fuerte
abierto
Respuesta instantánea, baja latencia (chat)
Ligero/equilibrado
Cerrado
Análisis complejo de varios pasos
fuerte
abierto
Mientras observa esta tabla, pregúntese: "¿Cuál será el costo si cometo un error en esta tarea?" Si el precio es elevado (evaluación jurídica errónea, decisión financiera errónea), se justifica una inversión de gran calibre y razonamiento. Si el precio es bajo (clasificación errónea de la etiqueta de un producto), un modelo ligero y rápido es suficiente.
¿Modelo pequeño o modelo grande?
Contrariamente a la creencia popular, no todos los trabajos requieren un modelo grande. Los modelos más pequeños se han vuelto sorprendentemente capaces, realizando muchas tareas a una décima parte del costo y varias veces la velocidad del modelo más grande. Tres preguntas para decidir:
- ¿Es la tarea simple y formulada? (Clasificación, extracción, breve resumen) → Modelo pequeño.
- ¿El volumen es demasiado alto y la velocidad es crítica? → Modelo pequeño, porque el modelo grande es caro y lento.
- ¿La tarea requiere razonamiento matizado, contexto ampliado o creatividad? → Modelo grande.
Tres casos realistas
Caso 1: el modelo liviano es suficiente. Un equipo de comercio electrónico clasifica 40.000 comentarios de clientes al día en positivos/negativos/neutrales. Lo prueban con el modelo potente y luego lo comparan con el modelo liviano: la precisión es casi la misma (96% frente a 94%), pero el modelo liviano es 8 veces más barato y 3 veces más rápido. El modelo ligero es, con diferencia, la elección adecuada para esta tarea; La precisión adicional del 2% no justifica 8 veces el costo.
Caso 2: Un modelo sólido + razonamiento es imprescindible. Una empresa de consultoría fiscal quiere calcular un escenario fiscal complejo de varias etapas. El modelo ligero comete errores en los pasos intermedios y da resultados incorrectos. Cuando utilizan el potente modelo con el modo de razonamiento activado, el modelo avanza paso a paso y llega a la conclusión correcta. En este caso, los costos y retrasos adicionales son aceptables porque el costo del error es alto; Sin embargo, un experto confirma el resultado.
Caso 3: Uso mixto. Un centro de llamadas procesa las transcripciones de llamadas en dos pasos: primero, resume brevemente cada llamada con un modelo liviano (gran volumen, trabajo simple), luego entrega solo las llamadas marcadas como "quejas" al modelo poderoso y realiza un análisis de causa raíz (bajo volumen, trabajo complejo). Por lo tanto, procesan la mayor parte del volumen de forma económica, mientras reservan el poder del patrón fuerte para las pocas llamadas que realmente importan.
Aviso débil / Aviso fuerte
Aviso débil:
Resuelva este escenario fiscal. [escenario complejo]
No está claro con qué cuidado se considerará el modelo.
Potente mensaje:
Su función: especialista senior en impuestos. Tarea: Resuelva paso a paso el siguiente escenario de varias etapas. Primero enumere los supuestos, luego calcule y muestre cada paso por separado y finalmente proporcione el resultado neto. Si hay algún punto del que no estás seguro o que depende de la legislación, márcalo como "se requiere confirmación de experto". Saltarse pasos intermedios.[escenario]
El poderoso mensaje guía el modelo a través del pensamiento paso a paso (fomentando el razonamiento) y hace visibles los pasos intermedios para su verificabilidad.
Plantillas copiables
Diagnóstico de etapa 1:
Mi misión: [TAREA]. Volumen: [NÚMERO/día]. Coste del error: [BAJO/MEDIO/ALTO]. Prioridad de velocidad: [BAJO/ALTO]. Con base en este perfil, ¿qué nivel (ligero/equilibrado/fuerte) y razonamiento (abierto/cerrado) recomendarías? Justificar.
2. Decisión de modelo pequeño/grande:
Defino la siguiente tarea: [TAREA]. ¿Se puede resolver este problema con un modelo pequeño (ligero) o se requiere un modelo grande? Sugiera 3 casos de prueba y un umbral de éxito para intentar resolverlos con el modelo pequeño.
3. Idoneidad del razonamiento:
¿El modo de razonamiento (pensamiento paso a paso) sería beneficioso o costoso en la siguiente tarea: [TAREA]? Justifique su decisión en función del número de pasos y la complejidad lógica de la tarea.
4. Diseño de flujo de trabajo en dos etapas:
Diseñe un flujo de dos etapas para reducir el costo en la siguiente tarea de gran volumen [TAREA]: ¿qué parte debería ir al modelo liviano y qué parte debería ir al modelo potente? Escribe el nivel y la justificación de cada paso.
Errores comunes
- Un modelo potente para cada trabajo: Crea costes y retrasos innecesarios utilizando el modelo más potente en trabajos sencillos y voluminosos.
- Dejar siempre el razonamiento activado: Mantener activado el modo de pensar en tareas sencillas y perder tiempo y dinero en vano.
- Tomar decisiones sin medir la calidad: Asumir que "cuanto más grande, mejor" sin comparar dos niveles con sus propios datos.
- Olvidar la necesidad de velocidad: En lugares donde se requiere una respuesta instantánea, como el chat, elegir un modelo lento y potente y hacer esperar al usuario.
- No pensar en absoluto en el flujo de dos etapas: no construir todo el volumen con un solo modelo y no ahorrar en la parte que se puede hacer de forma económica.
En resumen
- La selección del modelo es un acto de equilibrio en el triángulo de calidad, velocidad y costo; Mejorar dos a menudo requiere comprometer el tercero.
- La etapa liviana es adecuada para trabajos simples/voluminosos, la etapa fuerte es adecuada para trabajos complejos/críticos; La etapa equilibrada es un buen comienzo para la mayoría de los trabajos.
- El modo de razonamiento mejora la precisión en problemas de varios pasos pero aumenta el costo y la latencia; No debe dejarse abierto a todas las tareas.
- "¿Cuál es el costo del fracaso en esta misión?" La pregunta es la brújula de la decisión de nivel y razonamiento. Los flujos de dos etapas proporcionan grandes ahorros en trabajos de volumen.
Tarea de aplicación
Seleccione una tarea en su trabajo y determine qué etapa y configuración de razonamiento son apropiadas con la plantilla 1 (diagnóstico de etapas). Si la tarea es de gran volumen, cree un diseño que dirija parte del volumen al modelo liviano y la parte crítica al modelo fuerte con la plantilla 4 (flujo de trabajo de dos etapas). Usaremos este diseño en el estudio de cartera modelo de la unidad 9.
lista de verificación
- [ ] Puedo igualar el carácter de trabajo de escenarios ligeros, equilibrados y potentes.
- [] Puedo explicar qué hace el modo de razonamiento y cuánto cuesta.
- [ ] Puedo establecer conscientemente el equilibrio calidad-velocidad-coste de una tarea.
- [ ] Puedo responder la pregunta del modelo pequeño o grande con tres preguntas.
- [] Puedo diseñar un flujo de dos etapas para un trabajo de gran volumen.