Gains :
- Reconnaître les étapes de modèle et le mode de raisonnement légers, équilibrés et puissants
- Sélection du niveau de modèle approprié en fonction de la difficulté d'une tâche
- Capacité à établir consciemment l’équilibre entre latence, précision et coût
Nous avons appris à calculer le prix ; Parlons maintenant de ce que nous obtenons pour ce prix, à savoir les niveaux et les capacités du modèle. Trois forces sont constamment en compétition lors du choix d'un modèle : la qualité (précision), la vitesse (latence) et le coût. Améliorer deux de ces trois signifie souvent compromettre le troisième. Dans l'unité, vous en apprendrez davantage sur les niveaux de lumière, équilibrés et puissants, le mode de raisonnement et la préférence pour les petits/grands modèles ; Vous saurez établir consciemment le juste équilibre en fonction de la difficulté de la tâche.
Trois niveaux, trois personnages professionnels différents
Presque tous les fournisseurs proposent trois niveaux au sein de la même famille. Associons-les au caractère de la tâche :
- Niveau léger (petit modèle) : Très rapide, très bon marché, "assez bien". Idéal pour les tâches simples, répétitives et à volume élevé : classification, briefing, marquage, nettoyage des données, brouillons de réponses simples.
- Niveau équilibré (modèle moyen) : bonne qualité, vitesse raisonnable, coût raisonnable. Le choix « par défaut » pour la plupart des tâches quotidiennes : production de contenu, analyse intermédiaire, réponses clients.
- Niveau puissant (grand modèle) : qualité la plus élevée, le plus lent, le plus cher. Pour raisonnements complexes, analyses longues et multi-étapes, code difficile, évaluation juridique/financière précise.
Astuce : Une bonne règle de départ : Commencez avec un niveau équilibré. Si la qualité est mauvaise, passez au niveau fort ; Si la qualité est extrêmement bonne et le volume élevé, descendez au niveau de la lumière. L'approche « commencer par le plus bon », et non l'approche « commencer par le plus fort », permet d'économiser du temps et de l'argent.
Qu’est-ce que le mode raisonnement ?
Certains modèles peuvent d'abord « réfléchir » à la réponse étape par étape plutôt que de la générer directement. C’est ce qu’on appelle le mode raisonnement. Le modèle décompose un problème en parties, traite les étapes intermédiaires en lui-même et donne ensuite seulement la réponse finale. C’est comme si un élève résolvait un problème de mathématiques étape par étape sur papier.
Quand a-t-il de la valeur ? Dans des problèmes logiques en plusieurs étapes : un calcul complexe, une détection de contradiction, une longue chaîne d'inférence, une erreur de code difficile. Dans ce type de travail, le raisonnement augmente considérablement la précision.
Quel est le coût ? Le raisonnement augmente le coût et la latence à mesure que le modèle génère davantage de « jetons de réflexion ». Ce sera donc à la fois plus cher et plus lent. Un simple « cet avis est-il positif ? » Raisonner sur la question, c’est comme tuer une mouche avec un marteau ; crée des coûts et des retards inutiles.
Attention : Ne laissez pas le mode raisonnement ouvert pour chaque tâche. Il est à la fois plus rapide et moins coûteux de le garder fermé pour des tâches simples. Certains modèles modernes sont dotés d'un mode de pensée « adaptatif » qui décide lui-même quand il doit réfléchir ; Cependant, il est de votre devoir de le gérer consciemment.
Triangle Qualité, Rapidité, Coût
priorité
Niveau approprié
raisonnement
Coût le plus bas, volume élevé
léger
Fermé
Solde (la plupart des emplois)
équilibré
selon la situation
Précision maximale, décision critique
fort
ouvert
Réponse instantanée, faible latence (chat)
Léger/équilibré
Fermé
Analyse complexe en plusieurs étapes
fort
ouvert
En regardant ce tableau, demandez-vous : « Quel sera le coût si je fais une erreur dans cette tâche ? » Si le prix est élevé (mauvaise évaluation juridique, mauvaise décision financière), un investissement de qualité et de raisonnement est justifié. Si le prix est bas (erreur de classement d'une étiquette de produit), un modèle léger et rapide suffit.
Petit modèle ou grand modèle ?
Contrairement à la croyance populaire, tous les travaux ne nécessitent pas un modèle de grande taille. Les modèles plus petits sont devenus étonnamment performants, effectuant de nombreuses tâches pour un dixième du coût et plusieurs fois la vitesse du modèle plus grand. Trois questions pour décision :
- La tâche est-elle simple et formelle ? (Classification, extraction, bref résumé) → Petit modèle.
- Le volume est-il trop élevé et la vitesse est-elle critique ? → Petit modèle, car le grand modèle est cher et lent.
- La tâche nécessite-t-elle un raisonnement nuancé, un contexte étendu ou de la créativité ? → Grand modèle.
Trois cas réalistes
Cas 1 — Le modèle léger est suffisant. Une équipe e-commerce trie chaque jour 40 000 commentaires clients en positifs/négatifs/neutres. Ils l'essaient avec le modèle puissant puis le comparent avec le modèle léger : la précision est presque la même (96 % contre 94 %), mais le modèle léger est 8 fois moins cher et 3 fois plus rapide. Le modèle léger est de loin le bon choix pour cette tâche ; La précision supplémentaire de 2 % ne justifie pas un coût 8 fois supérieur.
Cas 2 — Un modèle solide + un raisonnement sont indispensables. Un cabinet de conseil fiscal souhaite calculer un scénario fiscal complexe en plusieurs étapes. Le modèle léger commet des erreurs dans les étapes intermédiaires et donne des résultats incorrects. Lorsqu’ils utilisent le modèle puissant avec le mode raisonnement activé, le modèle progresse étape par étape et parvient à la bonne conclusion. Ici, les coûts et délais supplémentaires sont acceptables car le coût de l’erreur est élevé ; Cependant, un expert confirme le résultat.
Cas 3 — Usage mixte. Un centre d'appels traite les transcriptions des appels en deux étapes : d'abord, il résume brièvement chaque appel avec un modèle léger (volume élevé, travail simple), puis il transmet uniquement les appels marqués comme « plaintes » au modèle puissant et effectue une analyse des causes profondes (faible volume, travail complexe). Ils traitent donc la majeure partie du volume à moindre coût, tout en réservant la puissance du modèle fort aux quelques appels qui comptent vraiment.
Invite faible/Invite forte
Invite faible :
Résolvez ce scénario fiscal. [scénario complexe]
On ne sait pas avec quelle attention le modèle sera pris en compte.
Invite puissante :
Votre rôle : fiscaliste senior. Tâche : Résolvez étape par étape le scénario en plusieurs étapes suivant. Énumérez d’abord les hypothèses, puis calculez et montrez chaque étape séparément, et enfin donnez le résultat net. S'il y a un point dont vous n'êtes pas sûr ou qui dépend de la législation, marquez-le comme « avis d'expert requis ». Sauter les étapes intermédiaires.[scénario]
L'invite puissante guide le modèle à travers une réflexion étape par étape (raisonnement encourageant) et rend les étapes intermédiaires visibles pour la vérifiabilité.
Modèles copiables
Diagnostic de stade 1 :
Ma mission : [TACHE]. Volume : [NOMBRE/jour]. Coût de l'erreur : [FAIBLE/MOYEN/ÉLEVÉ]. Priorité à la vitesse : [FAIBLE/ÉLEVÉE]. Sur la base de ce profil, quel niveau (léger/équilibré/fort) et raisonnement (ouvert/fermé) recommanderiez-vous ? Justifier.
2. Décision petit/grand modèle :
Je définis la tâche suivante : [TASK]. Ce problème peut-il être résolu avec un petit modèle (léger), ou faut-il un grand modèle ? Suggérez-moi 3 cas de test et un seuil de réussite pour essayer de résoudre avec le petit modèle.
3. Bien-fondé du raisonnement :
Le mode de raisonnement (réflexion étape par étape) serait-il bénéfique ou coûteux dans la tâche suivante : [TASK] ? Justifiez votre décision en fonction du nombre d'étapes et de la complexité logique de la tâche.
4. Conception du flux de travail en deux étapes :
Concevoir un flux en deux étapes pour réduire les coûts sur la tâche à grand volume suivante [TASK] : quelle partie doit aller au modèle léger, quelle partie doit aller au modèle puissant ? Écrivez le niveau et la justification de chaque étape.
Erreurs courantes
- Un modèle puissant pour chaque tâche : créer des coûts et des retards inutiles en utilisant le modèle le plus puissant pour des tâches simples et volumineuses.
- Toujours laisser le raisonnement activé : garder le mode réflexion activé dans des tâches simples et perdre du temps et de l'argent en vain.
- Prendre des décisions sans mesurer la qualité : supposer que "plus c'est gros, mieux c'est" sans comparer deux niveaux avec vos propres données.
- Oublier le besoin de vitesse : dans les endroits où une réponse instantanée est requise, comme le chat, choisir un modèle lent et puissant et faire attendre l'utilisateur.
- Ne pas penser du tout au flux en deux étapes : ne pas avoir tout le volume construit par un seul modèle et ne pas économiser sur la partie qui peut être réalisée à moindre coût.
En résumé
- La sélection du modèle est un exercice d'équilibre dans le triangle de la qualité, de la rapidité et du coût ; En améliorer deux nécessite souvent de compromettre le troisième.
- La scène légère convient aux travaux simples/encombrants, la scène forte convient aux travaux complexes/critiques ; L'étape équilibrée est un bon début pour la plupart des emplois.
- Le mode de raisonnement améliore la précision dans les problèmes à plusieurs étapes mais augmente le coût et la latence ; Il ne faut pas le laisser ouvert à toutes les tâches.
- "Quel est le coût d'un échec dans cette mission ?" La question est la boussole de la décision de niveau et du raisonnement. Les flux en deux étapes permettent de réaliser d'importantes économies sur les travaux en volume.
Tâche de candidature
Sélectionnez une tâche dans votre travail et déterminez quelle étape et quel paramètre de raisonnement sont appropriés avec le modèle 1 (diagnostic d'étape). Si la tâche est à volume élevé, proposez une conception qui dirige une partie du volume vers le modèle léger et la partie critique vers le modèle fort avec le modèle 4 (flux de travail en deux étapes). Nous utiliserons cette conception dans l’étude de portefeuille modèle de l’unité 9.
liste de contrôle
- [ ] Je peux égaler le caractère de travail de scènes légères, équilibrées et puissantes.
- [ ] Je peux expliquer à quoi sert le mode de raisonnement et ce qu'il coûte.
- [ ] Je peux consciemment établir l’équilibre qualité-vitesse-coût pour une tâche.
- [ ] Je peux répondre à la question du petit ou du grand modèle avec trois questions.
- [ ] Je peux concevoir un flux en deux étapes pour un travail à volume élevé.