Gains :
- Possibilité de lire les prix des jetons d'entrée/sortie et les éléments de facture
- Capacité à estimer le coût mensuel d'un workflow avec une formule approximative
- Mettre en œuvre des méthodes de réduction des coûts telles que la mise en cache, le traitement par lots et la mise en scène de modèles
Être capable d'estimer le coût d'un modèle est l'une des compétences les plus pratiques du décideur. « Qu'est-ce que je paie mensuellement ? » Si vous ne pouvez pas répondre à la question, vous ne pouvez ni planifier un budget ni choisir le bon niveau. La bonne nouvelle est que la tarification est plus simple qu’il n’y paraît, et une fois que vous aurez compris, vous pourrez faire vous-même une estimation approximative. Dans cette unité, vous apprendrez à lire la tarification des jetons d'entrée/sortie, à estimer le coût mensuel d'un flux de travail avec une formule simple et à découvrir des méthodes qui réduisent réellement les coûts.
Règle générale : les entrées et les sorties sont facturées séparément
Dans les modèles à poids fermé, le prix est calculé en fonction de la quantité de jetons traités et il existe deux éléments distincts :
- Jeton d'entrée (input) : Le texte que vous envoyez au modèle. Votre invite, vos documents, vos échantillons.
- Jeton de sortie : la réponse que le modèle produit pour vous.
Point critique : le jeton de sortie est souvent plusieurs fois plus cher que le jeton d’entrée. En effet, il est plus coûteux en termes de calcul pour le modèle de produire une sortie. Par exemple, dans un modèle, l'entrée pourrait être de 3 $ par million de jetons tandis que la sortie pourrait être de 15 $ ; La production est donc cinq fois plus chère. Cela signifie que des réponses longues et inutiles peuvent rapidement gruger le budget.
Astuce : L’un des moyens les plus simples de réduire les coûts est de ne pas demander au modèle des réponses inutilement longues. Des restrictions telles que « 5 articles maximum », « un seul paragraphe », « exporter uniquement le tableau » augmentent la qualité et enregistrent le jeton de sortie.
Exemples de prix actuels
Vous trouverez ci-dessous les prix approximatifs de plusieurs modèles (par million de jetons, en dollars américains). Ces valeurs appartiennent à la période pendant laquelle ce module a été préparé et changent fréquemment ; Consultez la page des prix actuels du fournisseur pour connaître la décision exacte.
modèle
Scène
Entrée $/1M
Production $/1M
Claude Opus 4.8
fort
~5
~25
Claude Sonnet5
équilibré
~3
~15
Claude Haïku 4.5
léger
~1
~5
Comme le montre le tableau, il peut y avoir une différence de prix allant jusqu'à cinq fois entre le niveau fort et le niveau léger. C'est pourquoi l'approche du « modèle le plus adapté à toutes les entreprises » est souvent un gaspillage d'argent. Faire effectuer le travail simple par un modèle bon marché et le travail difficile par un modèle puissant permet de réaliser de grandes économies sans perte de qualité. Nous approfondirons cette idée dans les unités 7 et 9.
Estimation du coût mensuel : formule simple
Pour une estimation approximative des coûts mensuels, vous pouvez utiliser cette formule :
Coût mensuel ≈ (Nombre de demandes par mois × Jeton d'entrée moyen × Prix d'entrée / 1 000 000)+ (Nombre de demandes par mois × Jeton de sortie moyen × Prix de sortie / 1 000 000)
Prenons un exemple. Disons qu'une équipe de commerce électronique produit 50 000 descriptions de produits par mois. Chaque requête envoie en moyenne 500 jetons d'entrée (informations sur le produit) et reçoit 300 jetons de sortie (description). Dans un modèle équilibré (entrée ~3, sortie ~15) :
- Coût des intrants : 50 000 × 500 × 3 / 1 000 000 = 75 $
- Coût de sortie : 50 000 × 300 × 15 / 1 000 000 = 225 $
- Total ≈ 300$/mois
S'ils ont fait le même travail dans un modèle léger (entrée ~1, sortie ~5) :
- Entrée : 50 000 × 500 × 1 / 1 000 000 = 25 $
- Sortie : 50 000 × 300 × 5 / 1 000 000 = 75 $
- Total ≈ 100$/mois
Ainsi, une simple sélection d’étapes peut réduire le même travail de 300 $ à 100 $. Pour une tâche relativement simple comme une description de produit, le modèle léger est souvent largement suffisant.
Attention : Cette formule est une estimation approximative ; la facturation réelle varie en fonction de facteurs tels que l'utilisation du cache, les tentatives et le mode de raisonnement. C'est quand même un très bon début pour obtenir une confirmation de budget ou comparer deux modèles. Il est préférable de mesurer le nombre réel avec un petit projet pilote avant de prendre une décision.
Cinq méthodes pour réduire les coûts
- Choisissez le bon niveau. Modèle simple et léger. Il s’agit de la plus grande source d’économies.
- Réduisez la taille de l'entrée. Au lieu de remplir d'énormes documents pour chaque demande, envoyez uniquement la section pertinente (optimisation du contexte dans l'unité 5).
- Limiter la sortie. Clarifier la longueur et le format de la réponse ; Réponse inutilement longue = coût inutile.
- Utilisez la mise en cache. Many providers allow you to cache and re-read repeated fixed inputs (e.g. the same system instruction) much cheaper. Cela permet de réaliser des économies significatives si vous envoyez la même instruction volumineuse des milliers de fois.
- Effectuer un traitement par lots. Si vous n'êtes pas pressé, les options « par lots », qui envoient de nombreuses demandes en masse et les traitent à prix réduit, réduisent considérablement le coût.
Trois cas réalistes
Cas 1 — Économies avec changement progressif. Une équipe du service client résumait tous les e-mails entrants avec le modèle le plus performant, et leur facture mensuelle s'élevait à environ 900 $. Résumer était une tâche simple ; Lorsqu'ils sont passés au niveau équilibré, la qualité de la production est restée presque la même, mais la facture est tombée à environ 250 $. Économisez environ 7 800 $ par an, simplement en choisissant le bon niveau.
Cas 2 — Sauvegarde avec cache. Une équipe logicielle envoyait le même document de « normes de codage » de 8 000 jetons avec chaque demande de révision de code. 400 requêtes par jour × 8 000 jetons = saisies répétitives importantes. Lorsqu'ils ont activé la fonction de cache, cette partition fixe a commencé à être lue à moindre coût et une partie importante des coûts d'entrée a disparu.
Cas 3 — Économies en limitant la production. Lorsqu'une équipe marketing demandait une description d'un produit, le modèle produisait de longs paragraphes fleuris à la fois. Lorsqu'ils ont ajouté la restriction « 60 mots maximum, un seul paragraphe », les explications sont devenues plus utiles et le jeton de sortie a été réduit de moitié. Tandis que la qualité augmentait, le coût diminuait ; gagnant-gagnant.
Invite faible/Invite forte
Invite faible :
Écrivez-moi une belle description de ce produit. [informations sur le produit]
Le modèle peut écrire aussi longtemps qu’il le souhaite ; Le jeton de sortie n'est pas contrôlé.
Invite puissante :
Votre rôle : rédacteur e-commerce. Produit : [INFORMATION]. Tâche : Rédiger une description de produit. Restrictions : 60 mots maximum, un paragraphe, s'adressant aux clients non experts, contiennent 2 avantages + 1 cas d'utilisation. Évitez les adjectifs fantaisistes.
L'invite puissante contrôle à la fois la qualité et la longueur de la production (et donc le coût).
Modèles copiables
1. Estimation mensuelle des coûts :
Je fais des demandes de [QUANTITÉ] mensuellement. Entrée moyenne ~[NUM] jetons, sortie ~[NUM] jetons. Calculez le coût mensuel pour les modèles suivants ([MODEL A], [MODEL B]) avec la formule et comparez dans un tableau. Acceptez les prix d'entrée/sortie [PRIX].
Comparaison de niveau 2 :
Mon devoir [TACHE]. Ce travail nécessite-t-il vraiment un modèle puissant, ou un modèle léger/équilibré est-il suffisant ? Évaluez en termes de qualité et de coût et suggérez-moi 2 niveaux de test pilote.
3. Examen de la réduction des coûts :
Identifiez les moyens de réduire les coûts dans le flux de travail suivant : [WORKFLOW]. Écrivez la faisabilité et les économies estimées pour chacun des en-têtes de cascade, de réduction des entrées, de limite de sortie, de cache et de traitement par lots.
4. Limitation de sortie :
Réécrivez l'invite suivante pour réduire le jeton de sortie sans réduire la qualité : "[PROMPT]". Optimisez la longueur, le format et les répétitions inutiles.
Erreurs courantes
- Ignorer la différence entrée/sortie : autoriser des réponses longues sans savoir que la sortie est beaucoup plus coûteuse.
- Le modèle le plus puissant pour chaque travail : Réaliser un travail simple avec un modèle coûteux et payer plusieurs fois plus inutilement.
- Libération de la longueur de sortie : donner une autorisation d'écriture illimitée au modèle sans imposer de restrictions de format ou de longueur.
- Ignorer le cache et les lots : manquer de sérieuses opportunités d'économies pour les entrées répétitives et les tâches non urgentes.
- Penser que les prix sont à jour : S'appuyer sur un ancien tableau de prix et planifier incorrectement le budget ; les prix changent fréquemment.
En résumé
- Le prix est calculé sur la base de jetons ; les intrants et les extrants sont évalués séparément, et les extrants sont souvent plusieurs fois plus chers.
- Vous pouvez estimer approximativement le coût mensuel par la formule nombre de demandes × jeton moyen × prix.
- La sélection correcte des étapes peut à elle seule réduire le coût plusieurs fois.
- La minimisation des entrées, la limitation des sorties, la mise en cache et le traitement par lots sont des méthodes pratiques qui réduisent considérablement la facture.
Tâche de candidature
Obtenez les valeurs de jetons que vous avez estimées dans l'unité précédente. Faites calculer le coût mensuel de votre entreprise pour deux niveaux différents avec le modèle 1 dans cette unité (estimation des coûts mensuels). Ensuite, avec le 3ème modèle (analyse de réduction des coûts), déduisez les économies que chaque méthode peut apporter à votre flux de travail. Prévoyez de choisir les deux méthodes les plus prometteuses et de les appliquer à votre budget du mois prochain.
liste de contrôle
- [ ] Je sais que les jetons d'entrée et de sortie sont tarifés séparément et que la sortie est plus chère.
- [ ] Je peux estimer approximativement le coût mensuel d'un flux de travail avec la formule simple.
- [ ] Je peux montrer l'impact financier du choix du bon niveau avec un exemple.
- [ ] Je peux reconnaître cinq méthodes de réduction des coûts et choisir celle qui convient.
- [ ] Je peux réécrire une invite pour réduire le jeton de sortie.