Κέρδη:
- Εξηγήστε την έννοια του διακριτικού, της διάκρισης διακριτικού εισόδου/εξόδου και του διακριτικού.
- Μπορεί να υπολογίσει το κόστος ενός αιτήματος και τον μηνιαίο φόρτο εργασίας από τον αριθμό των διακριτικών και την τιμή μονάδας
- Μπορεί να συγκρίνει τον αντίκτυπο της επιλογής μοντέλου και του άμεσου μήκους στο κόστος
Δεν μπορείτε να δημιουργήσετε μια λύση σε κλίμακα χωρίς να κατανοήσετε τα οικονομικά των API LLM. Μια επίδειξη εκτελείται μία φορά. Το κυριότερο είναι να μπορούμε να προβλέψουμε ποιος θα είναι ο λογαριασμός όταν γίνονται χιλιάδες κλήσεις το μήνα. Σε αυτήν την ενότητα ρυθμίζουμε τη χρηματική πλευρά των πραγμάτων: τι είναι ένα διακριτικό, γιατί η τιμή των εισροών και των εκροών είναι διαφορετική, πώς να υπολογίσετε το κόστος ενός αιτήματος και πώς να προϋπολογίσετε έναν μηνιαίο φόρτο εργασίας. Αυτές οι πληροφορίες σάς επιτρέπουν να μετρήσετε την απόδοση των τεχνικών βελτιστοποίησης (αποθήκευση προσωρινής μνήμης, επιλογή μοντέλου, παρτίδα) σε επόμενες μονάδες.
Τι είναι το Token;
Token είναι η μικρότερη μονάδα στην οποία το μοντέλο επεξεργάζεται κείμενο. Μια λέξη δεν είναι πάντα μια ένδειξη. Token είναι συνήθως μέρος μιας λέξης. Σε γενικές γραμμές, στα αγγλικά, 1 διακριτικό είναι ≈ 4 χαρακτήρες ≈ 0,75 λέξεις. Στα τουρκικά και τον κώδικα, η αναλογία ποικίλλει: οι τουρκικές λέξεις συχνά χωρίζονται σε περισσότερες μάρκες από ό,τι στα αγγλικά λόγω της δομής και του αλφαβήτου τους. Επομένως, είναι απαραίτητο να μετρήσετε τον αριθμό των διακριτικών με το εργαλείο μέτρησης διακριτικών του παρόχου αντί να μαντέψετε με το μάτι.
Tokenization (η διαδικασία διαχωρισμού του κειμένου σε διακριτικά) μπορεί να είναι διαφορετική για κάθε μοντέλο. Αυτό έχει δύο πρακτικές συνέπειες: (1) Το ίδιο κείμενο μπορεί να αποφέρει διαφορετικούς αριθμούς διακριτικών σε διαφορετικά μοντέλα. (2) Οι προβλέψεις που γίνονται με tokenizers από άλλους παρόχους (π.χ. τη βιβλιοθήκη tiktoken του OpenAI) θα είναι ανακριβείς για τον Claude — χρησιμοποιήστε την συμβουλή μέτρησης διακριτικών για το μοντέλο που χρησιμοποιείτε.
Υπόδειξη: "Πόσα κουπόνια περίπου;" Μην απαντάτε στην ερώτηση στα τυφλά. Περάστε ένα αντιπροσωπευτικό κείμενο μέσω του API μέτρησης διακριτικών. Βασίστε τις αποφάσεις του προϋπολογισμού στη μέτρηση.
Διακριτικά εισόδου και εξόδου
Το τιμολόγιο αποτελείται από δύο στοιχεία:
- Διακριτικά εισαγωγής: Οτιδήποτε στέλνετε στο μοντέλο — προτροπή συστήματος, προηγούμενες περιηγήσεις, μήνυμα χρήστη, τεκμηρίωση εάν υπάρχουν. Αυτά επεξεργάζονται όλα ταυτόχρονα.
- Tokens εξόδου: Η απόκριση που παράγεται από το μοντέλο. Για κάθε διακριτικό εξόδου, το μοντέλο εκτελεί τον υπολογισμό βήμα προς βήμα.
Με τους περισσότερους παρόχους, η έξοδος είναι πολλές φορές πιο ακριβή από την είσοδο. Ο λόγος είναι απλός: η ανάγνωση της εισόδου ταυτόχρονα είναι φθηνότερη από την παραγωγή της εξόδου διακριτικό προς διακριτικό. Η γνώση αυτής της ασυμμετρίας εξηγεί γιατί βελτιστοποιήσεις όπως το "απαιτούν συνοπτικές απαντήσεις" είναι τόσο αποτελεσματικές.
Τιμές δειγμάτων (ανά 1 εκατομμύριο μάρκες, USD)
Ο παρακάτω πίνακας είναι μια αναφορά. Οι τιμές ενδέχεται να αλλάξουν με την πάροδο του χρόνου, επιβεβαιώστε την τρέχουσα λίστα του παρόχου σας.
κατηγορία μοντέλου
δείγμα μοντέλου
Εισαγωγή ($/1 εκατ.)
Έξοδος ($/1 εκατ.)
Τυπική χρήση
γρήγορο/φτηνό
Χαϊκού 4.5
1.00
5.00
Ταξινόμηση, επισήμανση, απλή περίληψη
ισορροπημένη
σονέτο 5
3.00
15.00
Γενικός σκοπός, κωδικοποίηση, εργασία με πράκτορα
δυνατός
Opus 4.8
5.00
25.00
Πολύπλοκη συλλογιστική, εργασίες μεγάλης εμβέλειας
Σε κάθε κατηγορία, η έξοδος είναι 5 φορές η είσοδος. Επιπλέον, ακόμη και η είσοδος του ισχυρού μοντέλου είναι 5 φορές μεγαλύτερη από την είσοδο του φθηνού μοντέλου. Αυτοί οι δύο άξονες (input↔output και class model) αποτελούν το πλαίσιο των αποφάσεων κόστους σας.
Πώς να υπολογίσετε το κόστος;
Ο τύπος είναι απλός:
κόστος = (input_token / 1.000.000) × input_price + (output_token / 1.000.000) × output_price
Δείγμα λογαριασμού. Ένα αίτημα με το Sonnet 5: 1.500 μάρκες εισόδου, 400 μάρκες εξόδου.
είσοδος = 1.500 / 1.000.000 × 3,00 = 0,0045 $ έξοδο = 400 / 1.000.000 × 15,00 = 0,0060 $ σύνολο = 0,0105 $ (περίπου 1 σεντ)
Μια κλήση φαίνεται φθηνή. Πολλαπλασιάστε όμως με τον όγκο: 20.000 κλήσεις την ημέρα → 210 $ την ημέρα, ~ 6.300 $ το μήνα. Εδώ μπαίνει στο παιχνίδι η κλίμακα.
Πρότυπο μηνιαίου προϋπολογισμού
Για να εξαγάγετε το μηνιαίο κόστος ενός φόρτου εργασίας, χρησιμοποιήστε αυτό το πρότυπο:
1) Μέσο διακριτικό εισόδου ανά αίτημα: ......2) Μέσο διακριτικό εξόδου ανά αίτημα: ......3) Αριθμός αιτημάτων ανά ημέρα: ......4) Ημέρες εργασίας ανά μήνα: ......5) Κόστος ανά αίτημα = (1)/1M×τιμή_εισόδου + (2)/1M×τιμή_εξόδου6) Μηνιαίο κόστος = (5)× (4)
Το να χύνετε αυτό το μοτίβο σε ένα υπολογιστικό φύλλο και να δείτε πώς παίζει το άθροισμα όταν αλλάζετε το μοντέλο ενσωματώνει τις αποφάσεις επιλογής μοντέλου (μονάδα 5) και προσωρινής αποθήκευσης (μονάδα 6).
Συντόμευση της προτροπής με αντιγράψιμα πρότυπα
Το μεγαλύτερο μέρος του κόστους προέρχεται από άσκοπα μακροχρόνιες προτροπές και σπαταλημένη απόδοση. Τα παρακάτω πρότυπα παρέχουν άμεση εξοικονόμηση πόρων.
# Περιορίστε το μήκος εξόδου. Απαντήστε με το πολύ 3 στοιχεία. Προσθέστε μια λογική ή μια εισαγωγική πρόταση.
# Επιστρέψτε μόνο το ζητούμενο πεδίο Επιστρέψτε μόνο το ακόλουθο JSON, μην προσθέσετε άλλο κείμενο:{"category": "...", "urgency": "low|medium|high"}
# Κατάργηση περιττού περιβάλλοντοςΚαταργήστε μόνο την ημερομηνία και το ποσό από το παρακάτω κείμενο. Μην επαναλάβετε ολόκληρο το κείμενο. Κείμενο: """{{text}}"""
# Συνοψίστε τη μεγάλη ομιλία (αποθήκευση εισόδου) Συνοψίστε αυτήν την ομιλία σε 5 στοιχεία. Θα χρησιμοποιήσω αυτήν την περίληψη αντί για το πλήρες παρελθόν στους επόμενους γύρους. Ομιλία: """{{ παρελθόν}}"""
Αδύναμη προτροπή / Ισχυρή προτροπή (από άποψη κόστους)
# ΑΔΥΝΑΜΟΣ (απελευθερώνει έξοδο, ακριβό) Αναλύστε αυτό το αίτημα υποστήριξης και γράψτε μου μια ολοκληρωμένη κριτική.
# STRONG (περιορίζει την έξοδο, φθηνό και προβλέψιμο) Ταξινομήστε αυτό το αίτημα υποστήριξης. Απλώς επιστρέψτε το ακόλουθο JSON:{"category":"invoice|technical|refund|other","urgency":"low|medium|high"}Μην γράψετε περιγραφή.
Η αδύναμη έκδοση παράγει ίσως 500 μάρκες εξόδου. ισχυρή έκδοση ~15. Επειδή η έξοδος είναι ακριβή, αυτή είναι μια σημαντική διαφορά ανά κλήση και πολλαπλασιάζεται με τον όγκο.
Τρεις Μίνι Θήκες
Περίπτωση 1 — Το κρυφό κόστος της μακροχρόνιας προτροπής. Καθώς ένας λογιστικός αυτοματισμός ταξινόμησε κάθε τιμολόγιο, πρόσθεσε ένα "βιβλίο κανόνων" 40 σελίδων ως είσοδο σε κάθε αίτημα: ~12.000 διακριτικά εισόδου ανά αίτημα. Με το Sonnet 5 12.000/1M×3 = 0,036 $ μόλις καταχωρήσατε. 5.000 λογαριασμοί την ημέρα → 180 $ την ημέρα. Με την προσωρινή αποθήκευση του βιβλίου κανόνων (μονάδα 6) το κόστος εισόδου μειώθηκε κατά ~90%.
Περίπτωση 2 — Η ανταμοιβή της μείωσης του μεγέθους του μοντέλου. Μια ομάδα έκανε απλή προσθήκη ετικετών "θετικού/αρνητικού" συναισθήματος με το Opus 4.8: 300 εισόδους + 10 διακριτικά εξόδου. Κόστος Opus 300/1M×5 + 10/1M×25 = 0,00175$. Μετάβαση σε Haiku, 300/1M×1 + 10/1M×5 = 0,00035 $ — 5 φορές φθηνότερα, η διαφορά στην ακρίβεια ήταν αμέτρητη. Σε 3 εκατομμύρια κλήσεις το μήνα, η διαφορά είναι 5.250 $ → 1.050 $.
Περίπτωση 3 — Απελευθέρωση της εξόδου. Όταν μια ομάδα μάρκετινγκ παρήγαγε μια περιγραφή προϊόντος, δεν έθετε όρια στην παραγωγή. το μοντέλο μερικές φορές έλεγε 1.500 μάρκες. Όταν πρόσθεσα την εντολή "60 λέξεις μέγιστο", η μέση απόδοση έπεσε από 900 σε 90 μάρκες. Επειδή η εκτύπωση ήταν ακριβή, ο μηνιαίος λογαριασμός μειώθηκε κατά ένα τρίτο και τα κείμενα έγιναν πιο χρήσιμα.
Συνήθη λάθη
- Μαντεύοντας το διακριτικό με το μάτι: Μπορεί να κάνετε λάθος ειδικά στα τουρκικά και τον κώδικα. Μέτρο.
- Υποθέτοντας ότι η είσοδος και η έξοδος είναι ίδιες: Η έξοδος είναι συνήθως πολύ πιο ακριβή. Το μεγαλύτερο μέρος της βελτιστοποίησης προέρχεται από τη μείωση της παραγωγής.
- Μην ξεγελιέστε από τη φθηνότητα μιας μόνο κλήσης: Η απόφαση λαμβάνεται από τον όγκο. 0,01 $ × εκατομμύριο = 10.000 $.
- Πρόβλεψη με το tokenizer άλλου παρόχου: Δίνει εσφαλμένα αποτελέσματα. Χρησιμοποιήστε το εργαλείο μέτρησης διακριτικών του μοντέλου.
- Απεριόριστη διεύρυνση του ιστορικού συνομιλιών: Κάθε γύρος προστίθεται στην καταχώριση. συνοψίζουν σε μεγάλες συνομιλίες.
- Διατήρηση «max_tokens» άσκοπα υψηλά: Κρύβει το σχέδιο προϋπολογισμού και τον κίνδυνο περικοπής. Δώστε μια ρεαλιστική αξία.
Βαθύτερο: Παράθυρο περιβάλλοντος και μεγάλο κόστος εισόδου
Είναι κρίσιμο να δούμε πώς αυξάνεται η τιμή "σε όλη τη συζήτηση" και όχι μόνο "ανά αίτημα". Η συνολική ποσότητα κειμένου που μπορεί να επεξεργαστεί το μοντέλο ονομάζεται παράθυρο περιβάλλοντος. Το άθροισμα εισόδου και εξόδου πρέπει να χωράει σε αυτό το παράθυρο. Τα μοντέρνα μοντέλα προσφέρουν πολύ μεγάλα παράθυρα (εκατοντάδες χιλιάδες, ακόμη και εκατομμύρια μάρκες), αλλά αυτό δεν σημαίνει ότι μπορείτε να τα "γεμίσετε άπειρα" — οτιδήποτε τοποθετήσετε στο παράθυρο χρεώνεται ως είσοδος.
Η παγίδα στις μεγάλες συνομιλίες είναι η εξής: με κάθε νέο γύρο στέλνετε ξανά ολόκληρο το ιστορικό (ανιθαγένεια στην ενότητα 1). Σε μια συνομιλία 20 γύρων, το 20ο αίτημα μεταφέρει ολόκληρους τους πρώτους 19 γύρους ως είσοδο. Έτσι, καθώς η συνομιλία διαρκεί περισσότερο, το κόστος ανά αίτημα αυξάνεται σωρευτικά και όχι γραμμικά. Μια συνομιλία 50 γύρων με έναν βοηθό πράκτορα μπορεί να παράγει εισροές δεκάδες φορές το κόστος του πρώτου γύρου.
Υπάρχουν δύο τρόποι διαχείρισης αυτού. Το πρώτο είναι το recap: συμπίεση παλαιότερων γύρων σε ένα ενιαίο μπλοκ ανακεφαλαιοποίησης, διατηρώντας μόνο τους τελευταίους γύρους ακατέργαστους. Το δεύτερο είναι η άμεση προσωρινή αποθήκευση (ενότητα 6): ανάγνωση του σταθερού περιβάλλοντος στο ένα δέκατο της τιμής αντί της επανειλημμένης επεξεργασίας του στην πλήρη τιμή. Μαζί, μειώνουν σημαντικά το νομοσχέδιο για μεγάλους φόρτους εργασίας με μεγάλη ένταση. Έτσι, η συμβολική οικονομία αφορά το σχεδιασμό ολόκληρης της συνεδρίας, όχι ένα μόνο αίτημα.
Συνοπτικά
Token είναι η μικρότερη μονάδα στην οποία γίνεται επεξεργασία κειμένου. Η είσοδος και η έξοδος τιμολογούνται χωριστά και η έξοδος είναι συχνά πολύ πιο ακριβή. Το κόστος είναι ο αριθμός των μαρκών πολλαπλασιασμένος με την τιμή μονάδας και η πραγματική απόφαση λαμβάνεται κατ' όγκο. Η συντόμευση της προτροπής, ο περιορισμός της απόδοσης και η επιλογή του ελαφρύτερου μοντέλου που ολοκληρώνει την εργασία είναι οι πιο άμεσοι μοχλοί που μειώνουν το κόστος πολλές φορές.
Εργασία εφαρμογής
Επιλέξτε μια δική σας εργασία. (1) Προσδιορίστε τον αριθμό των διακριτικών εισόδου και εκτιμώμενης εξόδου για μια αντιπροσωπευτική προτροπή (μετρήστε με ένα εργαλείο μέτρησης διακριτικών εάν είναι δυνατόν). (2) Υπολογίστε το κόστος ανά αίτημα για τις τρεις κατηγορίες μοντέλων. (3) Υπολογίστε τον ημερήσιο αριθμό των αιτημάτων σας και εξάγετε τον μηνιαίο προϋπολογισμό για τα τρία μοντέλα. (4) Προσθέστε μια οδηγία για να συντομεύσετε την έξοδο και σημειώστε την αναμενόμενη εξοικονόμηση.
λίστα ελέγχου
- [ ] Μπορώ να εξηγήσω την έννοια των tokens και ότι το tokenization ποικίλλει ανάλογα με το μοντέλο.
- [ ] Ξέρω γιατί τα διακριτικά εισόδου και εξόδου έχουν διαφορετική τιμή.
- [ ] Μπορώ να υπολογίσω το κόστος ενός αιτήματος με τον τύπο.
- [ ] Μπορώ να δημιουργήσω έναν μηνιαίο προϋπολογισμό για έναν φόρτο εργασίας χρησιμοποιώντας ένα πρότυπο.
- [ ] Μπορώ να δείξω με ένα παράδειγμα το όφελος από τη μείωση της παραγωγής και τη μείωση του μοντέλου.