Κέρδη:
- Μπορεί να συγκρίνει την οικογένεια μοντέλων (γρήγορο/ισορροπημένο/ισχυρό) ως προς την ικανότητα, την ταχύτητα και το κόστος
- Σχεδιάζει στρατηγικές επιλογής μοντέλων και δρομολόγησης σύμφωνα με την πολυπλοκότητα της εργασίας
- Βασίζει την επιλογή του μοντέλου σε στοιχεία με ένα μικρό σύνολο αξιολογήσεων
Η μόνη απόφαση που καθορίζει το μεγαλύτερο δυνατό κόστος και την ποιότητά σας στην ενσωμάτωση LLM είναι το μοντέλο που χρησιμοποιείτε. Το κοινό αντανακλαστικό είναι «επιλέξτε το ισχυρότερο μοντέλο». Ωστόσο, αυτό συχνά σημαίνει περιττό κόστος και καθυστερήσεις. Η σωστή προσέγγιση είναι να επιλέξετε το πιο ελαφρύ μοντέλο που ολοκληρώνει κάθε εργασία και να βασίσετε αυτή την επιλογή στη μέτρηση και όχι στην εικασία. Σε αυτή την ενότητα, θα συγκρίνετε την οικογένεια μοντέλων στον άξονα ικανότητας/ταχύτητας/κόστους, θα δημιουργήσετε μια στρατηγική δρομολόγησης μοντέλου σύμφωνα με την πολυπλοκότητα της εργασίας και θα αποδείξετε την επιλογή με ένα μικρό σύνολο αξιολογήσεων.
Κατανόηση της Οικογένειας Μοντέλων
Οι πάροχοι προσφέρουν γενικά τρεις κατηγορίες: γρήγορη/φθηνή, σταθερή και ισχυρή. Η μεταξύ τους σχέση συνοψίζεται σε τρεις άξονες: ικανότητα (ισχύς επίλυσης δύσκολων εργασιών), ταχύτητα (λανθάνουσα κατάσταση), κόστος (συμβολική τιμή).
τάξη
παράδειγμα
ταλέντο
ταχύτητα
Κόστος
Διαθέσιμες εργασίες
γρήγορα
Χαϊκού 4.5
μεσαίο
πολύ ψηλά
χαμηλά
Ταξινόμηση, επισήμανση, σύντομη περίληψη, προσανατολισμός
ισορροπημένη
σονέτο 5
ψηλά
ψηλά
μεσαίο
Γενικός σκοπός, κωδικοποίηση, ροή πολλαπλών βημάτων, οι περισσότερες εργασίες με πράκτορες
δυνατός
Opus 4.8
υψηλότερο
μεσαίο
ψηλά
Πολύπλοκη συλλογιστική, αυτόνομες εργασίες μεγάλης εμβέλειας, δύσκολη ανάλυση
Κριτική διορατικότητα: το πιο ισχυρό μοντέλο δεν αποδίδει καλύτερα σε κάθε εργασία. Σε μια απλή επισήμανση "επείγον ή όχι", το ισχυρό μοντέλο και το γρήγορο μοντέλο δίνουν την ίδια σωστή απάντηση. η μόνη διαφορά είναι ότι το ισχυρό είναι 5 φορές πιο ακριβό και πιο αργό. Το επιπλέον ταλέντο παράγει αξία μόνο όταν το απαιτεί η αποστολή.
Βήμα προς βήμα: Πώς να επιλέξετε ένα μοντέλο;
- Ταξινόμηση της εργασίας. Είναι ρουτίνας/μοτίβος (επισήμανση, συμπέρασμα) ή ανοιχτού τύπου/πολλαπλών βημάτων (ανάλυση, σχεδιασμός, κώδικας);
- Ξεκινήστε με τον πιο ελαφρύ υποψήφιο. Δοκιμάστε το με το γρήγορο μοντέλο. Αν είναι αρκετό, σταματήστε.
- Αν δεν είναι αρκετό, ανεβείτε σε ανώτερη τάξη. Αν η ακρίβεια είναι χαμηλή, πήγαινε στον ισορροπημένο, αν δεν είναι αρκετό, πήγαινε στον δυνατό.
- Μετρήστε, μην μαντεύετε. Συγκρίνετε την ακρίβεια και το κόστος κάθε υποψηφίου με ένα μικρό σύνολο ισοτιμιών (παρακάτω).
- Ρύθμιση ανακατεύθυνσης. Αντί να συνδέεστε σε ένα μόνο μοντέλο, διανείμετε την εργασία στο σωστό μοντέλο με έναν "δρομολογητή".
Μοντέλο δρομολόγησης
Ο πραγματικός φόρτος εργασίας είναι ανάμεικτος: τα περισσότερα εισερχόμενα αιτήματα είναι απλά, μερικά είναι δύσκολα. Είναι χαμός να τους στέλνουμε όλους στο ισχυρό μοντέλο. Η αποστολή όλων στο γρήγορο μοντέλο μειώνει την ποιότητα. Η δρομολόγηση το λύνει αυτό: ένα φθηνό μοντέλο (ή ένας απλός κανόνας) ταξινομεί πρώτα την εργασία και μετά η δουλειά πηγαίνει στο κατάλληλο μοντέλο.
# Προτροπή δρομολογητή (λειτουργεί με φθηνό μοντέλο) Ταξινόμηση της εισερχόμενης αίτησης ανάλογα με τη δυσκολία της. Επιστρέψτε μόνο τα ακόλουθα JSON:{"difficulty": "simple|complex"}Simple: single-step, formulaic, short-answer.Complex: Απαιτείται συλλογισμός πολλών βημάτων, ανάλυση ή μεγάλη παραγωγή. Αίτημα: """{{request}}"""
- μεταβείτε στο απλό → γρήγορο μοντέλο (φθηνό, γρήγορο).
- πηγαίνετε σε πολύπλοκο → ισχυρό μοντέλο (ακριβό αλλά απαραίτητο).
Αυτό το μοτίβο μειώνει σημαντικά το μέσο κόστος επειδή το μεγαλύτερο μέρος της επισκεψιμότητας είναι γενικά απλό.
Συμβουλή: Μια απόφαση παραπομπής δεν απαιτεί πάντα LLM. Απλοί κανόνες όπως "Μετάβαση σε γρήγορο μοντέλο εάν το κείμενο είναι λιγότερο από 20 λέξεις" είναι επίσης ένας οδηγός και φέρνουν μηδενικό πρόσθετο συμβολικό κόστος. Δοκιμάστε πρώτα τον κανόνα.
Σύνδεση της επιλογής με τα αποδεικτικά στοιχεία: Η μικρή ομάδα αξιολόγησης
Μην επιλέγετε μοντέλο με βάση το «μου φαίνεται καλύτερο». Το Eval (σετ αξιολόγησης) είναι ένα μικρό σύνολο δειγμάτων για τα οποία είναι γνωστή η σωστή απάντηση. τρέχετε κάθε μοντέλο σε αυτό το σύνολο και μετράτε την ακρίβεια, το κόστος και την καθυστέρηση.
# Eval setup template1) Συλλέξτε 20-50 πραγματικά παραδείγματα, γράψτε με το χέρι τη "σωστή απάντηση" σε καθένα. 2) Εκτελέστε κάθε μοντέλο (γρήγορο/ισορροπημένο/ισχυρό) σε αυτό το σετ. 3) Για κάθε μοντέλο: αριθμός διορθώσεων, μάρκες μέσης απόδοσης, κόστος ανά αίτημα, μέσος χρόνος.4) Επιλέξτε το μοντέλο που "δίνει επαρκή ακρίβεια φθηνότερο".
# Πίνακας σύγκρισης αξιολόγησης (συμπλήρωση)Μοντέλο | Ακρίβεια | Κόστος ανά αίτημα | Μέση διάρκεια Χαϊκού | ...% | ... $ | ... snSonnet | ...% | ... $ | ... snOpus | ...% | ... $ | ...δευτ
Αδύναμη προτροπή / Ισχυρή προτροπή (απόφαση επιλογής μοντέλου)
# ΑΔΥΝΑΜΟΣ (δεν υπάρχει βάση για απόφαση) Ας χρησιμοποιήσουμε το καλύτερο μοντέλο, ο προϋπολογισμός δεν είναι σημαντικός.
# STRONG (απόφαση με βάση τη μέτρηση) Σε 50 δείγματα, το Haiku έδωσε 96% ακρίβεια, το Sonnet έδωσε 97% ακρίβεια. Η διαφορά είναι στατιστικά ασήμαντη. Το χαϊκού επιλέχθηκε γιατί είναι 5 φορές φθηνότερο και 2 φορές πιο γρήγορο. Εάν η ακρίβεια πέσει κάτω από το 95%, η απόφαση για αναβάθμιση σε Sonnet θα ληφθεί αυτόματα.
Ισχυρή έκδοση. δεσμεύει την επιλογή σε έναν αριθμό, ένα όριο και έναν κανόνα κλιμάκωσης. Αυτό υπερασπίζεται τη σημερινή απόφαση και διαχειρίζεται τη μελλοντική αλλαγή.
Τρεις Μίνι Θήκες
Περίπτωση 1 — Απόδραση από το ακαταμάχητο μοντέλο. Ένα τηλεφωνικό κέντρο παρήγαγε όλες τις περιλήψεις συνομιλιών με την Opus. ο μηνιαίος λογαριασμός ήταν υψηλός. Σε ποσοστό 40 δειγμάτων, το Sonnet ήταν 1% πίσω από το Opus σε ακρίβεια, αλλά κόστιζε το ένα τρίτο. Μετέφεραν την περίληψη στο Σονέτο. Το μηνιαίο κόστος μειώθηκε από 9.000 $ σε 3.100 $, χωρίς παράπονα ποιότητας.
Περίπτωση 2 — Μικτή κίνηση με ανακατεύθυνση. Το 80% των αιτημάτων μιας νομικής ομάδας τεχνολογίας ήταν απλή επισήμανση εγγράφων, το 20% ήταν περίπλοκη ανάλυση συμβολαίων. Τους έστελναν όλους στο πανίσχυρο μοντέλο. Πρόσθεσαν ένα φτηνό δρομολογητή και μοίρασαν απλές δουλειές στο Haiku και πολύπλοκες εργασίες στο Opus. Το μέσο κόστος αιτήματος μειώθηκε κατά 64%, ενώ η ποιότητα της ανάλυσης διατηρήθηκε.
Περίπτωση 3 — Το κόστος της μείωσης του μεγέθους χωρίς μέτρηση. Για να μειώσει το κόστος, μια ομάδα μείωσε την εξαγωγή πολύπλοκων ιατρικών κωδικών απευθείας στο γρήγορο μοντέλο. Δεν αξιολόγησαν. Στο live, η ακρίβεια μειώθηκε από 92% σε 78%, με αποτέλεσμα την επιστροφή λανθασμένων συμπερασμάτων. Έπρεπε να αξιολογήσουν πρώτα: αυτή η εργασία απαιτούσε το ισχυρό μοντέλο. Μάθημα: τόσο η μείωση όσο και η ανύψωση γίνονται με μέτρηση.
Συνήθη λάθη
- Το «δυνατότερο μοντέλο» αντανακλαστικό: Σπατάλη και περιττή καθυστέρηση σε απλές εργασίες.
- Αλλαγή μοντέλου χωρίς μέτρηση: Τόσο η μείωση όσο και η μεγέθυνση είναι επικίνδυνες χωρίς ισοτιμία.
- Κλείδωμα σε ένα μόνο μοντέλο: Η δρομολόγηση σε μικτή κίνηση είναι συχνά πιο αποτελεσματική.
- Πάντα μπερδεύουμε τον δρομολογητή με το LLM: Οι απλοί κανόνες μπορούν να λειτουργήσουν με μηδενικό κόστος.
- Μη ορισμός ορίου ενίσχυσης: Τι θα συμβεί αν πέσει η ακρίβεια θα πρέπει να καθοριστεί εκ των προτέρων.
- Μη διόρθωση της έκδοσης του μοντέλου: Καταγράψτε ποιο μοντέλο/έκδοση εργάζεστε στην παραγωγή. Η αλλαγή έκδοσης μπορεί να αλλάξει τη συμπεριφορά.
Deeper: Perpetuating Eval and Incremental Trial
Η επιλογή μοντέλου δεν είναι μια εφάπαξ απόφαση. Οι πάροχοι εισάγουν νέα μοντέλα, οι τιμές αλλάζουν, η περιγραφή της θέσης σας εξελίσσεται. Ρυθμίστε λοιπόν το σύμπλεγμα αξιολόγησης μία φορά και μην ξεχνάτε. κρατήστε το σαν ζωντανό ον. Όταν βγαίνει ένα νέο μοντέλο, περνάτε τα ίδια 20-50 δείγματα μέσα από αυτό, ενημερώνετε τον πίνακα και παίρνετε ξανά την απόφασή σας. Αυτό σας προστατεύει από την παγίδα της «διαίσθησης που αλλάζει μοτίβο».
Η δεύτερη προηγμένη τεχνική είναι το εναλλακτικό μοτίβο / καταρράκτη. Δίνεις το καθήκον πρώτα στο φτηνό μοντέλο. Εάν η έξοδος έχει χαμηλή εμπιστοσύνη ή το επίπεδο επαλήθευσης (μονάδα 11) την απορρίψει, κλιμακώνετε το ίδιο αίτημα. Έτσι, το μεγαλύτερο μέρος της κίνησης επιλύεται στο φθηνό μοντέλο, με μόνο την υπόλοιπη μειοψηφία να πηγαίνει στο ακριβό μοντέλο. Αυτό είναι και φθηνότερο και πιο ανθεκτικό από την προσέγγιση σταθερού ενός μοντέλου.
Το τρίτο σημείο είναι ότι το eval περιλαμβάνει όχι μόνο την ακρίβεια αλλά και το κόστος και την καθυστέρηση. Εάν ένα μοντέλο είναι 1% πιο ακριβές, αλλά 3 φορές πιο ακριβό και 2 φορές πιο αργό, η ανταλλαγή δεν αξίζει τον κόπο για τις περισσότερες εργασίες. Λάβετε την απόφαση σε τρεις άξονες (ακρίβεια, κόστος, καθυστέρηση) και ορίστε ένα «όριο επάρκειας»: «αν η ακρίβεια είναι πάνω από 95%, επιλέξτε το φθηνότερο».
Τέλος, καταγράψτε ποιο μοντέλο/έκδοση χρησιμοποιήσατε στην παραγωγή. Αν μια μέρα αλλάξει η ποιότητα εξόδου, το πρώτο πράγμα που θα κοιτάξετε είναι αν έχει αλλάξει η έκδοση του μοντέλου. Η ιχνηλασιμότητα της έκδοσης καθιστά πιο γρήγορη την εύρεση της βασικής αιτίας των προβλημάτων ποιότητας.
Μια ακόμη προειδοποίηση: το σύμπλεγμα αξιολόγησης πρέπει να αντιπροσωπεύει τον πραγματικό φόρτο εργασίας σας. Μια αξιολόγηση που αποτελείται μόνο από εύκολα παραδείγματα κρύβει εκεί που το μοντέλο σκοντάφτει σε δύσκολες περιπτώσεις και σε παρασύρει σε ψεύτικη εμπιστοσύνη. Μια καλή αξιολόγηση. Περιλαμβάνει κοινά εύκολα παραδείγματα καθώς και γωνιακές περιπτώσεις που συναντάτε στην πραγματικότητα (διφορούμενες, ελλιπείς, αντιφατικές εισροές). Αυτή η δύσκολη μειοψηφία καθορίζει την επιλογή του μοντέλου σας, γιατί έτσι κι αλλιώς κάθε μοντέλο πετυχαίνει στην εύκολη πλειοψηφία. Διατηρήστε το Eval σας φρέσκο και αντιπροσωπευτικό, δίνοντάς του περιοδικά νέα πραγματικά παραδείγματα.
Συνοπτικά
Το σωστό μοντέλο είναι το ελαφρύτερο μοντέλο που κάνει τη δουλειά. Το πιο ισχυρό δεν είναι καλύτερο σε κάθε δουλειά, είναι απλώς πιο ακριβό και πιο αργό. Η ταξινόμηση της εργασίας και η έναρξη από τον πιο ελαφρύ υποψήφιο, η κατανομή της μικτής κυκλοφορίας με δρομολόγηση και η τεκμηρίωση της επιλογής με ένα μικρό σύνολο αξιολογήσεων μειώνει το κόστος πολλές φορές διατηρώντας παράλληλα την ποιότητα.
Εργασία εφαρμογής
Επιλέξτε φόρτο εργασίας. (1) Ταξινομήστε την εργασία ως απλή/σύνθετη. (2) Σχεδιάστε ένα μικρό αξιολογικό σύνολο 20 πραγματικών παραδειγμάτων (με τις σωστές απαντήσεις τους). (3) Σχεδιάστε ένα σχέδιο για τη συμπλήρωση του πίνακα σύγκρισης ακρίβειας/κόστους/χρόνου για τις τρεις κατηγορίες μοντέλων. (4) Εάν έχετε μικτή κίνηση, γράψτε έναν κανόνα δρομολόγησης και ορίστε ένα όριο κλιμάκωσης.
λίστα ελέγχου
- [ ] Μπορώ να συγκρίνω την οικογένεια μοντέλων στον άξονα ικανότητας/ταχύτητας/κόστους.
- [ ] Μπορώ να εφαρμόσω την αρχή του "ελαφρύτερου επιτυχημένου μοντέλου".
- [ ] Μπορώ να ρυθμίσω τη δρομολόγηση μοντέλων σύμφωνα με την πολυπλοκότητα της εργασίας.
- [ ] Με ένα μικρό σύνολο eval μπορώ να δεσμεύσω την επιλογή με τα στοιχεία.
- [ ] Μπορώ να ορίσω ένα όριο αναβάθμισης/υποβιβασμού.