Παραγωγή από άκρο σε άκρο: Επαλήθευση, παρακολούθηση και δεοντολογία

Κέρδη:

Μπορεί να σχεδιάσει την αρχιτεκτονική από άκρο σε άκρο που παίρνει ένα χαρακτηριστικό LLM από την ιδέα στην παραγωγή
Καθιερώνει επίπεδα επιβολής επαλήθευσης, ανθρώπινης έγκρισης και παρακολούθησης (καταγραφή/μετρήσεις)
Τα όρια μεταφράζουν την ηθική και τις αρχές της ιδιωτικής ζωής σε αποφάσεις παραγωγής

Στις δέκα προηγούμενες ενότητες, μάθαμε τα εξαρτήματα ένα προς ένα: δομή αιτήματος, οικονομία συμβολαίων, ροή, προτροπή συστήματος, επιλογή μοντέλου, προσωρινή μνήμη, παρτίδα, διαχείριση σφαλμάτων, κλειδί ασφαλείας και αυτοματισμός. Σε αυτήν την τελευταία ενότητα, συνδυάζουμε τα μέρη και καθιερώνουμε την ολιστική αρχιτεκτονική που μεταφέρει ένα χαρακτηριστικό LLM από την ιδέα στην παραγωγή. Η παραγωγή διαφέρει από μια «επίδειξη εργασίας»: η επαλήθευση είναι υποχρεωτική, η παραγωγή πρέπει να παρακολουθείται, τα όρια και οι ηθικές αρχές πρέπει να ενσωματώνονται στις αποφάσεις. Αυτή η μονάδα είναι η φέρουσα στήλη της μονάδας. Όλα τα προηγούμενα συγκεντρώνονται εδώ.

Επίπεδα Αρχιτεκτονικής Παραγωγής

Ένας σταθερός τίτλος σπουδών LLM αποτελείται από περίπου πέντε επίπεδα:

Επίπεδο εισόδου: Συλλέξτε δεδομένα, καθαρίστε τα, καλύψτε τις ευαίσθητες περιοχές, μεταδώστε μόνο ό,τι είναι απαραίτητο.
Επίπεδο μοντέλου: Επιλέξτε το σωστό μοντέλο (μονάδα 5), ορίστε την προτροπή συστήματος και τις παραμέτρους (μονάδα 4), την προσωρινή μνήμη (μονάδα 6).
Επίπεδο επικύρωσης: Ελέγξτε την έξοδο σε σχέση με το σχήμα/κανόνα, την πηγή και την ανθρώπινη έγκριση, εάν είναι απαραίτητο.
Επίπεδο δράσης: Εκτέλεση ενέργειας με επικυρωμένη έξοδο. Καταγράψτε δράσεις υψηλού αντίκτυπου.
Επίπεδο παρακολούθησης: Καταγράψτε και μετρήστε κάθε κλήση, κόστος, σφάλμα και ποιότητα.

Αυτά τα στρώματα είναι ένας αγωγός. το καθένα ελέγχει την έξοδο του προηγούμενου.

Γιατί απαιτείται επαλήθευση;

Τα LLM μπορούν να παράγουν ρευστά αλλά μερικές φορές ανακριβή έξοδο. Αυτό ονομάζεται ψευδαίσθηση: το μοντέλο μπορεί να κατασκευάσει πληροφορίες που φαίνονται αληθινές αλλά δεν είναι. Σε ένα παιχνίδι συνομιλίας αυτό είναι ανεκτό. δεν είναι ανεκτό σε ένα σύστημα παραγωγής (τιμολόγιο, υγεία, νομικό, χρηματοοικονομικό). Έτσι αποδείχθηκε, τυφλά αναξιόπιστο. επιβεβαιώνεται.

Επίπεδα επαλήθευσης (αύξηση λόγω κρούσης):

Επικύρωση μορφής/σχήματος: Συμμορφώνεται η έξοδος με το αναμενόμενο σχήμα JSON; (Το δομημένο αποτέλεσμα το εγγυάται σε μεγάλο βαθμό.)
Επαλήθευση κανόνα/λογική: Είναι λογικές οι τιμές; (Είναι το ποσό αρνητικό, είναι η ημερομηνία στο μέλλον, ισχύει η κατηγορία;)
Επαλήθευση πηγής: Η αξίωση βασίζεται στην τεκμηρίωση που παρέχεται; Το μοντέλο λέει κάτι που δεν υπάρχει στο έγγραφο;
Ανθρώπινη έγκριση: Ένας εμπειρογνώμονας επανεξετάζει αποφάσεις με μεγάλη επίδραση ή διφορούμενες.

Προσοχή: "Το μοντέλο είναι τόσο καλό, δεν χρειάζεται περαιτέρω επαλήθευση" είναι η πιο επικίνδυνη πλάνη παραγωγής. Ανεξάρτητα από το πόσο καλό είναι το μοντέλο, το επίπεδο επαλήθευσης είναι ένα δίχτυ ασφαλείας σε αποφάσεις με μεγάλο αντίκτυπο. Ακόμη και μια λανθασμένη αυτόματη απόφαση μπορεί να αφαιρέσει όλο τον εξοικονομημένο χρόνο.

Human-in-the-Loop

Δεν χρειάζεται κάθε απόφαση να είναι πλήρως αυτόματη. Στην προσέγγιση «human-in-the-loop», το μοντέλο επιταχύνει την εργασία και ο άνθρωπος το εγκρίνει. Η σωστή ισορροπία εξαρτάται από τον αντίκτυπο της απόφασης και την αξιοπιστία του μοντέλου σε αυτήν την εργασία.

Επιπτώσεις της απόφασης

Προσέγγιση

Χαμηλό (πρόταση ετικέτας, πρόχειρο)

Πλήρης αυτοματοποίηση; Το σφάλμα είναι φθηνό και αναστρέψιμο

Μέσο (δρομολόγηση, ιεράρχηση)

Αυτοματισμός + έλεγχος δειγματοληψίας

Υψηλό (χρήματα, συμβόλαιο, υγεία, διαγραφή)

Η ανθρώπινη συναίνεση είναι υποχρεωτική. το μοντέλο προτείνει μόνο

Παρακολούθηση: Δεν μπορείτε να διαχειριστείτε αυτό που δεν βλέπετε

Στην παραγωγή, πρέπει να παρακολουθείτε κάθε κλήση. Χωρίς παρακολούθηση, δεν μπορείτε να βελτιώσετε το κόστος, την ποιότητα ή να αντιμετωπίσετε έγκαιρα ένα πρόβλημα. Βασικές μετρήσεις για καταγραφή:

Χρήση/κόστος: Ανά αίτημα και συνολικά διακριτικά, διανομή μοντέλου, ημερήσια δαπάνη.
Latency: Μέσος όρος και χρόνος απόκρισης στη χειρότερη περίπτωση.
Ποσοστό σφάλματος: 429/500 ποσοστά, επαναλήψεις, εγκαταλείψεις.
Ποιότητα: Ρυθμός απόρριψης εξόδου στο επίπεδο επαλήθευσης, ρυθμός διόρθωσης σε ανθρώπινη έγκριση, ανατροφοδότηση χρήστη.

Συμβουλή: Μην γράφετε ευαίσθητα δεδομένα (προσωπικές πληροφορίες, κλειδιά) στα αρχεία καταγραφής παρακολούθησης. Εξετάστε τα αρχεία καταγραφής στο πλαίσιο της εμπιστευτικότητας. εγγραφή με κάλυψη εάν χρειάζεται (μονάδα 9).

Ηθική και Όρια

Η ηθική ευθύνη είναι τόσο μέρος της απόφασης παραγωγής όσο και η τεχνική ακρίβεια:

Διαφάνεια: Ο χρήστης πρέπει να γνωρίζει αν μιλάει με τεχνητή νοημοσύνη ή άνθρωπο.
Δικαιοσύνη και προκατάληψη: Το μοντέλο μπορεί να φέρει προκατάληψη από τα δεδομένα στα οποία έχει εκπαιδευτεί. Παρακολούθηση των συνεπειών που εισάγουν διακρίσεις σε αποφάσεις υψηλού αντίκτυπου (προσλήψεις, πίστωση).
Ευθύνη: Εάν μια αυτοματοποιημένη απόφαση προκαλεί βλάβη, είστε υπεύθυνοι. «Το είπε το μοντέλο» δεν είναι άμυνα.
Αποδοχή ορίων: Το μοντέλο δεν μπορεί να εκτελέσει ορισμένες εργασίες αξιόπιστα. Η μη αυτοματοποίησή τους είναι επίσης μια απόφαση σχεδιασμού.

Αντιγράψιμα πρότυπα

# Λίστα ελέγχου επικύρωσης (μετά τη δημιουργία εξόδου)1) Είναι έγκυρο το σχήμα; (επικύρωση δομημένης εξόδου)2) Έχουν νόημα οι τιμές; (έλεγχος κανόνα: εύρος, ημερομηνία, αρίθμηση)3) Η αξίωση βασίζεται στην πηγή; (απόρριψη εάν δεν υπάρχει στο έγγραφο)4) Είναι υψηλός ο αντίκτυπος; → αποστολή για έγκριση από τον άνθρωπο5) Εάν όλα περάσουν → επιτρέψτε την ενέργεια, αποθηκεύστε

# Προτροπή συστήματος που αναγκάζει να βασίζονται στην πηγή Βασιστείτε μόνο σε πληροφορίες στο παρεχόμενο έγγραφο. Μην προσθέτετε τίποτα που δεν υπάρχει στο έγγραφο. Εάν μια πληροφορία δεν υπάρχει στο έγγραφο, γράψτε "Δεν βρέθηκε στο έγγραφο". Ποτέ μην μαντεύετε ή φτιάχνετε πράγματα.

# Όριο ανθρώπινης έγκρισης (κανόνας απόφασης) ΕΑΝ τύπος_απόφασης σε [χρήματα, σύμβαση, διαγραφή, υγεία] → ανθρώπινη έγκριση υποχρεωτικήIF model_trust < κατώφλι Ή επικύρωση "αβέβαιο" → υποβολή σε ανθρώπινη έγκρισηΑΛΛΑ → αυτόματη εφαρμογή + έλεγχος δειγματοληψίας

# Πρότυπο καταγραφής ανίχνευσης (εγγραφή ευαίσθητων δεδομένων){ "time":"...", "model":"...", "input_token":..., "output_token":..., "delay_ms":..., "stop_reason":"...", "authentication":"περάστηκε|απορρίφθηκε|ανθρώπινα δεδομένα"

Αδύναμη προτροπή / Ισχυρή προτροπή (αξιοπιστία παραγωγής)

# ΑΔΥΝΑΜΟΣ (χωρίς επαλήθευση, χωρίς πηγή, ισχύει αυτόματα) Αξιολογήστε αυτό το αίτημα, λάβετε απόφαση επιστροφής χρημάτων και υποβάλετε αίτηση.

# STRONG (Βάσει πηγής, δημιουργεί σύσταση, αφήνει στην ανθρώπινη έγκριση) Αξιολογήστε αυτό το αίτημα επιστροφής με βάση μόνο το έγγραφο πολιτικής επιστροφής. Προτείνετε απόφαση με αιτιολόγηση αλλά μην εφαρμόσετε: {"σύσταση":"έγκριση|απόρριψη", "λόγος":"...","ρήτρα_policy":"..."}.Εάν δεν υπάρχει σαφής βάση στο έγγραφο πολιτικής, δώστε "ασαφές". Ένας εκπρόσωπος θα εγκρίνει την τελική απόφαση.

Ισχυρή έκδοση. Αποδίδει την απόφαση στην πηγή, τοποθετεί το μοντέλο ως «προτεινόμενο» και όχι ως «πράττοντα» και βάζει το βήμα υψηλού αντίκτυπου πίσω από την ανθρώπινη έγκριση. Αυτή είναι η ουσία της αξιοπιστίας της παραγωγής.

Τρεις Μίνι Θήκες

Περίπτωση 1 — Η ημέρα που αποθηκεύτηκε το επίπεδο επαλήθευσης. Ένας fintech έβαζε το μοντέλο να ταξινομεί τις περιγραφές συναλλαγών και να δημιουργεί αυτόματα λογιστικά αρχεία. Πρόσθεσαν επικύρωση κανόνα: μόλις το μοντέλο εξήγαγε το ποσό εσφαλμένα (12.500 αντί για 1.250 στο έγγραφο), ο κανόνας "το ποσό δεν ταιριάζει με το έγγραφο" απέρριψε την έξοδο και η εγγραφή έπεσε στον άνθρωπο. Εάν δεν υπήρχε επαλήθευση, η εσφαλμένη εγγραφή θα εισχωρούσε σιωπηλά στο σύστημα.

Υπόθεση 2 — Δραπέτης που συνελήφθη από επιτήρηση. Μια ομάδα SaaS είχε δημιουργήσει μια ομάδα παρακολούθησης. Ένα πρωί το ημερήσιο κόστος τριπλασιάστηκε. Φάνηκε από τα αρχεία καταγραφής ότι ένας πελάτης εισήγαγε έναν βρόχο και έστειλε το ίδιο αίτημα χιλιάδες φορές. Προσέθεσαν ποσόστωση και αφαίρεση των αντιγράφων. Το πρόβλημα επιλύθηκε μέσα σε λίγες ώρες. Χωρίς παρακολούθηση, ο λογαριασμός θα ήταν έκπληξη στο τέλος του μήνα.

Περίπτωση 3 — Αποδοχή του ορίου. Μια startup στον τομέα της υγειονομικής περίθαλψης σχεδίαζε να κάνει μια σύσταση διάγνωσης πλήρως αυτόματα και να την δείξει στον ασθενή. Σε μια αναθεώρηση δεοντολογίας και ευθύνης, αποφάσισαν ότι αυτό ήταν εκτός ορίων: το μοντέλο παρέχει μόνο μια περίληψη και πιθανά σημεία σε έναν γιατρό, ο γιατρός κάνει τη διάγνωση. Η μη αυτοματοποίηση μιας εργασίας είναι επίσης μια ώριμη σχεδιαστική απόφαση.

Συνήθη λάθη

Παράλειψη επικύρωσης: Εφαρμόζοντας τυφλά την έξοδο, λέγοντας "το μοντέλο είναι καλό".
Αυτοματοποίηση αποφάσεων υψηλού αντίκτυπου: Η ανθρώπινη έγκριση είναι απαραίτητη για τα χρήματα/την υγεία/το νόμο.
Μη παρακολούθηση: Τα προβλήματα κόστους και ποιότητας ανακαλύπτονται αργά.
Εγγραφή ευαίσθητων δεδομένων σε αρχεία καταγραφής: Παραβίαση απορρήτου. Αποθηκεύστε το καλύπτοντάς το.
Δεν προσπαθείτε να βασιστείτε στην πηγή: Το μοντέλο μπορεί να δημιουργήσει αυτό που δεν υπάρχει στο έγγραφο.
Αγνοώντας τα όρια: Η μη αυτοματοποίηση ορισμένων εργασιών είναι η σωστή απόφαση. Η διαφάνεια και η ευθύνη είναι δική σας.

Βαθύτερο: Διαχείριση έκδοσης, επαναφορά και σταδιακή ανάπτυξη

Η λήψη ενός χαρακτηριστικού LLM στην παραγωγή δεν είναι να το ρυθμίσετε και να το ξεχάσετε. είναι η ασφαλής τροποποίηση ενός ζωντανού συστήματος με την πάροδο του χρόνου. Έχει τρεις πυλώνες.

Εκδόσεις. Η προτροπή του συστήματός σας, η επιλογή μοντέλου και οι κανόνες επαλήθευσης αλλάζουν με την πάροδο του χρόνου. Έκδοση κάθε σημαντικής αλλαγής και καταγράψτε ποια έκδοση είναι ζωντανή. Αν μια μέρα πέσει η ποιότητα, "τι αλλάξαμε;" Θα πρέπει να είστε σε θέση να απαντήσετε στην ερώτηση μέσα σε λίγα λεπτά. Σε ένα σύστημα χωρίς έκδοση, η εύρεση της βασικής αιτίας μιας παλινδρόμησης διαρκεί μέρες.

Επαναφορά. Εάν μια νέα προτροπή ή ένα νέο μοντέλο συμπεριφέρεται χειρότερα από το αναμενόμενο στο live, θα πρέπει να μπορείτε να επιστρέψετε γρήγορα στην προηγούμενη, γνωστή έκδοση. Μια αλλαγή χωρίς σχέδιο επαναφοράς είναι η τυφλή αποδοχή ενός ζωντανού κινδύνου. «Άλλαξα κάτι, χάλασε, δεν μπορώ να πάω πίσω» είναι το πιο ακριβό σενάριο παραγωγής.

Σταδιακή διάθεση. Αντί να εφαρμόσετε μια αλλαγή σε όλη την επισκεψιμότητα ταυτόχρονα, τη διαθέτετε πρώτα σε ένα μικρό ποσοστό (π.χ. 5%) και παρακολουθείτε τις μετρήσεις (ποιότητα, κόστος, σφάλματα). Αν είναι καλό, αυξάνεις το ποσοστό? Εάν είναι κακό, θα το ανακτήσετε έχοντας επηρεαστεί μόνο ένα μικρό τμήμα. Αυτό περιορίζει πολύ τον κίνδυνο.

Αυτές οι τρεις πρακτικές συνδυάζουν τεχνικές από όλες τις προηγούμενες μονάδες: η αξιολόγηση (μονάδα 5) μετρά εκ των προτέρων αλλάζει, η παρακολούθηση (αυτή η μονάδα) προειδοποιεί έγκαιρα κατά τη διάδοση, το επίπεδο επαλήθευσης συλλαμβάνει λανθασμένα αποτελέσματα προτού καταστούν ενεργά. Η παραγωγή δεν είναι μια ενιαία σωστή ρύθμιση. Είναι μια συνεχής πειθαρχία που μετράει, παρακολουθεί και μπορεί να αλλάξει με σιγουριά. Ολόκληρη η ενότητα είναι για εσάς να καθιερώσετε αυτήν την πειθαρχία.

Συνοπτικά

Η παραγωγή είναι κάτι περισσότερο από μια λειτουργική επίδειξη: είναι μια σειρά επιπέδων εισαγωγής, μοντέλου, επαλήθευσης, δράσης και παρακολούθησης. Η έξοδος είναι αναξιόπιστη χωρίς επαλήθευση. Οι αποφάσεις υψηλού αντίκτυπου συνδέονται με την ανθρώπινη έγκριση. Κάθε κλήση παρακολουθείται για κόστος, σφάλματα και ποιότητα. Η ηθική, η διαφάνεια, ο έλεγχος της μεροληψίας, η λογοδοσία και η αποδοχή των ορίων αποτελούν αναπόσπαστο κομμάτι των τεχνικών αποφάσεων. Κάθε κομμάτι που μαθαίνεται σε αυτήν την ενότητα συνδυάζεται σε αυτόν τον ολιστικό σχεδιασμό.

Εργασία εφαρμογής

Σχεδιάστε ένα χαρακτηριστικό LLM από άκρο σε άκρο. (1) Συμπληρώστε τα πέντε επίπεδα (εισαγωγή, μοντέλο, επαλήθευση, δράση, παρακολούθηση) για τη συγκεκριμένη εργασία σας. (2) Σημειώστε ανάλογα με το ποιες αποφάσεις θα απαιτήσουν την ανθρώπινη έγκριση. (3) Γράψτε τουλάχιστον τρεις ελέγχους επικύρωσης (σχήμα, κανόνας, πηγή). (4) Προσδιορίστε τις βασικές μετρήσεις που θα παρακολουθείτε και τι δεν θα καταγράφετε. (5) Γράψτε ένα όριο και μια ηθική αρχή που αποδέχεστε σε αυτό το χαρακτηριστικό.

λίστα ελέγχου

[ ] Μπορώ να σχεδιάσω πέντε επίπεδα του αγωγού παραγωγής.
[ ] Μπορώ να επικυρώσω την έξοδο σε σχέση με σχήμα, κανόνα και πηγή.
[ ] Μπορώ να ορίσω ένα όριο ανθρώπινης έγκρισης με βάση τον αντίκτυπο της απόφασης.
[ ] Παρακολουθώ το κόστος, τα σφάλματα και την ποιότητα και εξασκώ να μην γράφω ευαίσθητα δεδομένα σε αρχεία καταγραφής.
[ ] Μπορώ να μετατρέψω την ηθική, την ευθύνη και τα όρια σε αποφάσεις παραγωγής.

Εξέταση Ενοτήτων

1. Τι κάνει ο ρόλος «συστήματος» σε ένα API συνομιλίας LLM;

Α) Δίνει στο μοντέλο μόνιμες οδηγίες και κανόνες συμπεριφοράς που ισχύουν σε όλη τη διάρκεια της συνομιλίας ✔
Β) Διατηρεί την τελευταία ερώτηση που έχει γράψει ο χρήστης
Γ) Αποθηκεύει την απόκριση που παράγεται από το μοντέλο
Δ) Κρυπτογραφεί το κλειδί API

Περιγραφή: Ο ρόλος του συστήματος δίνει στο μοντέλο επίμονες οδηγίες, προσωπικότητα και κανόνες που ισχύουν σε όλη τη διάρκεια της συνομιλίας. Είναι μια ανακατεύθυνση υψηλού επιπέδου, ξεχωριστή από τα μηνύματα των χρηστών.

2. Γιατί το ιστορικό συνομιλιών (προηγούμενα μηνύματα) αποστέλλεται ξανά κάθε φορά σε ένα αίτημα API;

Α) Είναι απαραίτητο να κάνετε backup καθώς ο διακομιστής διαγράφει το ιστορικό
Β) Οι κλήσεις API είναι ανιθαγενείς. ✔ Το πλαίσιο αποστέλλεται εκ νέου σε κάθε αίτημα επειδή το μοντέλο δεν θυμάται το ιστορικό
Γ) Απαιτείται μόνο για τιμολόγηση, δεν έχει καμία επίδραση στο μοντέλο
Δ) Η αποστολή ιστορικού είναι υποχρεωτική για να αποφευχθεί η επιβράδυνση της απόκρισης

Εξήγηση: Οι κλήσεις LLM API είναι ανιθαγενείς. Το μοντέλο δεν θυμάται προηγούμενους γύρους, επομένως όλο το σχετικό ιστορικό αποστέλλεται ξανά σε κάθε αίτημα διατήρησης του πλαισίου.

3. Τι είναι το «token» στην τιμολόγηση LLM;

Α) Κωδικός πρόσβασης μίας χρήσης που χρησιμοποιείται για τη σύνδεση στο API
Β) Ένα πάγιο τέλος που καταβάλλεται για κάθε αίτημα
Γ) Η μικρότερη μονάδα στην οποία το μοντέλο επεξεργάζεται το κείμενο. συνήθως αντιστοιχεί στο μέρος της λέξης ✔
Δ) Μια μονάδα που μετρά μόνο το μήκος της εξόδου

Περιγραφή: Token είναι η μικρότερη μονάδα στην οποία το μοντέλο επεξεργάζεται κείμενο. Συνήθως αντιστοιχεί σε ένα τμήμα μιας λέξης και τόσο η είσοδος όσο και η έξοδος χρεώνονται με βάση τον αριθμό των διακριτικών.

4. Γιατί τα διακριτικά εξόδου είναι πιο ακριβά από τα διακριτικά εισόδου στους περισσότερους παρόχους LLM;

Α) Τα διακριτικά εξόδου είναι πάντα μεγαλύτερα από την είσοδο
Β) Τα διακριτικά εισόδου είναι δωρεάν
Γ) Τα διακριτικά εξόδου αποστέλλονται δύο φορές μέσω Διαδικτύου
Δ) Το κόστος μονάδας είναι υψηλότερο επειδή η παραγωγή εξόδου απαιτεί πρόσθετους υπολογισμούς για κάθε διακριτικό ✔

Περιγραφή: Κάθε ένα από τα διακριτικά εξόδου απαιτεί από το μοντέλο να εκτελεί βήμα προς βήμα παραγωγή (υπολογισμός). Αυτό το κόστος παραγωγής είναι υψηλότερο από την επεξεργασία των εισροών ταυτόχρονα, επομένως η τιμή μονάδας παραγωγής είναι συνήθως υψηλότερη.

5. Σε ποια κατάσταση είναι πιο ωφέλιμη η χρήση ροής;

Α) Σε μεγάλες απαντήσεις. Μειώνει την αντιληπτή καθυστέρηση και αποτρέπει το χρονικό όριο ✔
Β) Μόνο με πολύ σύντομες, μονολεκτικές απαντήσεις
Γ) Να μηδενιστεί το κόστος
Δ) Για απόκρυψη του κλειδιού API

Περιγραφή: Σε μεγάλες αποκρίσεις, η ροή μειώνει τον αντιληπτό λανθάνοντα χρόνο κάνοντας τις πρώτες λέξεις να εμφανίζονται αμέσως και αποτρέπει τα χρονικά όρια HTTP σε μεγάλες τιμές max_tokens.

6. Τι επηρεάζει γενικά η αύξηση της παραμέτρου «προσπάθειας» στα σύγχρονα μοντέλα;

Α) Να συντομεύετε πάντα την απάντηση
Β) Περιστρέφει αυτόματα το κλειδί API
Γ) Μειώνει μόνο την τιμή του συμβολικού εισόδου
Δ) Αυξάνει το βάθος της σκέψης και τις συμβολικές δαπάνες. Μπορεί να βελτιώσει την ποιότητα, αλλά αυξάνει επίσης την καθυστέρηση και το κόστος ✔

Περιγραφή: Η παράμετρος προσπάθειας προσαρμόζει πόσο βαθιά θα σκεφτεί το μοντέλο μια εργασία και πόσα διακριτικά θα ξοδέψει. Η αναβάθμιση μπορεί να βελτιώσει την ποιότητα, αλλά αυξάνει επίσης την καθυστέρηση και το κόστος. Για απλές εργασίες, αρκεί η χαμηλή προσπάθεια.

7. Ποια είναι γενικά η πιο οικονομική προσέγγιση σε μια απλή εργασία ταξινόμησης μεγάλου όγκου;

Α) Να χρησιμοποιείτε πάντα το πιο ακριβό και ισχυρό μοντέλο
Β) Κλήση όλων των μοντέλων ταυτόχρονα για κάθε αίτημα
Γ) Επιλέγοντας το ελαφρύτερο/φθηνότερο μοντέλο που ολοκληρώνει την εργασία επαληθεύοντάς το με μια μικρή αξιολόγηση ✔
Δ) διατήρηση της τιμής max_tokens υπερβολικά άσκοπα

Επεξήγηση: Εάν η εργασία δεν είναι περίπλοκη, η επιλογή ενός ταχύτερου και φθηνότερου μοντέλου που ολοκληρώνει εύκολα την εργασία (π.χ. κατηγορία Haiku) αντί να χρησιμοποιήσετε το πιο ακριβό και ισχυρό μοντέλο θα μειώσει σημαντικά το κόστος.

8. Σε ποιο σενάριο η άμεση προσωρινή αποθήκευση μειώνει το κόστος περισσότερο;

Α) Όταν ένα μεγάλο και σταθερό περιβάλλον χρησιμοποιείται επανειλημμένα σε πολλά αιτήματα ✔
Β) Όταν αποστέλλεται ένα εντελώς διαφορετικό κείμενο με κάθε αίτημα
Γ) Όταν υποβάλλεται μόνο ένα αίτημα
Δ) Να μειωθούν τα διακριτικά εξόδου

Περιγραφή: Η προσωρινή αποθήκευση είναι μια αντιστοίχιση προθέματος. Σε περιπτώσεις όπου ένα μεγάλο, αμετάβλητο περιβάλλον (προτροπή συστήματος, έγγραφα) χρησιμοποιείται ξανά σε πολλά αιτήματα, η ανάγνωση από τη μνήμη cache είναι ένα μικρό κλάσμα (~0,1x) της πλήρους τιμής.

9. Πώς πρέπει να επεξεργαστώ την προτροπή ώστε να χτυπήσει η προσωρινή μνήμη προτροπής;

Α) Βάζοντας μεταβλητό περιεχόμενο στην αρχή και σταθερό περιεχόμενο στο τέλος
Β) Ενσωματώστε την τρέχουσα ημερομηνία και ώρα στο μήνυμα συστήματος για κάθε αίτημα
Γ) Τοποθέτηση σταθερού περιεχομένου (προτροπή συστήματος, έγγραφα) στην αρχή και μεταβλητού περιεχομένου στο τέλος ✔
Δ) Αλλαγή της σειράς της λίστας εργαλείων με κάθε αίτημα

Επεξήγηση: Εφόσον η κρυφή μνήμη είναι μια αντιστοίχιση προθέματος, αρχικοποιείται σταθερό/αμετάβλητο περιεχόμενο (προτροπή συστήματος, έγγραφα). μεταβλητό περιεχόμενο (ημερομηνία, ερώτηση χρήστη, αναγνωριστικό αιτήματος) τοποθετείται στο τέλος. Ακόμη και ένα μόνο byte που αλλάξει στην αρχή θα ακυρώσει την κρυφή μνήμη.

10. Για ποιον τύπο φόρτου εργασίας ενδείκνυται καλύτερα η επεξεργασία κατά παρτίδες;

Α) Ζωντανή συνομιλία όπου ο χρήστης αναμένει μια άμεση απάντηση στην οθόνη
Β) Μόνο μια σύντομη ερώτηση
Γ) Δημιουργία κλειδιού API
Δ) Εργασίες που είναι ανεκτικές σε καθυστέρηση, μεγάλου όγκου και δεν απαιτούν άμεσα αποτελέσματα ✔

Περιγραφή: Η επεξεργασία κατά παρτίδες είναι κατάλληλη για μεγάλους όγκους εργασιών που δεν απαιτούν άμεση απόκριση και είναι ανεκτική στην καθυστέρηση. Τα αποτελέσματα παραδίδονται μετά από κάποιο χρονικό διάστημα, αλλά το κόστος μονάδας είναι συνήθως χαμηλότερο.

11. Τι χρησιμοποιείται για να αντιστοιχίσετε με σιγουριά ποιο αίτημα ανήκουν τα αποτελέσματα σε μια παρτίδα;

Α) Αποστολή εντολής (θέση) αιτημάτων
Β) Διάρκεια απαντήσεων
Γ) Τα τελευταία 4 ψηφία του κλειδιού API
Δ) Ένα μοναδικό custom_id που δίνεται σε κάθε αίτημα ✔

Παρατήρηση: Τα μαζικά αποτελέσματα ενδέχεται να επιστραφούν με διαφορετική σειρά από την εντολή υποβολής. Επομένως, είναι απαραίτητο να αντιστοιχίσετε τα αποτελέσματα κατά αναγνωριστικό, όχι κατά τοποθεσία, με ένα μοναδικό custom_id που δίνεται σε κάθε αίτημα.

12. Ποια είναι η προτεινόμενη συμπεριφορά όταν λαμβάνετε ένα σφάλμα 429 (όριο ρυθμού) από το API;

Α) Αναγκαστική αποστολή με ταυτόχρονη αποστολή πολλών περισσότερων αιτημάτων
Β) Προσπαθώντας ξανά με εκθετική υποχώρηση, ακολουθώντας την επικεφαλίδα επανάληψη μετά την ✔
Γ) Ακυρώστε εντελώς το αίτημα και εμφανίστε το σφάλμα ως σφάλμα στο χρήστη
Δ) Αλλαγή του κλειδιού API

Επεξήγηση: Το 429 είναι ένα σφάλμα με δυνατότητα επανάληψης. Η σωστή προσέγγιση είναι να προσπαθήσετε ξανά με εκθετική υποχώρηση, τηρώντας την κεφαλίδα επανάληψης δοκιμής μετά. Τα περισσότερα επίσημα SDK το κάνουν αυτόματα.

13. Ποιοι από τους ακόλουθους κωδικούς σφάλματος HTTP θεωρούνται γενικά ότι μπορούν να ξαναδοκιμαστούν;

Α) 400 (μη έγκυρο αίτημα)
Β) 401 (σφάλμα ελέγχου ταυτότητας)
Γ) 529 (υπερφορτωμένος διακομιστής) ✔
Δ) 404 (δεν βρέθηκε)

Επεξήγηση: Το 429 (όριο ταχύτητας), το 500 (σφάλμα διακομιστή) και το 529 (υπερφόρτωση) είναι προσωρινά σφάλματα και μπορούν να επαναληφθούν με υποχώρηση. Σφάλματα όπως το 400 και το 401 είναι ζητήματα αιτήματος/ταυτότητας. Η προσπάθεια ξανά δεν θα το λύσει.

14. Ποιο από τα παρακάτω είναι ο ασφαλής τρόπος διαχείρισης κλειδιών API;

Α) Αποθήκευση στη μεταβλητή περιβάλλοντος/κρυφό διαχειριστή, χωρίς ενσωμάτωση στον κώδικα και τακτική εναλλαγή ✔
Β) Γράψτε το κλειδί απευθείας στον πηγαίο κώδικα και στείλτε το στο αποθετήριο
Γ) Τοποθέτηση του κλειδιού στην πλευρά του πελάτη (πρόγραμμα περιήγησης) JavaScript
Δ) Κοινή χρήση ενός κλειδιού με ολόκληρη την ομάδα μέσω email

Περιγραφή: Τα κλειδιά δεν γράφονται ποτέ στον πηγαίο κώδικα ή το αποθετήριο. Αποθηκεύεται σε μια μεταβλητή περιβάλλοντος ή ένα κρυφό εργαλείο διαχείρισης, παραχωρείται με ελάχιστα προνόμια και εναλλάσσεται τακτικά.

15. Ποια είναι η καλύτερη προσέγγιση για την ενσωμάτωση LLM με ένα εργαλείο αυτοματισμού (n8n, Zapier, Make) όσον αφορά το απόρρητο;

Α) Αποστολή όλων των πρωτογενών δεδομένων στο μοντέλο, ακόμα κι αν δεν είναι απαραίτητο
Β) Γράψιμο του κλειδιού API σε απλό κείμενο μέσα στο βήμα ροής
Γ) Ελαχιστοποίηση και απόκρυψη ευαίσθητων δεδομένων και αποθήκευση του κλειδιού ως μυστικά διαπιστευτήρια ✔
Δ) Μόνιμη διατήρηση προσωπικών δεδομένων στο ιστορικό ροής

Περιγραφή: Καθώς η αυτοματοποίηση εισαγωγής δεδομένων διέρχεται μέσω συστημάτων και μοντέλου τρίτων, τα ευαίσθητα/προσωπικά δεδομένα πρέπει να ελαχιστοποιηθούν, να καλυφθούν και να αποσταλούν μόνο τα υποχρεωτικά πεδία. Το κλειδί API αποθηκεύεται επίσης ως μυστικά διαπιστευτήρια μέσα στο εργαλείο.

16. Γιατί είναι υποχρεωτική η επικύρωση της παραγωγής σε ένα χαρακτηριστικό παραγωγής που βασίζεται σε LLM;

Α) Απαιτείται μόνο μορφοποίηση γιατί το μοντέλο δεν κάνει ποτέ λάθη
Β) Επειδή το μοντέλο μπορεί να παράγει ρευστά αλλά μερικές φορές λανθασμένα. Το σχήμα/κανόνας πρέπει να ελεγχθεί με πόρους και ανθρώπινη έγκριση ✔
Γ) Η επικύρωση πρέπει να αποφεύγεται γιατί αυξάνει μόνο το κόστος
Δ) Η επαλήθευση γίνεται μόνο για τη μείωση του αριθμού των κουπονιών

Περιγραφή: Τα LLM μπορούν να παράγουν ρέουσα, αλλά μερικές φορές ανακριβή (παραισθησιολογική) έξοδο. Έτσι βγήκε σε αποφάσεις υψηλού αντίκτυπου. Θα πρέπει να ελέγχεται με έλεγχο σχήματος/κανόνων, επικύρωση πηγής και ανθρώπινη έγκριση όταν είναι απαραίτητο.