Κέρδη:
- Ικανότητα ανίχνευσης κρυφών διακρίσεων κατανοώντας ότι η μεροληψία προέρχεται από δεδομένα (ιστορικά, αναπαραστατικά, μέτρηση, συγκέντρωση) και αξιολογώντας το μοντέλο με βάση υποομάδες
- Ικανότητα παροχής επεξήγησης, ανθρώπινης επίβλεψης και λογοδοσίας σε αποφάσεις υψηλού αντίκτυπου και διαφάνειας τεκμηρίωσης με ένα μοντέλο κάρτας
- Δυνατότητα διαχείρισης οικονομικών και περιβαλλοντικών δαπανών χωρίς συμβιβασμούς στην ποιότητα με το μικρότερο κατάλληλο μοντέλο, άμεση συντόμευση, προσωρινή μνήμη και παρτίδα
Ένα μοντέλο μπορεί τεχνικά να λειτουργεί τέλεια, αλλά εξακολουθεί να είναι λάθος — εάν είναι άδικο για μερικούς ανθρώπους, ανεξήγητο ή παράγει μη βιώσιμο κόστος. Σε αυτή την ενότητα, καλύπτουμε τρεις «αόρατες» αλλά καθοριστικές διαστάσεις της μηχανικής ML: μεροληψία και δικαιοσύνη, ηθική και διαφάνεια, κόστος και βιωσιμότητα. Αυτά δεν είναι στολίδια που προστέθηκαν αργότερα, αλλά αναπόσπαστα μέρη της μηχανικής ποιότητας.
Από πού πηγάζει η προκατάληψη;
Η μεροληψία του μοντέλου (η συστηματική αντιμετώπιση ορισμένων ομάδων από το μοντέλο διαφορετικά/άδικα) συνήθως προέρχεται από τα δεδομένα και όχι από το μοντέλο. Πηγές:
- Ιστορική προκατάληψη: Τα δεδομένα αντικατοπτρίζουν την αδικία του παρελθόντος. Εάν μια συγκεκριμένη ομάδα έχει λάβει λιγότερα εύσημα στο παρελθόν, το μοντέλο που έχει εκπαιδευτεί σε αυτά τα δεδομένα θα μάθει και θα διαιωνίσει αυτή τη διάκριση.
- Προκατάληψη αναπαράστασης: Ορισμένες ομάδες υποεκπροσωπούνται στα δεδομένα. το μοντέλο έχει κακή απόδοση για αυτούς (π.χ. χαμηλή ακρίβεια σε ένα μικρό δημογραφικό δείγμα).
- Μεροληψία μέτρησης: Οι ίδιες οι ετικέτες είναι προκατειλημμένες (π.χ., εάν ο ορισμός του «καλού υπαλλήλου» βασίζεται σε προηγούμενες αποφάσεις προαγωγής).
- Προκατάληψη συγκέντρωσης: Επειδή τα δεδομένα προέρχονται από ένα συγκεκριμένο κανάλι, δεν είναι αντιπροσωπευτικά του σύμπαντος.
Το μοντέλο δεν μαθαίνει απλώς αυτές τις προκαταλήψεις. κλιμακώνεται αυτοματοποιώντας το. Η μεροληπτική απόφαση ενός ατόμου επηρεάζει ένα άλλο άτομο. Η ετυμηγορία ενός προκατειλημμένου μοντέλου είναι εκατομμύρια.
Προσοχή: Μην πέσετε στο λάθος να πείτε «το μοντέλο είναι ουδέτερο γιατί είναι απλώς μαθηματικά». Το μοντέλο μαθαίνει και αυτοματοποιεί την ανθρώπινη μεροληψία στα δεδομένα. Η ουδετερότητα δεν είναι προεπιλογή, αλλά ένα αποτέλεσμα που πρέπει να μετρηθεί και να διασφαλιστεί.
μέτρηση της δικαιοσύνης
Για τη διαχείριση της δικαιοσύνης, είναι απαραίτητο να μετρηθεί πρώτα. Για να το κάνετε αυτό, αξιολογήστε το μοντέλο σε βάση υποομάδας: είναι οι μετρήσεις όπως η ακρίβεια, η ανάκληση, το ποσοστό ψευδώς θετικών ίδιων στις διάφορες δημογραφικές ομάδες; Μερικές έννοιες της δικαιοσύνης:
- Δικαιοσύνη ομάδας: Αντιμετωπίζει το μοντέλο σωστά/λανθασμένα διαφορετικές ομάδες σε παρόμοια ποσοστά;
- Ισότητα ευκαιριών: Το μοντέλο συλλαμβάνει τις πραγματικά θετικές εξίσου σε όλες τις ομάδες (ίση ανάκληση);
Σημαντικό γεγονός: διαφορετικοί ορισμοί της δικαιοσύνης μπορεί να μην ικανοποιούνται ταυτόχρονα (αυτό είναι μια μαθηματική συνέπεια). Το ποιος ορισμός της δικαιοσύνης έχει προτεραιότητα σε αυτό το πλαίσιο είναι μια ηθική και επιχειρηματική απόφαση, όχι τεχνική, και λαμβάνεται από κοινού με τα ενδιαφερόμενα μέρη.
Αδύναμη προσέγγιση / Δυνατή προσέγγιση
Κακή: "Η συνολική ακρίβεια του μοντέλου είναι 88%, που είναι δίκαιο."
Güçlü: "Η συνολική ακρίβεια ήταν 88%, αλλά όταν τη χωρίσαμε σε υποομάδες, η ανάκληση ήταν 91% σε μια ομάδα και 67% σε μια άλλη ομάδα — το μοντέλο έλειπε συστηματικά από αυτήν την ομάδα. Τεκμηριώσαμε τον λόγο (έλλειψη αντιπροσώπευσης), συλλέξαμε δεδομένα για αυτήν την ομάδα και την επαναξιολογήσαμε με τον στόχο ίσης ανάκλησης.
Η διαφορά: η ισχυρή προσέγγιση δεν κρύβεται πίσω από τη γενική μέτρηση, διαχωρίζει τις υποομάδες και αντιμετωπίζει τη δικαιοσύνη ως μια ανοιχτή απόφαση.
Ηθική και διαφάνεια
Οι βασικές αρχές της υπεύθυνης τεχνητής νοημοσύνης είναι:
- Επεξηγησιμότητα: Μπορεί να εξηγηθεί γιατί το μοντέλο πήρε αυτή την απόφαση; Σε αποφάσεις υψηλού αντίκτυπου (πίστωση, πρόσληψη, υγειονομική περίθαλψη) έχει κανείς δικαίωμα σε μια εξήγηση. Το ανεξήγητο μοντέλο δεν πρέπει να χρησιμοποιείται σε αυτούς τους τομείς ή θα πρέπει να υποστηρίζεται από μια επεξηγήσιμη μέθοδο.
- Ανθρώπινη εποπτεία: Οι αποφάσεις υψηλού αντίκτυπου δεν πρέπει να λαμβάνονται αυτόματα. Το μοντέλο προτείνει, ο άνθρωπος επιβεβαιώνει.
- Υπευθυνότητα: Θα πρέπει να είναι σαφές ποιος είναι υπεύθυνος όταν το μοντέλο κάνει ένα λάθος. «Το μοντέλο αποφάσισε» δεν είναι δικαιολογία.
- Διαφάνεια: Ο χρήστης πρέπει να γνωρίζει ότι αλληλεπιδρά με ένα AI και πώς χρησιμοποιούνται τα δεδομένα του.
Σε πολλές χώρες και τομείς, αυτές οι αρχές είναι επίσης ενσωματωμένες στη νομοθεσία (υποχρεώσεις διαφάνειας, λογιστικού ελέγχου και ανθρώπινης εποπτείας για συστήματα τεχνητής νοημοσύνης υψηλού κινδύνου). Ο μηχανικός είναι υπεύθυνος να γνωρίζει τους κανονισμούς του κλάδου του.
Συμβουλή: Κρατήστε μια «κάρτα μοντέλου» για κάθε μοντέλο υψηλής απήχησης: τι κάνει το μοντέλο, σε ποια δεδομένα εκπαιδεύτηκε, πόσο καλά/κακή λειτουργεί σε ποιες ομάδες, ποια είναι τα γνωστά του όρια. Αυτό το έγγραφο αποτελεί ταυτόχρονα εργαλείο διαφάνειας και λογοδοσίας.
Κόστος και βιωσιμότητα
Το AI δεν είναι φθηνό. Η διαχείριση του κόστους γίνεται σε δύο διαστάσεις:
Οικονομικό κόστος:
- Token cost (LLM): Κάθε αίτημα και απάντηση κοστίζει διακριτικά. Καθώς ο όγκος μεγαλώνει, ο λογαριασμός μεγαλώνει. Οι άσκοπες μεγάλες προτροπές, η υπερβολικά μεγάλη επιλογή μοντέλων και οι μη ελεγχόμενοι βρόχοι πράκτορα (μονάδα 5) διογκώνουν το κόστος.
- Εκπαίδευση και φιλοξενία: Η λεπτομερής ρύθμιση και η παρουσίαση μοντέλου συνεπάγονται κόστος υλικού.
- Βελτιστοποίηση: Μην χρησιμοποιείτε ένα μεγάλο μοντέλο εάν ένα μικρό μοντέλο είναι αρκετό. προσωρινή αποθήκευση συχνών ερωτήσεων. συντομεύστε την προτροπή. Παρτίδα ό,τι μπορεί να υποβληθεί σε επεξεργασία.
Περιβαλλοντικό κόστος: Η εκπαίδευση και η εξαγωγή συμπερασμάτων μεγάλου μοντέλου καταναλώνουν σημαντική ενέργεια. Η βιωσιμότητα καθιστά την αποφυγή περιττών υπολογισμών (μοντέλο σωστού μεγέθους, αποδοτική αρχιτεκτονική) επαγγελματική ευθύνη.
Συμβουλή: Ο πρώτος κανόνας βελτιστοποίησης κόστους: "Ποιο είναι το μικρότερο κατάλληλο μοντέλο για αυτή τη δουλειά;" Το να βάζεις το πιο ισχυρό μοντέλο παντού είναι σαν να σφυρίζεις ένα καρφί με μια βαριοπούλα — ακριβό και περιττό.
τρεις μίνι θήκες
Περίπτωση 1 - Κρυφή διάκριση. Ένα μοντέλο ελέγχου προσλήψεων φαινόταν καλό συνολικά. Η ανάλυση υποομάδας διαπίστωσε ότι το μοντέλο υπογράμμιζε συστηματικά τις γυναίκες υποψήφιες επειδή τα ιστορικά δεδομένα ήταν ανδροκρατούμενα - είχε μάθει ιστορικές προκαταλήψεις. Το μοντέλο διακόπηκε, τα δεδομένα εξισορροπήθηκαν και παρακολουθήθηκαν οι μετρήσεις δικαιοσύνης. Η γενική δικαιοσύνη κάλυψε τις κρυφές διακρίσεις.
Περίπτωση 2 - Ανεξήγητη απόρριψη. Ένα πιστωτικό μοντέλο απέρριπτε αιτήσεις, αλλά κανείς δεν μπορούσε να εξηγήσει γιατί. Όταν ένας πελάτης ζήτησε νομικές διευκρινίσεις, η ομάδα δεν μπόρεσε να απαντήσει. Το μοντέλο αποσύρθηκε από τη χρήση σε αποφάσεις υψηλού αντίκτυπου μέχρι να προστεθεί μια επεξηγήσιμη μέθοδος και να παραχθεί αιτιολόγηση για κάθε απόρριψη. Μάθημα: Η επεξήγηση είναι απαραίτητη στη λήψη αποφάσεων με μεγάλο αντίκτυπο.
Περίπτωση 3 - Σοκ του λογαριασμού. Μία ομάδα χρησιμοποιούσε το μεγαλύτερο LLM και πολύ μεγάλες προτροπές για κάθε αίτημα. Ο μηνιαίος λογαριασμός έχει αυξηθεί απροσδόκητα. Ανάλυση ανάρτησης: τα περισσότερα αιτήματα μπορούσαν να επιλυθούν με ένα μικρό μοντέλο, τα μισά από τα μηνύματα ήταν περιττά και οι συχνές ερωτήσεις μπορούσαν να αποθηκευτούν προσωρινά. Αυτές οι τρεις βελτιστοποιήσεις μείωσαν σημαντικά το κόστος, χωρίς συμβιβασμούς στην ποιότητα. Μάθημα: το πιο ισχυρό μοντέλο δεν είναι απαραίτητο παντού.
Αντιγράψιμα πρότυπα
Βοηθήστε με να αξιολογήσω αυτό το μοντέλο για μεροληψία/δικαιοσύνη. Ποιες υποομάδες (δημογραφικά/τμήματα) πρέπει να διαιρέσω και να μετρήσω; Ποιες μετρήσεις (ακρίβεια, ανάκληση, ψευδώς θετικό ποσοστό ανά ομάδα) πρέπει να συγκρίνω; Μπορούν οι διαφορετικοί ορισμοί της δικαιοσύνης να συγκρούονται, ποιος πρέπει να δώσω προτεραιότητα σε αυτό το πλαίσιο και γιατί; Μοντέλο/πλαίσιο απόφασης: [επεξήγηση]
Δημιουργήστε μια πρόχειρη κάρτα μοντέλου για αυτό το μοντέλο υψηλής απόδοσης. Θα πρέπει να περιλαμβάνει: σκοπό, δεδομένα εκπαίδευσης και ημερομηνία, απόδοση σε υποομάδες, γνωστά όρια, κατάλληλη/ακατάλληλη χρήση, κατάσταση επεξήγησης, σημείο ανθρώπινης επίβλεψης. Μοντέλο: [περιγραφή]
Βοηθήστε με να μειώσω το κόστος αυτής της υλοποίησης LLM, χωρίς να διακυβεύεται η ποιότητα. Διαθέσιμο: μέγεθος μοντέλου, μέσο μήκος προτροπής, όγκος αιτήματος, υπάρχει κρυφή μνήμη; Αξιολογήστε:1) Είναι αρκετό το μικρότερο μοντέλο (για ποιες εργασίες); 2) Μπορεί να συντομευτεί το μήνυμα; 3) Μπορεί να αποθηκευτούν συχνά αιτήματα; 4) Υπάρχει διαθέσιμη εργασία για κάθε πρόταση αντίκτυπου της παρτίδας;
Δημιουργήστε μια λίστα ελέγχου δεοντολογίας/υπευθυνότητας για αυτό το σύστημα αποφάσεων υψηλού αντίκτυπου.- Επεξηγησιμότητα: μπορεί να παραχθεί η αιτιολόγηση της απόφασης;- Ανθρώπινη επίβλεψη: υπόκειται σε έγκριση η απόφαση υψηλού αντίκτυπου;- Λογοδοσία: ποιος είναι υπεύθυνος σε περίπτωση λάθους;- Διαφάνεια: γνωρίζει ο χρήστης ότι χρησιμοποιείται τεχνητή νοημοσύνη;- Κανονισμός: ποιες είναι οι νομικές υποχρεώσεις του σεναρίου:
Πίνακας πηγών προκατάληψης
Πηγή
σύμπτωμα
προφύλαξη
ιστορική προκατάληψη
Οι διακρίσεις στο παρελθόν συνεχίζονται
Έλεγχος δεδομένων + μέτρηση δικαιοσύνης
μεροληψία αντιπροσώπευσης
Χαμηλή ακρίβεια σε μικρή ομάδα δειγμάτων
Ανάλυση υποομάδας + εξισορρόπηση
προκατάληψη μέτρησης
προκατειλημμένες ετικέτες
Έλεγχος διαδικασίας ετικέτας
Προκατάληψη συγκέντρωσης
Το σύμπαν δεν αντιπροσωπεύεται
Διαφοροποίηση πόρων
Συνήθη λάθη
- Στηριζόμενη στη συνολική μέτρηση. Η κρυφή διάκριση δεν μπορεί να φανεί χωρίς ανάλυση υποομάδας.
- Υποθέτοντας «ουδέτερο μοντέλο». Το μοντέλο μαθαίνει και ενισχύει την προκατάληψη στα δεδομένα.
- Αφήνοντας την απόφαση με μεγάλο αντίκτυπο στο ανεξήγητο μοντέλο. Νομικός και ηθικός κίνδυνος.
- Παράκαμψη της ανθρώπινης επίβλεψης. «Το μοντέλο αποφάσισε» δεν αποτελεί δικαιολογία.
- Βάζοντας το μεγαλύτερο μοντέλο παντού. Περιττό κόστος και ενέργεια.
- Όχι παρακολούθηση του κόστους. Ο λογαριασμός φουσκώνει σιωπηλά.
Συνοπτικά
Ένα τεχνικά σωστό μοντέλο εξακολουθεί να είναι αποτυχία εάν δεν είναι δίκαιο, εξηγήσιμο και βιώσιμο. Η προκατάληψη προέρχεται κυρίως από τα δεδομένα και το μοντέλο τα μεγεθύνει σε κλίμακα. Μετρήστε τη δικαιοσύνη ανά υποομάδες και συμφωνήστε με τους ενδιαφερόμενους σε ποιον ορισμό της δικαιοσύνης πρέπει να δοθεί προτεραιότητα. Η επεξήγηση, η ανθρώπινη επίβλεψη και η λογοδοσία είναι ουσιαστικής σημασίας σε αποφάσεις υψηλού αντίκτυπου. Διαφάνεια εγγράφου με κάρτα μοντέλου. Διαχειριστείτε το κόστος και την ενέργεια: επιλέξτε το μικρότερο κατάλληλο μοντέλο, συντομεύστε την προτροπή, χρησιμοποιήστε προσωρινή μνήμη και παρτίδα. Αυτές οι διαστάσεις είναι αναπόσπαστα μέρη της μηχανικής ποιότητας, και όχι οι διακοσμήσεις που προστέθηκαν αργότερα.
Εργασία εφαρμογής
Διαχωρίστε ένα μοντέλο σε τουλάχιστον δύο υποομάδες και συγκρίνετε το ποσοστό ανάκλησης και ψευδώς θετικών σε ομαδική βάση. Εάν υπάρχει σημαντική διαφορά, γράψτε τον λόγο και μια προφύλαξη. Σχεδιάστε μια σύντομη κάρτα μοντέλου για ένα μοντέλο υψηλής απήχησης (σκοπός, δεδομένα, απόδοση υποομάδας, όρια, επεξήγηση). Προσδιορίστε τουλάχιστον δύο συγκεκριμένες βελτιστοποιήσεις (ελάχιστη / άμεση περικοπή / προσωρινή μνήμη / παρτίδα) για τη μείωση του κόστους εφαρμογής ενός LLM και καταγράψτε τον εκτιμώμενο αντίκτυπό τους.
λίστα ελέγχου
- [ ] Αξιολόγησα το μοντέλο με βάση υποομάδες, δεν βασίστηκα στη γενική μέτρηση.
- [ ] Αποφάσισα με τα ενδιαφερόμενα μέρη ποιον ορισμό της δικαιοσύνης θα έδινα προτεραιότητα.
- [ ] Η απόφαση υψηλού αντίκτυπου εξηγείται και υπόκειται σε ανθρώπινη έγκριση.
- [ ] Τεκμηρίωσα τη διαφάνεια και τα όρια με την κάρτα μοτίβου.
- [ ] Επέλεξα το μικρότερο κατάλληλο μοντέλο. Βελτιστοποίησα το prompt/cache/battch.
- [ ] Παρακολουθώ τον αντίκτυπο του κόστους και της ενέργειας.