Κέρδη:
- Αναγνωρίζει δεδομένα, πηγές σχεδίασης και χρήσης αλγοριθμικής μεροληψίας και ελέγχει την έξοδο σε ομαδική βάση.
- Εξηγεί πώς ο βρόχος ανάδρασης και το σφάλμα αναπαράστασης μεγεθύνουν την ανισότητα και καθιερώνουν τον έλεγχο των επιπτώσεων.
- Εξασφαλίζει λογοδοσία διασφαλίζοντας επεξήγηση και προσφυγή σε κάθε αυτοματοποιημένη απόφαση.
Το κοινό πρέπει να εφαρμόζει την εξουσία του εξίσου σε όλους: παρόμοια μεταχείριση σε δύο πολίτες σε παρόμοιες καταστάσεις, ανάλογη διαφορά σε διαφορετικές καταστάσεις. Αυτή η αρχή της ισότητας αποτελεί συνταγματική υποχρέωση. Η τεχνητή νοημοσύνη μπορεί να βελτιώσει και να διαταράξει αθόρυβα αυτό το πεδίο. Μπορεί να βελτιωθεί επειδή ένας κανόνας που εφαρμόζεται με συνέπεια μπορεί να μειώσει την αυθαιρεσία και την ανθρώπινη προκατάληψη. Μπορεί να είναι καταστροφικό επειδή τα μοντέλα τεχνητής νοημοσύνης μαθαίνουν από δεδομένα του παρελθόντος και τα προηγούμενα δεδομένα φέρουν τη διάκριση του παρελθόντος. Εάν ένα σύστημα εκπαιδεύεται σε δεδομένα που ιστορικά μειονεκτούσαν μια συγκεκριμένη ομάδα, μεταφέρει αυτό το μειονέκτημα στο μέλλον - και σε μια μορφή που είναι ακόμη πιο δύσκολο να εντοπιστεί, υπό το πρόσχημα ενός «αντικειμενικού αλγορίθμου». Σε αυτή την ενότητα, θα μάθετε πώς να αναγνωρίζετε αλγοριθμική μεροληψία (συστηματική προκατάληψη της παραγωγής μοντέλου έναντι συγκεκριμένων ομάδων) όταν χρησιμοποιείτε τεχνητή νοημοσύνη στο δημόσιο τομέα, πώς να τη μειώνετε και, κυρίως, πώς να διασφαλίζετε αλγοριθμική λογοδοσία (το σκεπτικό μιας αυτοματοποιημένης απόφασης να είναι εξηγήσιμη, ελεγκτή και αμφισβητήσιμη).
Από πού προέρχεται η προκατάληψη;
Υπάρχουν πολλές πηγές αλγοριθμικής μεροληψίας και όλες είναι επικίνδυνες στο κοινό:
- Ιστορική προκατάληψη: Τα δεδομένα εκπαίδευσης περιέχουν ανισότητες του παρελθόντος. Για παράδειγμα, εάν μια περιοχή είχε λιγότερες υπηρεσίες στο παρελθόν, τα «δεδομένα ζήτησης» μπορεί να δείχνουν ότι η περιοχή έχει χαμηλές ανάγκες — ενώ στην πραγματικότητα η ζήτηση ήταν χαμηλή επειδή δεν υπήρχε υπηρεσία.
- Προκατάληψη αναπαράστασης: Ορισμένες ομάδες υποεκπροσωπούνται στα δεδομένα (όσες δεν έχουν ψηφιακή πρόσβαση, μειονοτικές γλωσσικές ομάδες) και το μοντέλο δεν λειτουργεί καλά γι' αυτές.
- Προκατάληψη μεσολάβησης: Ακόμα κι αν το μοντέλο δεν εξετάζει απευθείας ένα απαγορευμένο κριτήριο (εθνικότητα, θρησκεία), μπορεί να προκαλέσει την ίδια διάκριση κοιτάζοντας έναν πληρεξούσιο που σχετίζεται με αυτό (γειτονιά, όνομα, ταχυδρομικός κώδικας).
- Μεροληψία μέτρησης: Αυτό που μετράμε δεν είναι αυτό που πραγματικά θέλουμε να μετρήσουμε. Ο «αριθμός παραπόνων» μετρά την ικανότητα παράπονου παρά την ανάγκη.
Προσοχή: Είναι παραπλανητικό να λέμε «αφαίρεσα ευαίσθητα δεδομένα (φύλο, εθνικότητα) από το μοντέλο, τώρα είναι δίκαιο». Η διάκριση μέσω μεταβλητών μεσολάβησης μπορεί να συνεχιστεί. Η δικαιοσύνη επιτυγχάνεται όχι με τη διαγραφή της εισόδου, αλλά με τη δοκιμή της εξόδου μεταξύ των ομάδων.
Δοκιμή δικαιοσύνης: δείτε το αποτέλεσμα
Το αν ένα σύστημα είναι δίκαιο ή όχι μπορεί να γίνει κατανοητό κοιτάζοντας τα αποτελέσματά του και όχι τις προθέσεις του. Βασική μέθοδος: χωρίστε την απόφαση σε ομάδες και συγκρίνετε. Τα αποτελέσματα όπως το ποσοστό αποδοχής/απόρριψης, το ποσοστό σφάλματος, ο χρόνος αναμονής διαφέρουν σημαντικά μεταξύ των διαφορετικών ομάδων (φύλο, ηλικία, περιοχή, εισόδημα); Εάν υπάρχει διαφορά, αυτή η διαφορά βασίζεται σε νόμιμο λόγο ή είναι διάκριση; Δεδομένου ότι αυτή η ανάλυση μπορεί να απαιτεί προσωπικά δεδομένα, πρέπει να συγκεντρωθούν και να πραγματοποιηθούν σύμφωνα με το KVKK.
Συμβουλή: Προτού διαθέσετε ένα νέο σύστημα αποφάσεων με τεχνητή νοημοσύνη, αναλύστε τις αποφάσεις του ανά δημογραφικές ομάδες και δημιουργήστε μια «αναφορά δικαιοσύνης». Εάν βρείτε διαφορά, "μπορεί να εξηγηθεί αυτή η διαφορά;" Πάρτε την ερώτηση σε μια επιτροπή ανθρώπων.
Επεξήγηση και έκκληση: η καρδιά της λογοδοσίας
Στο Δημόσιο κανένας πολίτης δεν μπορεί να στερηθεί τα δικαιώματά του με την απάντηση «έτσι αποφάσισε το σύστημα». Για κάθε αυτοματοποιημένη ή υποβοηθούμενη από AI απόφαση, πρέπει να διασφαλίζονται τρία πράγματα:
- Επεξηγησιμότητα: Σε τι βασίστηκε η απόφαση, ποιοι παράγοντες ήταν αποτελεσματικοί, θα πρέπει να εξηγηθούν σε απλή γλώσσα.
- Τρόπος προσφυγής: Οι πολίτες θα πρέπει να μπορούν να αντιταχθούν στην απόφαση και να ζητήσουν από έναν άνθρωπο να την επανεξετάσει.
- Διαδρομή ελέγχου: Θα πρέπει να καταγράφεται ποια δεδομένα, ποιο μοντέλο/έκδοση και με ποιο υπεύθυνο πρόσωπο ελήφθη η απόφαση.
τρεις μίνι θήκες
Περίπτωση 1 — Λήψη παραλλαγής παραλλαγής. Ένα μοντέλο ιεράρχησης της βοήθειας δεν χρησιμοποίησε ευαίσθητα δεδομένα, αλλά εξέτασε τον «ταχυδρομικό κώδικα». Στο τεστ δικαιοσύνης, ορισμένες γειτονιές βρέθηκαν να λαμβάνουν συστηματικά χαμηλή προτεραιότητα — σε σχέση με τον ταχυδρομικό κώδικα, το εισόδημα και την εθνοτική πυκνότητα. Η μεταβλητή αφαιρέθηκε και η προτεραιότητα συνδέθηκε άμεσα με τους δείκτες ανάγκης.
Περίπτωση 2 — Κενό αναπαράστασης. Ένα chatbot είχε 41% περισσότερες πιθανότητες να παραπλανήσει ερωτήσεις από πολίτες με μη τουρκική μητρική γλώσσα. Τα δεδομένα εκπαίδευσης περιείχαν λίγα από αυτήν την ομάδα. Όταν προστέθηκαν η πολυγλωσσική υποστήριξη και το κατώφλι της ανθρώπινης παράδοσης, το χάσμα έκλεισε.
Περίπτωση 3 — Ανεξήγητη απόρριψη. Ένα ίδρυμα απέρριψε αυτόματα μια αίτηση. πολίτης "γιατί;" Όταν ρωτήθηκε, ο αξιωματικός δεν μπορούσε να εξηγήσει γιατί ο λόγος για το μοντέλο δεν ήταν κατανοητός. Το περιστατικό έδειξε ότι μοντέλα με κακή επεξήγηση δεν μπορούν να χρησιμοποιηθούν για τη λήψη αποφάσεων με δικαιώματα. Το σύστημα έχει μετατραπεί σε ένα μοντέλο που δημιουργεί αιτιολόγηση και απαιτεί ανθρώπινη έγκριση.
Τέσσερα πρότυπα με δυνατότητα αντιγραφής
1) Πηγή σάρωσης μεροληψίας:
Ο ρόλος σας: ειδικός αλγοριθμικής δικαιοσύνης. Δείτε παρακάτω τη διαδικασία λήψης αποφάσεων με τεχνητή νοημοσύνη. Καταγράψτε πιθανές πηγές μεροληψίας: (1) ιστορική μεροληψία, (2) μεροληψία αναπαράστασης (υποεκπροσωπούμενη ομάδα), (3) μεταβλητές μεσολάβησης (στήλη που σχετίζεται με απαγορευμένο κριτήριο), (4) μεροληψία μέτρησης. Δώστε ένα συγκεκριμένο παράδειγμα για το καθένα και πείτε μου πώς να το δοκιμάσω. ΔΙΑΔΙΚΑΣΙΑ: [διαδικασία λήψης απόφασης και δεδομένα που χρησιμοποιούνται]
2) Σχέδιο δοκιμής δικαιοσύνης:
Δημιουργήστε ένα σχέδιο ελέγχου δικαιοσύνης για τα ακόλουθα αποτελέσματα απόφασης: ποιες ομάδες (ηλικία, φύλο, περιοχή, εισόδημα) πρέπει να αναλύσω, ποιες μετρήσεις (ποσοστό αποδοχής, ποσοστό σφάλματος, χρόνος αναμονής) πρέπει να συγκρίνω, πώς μπορώ να αποφασίσω εάν η διαφορά είναι νόμιμη ή μεροληπτική; Προσθήκη προειδοποίησης KVKK. ΑΠΟΦΑΣΗ: [ποια απόφαση]
3) Δήλωση απόφασης (προς τον πολίτη):
Γράψτε ένα κατανοητό από τον πολίτη σχέδιο εξήγησης για την ακόλουθη απόφαση: ποιοι παράγοντες είχαν επιρροή, σε απλή γλώσσα. Προσθέστε το δικαίωμα υποβολής ένστασης στο τέλος και τη δυνατότητα διενέργειας ανθρώπινης αναθεώρησης [με το χρόνο που θα επιβεβαιωθεί]. Χρησιμοποιώντας αόριστες εκφράσεις όπως «Το σύστημα το αποφάσισε». ΑΠΟΦΑΣΗ: [περίληψη και παράγοντες που επηρεάζουν]
4) Έλεγχος λογοδοσίας πριν από τη διάδοση:
Δημιουργήστε μια λίστα ελέγχου λογοδοσίας πριν από την κυκλοφορία του συστήματος αποφάσεων που υποστηρίζει την τεχνητή νοημοσύνη: είναι εξηγήσιμο, υπάρχει τρόπος ένστασης, διατηρείται μια διαδρομή ελέγχου (δεδομένα/έκδοση μοντέλου/λογιστή), έχει γίνει έλεγχος δικαιοσύνης, πού είναι το σημείο έγκρισης από τον άνθρωπο. Επισήμανση στοιχείων που λείπουν ως κόκκινες σημαίες. ΣΥΣΤΗΜΑ: [συνταγή]
Αδύναμη προτροπή / Ισχυρή προτροπή
Αδύναμο: "Είναι δίκαιο αυτό το μοντέλο απόφασης;"
Ισχυρός: "Ο ρόλος σας είναι ειδικός αλγοριθμικής δικαιοσύνης. Για αυτό το μοντέλο προτεραιοποίησης βοήθειας, σαρώστε πρώτα πηγές μεροληψίας (ιστορική, αναπαράσταση, υποκατάστατη μεταβλητή, μέτρηση) και δώστε συγκεκριμένα παραδείγματα για καθεμία. Στη συνέχεια, δημιουργήστε ένα σχέδιο δοκιμών δικαιοσύνης: ανάλυση με ποιες ομάδες, ποιες μετρήσεις, πώς να αποφασίσετε τη νομιμότητα του συστήματος πριν από την προσθήκη, KV; μια λίστα ελέγχου για την επεξήγηση, τη διαδρομή ένστασης και τη διαδρομή ελέγχου και επισημάνετε τις ελλείψεις."
Η διαφορά: μια ισχυρή προτροπή αναζητά μεροληψία στην πηγή της, δοκιμάζει τα αποτελέσματα από ομάδες και κάνει τη λογοδοσία ευρέως διαδεδομένη.
Διαστάσεις και έλεγχοι δικαιοσύνης
Μέγεθος
Κίνδυνος
έλεγχος
ιστορικά στοιχεία
Το παρελθόν φέρει ανισότητα
Εξόδου δοκιμής ανά ομάδες
αντιπροσώπευση
Λειτουργεί άσχημα για κάποια ομάδα
Ποσοστό σφάλματος βάσει ομάδας
υποκατάστατη μεταβλητή
κρυφή διάκριση
Σχέση κριτηρίου ευαισθησίας μεταβλητής
Επεξηγησιμότητα
αδικαιολόγητη απόφαση
Δημιουργήστε απλή εξήγηση
αντίρρηση
κατάπτωση
Διαδρομή ανθρώπινης αναθεώρησης
Βρόχος ανάδρασης και σφάλμα αναπαράστασης
Η πιο ύπουλη μορφή αλγοριθμικής διάκρισης δεν συμβαίνει σε μια μεμονωμένη λανθασμένη απόφαση αλλά σε έναν βρόχο ανάδρασης που ενισχύεται με την πάροδο του χρόνου (η έξοδος ενός μοντέλου επηρεάζει τα μετέπειτα δεδομένα εκπαίδευσης, ενισχύοντας την υπάρχουσα προκατάληψη). Για παράδειγμα, εάν ένα μοντέλο επιθεώρησης επισημαίνει μια συγκεκριμένη γειτονιά ως "επικίνδυνη", όσο περισσότερες επιθεωρήσεις πηγαίνουν εκεί, τόσο περισσότερες εγγραφές δημιουργούνται, το μοντέλο βλέπει αυτή τη γειτονιά ως πιο επικίνδυνη — παρόλο που η διαφορά έχει αυξηθεί στην τοποθεσία που εξετάζεται, όχι στον πραγματικό κίνδυνο. Αυτό που ανοίγει το δρόμο για αυτό είναι συχνά ένα σφάλμα αναπαράστασης (δεδομένα εκπαίδευσης που αντικατοπτρίζουν ορισμένες ομάδες ελλιπώς ή παραμορφωμένα). Στο δημόσιο τομέα, αυτοί οι κύκλοι μπορούν να θέσουν τις μειονεκτούσες ομάδες υπό ολοένα και πιο αυστηρή επιτήρηση και κυρώσεις. Ο τρόπος για να προστατεύσετε τον εαυτό σας είναι να παρακολουθείτε τον αντίκτυπο του μοντέλου, όχι μόνο την παραγωγή του: να παρακολουθείτε τακτικά την κατανομή των αποφάσεων βάσει ομάδας και να μην εφαρμόζετε τυφλά τις συστάσεις του μοντέλου.
Μίνι θήκη — αμφιβολία για τον εαυτό του. Ένα μοντέλο ανίχνευσης απάτης κοινωνικής πρόνοιας επισήμανε μια περιοχή που είχε επιθεωρηθεί περισσότερο στο παρελθόν ως υψηλού κινδύνου. Όταν η ομάδα εξήγαγε την ένταση επιβολής από τα δεδομένα και μέτρησε το «πραγματικό ποσοστό ανίχνευσης σε σχέση με τον πληθυσμό», διαπίστωσε ότι οι διαφορές μεταξύ των περιοχών σε μεγάλο βαθμό εξαφανίστηκαν. Το μοντέλο παρέκαμψε την ανισότητα με πραγματικό κίνδυνο.
Πρότυπο ελέγχου επιπτώσεων βάσει ομάδας:
Εργασία: Εξετάστε τα ακόλουθα δεδομένα απόφασης ανά ομάδες (χωρίς προσωπικά δεδομένα, κατηγορηματική περίληψη). Δεδομένα: [ομάδα | συνολική απόφαση | αρνητικό ποσοστό απόφασης | Ένταση επιθεώρησης]Έξοδος: 1) Το ποσοστό αρνητικής απόφασης δείχνει σημαντική διαφορά μεταξύ των ομάδων; 2) Θα μπορούσε η διαφορά να οφείλεται σε πραγματικό κίνδυνο ή σε ένταση ελέγχου/εκπροσώπησης; 3) Υπάρχει κάποιο σημάδι βρόχου ανάδρασης; 4) Συστάσεις για τον ανθρώπινο έλεγχο. Κανόνας: Καθιέρωση ισχυρισμού αιτιότητας. Καταγράψτε πιθανές εξηγήσεις και τρόπους δοκιμής.
Προσοχή: Το επιχείρημα ότι «το μοντέλο είναι ουδέτερο γιατί εφαρμόζει τον ίδιο κανόνα σε όλους» είναι παραπλανητικό. Ο ίδιος κανόνας, όταν εφαρμόζεται σε λοξά δεδομένα, διατηρεί και μεγεθύνει την ανισότητα. Η δικαιοσύνη μετριέται από την ισότητα του αποτελέσματος και όχι από τον κανόνα.
Συνήθη λάθη
- Διαγραφή ευαίσθητων δεδομένων και σκέψη «είναι δίκαιο». Οι υποκατάστατες μεταβλητές διαιωνίζουν τις διακρίσεις. δοκιμάστε την έξοδο.
- Μέτρηση της δικαιοσύνης με πρόθεση. Η δικαιοσύνη εμφανίζεται στο τέλος. Ταξινομήστε τις αποφάσεις σε ομάδες και συγκρίνετε.
- Ξεχνώντας την υποεκπροσωπούμενη ομάδα. Το μοντέλο μπορεί να λειτουργεί αθόρυβα άσχημα για μια μειονοτική ομάδα. Δείτε το σφάλμα βάσει ομάδας.
- Χρήση του ανεξήγητου μοντέλου σε αποφάσεις που δίνουν δικαιώματα. Ένα σύστημα που δεν μπορεί να δικαιολογήσει δεν μπορεί να λαμβάνει δημόσιες αποφάσεις.
- Δεν παρέχει κανένα μέσο αντίρρησης. Κάθε αυτοματοποιημένη απόφαση θα πρέπει να υπόκειται σε ανθρώπινη εξέταση.
- Μη τήρηση ίχνους ελέγχου. Θα πρέπει να καταγράφεται με ποια δεδομένα/μοντέλο/υπεύθυνο πρόσωπο ελήφθη η απόφαση.
Συνοπτικά
Στον δημόσιο τομέα, η τεχνητή νοημοσύνη μπορεί να αυξήσει τη συνέπεια αλλά και να μεταφέρει αθόρυβα τις διακρίσεις του παρελθόντος. Η προκατάληψη προέρχεται από ιστορικά δεδομένα, κενό αναπαράστασης, μεταβλητές μεσολάβησης και ανακριβείς μετρήσεις. Η διαγραφή ευαίσθητων δεδομένων δεν θα το λύσει. Η δικαιοσύνη επιτυγχάνεται με τη δοκιμή του αποτελέσματος μεταξύ των ομάδων. Και κανένας πολίτης δεν μπορεί να στερηθεί του δικαιώματος του «το σύστημα το είπε»: κάθε απόφαση πρέπει να είναι εξηγήσιμη, αμφισβητήσιμη και ελεγχόμενη. Είναι το ίδρυμα που λογοδοτεί και όχι ο αλγόριθμος.
Εργασία εφαρμογής
Επιλέξτε μια διαδικασία λήψης αποφάσεων με τεχνητή νοημοσύνη ή αυτοματοποίηση στη μονάδα σας. Καταγράψτε πιθανές προκαταλήψεις και βρείτε τουλάχιστον έναν υποκατάστατο μεταβλητού κινδύνου με το πρότυπο «Source of bias scan». Προσδιορίστε ποιες αναλύσεις ομάδων θα εξετάσετε με το "σχέδιο δοκιμής δικαιοσύνης". Για ένα δείγμα απόφασης, δημιουργήστε μια επεξήγηση προς τον πολίτη με το πρότυπο "Εξήγηση απόφασης".
λίστα ελέγχου
- [ ] Έκανα σάρωση για πηγές μεροληψίας (ιστορική, αναπαράσταση, πληρεξούσιος, μέτρηση).
- [ ] Δεν διέγραψα απλώς ευαίσθητα δεδομένα. Δοκίμασα την έξοδο ανά ομάδες.
- [ ] Έλεγξα το ποσοστό σφάλματος για ομάδες που δεν αντιπροσωπεύονταν καθόλου.
- [ ] Έχω παράσχει απλή, εξηγήσιμη αιτιολόγηση για κάθε απόφαση.
- [ ] Έχω ορίσει την αντίρρηση και τη διαδρομή ανθρώπινης αναθεώρησης.
- [ ] Διατηρείται η διαδρομή ελέγχου (δεδομένα/έκδοση μοντέλου/υπεύθυνη).