Προκατάληψη, Δικαιοσύνη και Διακρίσεις: Τα Τυφλά Σημεία του Μοντέλου

Κέρδη:

• Κατανόηση του τρόπου με τον οποίο η μεροληψία στα μοντέλα τεχνητής νοημοσύνης προκύπτει από δεδομένα και σχεδιασμό και γιατί δημιουργεί νομικούς και ηθικούς κινδύνους στον τραπεζικό τομέα
• Ικανότητα αναγνώρισης προστατευμένων χαρακτηριστικών, μεταβλητών μεσολάβησης και έμμεσων διακρίσεων και αμφισβήτησης των αποφάσεων του μοντέλου με όρους δικαιοσύνης
• Ικανότητα κατανόησης του τρόπου με τον οποίο οι μετρήσεις δικαιοσύνης, οι αποκλεισμένες ομάδες και το δικαίωμα αντίρρησης συνυφαίνονται στο μοντέλο διακυβέρνησης και διατηρούν την κόκκινη γραμμή των διακρίσεων

Ένα μοντέλο AI δεν είναι ουδέτερο. Είναι ένας καθρέφτης των δεδομένων που μάθαμε. Εάν τα δεδομένα φέρουν ανισότητες του παρελθόντος, το μοντέλο τις μαθαίνει και τις μεταφέρει στο μέλλον. Στον τραπεζικό τομέα, αυτό δεν είναι μια αφηρημένη ηθική συζήτηση: εάν ένα πιστωτικό μοντέλο θέτει συστηματικά σε μειονεκτική θέση μια συγκεκριμένη ομάδα, αυτό είναι τόσο παράνομο (απαγόρευση των διακρίσεων) όσο και ηθική παραβίαση, φέρνοντας κινδύνους φήμης και κυρώσεις για την τράπεζα. Ο σκοπός αυτής της ενότητας είναι να δείξει πώς το μοντέλο γίνεται μεροληπτικό, άμεσες και έμμεσες μορφές διάκρισης, η παγίδα της μεταβλητής μεσολάβησης και τρόπους για να συνδυάσουμε τη δικαιοσύνη στη διακυβέρνηση του μοντέλου. Μια κόκκινη γραμμή πρέπει να ειπωθεί από την αρχή: οι διακρίσεις, όσο «στατιστική» κι αν φαίνεται, είναι απαράδεκτες.

Από πού πηγάζει η προκατάληψη;

• Προκατάληψη δεδομένων: Εάν οι προηγούμενες αποφάσεις ήταν άδικες (π.χ. σε μια συγκεκριμένη ομάδα δόθηκε λιγότερη πίστωση στο παρελθόν), το μοντέλο υποθέτει ότι αυτό είναι «φυσιολογικό» και συνεχίζει. Αυτό ονομάζεται ιστορική προκατάληψη.
• Μεροληψία δειγματοληψίας: Εάν ορισμένες ομάδες υποεκπροσωπούνται στα δεδομένα, το μοντέλο μαθαίνει ελάχιστα και ανακριβώς για αυτές.
• Προκατάληψη ετικέτας: Εάν ο ίδιος ο ορισμός του «καλού πελάτη» είναι προκατειλημμένος, το μοντέλο βελτιστοποιείται για την προκατάληψη.
• Μεροληψία σχεδιασμού: Οι ανθρώπινες επιλογές σχετικά με το ποιες μεταβλητές θα χρησιμοποιηθούν μπορεί επίσης να φέρουν μεροληψία.

Συμβουλή: «Το μοντέλο βασίζεται σε δεδομένα, άρα είναι αντικειμενικό» είναι εσφαλμένη αντίληψη. Τα δεδομένα είναι ένα στιγμιότυπο του παρελθόντος. Αν το παρελθόν ήταν άδικο, το «αντικειμενικό» μοντέλο δικαιολογεί την αδικία με τα μαθηματικά. Η αντικειμενικότητα δεν αποτελεί εγγύηση αμεροληψίας.

Άμεσες και έμμεσες διακρίσεις

• Άμεση διάκριση: Η άμεση χρήση από το μοντέλο ενός προστατευόμενου χαρακτηριστικού (φύλο, εθνικότητα, θρησκεία, ηλικία). Αυτό απαγορεύεται ρητά.
• Έμμεση διάκριση (υποκατάστατη μεταβλητή / πληρεξούσιος): Ακόμα κι αν το μοντέλο δεν χρησιμοποιεί απευθείας το προστατευμένο χαρακτηριστικό, παράγει το ίδιο αποτέλεσμα χρησιμοποιώντας μια άλλη μεταβλητή που σχετίζεται στενά με αυτό (ταχυδρομικός κώδικας, όνομα, κατηγορία αγορών, περιοχή εργασίας). Ο ταχυδρομικός κώδικας είναι συχνά ένας αντιπρόσωπος για την εθνικότητα ή το επίπεδο εισοδήματος. Το μοντέλο λέει «γειτονιά» αλλά το αποτέλεσμα είναι διάκριση «καταγωγής».

Μεταβλητή

προφανώς

μπορεί να είναι πληρεξούσιος

Ταχυδρομικός κώδικας / περιοχή

γεωγραφία

Εθνότητα, επίπεδο εισοδήματος

Όνομα

ID

καταγωγή, φύλο

Κατηγορία αγορών

συμπεριφορά

τρόπος ζωής, πεποίθηση

αποφοίτησε από το σχολείο

Εκπαίδευση

Κοινωνικοοικονομική προέλευση

Γι' αυτό θα πρέπει να ηχεί συναγερμός όταν βλέπετε μια δήλωση όπως "η γειτονιά είναι επικίνδυνη" σε μια αιτιολόγηση: μπορεί να φαίνεται ότι είναι θεμιτό κριτήριο, αλλά φέρει έμμεση διάκριση.

Προσοχή: Η κατάργηση της προστατευμένης δυνατότητας από τα δεδομένα δεν τερματίζει τη διάκριση. Οι υποκατάστατες μεταβλητές μπορούν να το επιστρέψουν. Δικαιοσύνη δεν επιτυγχάνεται με το "διέγραψα την ευαίσθητη στήλη"? Αυτό επιτυγχάνεται με τη δοκιμή των αποτελεσμάτων των αποφάσεων μοντέλων μεταξύ ομάδων.

Συνδυάζοντας τη δικαιοσύνη στη διακυβέρνηση

1. Μετρήσεις δικαιοσύνης. Συγκρίνετε τα ποσοστά έγκρισης/απόρριψης του μοντέλου και τα ποσοστά σφαλμάτων μεταξύ των ομάδων. Βιώνει συστηματικά μια ομάδα υψηλότερες απορρίψεις;
2. Έλεγχος μεσολάβησης. Εξετάστε τη σχέση των μεταβλητών που χρησιμοποιούνται με τις προστατευμένες ιδιότητες.
3. Επεξηγησιμότητα. Πρέπει να υπάρχει αιτιολόγηση για κάθε απόφαση. Η άρνηση του «μαύρου κουτιού» είναι αβάσιμη.
4. Δικαίωμα αντίρρησης. Ο πελάτης θα πρέπει να έχει το δικαίωμα να μάθει το σκεπτικό της απόφασης και να ζητήσει μια ανθρώπινη αναθεώρηση.
5. Αποκλεισμένες ομάδες. Θα πρέπει επίσης να ελεγχθεί ότι οι ομάδες που υποεκπροσωπούνται στα δεδομένα δεν τυγχάνουν κακομεταχείρισης.

Τέσσερα πρότυπα με δυνατότητα αντιγραφής

1) Έλεγχος για διακρίσεις στην αιτιολόγηση:

Ελέγξτε την ακόλουθη αιτιολογία της πιστωτικής απόφασης: υπάρχει άμεση/έμμεση αναφορά σε ένα προστατευμένο χαρακτηριστικό (ηλικία, φύλο, καταγωγή, θρησκεία) ή σε μια μεταβλητή μεσολάβησης (ταχυδρομικός κώδικας, γειτονιά, όνομα, τύπος αγορών); Επισημάνετε επικίνδυνες δηλώσεις και εξηγήστε γιατί ενέχουν κίνδυνο διάκρισης. Αιτία: [κείμενο]

2) Έλεγχος διακομιστή μεσολάβησης μεταβλητής λίστας:

Εξετάστε αυτήν τη λίστα μεταβλητών που χρησιμοποιούνται σε ένα πιστωτικό μοντέλο. Ποια από αυτά θα μπορούσαν να αποτελέσουν αντιπρόσωπο ενός προστατευόμενου χαρακτηριστικού και να ενέχουν κίνδυνο έμμεσης διάκρισης; Γράψτε την αιτιολόγησή σας για κάθε επικίνδυνη παραλλαγή. Λίστα: [μεταβλητές]

3) Περίληψη της απόφασης από άποψη δικαιοσύνης (ουδέτερη, εξηγήσιμη):

Ο ρόλος σας: βοηθός που συντάσσει ένα εξηγήσιμο σκεπτικό απόφασης. Βασιστείτε μόνο σε θεμιτά κριτήρια που δεν εισάγουν διακρίσεις (αναλογία χρέους προς εισόδημα, ιστορικό πληρωμών, εξασφαλίσεις). ΜΗΝ αναφέρετε προστατευόμενη ιδιότητα και υποκατάστατη μεταβλητή. Γράψτε το σκεπτικό σε απλή γλώσσα που θα κατανοήσει ο πελάτης. Θα δώσω την έγκριση.

4) Σχέδιο απάντησης ένστασης:

Ένας πελάτης υπέβαλε ένσταση για την άρνηση πίστωσης και θέλει αιτιολόγηση. Να συντάξετε μια σεβαστική και περιγραφική απάντηση με βάση θεμιτά κριτήρια. Υπενθυμίστε στον πελάτη το δικαίωμά του σε ανθρώπινη αναθεώρηση και διόρθωση. Μην χρησιμοποιείτε οποιεσδήποτε διακρίσεις. Επαληθευμένη αιτία απόρριψης: [λόγος]

Αδύναμη προτροπή / Ισχυρή προτροπή

Αδύναμη προτροπή:

Οι εφαρμογές σε αυτήν την περιοχή είναι πολύ επικίνδυνες, ας χρησιμοποιήσουμε τις πληροφορίες περιοχών πιο έντονα στο μοντέλο, ώστε να αυξηθεί η ακρίβεια.

Αυτή η προσέγγιση ενισχύει τις έμμεσες διακρίσεις με βάση την περιφέρεια. Νομιμοποιεί μια παράνομη έκβαση στο όνομα του «χτύπημα».

Ισχυρή προτροπή:

Ο ρόλος σας: βοηθός ελεγκτή δικαιοσύνης. Επισημάνετε τις μεταβλητές που χρησιμοποιούνται και ενέχουν τον κίνδυνο υποκατάστατων μεταβλητών. Προτείνετε ποιες μετρήσεις πρέπει να ακολουθήσω για να συγκρίνω αποφάσεις μεταξύ ομάδων όσον αφορά το ποσοστό έγκρισης/απόρριψης. Ποτέ μην ενισχύετε ένα κριτήριο που εισάγει διακρίσεις. ανακατεύθυνση σε θεμιτά και εξηγήσιμα κριτήρια.

Η ισχυρή βούληση αναζητά τον κίνδυνο μεσολάβησης, εισάγει μετρήσεις δικαιοσύνης και απορρίπτει τις διακρίσεις.

τρεις μίνι θήκες

Περίπτωση 1 — Ιστορική προκατάληψη. Ένα μοντέλο δίνει σε μια συγκεκριμένη επαγγελματική ομάδα συστηματικά χαμηλή βαθμολογία επειδή της έχει δοθεί λιγότερη πίστωση στο παρελθόν. Ένας έλεγχος δικαιοσύνης δείχνει ότι το ποσοστό απόρριψης για αυτήν την ομάδα είναι 30% υψηλότερο από άλλες σε παρόμοια επίπεδα εισοδήματος. Το μοντέλο εξισορροπείται με νόμιμα εισοδηματικά κριτήρια και κριτήρια πληρωμής.

Περίπτωση 2 — Υποκατάστατη μεταβλητή. Ο ταχυδρομικός κώδικας είναι μια ισχυρή μεταβλητή σε ένα μοντέλο. Ο έλεγχος δείχνει ότι ο ταχυδρομικός κώδικας επικαλύπτεται με ορισμένες εθνικά συγκεντρωμένες γειτονιές, προκαλώντας έμμεσες διακρίσεις καταγωγής. Η μεταβλητή αφαιρείται και αντικαθίσταται από νόμιμα οικονομικά κριτήρια αναφοράς. Η απόδοση παραμένει σε αποδεκτό επίπεδο, οι διακρίσεις εξαλείφονται.

Περίπτωση 3 — Δικαίωμα αντίρρησης. Ένας πελάτης που απορρίφθηκε ζητά αιτιολόγηση. Η τράπεζα παρέχει την εξηγήσιμη αιτιολόγηση (υψηλή αναλογία χρέους προς εισόδημα) και αποδέχεται το αίτημα για ανθρώπινη επανεξέταση. Η ανασκόπηση αποκαλύπτει μια εσφαλμένη ανάγνωση ενός εγγράφου. Η απόφαση διορθώνεται. Η επεξήγηση και το δικαίωμα αντίρρησης αντισταθμίζουν ένα λάθος με τη δικαιοσύνη.

Μετρήσεις δικαιοσύνης: τι και πώς μετράμε

«Είναι δίκαιο το μοντέλο;» Δεν υπάρχει ενιαία απάντηση στην ερώτηση. Υπάρχουν πολλοί ορισμοί της δικαιοσύνης και μερικές φορές συγκρούονται μεταξύ τους. Ακολουθούν ορισμένες προσεγγίσεις που ακολουθούνται πρακτικά στον τραπεζικό τομέα:

• Σύγκριση ποσοστού έγκρισης/απόρριψης: Το ποσοστό έγκρισης διαφέρει συστηματικά μεταξύ διαφορετικών ομάδων με παρόμοια οικονομικά προφίλ (π.χ. ομάδες φύλου); Μια μεγάλη και ανεξήγητη διαφορά είναι σημάδι μεροληψίας.
• Ισότητα ποσοστού σφάλματος: Το ποσοστό ψευδούς απόρριψης του μοντέλου (απόρριψη μιας νόμιμης αίτησης) είναι ισορροπημένο μεταξύ των ομάδων; Εάν μια ομάδα απορρίπτεται άδικα πιο συχνά από μια άλλη, υπάρχει πρόβλημα.
• Βαθμονόμηση: Οι πελάτες που το μοντέλο αποκαλεί «υψηλού κινδύνου» όντως χρεοκοπούν με παρόμοια ποσοστά σε κάθε ομάδα; Το νόημα της βαθμολογίας δεν πρέπει να μετατοπίζεται από ομάδα σε ομάδα.

Αυτές οι μετρήσεις μερικές φορές δεν μπορούν να παρέχονται ταυτόχρονα. Ποιος ορισμός της δικαιοσύνης πρέπει να δοθεί προτεραιότητα δεν είναι τεχνική, αλλά ηθική και νομική απόφαση και απαιτεί ανθρώπινη διακυβέρνηση.

Συμβουλή: Μετρήστε τη μέτρηση δικαιοσύνης σε τακτά χρονικά διαστήματα, όχι μόνο όταν κατασκευάζετε το μοντέλο. Ένα μοντέλο μπορεί να κυκλοφορήσει αρκετά και να γίνει προκατειλημμένο με την πάροδο του χρόνου λόγω μετατόπισης δεδομένων. Η δικαιοσύνη δεν είναι θέμα «εγκατάστασης» αλλά θέμα «παρακολούθησης».

Συνήθη λάθη

• Η πλάνη των «αντικειμενικών δεδομένων». Υποθέτοντας ότι το μοντέλο είναι ουδέτερο. Τα δεδομένα φέρουν ιστορική προκατάληψη.
• Απλώς διαγράψτε την ευαίσθητη στήλη. Αφαίρεση της προστατευμένης ιδιότητας και παράβλεψη μεταβλητών διακομιστή μεσολάβησης.
• Μη παρακολούθηση μετρήσεων δικαιοσύνης. Δεν γίνεται καθόλου σύγκριση του ποσοστού απόρριψης/λάθους μεταξύ των ομάδων.
• Υπερασπίζοντας την απόφαση του μαύρου κουτιού. Θεωρώντας μια απόφαση που δεν μπορεί να δικαιολογηθεί ως νόμιμη.
• Αφαίρεση του δικαιώματος αντίρρησης. Απενεργοποίηση ανθρώπινης αναθεώρησης επειδή "επιβραδύνει τη διαδικασία".

Προσοχή: Οι διακρίσεις δεν προκύπτουν συχνά από κακία αλλά από απροσεξία. Μια μεταβλητή που προστέθηκε επειδή "αυξάνει την ακρίβεια" μπορεί να αποκλείσει εν αγνοία μια ομάδα. Επομένως, η δικαιοσύνη δεν βασίζεται στην καλή πίστη αλλά σε τακτικές δοκιμές.

Συνοπτικά

Τα μοντέλα τεχνητής νοημοσύνης φέρουν τις προκαταλήψεις των δεδομένων από τα οποία μαθαίνουν και οι διακρίσεις στον τραπεζικό τομέα είναι ένας νομικός, ηθικός κίνδυνος και κίνδυνος φήμης. Η άμεση διάκριση είναι η χρήση ενός προστατευμένου χαρακτηριστικού. Η έμμεση διάκριση, από την άλλη πλευρά, παράγει το ίδιο αποτέλεσμα με μεταβλητές μεσολάβησης (ταχυδρομικός κώδικας, όνομα). Η δικαιοσύνη δεν είναι να σβήσεις την ευαίσθητη στήλη. Εξασφαλίζεται από μετρήσεις δικαιοσύνης, έλεγχο μεσολάβησης, επεξήγηση και δικαίωμα αντίρρησης. Με μια πρόταση: Το μοτίβο επαναλαμβάνει το παρελθόν. Είναι ευθύνη του ανθρώπου να τηρεί τη δικαιοσύνη και να απορρίπτει τις διακρίσεις.

Εργασία εφαρμογής

Γράψτε μια λίστα με 8-10 μεταβλητές για ένα πιστωτικό μοντέλο (ορισμένες με σκόπιμο κίνδυνο μεσολάβησης: ταχυδρομικός κώδικας, όνομα, κατηγορία αγορών). 2. Πραγματοποιήστε έλεγχο μεσολάβησης με το πρότυπο και σημειώστε τα επικίνδυνα με τους λόγους τους. Στη συνέχεια, γράψτε ένα κείμενο αιτιολόγησης που εισάγει διακρίσεις και σαρώστε το με το πρότυπο 1. Τέλος, σχεδιάστε σε μια παράγραφο ποιες μετρήσεις δικαιοσύνης θα παρακολουθήσετε για να συγκρίνετε το ποσοστό απόρριψης του μοντέλου μεταξύ των ομάδων.

λίστα ελέγχου

• [ ] Έχω ελέγξει ότι το μοντέλο/το σκεπτικό δεν χρησιμοποιεί προστατευμένες ιδιότητες.
• [ ] Έλεγξα επίσης τον κίνδυνο μεταβλητών μεσολάβησης.
• [ ] Σχεδίαζα να συγκρίνω το ποσοστό έγκρισης/απόρριψης και σφάλματος μεταξύ των ομάδων.
• [ ] Εξασφάλισα ότι κάθε απόφαση είχε ένα εξηγήσιμο σκεπτικό.
• [ ] Έδωσα στον πελάτη το δικαίωμα αντίρρησης και ανθρώπινου ελέγχου.
• [ ] Δεν ξεπέρασα καν την κόκκινη γραμμή διάκρισης για το «χτύπημα».