Κέρδη:
- Κατανοεί ότι τα δεδομένα είναι η κύρια πηγή προκατάληψης AI
- Αναγνωρίζει τους κινδύνους που μπορεί να δημιουργήσει η μεροληψία στο χώρο εργασίας
- Εφαρμόζει μέτρα που μπορούν να ληφθούν για τη μείωση των προκαταλήψεων
Το AI εμφανίζεται ως μια ουδέτερη, αντικειμενική μηχανή. αλλά η αλήθεια είναι πολύ πιο σύνθετη. Τα συστήματα AI μαθαίνουν τις ανθρώπινες προκαταλήψεις στα δεδομένα στα οποία εκπαιδεύονται και μερικές φορές τις μεγεθύνουν και τις αναπαράγουν. Η προκατάληψη είναι η τάση ενός συστήματος να ευνοεί ή να αποκλείει συστηματικά ορισμένα άτομα ή ομάδες. Σε αυτή την ενότητα, θα εξετάσουμε από πού προέρχεται η προκατάληψη, ποιους συγκεκριμένους κινδύνους εγκυμονεί στο χώρο εργασίας και τι μπορεί να γίνει εναντίον της. Αυτό δεν είναι μόνο θέμα «ηθικής». Είναι ένα πρακτικό επιχειρηματικό θέμα που εγκυμονεί νομικούς, εμπορικούς κινδύνους και κινδύνους φήμης όταν τυγχάνει κακής διαχείρισης.
Από πού προέρχεται η προκατάληψη;
Οι πληροφορίες ενός γλωσσικού μοντέλου προέρχονται από τα τεράστια κείμενα που παράγουν οι άνθρωποι. Αυτά τα κείμενα περιέχουν όλη τη γνώση της ανθρώπινης κοινωνίας, καθώς και όλα τα στερεότυπα, τις ανισορροπίες και τις ιστορικές της ανισότητες. Το μοντέλο δεν κάνει διάκριση μεταξύ "καλών" και "κακών" μοτίβων. Μαθαίνει ό,τι υπάρχει στα δεδομένα.
Παράδειγμα: Εάν ορισμένα επαγγέλματα συνδέονταν κυρίως με ένα φύλο σε προηγούμενα κείμενα (π.χ. «νοσοκόμα» με γυναίκα, «μηχανικός» με άνδρα), το μοντέλο μαθαίνει αυτή τη συσχέτιση. Μπορεί να έχει την τάση να επιλέγει μια αντωνυμία όταν συμπληρώνει την πρόταση, "Ένας μηχανικός μπήκε στο γραφείο, αυτός..." Το μοντέλο δεν είναι κακόβουλο. αντικατοπτρίζει απλώς την ανισορροπία στα δεδομένα.
Έτσι, η προκατάληψη οφείλεται κυρίως στο ότι είναι ένας καθρέφτης των δεδομένων, όχι σε ένα συνειδητό σφάλμα προγραμματισμού. Η εξήγηση του προβλήματος ως "κάποιος έγραψε κακό κώδικα" είναι παραπλανητική. Το πρόβλημα είναι ότι η ανισορροπία στον κόσμο μεταφέρεται στα δεδομένα και από εκεί στο μοντέλο.
Απτός κίνδυνος στο χώρο εργασίας
περιοχή
Κίνδυνος μεροληψίας
πιθανή βλάβη
πρόσληψη
Μάθετε την τάση στα ιστορικά δεδομένα και εξαλείψτε ορισμένες ομάδες
Νομική υπόθεση, απώλεια ικανότητας
Επικοινωνία με τον πελάτη
Στερεοτυπική ή αποκλειστική γλώσσα
Απώλεια φήμης, φυγή πελατών
πίστωση/κίνδυνος
Διαιώνιση των ανισοτήτων του παρελθόντος
Διακρίσεις, κυρώσεις
Αξιολόγηση απόδοσης
Συμπερίληψη μεροληψίας στα δεδομένα στην απόφαση
Άδικη προώθηση/μπόνους
Περιεχόμενο/μάρκετινγκ
Κάντε μια συγκεκριμένη ομάδα αόρατη
Ζημιά στη μάρκα
Τρεις Μίνι Θήκες
Περίπτωση 1 — Η διαφήμιση περιόριζε τη γλώσσα. Μια εταιρεία ξεκίνησε να εκτυπώνει αγγελίες εργασίας με AI. Μετά από λίγο, παρατηρήθηκε ότι οι διαφημίσεις απευθύνονταν σε ένα συγκεκριμένο προφίλ με εκφράσεις όπως «νέος και δυναμικός», «επιθετικός στόχος» και έτσι μείωσαν την ποικιλομορφία των εφαρμογών. Η ομάδα πρόσθεσε ένα βήμα που ελέγχει κάθε ανάρτηση για «γλώσσα χωρίς αποκλεισμούς». Η ποικιλομορφία των αιτούντων έχει αυξηθεί σημαντικά μέσα σε λίγους μήνες.
Περίπτωση 2 — Κρυφή προκατάληψη στην περίληψη. Ένας διευθυντής ζήτησε από το AI να συνοψίσει σχόλια 30 εργαζομένων. Η ανακεφαλαίωση φάνηκε να επικεντρώνει τα αρνητικά σχόλια σε μια συγκεκριμένη ομάδα. ενώ στα πρωτογενή δεδομένα η κατάσταση ήταν ισορροπημένη. Το μοντέλο υπερέβαλε πολλές ισχυρές δηλώσεις. Όταν ο διευθυντής επέστρεψε και έλεγξε τα ανεπεξέργαστα δεδομένα, απέφυγε να κάνει μια παρανόηση.
Περίπτωση 3 — Η εντολή για τη συμπερίληψη λειτούργησε. Μια ομάδα μάρκετινγκ τυποποίησε την οδηγία στο αντίγραφο της καμπάνιας για «χρησιμοποιήστε περιεκτική, μη συγκεκριμένη γλώσσα φύλου/ηλικίας/ομάδας και απαριθμήστε τις υποθέσεις σας στο τέλος». Οι εκφράσεις τύπου στα κείμενα που παράγονται έχουν μειωθεί αισθητά. η ομάδα δεν χρειάστηκε να διορθώνει χειροκίνητα κάθε έξοδο ξανά και ξανά.
Γιατί είναι δύσκολο να αναγνωριστεί η προκατάληψη;
Το πιο ύπουλο πράγμα σχετικά με την προκατάληψη είναι ότι συχνά είναι αόρατη. Η έξοδος φαίνεται ομαλή, επαγγελματική και λογική. Η τάση μέσα σε αυτό γίνεται εμφανής μόνο όταν κοιτάξει κανείς προσεκτικά ή μετρήσει τον αντίκτυπό της σε διαφορετικές ομάδες. Είναι παραπλανητικό να πούμε "δεν υπάρχει προκατάληψη εδώ" εξετάζοντας ένα μόνο παράδειγμα. Η προκατάληψη συχνά εκδηλώνεται όχι σε μεμονωμένα παραδείγματα αλλά στη γενική τάση του συστήματος.
Προσοχή: Η υπόθεση ότι «είμαι ουδέτερος, επομένως και το εργαλείο που χρησιμοποιώ είναι ουδέτερο» είναι επικίνδυνη. Η ουδετερότητα του εργαλείου εξαρτάται από τα δεδομένα εκπαίδευσης και τον τρόπο επιθεώρησής του, όχι από την πρόθεσή σας.
Αδύναμη προτροπή / Ισχυρή προτροπή
Αδύναμη προτροπή: Περιγράψτε τον ιδανικό υποψήφιο για αυτή τη θέση.
Αποτέλεσμα: Το μοντέλο μπορεί να βασίζεται σε στερεότυπα και να παρουσιάζει ένα συγκεκριμένο προφίλ ως «ιδανικό».
Ισχυρή προτροπή: Αναφέρετε μόνο μετρήσιμες ικανότητες για αυτήν τη θέση που είναι πραγματικά σχετικές με τη δουλειά. Μην χρησιμοποιείτε χαρακτηριστικά που δεν σχετίζονται με την εργασία, όπως φύλο, ηλικία, οικογενειακή κατάσταση, πόλη καταγωγής. Τέλος, γράψτε αυτό που παραλείψατε κάτω από τον τίτλο "υποθέσεις που αποφεύγω".
Αποτέλεσμα: Η αξιολόγηση περιορίζεται σε κριτήρια που σχετίζονται με την εργασία, εξαιρούνται άσχετα χαρακτηριστικά.
Πρότυπα για τη μείωση της προκατάληψης
Ελέγξτε το παρακάτω κείμενο για τη γλώσσα που περιλαμβάνει. Επισημάνετε δηλώσεις που υποδηλώνουν φύλο, ηλικία, εθνικότητα, αναπηρία ή μια συγκεκριμένη ομάδα και προτείνετε μια ουδέτερη εναλλακτική για καθεμία. Κείμενο: [επικολλήστε εδώ]
Κάντε αυτήν την αξιολόγηση μόνο με βάση αυτά τα αντικειμενικά κριτήρια: [κριτήρια]. Μην λαμβάνετε υπόψη σας άλλες πληροφορίες εκτός από αυτά τα κριτήρια (όνομα, φύλο, ηλικία).
Καταγράψτε κάτω από μια ξεχωριστή επικεφαλίδα στο τέλος ποιες υποθέσεις κάνατε στο κείμενο που δημιουργήσατε. Έτσι μπορώ να δω κρυφές προκαταλήψεις.
Αξιολογήστε αυτό το περιεχόμενο μέσα από τα μάτια τριών διαφορετικών ομάδων αναγνωστών και σημειώστε τυχόν δηλώσεις που μπορεί να προσβάλλουν/προσβάλλουν κάποιον από αυτούς. Περιεχόμενο: [επικολλήστε εδώ]
Κοινά λάθη
Συνήθη λάθη
- Υποθέτοντας «ουδέτερη» έξοδο AI. Ακόμα κι αν η έξοδος φαίνεται ουδέτερη, μπορεί να φέρει την προκατάληψη στα δεδομένα. Απαιτείται ενεργός επίβλεψη.
- Κοιτάζοντας ένα παράδειγμα και λέγοντας "δεν υπάρχει προκατάληψη". Η προκατάληψη κρύβεται στη γενική τάση του συστήματος.
- Αφήνοντας τη λήψη αποφάσεων με μεγάλο αντίκτυπο στην τεχνητή νοημοσύνη χωρίς επίβλεψη. Η ανθρώπινη εξουσία είναι απαραίτητη σε αποφάσεις όπως η πρόσληψη, η προαγωγή και η πίστωση.
- Ξεχνώντας να απαιτήσουμε τη συμπερίληψη. Εάν δεν το ζητήσετε ρητά στην προτροπή, το μοντέλο επιστρέφει στα προεπιλεγμένα μοτίβα.
- Σημαίνει «Η μηχανή το είπε». Το άτομο που χρησιμοποιεί την απόφαση είναι επίσης υπεύθυνο για τις συνέπειες.
Η δικαιοσύνη είναι ευθύνη όλων
Η καταπολέμηση της προκατάληψης δεν είναι μόνο δουλειά της τεχνικής ομάδας. Κάθε εργαζόμενος που χρησιμοποιεί έξοδο τεχνητής νοημοσύνης έχει την ευθύνη να αμφισβητήσει εάν αυτό το αποτέλεσμα είναι δίκαιο. «Η μηχανή μου είπε» δεν είναι δικαιολογία. Το άτομο που παίρνει την απόφαση είναι επίσης υπεύθυνο για τις συνέπειες.
Συνοπτικά
- Η κύρια πηγή της προκατάληψης της τεχνητής νοημοσύνης δεν είναι η κακία, αλλά οι υπάρχουσες ανισορροπίες και στερεότυπα στα δεδομένα εκπαίδευσης.
- Προκατάληψη; Δημιουργεί πραγματικό νομικό κίνδυνο και κίνδυνο φήμης σε τομείς όπως η πρόσληψη, η επικοινωνία με τους πελάτες, τα οικονομικά και η αξιολόγηση.
- Η προκατάληψη είναι συχνά αόρατη και ενσωματωμένη στη συνολική διάθεση του συστήματος. Η εξέταση ενός μόνο παραδείγματος είναι παραπλανητική.
- Για να μειώσετε: να είστε ενήμεροι, να περιορίσετε τις αποφάσεις σε κριτήρια που σχετίζονται με την εργασία, να ζητήσετε ρητά τη συμμετοχή, να θέσετε τον ανθρώπινο έλεγχο σε αποφάσεις υψηλού αντίκτυπου.
- «Η μηχανή μου είπε» δεν είναι δικαιολογία. Η δικαιοσύνη είναι ευθύνη του καθενός που χρησιμοποιεί το προϊόν.
Εργασία εφαρμογής
Πείτε στην τεχνητή νοημοσύνη «περιγράψτε έναν ιδανικό [κάθε επάγγελμα] εργάτη» και σημειώστε ποιες (ίσως περιττές) υποθέσεις έγιναν στο αποτέλεσμα. Στη συνέχεια, επαναλάβετε με το παραπάνω πρότυπο «κριτήρια που σχετίζονται με την εργασία» και συγκρίνετε τα δύο αποτελέσματα για δικαιοσύνη.
Λίστα ελέγχου
- [ ] Κατανοώ ότι η κύρια πηγή προκατάληψης είναι τα δεδομένα εκπαίδευσης.
- [ ] Μπορώ να αναφέρω τους συγκεκριμένους κινδύνους που μπορεί να εγκυμονεί η μεροληψία στο χώρο εργασίας.
- [ ] Γνωρίζω ότι η προκατάληψη είναι συχνά αόρατη και ότι η εξέταση ενός μόνο παραδείγματος είναι παραπλανητική.
- [ ] Μπορώ ξεκάθαρα να ζητήσω κριτήρια συμπερίληψης και που σχετίζονται με την εργασία στην προτροπή.
- [ ] Απαιτώ την ανθρώπινη επίβλεψη των αποφάσεων υψηλού αντίκτυπου.