Κέρδη:
- Δυνατότητα αναγνώρισης κινδύνων που σχετίζονται με την τεχνητή νοημοσύνη, όπως ψευδαισθήσεις, προκατάληψη, διαρροή δεδομένων, μετατόπιση μοντέλου, εξάρτηση και ανεξήγητο αντίκτυπο στην επιχείρηση
- Βαθμολόγηση κινδύνων σε διαστάσεις πιθανότητας και επιπτώσεων και διατήρησή τους εντός της διάθεσης κινδύνου του ιδρύματος με μέτρα μετριασμού
- Δυνατότητα προσαρμογής της επιτήρησης ανάλογα με το επίπεδο κινδύνου και όχι την ομοιομορφία, διασφαλίζοντας τον τελικό λόγο του ανθρώπου και συνεχή παρακολούθηση σε αποφάσεις υψηλού κινδύνου
Η αξία και ο κίνδυνος είναι οι δύο όψεις του ίδιου νομίσματος. Η τεχνητή νοημοσύνη ανοίγει νέες πηγές αξίας, αλλά εισάγει επίσης νέους τύπους κινδύνων που δεν φέρει το παραδοσιακό λογισμικό. Για ένα ανώτερο στέλεχος, το ζήτημα δεν είναι η αποφυγή του κινδύνου, αλλά η συνειδητή διαχείριση του κινδύνου (διαχείριση κινδύνου, η πειθαρχία της αναγνώρισης, της μέτρησης, της μείωσης των κινδύνων και της διατήρησής τους σε αποδεκτά όρια). Σε αυτήν την ενότητα, θα μάθετε για τους κινδύνους που σχετίζονται με την τεχνητή νοημοσύνη, τον επιχειρηματικό αντίκτυπό τους και τις πρακτικές μεθόδους μετριασμού. Ο στόχος δεν είναι "να μην το κάνετε επειδή υπάρχει κίνδυνος" ή "να ενεργήσετε σαν να μην υπάρχει κίνδυνος". Είναι να εκτελούμε κάθε πρωτοβουλία με συνειδητή διάθεση κινδύνου. το επίπεδο κινδύνου που είναι διατεθειμένο να αναλάβει το ίδρυμα.
Κίνδυνοι ειδικά για την τεχνητή νοημοσύνη
Οι παραδοσιακοί κίνδυνοι πληροφορικής (ευπάθεια, διακοπή λειτουργίας) εξακολουθούν να ισχύουν. Αλλά η τεχνητή νοημοσύνη προσθέτει τους δικούς της κινδύνους:
Τύπος κινδύνου
Τι εννοείς;
Παράδειγμα επιχειρηματικού αντίκτυπου
ψευδαίσθηση
Ήταν φτιαγμένο αλλά αποδείχθηκε πιστευτό
Εσφαλμένες πληροφορίες προς τον πελάτη, νομική ευθύνη
προκατάληψη
Η αντανάκλαση της αδικίας στα δεδομένα για την έξοδο
Απόφαση πρόσληψης/πίστωσης που προκαλεί διακρίσεις
διαρροή δεδομένων
Εμπιστευτικά δεδομένα που διαρρέουν στο όχημα
Παραβίαση KVKK, απώλεια φήμης
Μοντέλο drift
Υποβάθμιση της απόδοσης με την πάροδο του χρόνου
Ήσυχη ανατροπή αποφάσεων
εθισμός
Κλειδωμένο σε έναν μόνο προμηθευτή
Σοκ τιμής/πρόσβασης
ανεξήγητο
Μη γνωρίζοντας τον λόγο της απόφασης
Δυσκολία ελέγχου και αντίρρησης
Δύο όροι είναι σημαντικοί εδώ: προκατάληψη είναι όταν η τεχνητή νοημοσύνη μαθαίνει άδικα μοτίβα στα δεδομένα εκπαίδευσης και τα αντανακλά στις αποφάσεις της. Για παράδειγμα, εάν τα ιστορικά δεδομένα προσλήψεων ευνοούν μια ομάδα, το μοντέλο ευνοεί επίσης. Η μετατόπιση μοντέλου είναι όταν το μοντέλο γίνεται ξεπερασμένο και η απόδοσή του μειώνεται σιωπηλά καθώς αλλάζει ο κόσμος (νέα προϊόντα, νέες συμπεριφορές).
Συμβουλή: Σκεφτείτε τον κίνδυνο όχι με όρους «μπορεί/δεν θα συμβεί» αλλά σε δύο διαστάσεις: πιθανότητα (πόσο πιθανό) και αντίκτυπο (πόσο κακό αν συμβεί). Αυτά με υψηλό αντίκτυπο + υψηλή πιθανότητα αντιμετωπίζονται πρώτα. αυτά με χαμηλές+χαμηλές τιμές γίνονται αποδεκτά και παρακολουθούνται.
Επιτήρηση ανάλογα με το επίπεδο κινδύνου
Δεν υπάρχει κάθε περιοχή χρήσης τον ίδιο κίνδυνο. Η έξυπνη προσέγγιση είναι η προσαρμογή της επιτήρησης στο επίπεδο κινδύνου:
- Χαμηλού κινδύνου (ένθετο σχέδιο, καταιγισμός ιδεών): ελαφριά επίβλεψη, προτεραιότητα ταχύτητας.
- Μεσαίου κινδύνου (περιεχόμενο για τον πελάτη, υποστήριξη αποφάσεων): ανθρώπινη έγκριση, δειγματοληπτικός έλεγχος.
- Υψηλού κινδύνου (πίστωση, πρόσληψη, υγεία, νομική): υποχρεωτική ανθρώπινη κρίση, πλήρης εγγραφή, τακτικός έλεγχος.
Αυτή η προσέγγιση «βασισμένη στον κίνδυνο» είναι επίσης η ραχοκοκαλιά του νόμου της ΕΕ για την τεχνητή νοημοσύνη (Ενότητα 9).
Βήμα προς βήμα: κύκλος διαχείρισης κινδύνου
1. Αναγνωρίστε τους κινδύνους. Καταγράψτε τους κινδύνους που σχετίζονται με την τεχνητή νοημοσύνη για κάθε πρωτοβουλία.
2. Πιθανότητα βαθμολογίας και αντίκτυπο. Αξιολογήστε και ιεραρχήστε κάθε κίνδυνο σε δύο διαστάσεις.
3. Καθορισμός μέτρων μετριασμού. Όπως η ανθρώπινη έγκριση, η ανωνυμοποίηση δεδομένων, η παρακολούθηση, η διαφοροποίηση προμηθευτών.
4. Αποδεχτείτε ή σταματήστε τον κίνδυνο που απομένει. Ο κίνδυνος που παραμένει μετά τη μείωση γίνεται αποδεκτός εάν είναι μέσα στην όρεξη. Αν όχι, η προσπάθεια σταματά.
5. Παρακολουθήστε και αναθεωρήστε. Οι κίνδυνοι δεν είναι στατικοί. Η συνεχής παρακολούθηση για ολίσθηση και νέες απειλές είναι απαραίτητη.
τρεις μίνι θήκες
Περίπτωση 1 — Το κόστος της ψευδαίσθησης. Το chatbot πελατών μιας αεροπορικής εταιρείας «έφτιαξε» μια ανύπαρκτη πολιτική επιστροφής χρημάτων για έναν επιβάτη. Ο πελάτης το εμπιστεύτηκε αυτό και έκανε τη συναλλαγή. Το δικαστήριο έκρινε την εταιρεία υπεύθυνη για τη δήλωση του bot της. Μάθημα: Η παραγωγή τεχνητής νοημοσύνης στον πελάτη είναι μεσαίου/υψηλού κινδύνου. η επαλήθευση και ο περιορισμός ήταν απαραίτητοι. Στη συνέχεια, το bot περιορίστηκε να απαντά μόνο από εγκεκριμένα κείμενα πολιτικής.
Περίπτωση 2 — Σιωπηλή προκατάληψη. Το μοντέλο ελέγχου προσλήψεων μιας εταιρείας ευνόησε συστηματικά προσλήψεις από ορισμένα σχολεία λόγω ανισορροπίας στα ιστορικά δεδομένα. Η διαφορά αποκαλύφθηκε σε έλεγχο. Υπήρχε κίνδυνος φήμης και νομικής φήμης. Το μοντέλο αποσυνδέθηκε από προστατευμένα χαρακτηριστικά και συνδέθηκε με την τακτική παρακολούθηση της δικαιοσύνης. Εάν το τεστ μεροληψίας είχε γίνει από την αρχή, αυτό δεν θα είχε συμβεί.
Περίπτωση 3 — Σύλληψη Drift. Το μοντέλο ανίχνευσης απάτης μιας τράπεζας αποδυναμώθηκε αθόρυβα όταν εμφανίστηκε ένα νέο μοτίβο απάτης. Το ποσοστό αποτυχίας αυξήθηκε από 8% σε 19% σε 3 μήνες. Καλά νέα: ο οργανισμός είχε εφαρμόσει μηνιαία παρακολούθηση απόδοσης, η μετατόπιση εντοπίστηκε έγκαιρα και το μοντέλο επανεκπαιδεύτηκε. Χωρίς παρακολούθηση, η απώλεια θα είχε πολλαπλασιαστεί.
Τέσσερα πρότυπα με δυνατότητα αντιγραφής
1) Απογραφή κινδύνου:
Ο ρόλος σας: Διαχειριστής κινδύνου AI. Καταγράψτε τους κινδύνους που σχετίζονται με την τεχνητή νοημοσύνη για την ακόλουθη περίπτωση χρήσης: ψευδαίσθηση, προκατάληψη, διαρροή δεδομένων, μετατόπιση, εξάρτηση, ανεξήγητο. Για κάθε κίνδυνο, γράψτε σε μία πρόταση την πιθανή εκδήλωση και τον επιχειρηματικό αντίκτυπό του σε αυτό το σενάριο. Περιοχή χρήσης: [κείμενο]
2) Βαθμολογία πιθανότητας/επιπτώσεων:
Δώστε προτεραιότητα στους ακόλουθους κινδύνους βαθμολογώντας και πολλαπλασιάζοντάς τους ως πιθανότητα (1-5) και αντίκτυπο (1-5). Εξηγήστε γιατί δίνετε προτεραιότητα στους τρεις κορυφαίους κινδύνους. Κίνδυνοι: [λίστα]
3) Σχέδιο μετριασμού:
Προτείνετε πρακτικά μέτρα μετριασμού για τους ακόλουθους κινδύνους προτεραιότητας: [κίνδυνοι]. Για κάθε μέτρο: τι να κάνετε, ποιος είναι υπεύθυνος, σε ποιο επίπεδο κινδύνου είναι υποχρεωτικό. Χρησιμοποιήστε ανθρώπινη επιτήρηση, ανωνυμοποίηση δεδομένων, παρακολούθηση και διαφοροποίηση προμηθευτών όπου χρειάζεται.
4) Πίνακας επιτήρησης βάσει κινδύνου:
Αντιστοιχίστε τους ακόλουθους τομείς χρήσης στο επίπεδο κινδύνου (χαμηλό/μέσο/υψηλό) και καθορίστε την επίβλεψη που απαιτείται για κάθε επίπεδο: απαιτείται ανθρώπινη έγκριση, θα τηρούνται αρχεία, ποια είναι η συχνότητα επιθεώρησης; Χρήσεις: [λίστα]
Αδύναμη προτροπή / Ισχυρή προτροπή
Αδύναμο: "Ποιοι είναι οι κίνδυνοι αυτού του έργου AI;"
Συμπέρασμα: Μια γενική λίστα κινδύνων. πιθανότητα, αντίκτυπο και κανένα μετριασμό, δεν μπορείτε να αποφασίσετε.
Güçlü: "Θα χρησιμοποιήσουμε την τεχνητή νοημοσύνη στην προκαταρκτική αξιολόγηση μιας αίτησης δανείου σε μια τράπεζα (το άτομο θα λάβει την τελική απόφαση). Αναφέρετε τους κινδύνους που σχετίζονται με αυτό το σενάριο (προκατάληψη, ανεξήγητο, ψευδαίσθηση, απόρρητο δεδομένων). Βαθμολογήστε το καθένα με βάση την πιθανότητα και τον αντίκτυπο. Προτείνετε συγκεκριμένες απαιτήσεις μετριασμού και επίβλεψης για τους τρεις πιο κρίσιμους κινδύνους. Αναφέρετε επίσης τι σημαίνει υψηλός κίνδυνος.
Το αποτέλεσμα: ανάλυση κινδύνου που σχετίζεται με το σενάριο, με βαθμολόγηση, μετριασμό και συμμόρφωση.
Συνήθη λάθη
- Εφαρμογή της ίδιας εποπτείας σε όλες τις πρωτοβουλίες. Η επιβράδυνση της εργασίας χαμηλού κινδύνου είναι εξίσου επιβλαβής με την παραμέληση της εργασίας υψηλού κινδύνου. Η επιτήρηση πρέπει να βασίζεται στο επίπεδο κινδύνου.
- Παρεξηγώντας την ψευδαίσθηση ως «μικρό λάθος». Η εσφαλμένη απόδοση προς τον πελάτη μπορεί να οδηγήσει σε νομική ευθύνη.
- Δεν δοκιμάζεται για προκατάληψη. Το μοντέλο που αναπτύσσεται χωρίς δοκιμές δικαιοσύνης μπορεί να προκαλέσει σιωπηρή διάκριση.
- Δεν βλέπω το Drift. Ένα μοντέλο που λειτουργεί καλά μια φορά δεν λειτουργεί καλά για πάντα. Απαιτείται συνεχής παρακολούθηση.
- Κλείδωμα σε έναν μόνο προμηθευτή. Χωρίς σχέδιο εξόδου, ο εθισμός σάς αφήνει ανοιχτό σε κλονισμό τιμών και πρόσβασης.
Προσοχή: Η διαχείριση κινδύνου δεν είναι μια για πάντα. Τα συστήματα τεχνητής νοημοσύνης είναι ζωντανά συστήματα. Ακριβώς επειδή ένα μοντέλο είναι ασφαλές σήμερα δεν εγγυάται ότι θα είναι ασφαλές αύριο. Η συνεχής παρακολούθηση, η τακτική επιθεώρηση και ο καθαρός διακόπτης kill θα πρέπει να αποτελούν μέρος κάθε συστήματος υψηλού κινδύνου.
Συνοπτικά
Πέρα από τους παραδοσιακούς κινδύνους IT, η τεχνητή νοημοσύνη προσθέτει μοναδικούς κινδύνους όπως ψευδαισθήσεις, προκατάληψη, διαρροή δεδομένων, μετατόπιση, εξάρτηση και ανεξήγητο. Αυτοί οι κίνδυνοι θα πρέπει να αξιολογούνται και να ιεραρχούνται ως προς την πιθανότητα και τον αντίκτυπο και θα πρέπει να διατηρούνται εντός της διάθεσης κινδύνου του ιδρύματος με μέτρα μετριασμού. Η επιτήρηση δεν είναι ομοιόμορφη, αλλά θα πρέπει να προσαρμόζεται στο επίπεδο κινδύνου. Σε αποφάσεις υψηλού κινδύνου, οι άνθρωποι πρέπει να έχουν τον τελευταίο λόγο. Η διαχείριση κινδύνου είναι ένας συνεχής κύκλος. δεν είναι πλήρης χωρίς παρακολούθηση και έλεγχο. Στην επόμενη ενότητα, θα δημιουργήσουμε τη δομή διακυβέρνησης και πολιτικής που καθιστά μόνιμη αυτή την πειθαρχία κινδύνου.
Εργασία εφαρμογής
Επιλέξτε μια περίπτωση χρήσης τεχνητής νοημοσύνης και καταγράψτε τους συγκεκριμένους κινδύνους με το πρότυπο 1. Βαθμολογήστε κάθε κίνδυνο με βάση την πιθανότητα και τον αντίκτυπο, προσδιορίζοντας τους τρεις πιο κρίσιμους. Γράψτε συγκεκριμένα μέτρα μετριασμού και το επίπεδο εποπτείας που απαιτείται για αυτούς τους τρεις κινδύνους. Τέλος, ταξινομήστε τη χρήση ως χαμηλού/μεσαίου/υψηλού κινδύνου και σημειώστε πώς αυτό αλλάζει τις απαιτήσεις επίβλεψης.
λίστα ελέγχου
- [ ] Έχω απαριθμήσει τους κινδύνους που αφορούν συγκεκριμένα σενάρια τεχνητής νοημοσύνης.
- [ ] Σκόραρα κάθε κίνδυνο με βάση την πιθανότητα και τον αντίκτυπο.
- [ ] Έχω ορίσει μέτρα μετριασμού για τους πιο κρίσιμους κινδύνους.
- [ ] Έχω ταξινομήσει την περιοχή χρήσης σύμφωνα με το επίπεδο κινδύνου.
- [ ] Προσάρμοσα την επιτήρηση ανάλογα με το επίπεδο κινδύνου.
- [ ] Σχεδίασα δοκιμές/παρακολούθηση για προκατάληψη και μετατόπιση.
- [ ] Έχω ορίσει αρχή διακοπής για το σύστημα υψηλού κινδύνου.