Κέρδη:
- Ικανότητα επεξήγησης των πλαισίων λειτουργικής ασφάλειας ISO 26262 και ISO 21448 (SOTIF) και των επιπτώσεών τους σε συστήματα που περιέχουν τεχνητή νοημοσύνη
- Δυνατότητα διαχείρισης απορρήτου δεδομένων, δεδομένων οδηγού, ασφάλειας στον κυβερνοχώρο (ISO/SAE 21434) και ηθικών κινδύνων στο πλαίσιο του αυτοκινήτου
- Ικανότητα διατήρησης της ανθρώπινης ευθύνης για κρίσιμες για την ασφάλεια αποφάσεις, κατανοώντας ότι η έξοδος τεχνητής νοημοσύνης δεν υποκαθιστά την έγκριση ικανού μηχανικού
Βρίσκεστε στην πιο κρίσιμη ενότητα αυτής της ενότητας. Μέχρι στιγμής έχουμε δει την τεχνητή νοημοσύνη ως επιταχυντή από το σχεδιασμό έως την κατασκευή, από τις δοκιμές στην αλυσίδα εφοδιασμού. Αλλά το αποφασιστικό ερώτημα στην αυτοκινητοβιομηχανία είναι: θα βλάψει κανέναν αυτό το σύστημα και ποιος είναι υπεύθυνος; Αυτή η ενότητα καλύπτει σε απλή γλώσσα τα πλαίσια για την υπεύθυνη χρήση της τεχνητής νοημοσύνης σε μια βιομηχανία κρίσιμης σημασίας για την ασφάλεια—λειτουργική ασφάλεια, SOTIF, ασφάλεια στον κυβερνοχώρο, απόρρητο και ηθική. Η βασική αρχή παραμένει σταθερή: Η έξοδος AI δεν αντικαθιστά ποτέ την έγκριση ικανού μηχανικού. Η κρίσιμη για την ασφάλεια απόφαση και ευθύνη ανήκει στον άνθρωπο.
ISO 26262: λειτουργική ασφάλεια
Το ISO 26262 είναι το λειτουργικό πρότυπο ασφάλειας για ηλεκτρικά/ηλεκτρονικά συστήματα οδικών οχημάτων. Λειτουργική ασφάλεια; Ασχολείται με τη διασφάλιση ότι όταν ένα σύστημα αποτυγχάνει (ένας αισθητήρας σπάει, ένα λογισμικό αποτυγχάνει) δεν οδηγεί σε επικίνδυνη κατάσταση.
Στην καρδιά αυτού του προτύπου βρίσκεται το ASIL (Automotive Safety Integrity Level). Ένας κίνδυνος αξιολογείται σε τρεις διαστάσεις:
- Σοβαρότητα: Πόσο κακό θα ήταν αν συνέβαινε; (μικρός τραυματισμός ή θάνατος)
- Έκθεση: Πόσο συχνά συμβαίνει αυτό;
- Δυνατότητα ελέγχου: Πόσο μπορεί ο οδηγός να ελέγξει την κατάσταση;
Αυτά τα τρία συνδυασμένα καταλήγουν σε ένα επίπεδο από ASIL A (χαμηλότερο) έως ASIL D (υψηλότερο, π.χ. φρενάρισμα, τιμόνι). Καθώς το επίπεδο αυξάνεται, οι απαιτήσεις ανάπτυξης, δοκιμών και τεκμηρίωσης γίνονται αυστηρότερες.
ΚΥΡΙΑ
δείγμα συστήματος
Ένταση απαίτησης
Α.
Δυσλειτουργία εσωτερικού φωτισμού
χαμηλά
Β.
πίσω φως
μεσαίο
Γ.
Μερικές λειτουργίες ADAS
ψηλά
Δ.
Φρένο, τιμόνι, αερόσακος
υψηλότερο
Συμβουλή: Η γνώση του ΚΥΡΙΟΥ επιπέδου μιας συνάρτησης σάς δείχνει πόση προσοχή απαιτεί η χρήση τεχνητής νοημοσύνης σε αυτήν τη λειτουργία. ΚΑΜΙΑ απόφαση που βασίζεται στην έξοδο AI σε μια λειτουργία δεν μπορεί να γίνει αποδεκτή χωρίς ανεξάρτητη επαλήθευση ασφαλείας.
ISO 21448 (SOTIF): ασφάλεια της προβλεπόμενης λειτουργίας
Η κλασική λειτουργική ασφάλεια (ISO 26262) εστιάζει στο ερώτημα "τι συμβαίνει εάν το σύστημα αποτύχει;" Υπάρχει όμως ένα νέο πρόβλημα στα συστήματα ανίχνευσης τεχνητής νοημοσύνης: ακόμα κι αν το σύστημα δεν δυσλειτουργεί ποτέ, μπορεί να είναι ανεπαρκές. Η κάμερα λειτουργεί καλά, αλλά δεν μπορεί να αναγνωρίσει μια χιονισμένη πλάκα. Το ραντάρ είναι σταθερό, αλλά αγνοεί ένα ακίνητο όχημα ως σήμα φάντασμα. Δεν υπάρχει καμία αποτυχία υλικού/λογισμικού εδώ. Το πρόβλημα βρίσκεται στο όριο του προβλεπόμενου εύρους της συνάρτησης.
Το ISO 21448 - SOTIF (Safety Of The Intended Functionality) αντιμετωπίζει ακριβώς αυτό το κενό: διαχείριση κινδύνων που προκύπτουν από μη αναγνωρισμένα σενάρια, όρια ανίχνευσης και απρόβλεπτες καταστάσεις, ακόμα κι αν το σύστημα λειτουργεί όπως έχει σχεδιαστεί. Στην ADAS/αυτόνομη οδήγηση που βασίζεται σε AI, το SOTIF είναι εξίσου κρίσιμο με το ISO 26262.
Πλαίσιο
Εστίαση
παράδειγμα
ISO 26262
Κίνδυνος λόγω αποτυχίας
Ο αισθητήρας σπάει, το σήμα εξαφανίζεται
ISO 21448 (SOTIF)
Κίνδυνος ανεπάρκειας/μη αναγνώρισης
Η ανθεκτική κάμερα δεν αναγνωρίζει τη χιονισμένη πλάκα
ISO/SAE 21434
ασφάλεια στον κυβερνοχώρο
Επίθεση συστήματος, χειραγώγηση δεδομένων
Προσοχή: Τα μοντέλα AI είναι στατιστικά. Δεν μπορούν να εγγυηθούν ότι «θα δουν κάθε κατάσταση σωστά». Η SOTIF στοχεύει να περιορίσει άγνωστα επικίνδυνα σενάρια σε αυτά τα εγγενώς περιορισμένα συστήματα και να μειώσει τον εναπομένον κίνδυνο σε ένα αποδεκτό επίπεδο. "Το μοντέλο είναι 99,9% ακριβές" δεν αποτελεί απόδειξη ασφάλειας.
ISO/SAE 21434: ασφάλεια στον κυβερνοχώρο
Τα συνδεδεμένα και τα οχήματα που καθορίζονται από λογισμικό είναι ευάλωτα σε επιθέσεις στον κυβερνοχώρο. Ένας απομακρυσμένος εισβολέας μπορεί να αλλάξει την εντολή πέδησης, να κλέψει την τηλεμετρία ή να ξεγελάσει το μοντέλο ανίχνευσης (αντίπαλη επίθεση: κάνει το μοντέλο να το αναγνωρίσει λανθασμένα τοποθετώντας ένα μικρό αυτοκόλλητο σε ένα πιάτο). Το ISO/SAE 21434 είναι το μηχανολογικό πλαίσιο για την ασφάλεια των οχημάτων στον κυβερνοχώρο. Στο πλαίσιο της τεχνητής νοημοσύνης, ξεχωρίζουν δύο κίνδυνοι: η εξαπάτηση του μοντέλου (αντίπαλος) και η δηλητηρίαση των δεδομένων εκπαίδευσης (δηλητηρίαση δεδομένων). Τα κρίσιμα για την ασφάλεια συστήματα AI θα πρέπει να δοκιμάζονται έναντι αυτών των επιθέσεων.
Απόρρητο και προσωπικά δεδομένα
Το σύγχρονο όχημα είναι ένα «κέντρο δεδομένων στους τροχούς»: τοποθεσία, οδηγική συμπεριφορά, ήχος, ακόμη και κάμερα καμπίνας. Τα περισσότερα από αυτά είναι προσωπικά δεδομένα και καλύπτονται από το KVKK (Türkiye) και το GDPR (Ευρώπη). Το VIN (αριθμός πλαισίου) μπορεί να αναγνωρίσει ένα όχημα και έμμεσα τον ιδιοκτήτη του. Βασικές αρχές:
- Ελαχιστοποίηση δεδομένων: Συλλέξτε μόνο ό,τι χρειάζεται.
- Περιορισμός σκοπού: Μη χρησιμοποιείτε δεδομένα για σκοπούς άλλους από τον σκοπό για τον οποίο συλλέχθηκαν.
- Ανωνυμοποίηση/ψευδωνυμοποίηση: Αφαιρέστε ή κωδικοποιήστε προσωπικά στοιχεία ταυτοποίησης.
- Ρητή συγκατάθεση και διαφάνεια: Ο οδηγός πρέπει να γνωρίζει τι συλλέγεται.
- Ασφαλής αποθήκευση και μεταφορά.
Προσοχή: Η αποστολή μη επεξεργασμένου VIN, ιστορικού τοποθεσίας ή συμπεριφοράς οδήγησης σε ένα εργαλείο δημόσιας τεχνητής νοημοσύνης στο cloud μπορεί να αποτελεί παραβίαση απορρήτου και συμβατικό κίνδυνο. Όταν εργάζεστε με αυτά τα δεδομένα, ανωνυμοποιήστε τα και χρησιμοποιήστε ένα θεσμικό περιβάλλον που προστατεύεται από δεδομένα.
Ηθική και ευθύνη μηχανικού
Η τεχνητή νοημοσύνη φέρνει μαζί της κάποιους ηθικούς κινδύνους:
- Προκατάληψη: Εάν τα δεδομένα εκπαίδευσης κυριαρχούν σε ορισμένες συνθήκες (π. Αυτό είναι μια ευπάθεια.
- Υπερβολική εμπιστοσύνη (προκατάληψη αυτοματισμού): Οι άνθρωποι εμπιστεύονται τυφλά την αυτοματοποίηση και παρακάμπτουν τη δική τους κρίση. Εάν ο μηχανικός δοκιμής σταματήσει να κοιτάζει τα ακατέργαστα δεδομένα μόνο και μόνο επειδή το AI λέει "pass", αυτή είναι μια επικίνδυνη τάση.
- Απώλεια ευθύνης: «Το μοντέλο αποφάσισε» δεν είναι άμυνα. Θα πρέπει πάντα να υπάρχει ένα άτομο που υπογράφει πίσω από την απόφαση.
Μίνι περιπτωσιολογικές μελέτες
Περίπτωση 1 - Όριο SOTIF. Ένα αυτόματο σύστημα πέδησης έκτακτης ανάγκης περνάει όλες τις εργαστηριακές δοκιμές, χωρίς δυσλειτουργίες. Στο χωράφι, στον χαμηλό ήλιο, ένα λευκό φορτηγό μπερδεύει το τρέιλερ του για τον ουρανό και φρενάρει αργά. Δεν πρόκειται για δυσλειτουργία, αλλά για ευπάθεια SOTIF: το σύστημα είναι άθικτο αλλά το σενάριο είναι εκτός του ορίου ανίχνευσης. Η ομάδα προσθέτει αυτό το σενάριο στη βιβλιοθήκη δοκιμών και ενισχύει τη σύντηξη ραντάρ. Συμπέρασμα: "Καμία αστοχία" δεν αποτελεί απόδειξη ασφάλειας. Η ανεπάρκεια είναι επίσης ένας κίνδυνος.
Περίπτωση 2 - Μεροληπτικά δεδομένα. Ένα μοντέλο ανίχνευσης πεζών εκπαιδεύτηκε κυρίως με δεδομένα κατά τη διάρκεια της ημέρας. Η νυχτερινή ανάκληση είναι σημαντικά χαμηλότερη. Η ομάδα εξισορροπεί και επανεκπαιδεύει δεδομένα νύχτας και χαμηλού φωτισμού και αναφέρει ξεχωριστά νυχτερινά σενάρια. Συμπέρασμα: Τα μη ισορροπημένα δεδομένα δημιουργούν μια θανατηφόρα ευπάθεια σε ορισμένες περιπτώσεις.
Περίπτωση 3 - Πρόληψη παραβίασης της ιδιωτικής ζωής. Ένας αναλυτής πρόκειται να επικολλήσει δεδομένα στόλου σε ένα δημόσιο εργαλείο τεχνητής νοημοσύνης όταν παρατηρήσει ότι τα δεδομένα περιέχουν ακατέργαστες θέσεις VIN και GPS. Λειτουργεί σε εταιρικό περιβάλλον ανωνυμοποιώντας τα δεδομένα (vehicle_01..arac_50 αντί για VIN, κωδικός περιοχής αντί για τοποθεσία). Αποτέλεσμα: Μια στιγμή προσοχής απέτρεψε μια σοβαρή παραβίαση του KVKK.
πρότυπα προτροπής
Πρότυπο 1 - ΠΡΟΗΓΟΥΜΕΝΗ/προκαταρκτική αξιολόγηση κινδύνου (προσχέδιο):
Ρόλος: Είστε σύμβουλος λειτουργικής ασφάλειας. Εργασία: Προετοιμάζει ένα προσχέδιο για να βοηθήσει την ανάλυση κινδύνου και κινδύνου για μια λειτουργία. Πλαίσιο: Λειτουργία: αυτόματη πέδηση έκτακτης ανάγκης. αστικό και υπεραστικό.Περιορισμός: ακριβής ανάθεση του ASIL; Δώστε μια λίστα ερωτήσεων και σημείων προσοχής σχετικά με τις διαστάσεις της σοβαρότητας/έκθεσης/ελεγχιμότητας. υποδεικνύουν ότι η τελική ανάθεση ανήκει στον εξουσιοδοτημένο μηχανικό ασφαλείας. Έξοδος: Μέγεθος | ερώτηση αξιολόγησης | πίνακας σημειώσεων προσοχής.
Πρότυπο 2 - Σάρωση σεναρίου SOTIF:
Ρόλος: Είστε ειδικός της SOTIF. Εργασία: Καταγράψτε σενάρια όπου μια συνάρτηση ανίχνευσης μπορεί να είναι «άθικτο σύστημα αλλά ανεπαρκής». Πλαίσιο: Κάμερα + ραντάρ. χαμηλός ήλιος, χιόνι, έξοδος σήραγγας, ασυνήθιστα αντικείμενα. Έξοδος: Σενάριο | γιατί ανεπάρκεια | σύσταση μείωσης.
Πρότυπο 3 - Έλεγχος απορρήτου:
Ρόλος: Είστε σύμβουλος προστασίας δεδομένων (KVKK/GDPR). Εργασία: Πραγματοποιήστε έλεγχο απορρήτου πριν κοινοποιήσετε ένα σύνολο δεδομένων. Πλαίσιο: Τηλεμετρία στόλου. Οι στήλες περιέχουν VIN, GPS, βαθμολογία οδήγησης. Περιορισμός: Ποια πεδία είναι προσωπικά δεδομένα, πώς πρέπει να είναι ανώνυμα, τι δεν πρέπει να κοινοποιήσω καθόλου. ταξινόμηση.Έξοδος: Πεδίο | κίνδυνος | προτεινόμενο γράφημα συναλλαγών.
Πρότυπο 4 - Έλεγχος μεροληψίας:
Ρόλος: Είστε ελεγκτής ασφάλειας και δικαιοσύνης ML. Εργασία: Πείτε μου πώς να αναζητήσω τον κίνδυνο μεροληψίας σε ένα μοντέλο ανίχνευσης. Πλαίσιο: Ανίχνευση πεζών. σταθμισμένα δεδομένα προπόνησης ημέρα/πόλη.Έξοδος: Κατάσταση προς έλεγχο | μέτρηση | σημάδι κινδύνου.
Αδύναμη προτροπή / Ισχυρή προτροπή
Αδύναμη προτροπή:
Είναι ασφαλές αυτό το αυτόνομο σύστημα πέδησης, επιβεβαιώστε.
Η προσπάθεια απόκτησης άδειας ασφαλείας AI είναι επικίνδυνη. Η έγκριση ανήκει στον εξουσιοδοτημένο μηχανικό.
Ισχυρή προτροπή:
Ρόλος: Είστε σύμβουλος λειτουργικής ασφάλειας και SOTIF. Εργασία: Καταγράψτε ποιες ερωτήσεις πρέπει να κάνω και ποια στοιχεία πρέπει να συγκεντρώσω κατά την αξιολόγηση ασφάλειας της λειτουργίας αυτόματου φρεναρίσματος. Πλαίσιο: Ανίχνευση που βασίζεται σε AI. κάμερα + ραντάρ; Το ASIL μπορεί να είναι υψηλό.Περιορισμός: 'Έγκριση' του συστήματος. Παρέχετε ξεχωριστούς καταλόγους ερωτήσεων και αποδεικτικών στοιχείων όσον αφορά το ISO 26262 (ελάττωμα) και το SOTIF (έλλειψη). Τονίστε ότι η τελική έγκριση ανήκει στον εξουσιοδοτημένο μηχανικό ασφαλείας. Output: Framework | ερώτηση | απαιτούμενος πίνακας αποδεικτικών στοιχείων.
Συνήθη λάθη
- Μπερδεύοντας το «χωρίς δυσλειτουργία» με το «ασφαλές». Η έλλειψη SOTIF μπορεί να σκοτώσει χωρίς δυσλειτουργία.
- Λήψη άδειας ασφαλείας AI. Η έγκριση και η ευθύνη βαρύνουν τον εξουσιοδοτημένο μηχανικό.
- Λάθος ακρίβεια μοντέλου ως απόδειξη ασφάλειας. Η ακρίβεια 99,9% δεν υποδηλώνει ότι ο υπόλοιπος κίνδυνος έχει αντιμετωπιστεί.
- Μη προστασία των προσωπικών δεδομένων. Η συμπεριφορά VIN/τοποθεσίας/οδήγησης εμπίπτει στο πεδίο εφαρμογής του KVKK/GDPR.
- Αγνοώντας την προκατάληψη και την υπερβολική αυτοπεποίθηση. Τα μη ισορροπημένα δεδομένα και η τυφλή εμπιστοσύνη στον αυτοματισμό είναι τρωτά σημεία.
Συνοπτικά
- Το ISO 26262 διαχειρίζεται τον κίνδυνο λόγω αστοχίας (με το ASIL), ενώ το ISO 21448/SOTIF διαχειρίζεται τον κίνδυνο αστοχίας χωρίς αστοχία. Και τα δύο είναι κρίσιμα για την ανίχνευση AI.
- ISO/SAE 21434 ασφάλεια στον κυβερνοχώρο. Οι επιθέσεις αντιπαλότητας και δηλητηρίασης δεδομένων αποτελούν απειλές ειδικά για την τεχνητή νοημοσύνη.
- Η ελαχιστοποίηση δεδομένων, ο περιορισμός του σκοπού και η ανωνυμοποίηση είναι υποχρεωτικές εντός του πεδίου εφαρμογής του KVKK/GDPR. Το VIN/τοποθεσία είναι προσωπικά δεδομένα.
- Η προκατάληψη, η υπερβολική αυτοπεποίθηση και η απώλεια ευθύνης είναι οι κύριοι ηθικοί κίνδυνοι.
- Η έξοδος AI δεν υποκαθιστά την έγκριση ειδικευμένου μηχανικού. Η κρίσιμη για την ασφάλεια απόφαση και η υπογραφή ανήκουν πάντα στο άτομο.
Εργασία εφαρμογής
Επιλέξτε μια λειτουργία που σχετίζεται με την ασφάλεια (π.χ. διατήρηση λωρίδας). (1) Συζητήστε γιατί το επίπεδο ASIL αυτής της λειτουργίας μπορεί να είναι υψηλό/χαμηλό κατά τις διαστάσεις σοβαρότητας/έκθεσης/ελεγχιμότητας. (2) Δημιουργήστε 5 «σύστημα σταθερά αλλά ανεπαρκή» σενάρια με το Πρότυπο 2. (3) Έλεγχος εμπιστευτικότητας σχετικού συνόλου δεδομένων με το Πρότυπο 3. (4) Εξηγήστε γιατί η φράση «Το μοντέλο επιβεβαιώθηκε» δεν αποτελεί άμυνα.
λίστα ελέγχου
- [ ] Αξιολόγησα τις ΠΡΑΓΜΑΤΙΚΕΣ διαστάσεις της συνάρτησης (άφησα την ακριβή ανάθεση στην αρχή).
- [ ] Έκανα τη διάκριση μεταξύ ISO 26262 (δυσλειτουργία) και SOTIF (ανεπάρκεια).
- [ ] Έχω λάβει υπόψη τον κίνδυνο ασφάλειας στον κυβερνοχώρο (αντίπαλος/δηλητηρίαση).
- [ ] Ανωνυμοποίησα και ελαχιστοποίησα τα προσωπικά δεδομένα.
- [ ] Έλεγξα για κινδύνους μεροληψίας και υπερβολικής εμπιστοσύνης.
- [ ] Έχω επιβεβαιώσει ότι η άδεια ασφαλείας ανήκει στον διπλωματούχο μηχανικό.