Φανταστείτε έναν πολυσύχναστο σιδηροδρομικό σταθμό. Οι κάμερες παρακολουθούν τα πάντα, από το πόσο καθαρό είναι οι πλατφόρμες έως το αν ένας κόλπος είναι άδειος ή κατειλημμένος. Αυτές οι κάμερες τροφοδοτούν ένα σύστημα AI που βοηθά στη διαχείριση των λειτουργιών του σταθμού και στέλνει σήματα σε εισερχόμενα τρένα, ενημερώνοντάς τα πότε μπορούν να εισέλθουν στο σταθμό.
Η ποιότητα των πληροφοριών που προσφέρει το AI εξαρτάται από την ποιότητα των δεδομένων από τα οποία μαθαίνει. Εάν όλα συμβαίνουν όπως πρέπει, τα συστήματα του σταθμού θα παρέχουν επαρκή υπηρεσία.
Αλλά αν κάποιος προσπαθήσει να παρεμβαίνει σε αυτά τα συστήματα, παραβιάζοντας τα δεδομένα εκπαίδευσης – είτε τα αρχικά δεδομένα που χρησιμοποιούνται για την κατασκευή του συστήματος ή των δεδομένων που συλλέγει το σύστημα καθώς λειτουργεί για να βελτιώσει – θα μπορούσε να προκύψει το Trirouble.
Ένας εισβολέας θα μπορούσε να χρησιμοποιήσει ένα κόκκινο λέιζερ για να ξεγελάσει τις κάμερες που καθορίζουν πότε έρχεται ένα τρένο. Κάθε φορά που αναβοσβήνει το λέιζερ, το σύστημα επισημαίνει λανθασμένα τον κόλπο της σύνδεσης ως “κατεχόμενο”, επειδή το λέιζερ μοιάζει με ένα φως φρένων σε ένα τρένο. Πριν από πολύ καιρό, το AI μπορεί να το ερμηνεύσει ως έγκυρο σήμα και να αρχίσει να ανταποκρίνεται ανάλογα, καθυστερώντας άλλα εισερχόμενα τρένα με το ψευδές σκεπτικό ότι όλα τα κομμάτια καταλαμβάνονται. Μια επίθεση όπως αυτή που σχετίζεται με την κατάσταση των διαδρομών τρένων θα μπορούσε ακόμη και να έχει θανατηφόρες συνέπειες.
Είμαστε επιστήμονες υπολογιστών που μελετούσαν μηχανική μάθησηκαι ερευνούμε πώς να υπερασπιστούμε ενάντια σε αυτό το είδος επίθεσης.
Εξήγησε η δηλητηρίαση από δεδομένα
Αυτό το σενάριο, όπου οι επιτιθέμενοι τροφοδοτούν σκόπιμα λάθος ή παραπλανητικά δεδομένα σε αυτοματοποιημένο σύστημα, είναι γνωστό ως δηλητηρίαση από δεδομένα. Με την πάροδο του χρόνου, το AI αρχίζει να μαθαίνει τα λανθασμένα μοτίβα, οδηγώντας το να αναλάβει δράσεις με βάση τα κακά δεδομένα. Αυτό μπορεί να οδηγήσει σε επικίνδυνα αποτελέσματα.
Στο παράδειγμα του σιδηροδρομικού σταθμού, ας υποθέσουμε ότι ένας εκλεπτυσμένος επιτιθέμενος θέλει να διαταράξει τις δημόσιες μεταφορές, ενώ παράλληλα συγκεντρώνει νοημοσύνη. Για 30 ημέρες, χρησιμοποιούν ένα κόκκινο λέιζερ για να εξαπατήσουν τις κάμερες. Αριστερά μη ανιχνεύεται, τέτοιες επιθέσεις μπορούν αργά να καταστρέψουν ένα ολόκληρο σύστημα, ανοίγοντας το δρόμο για χειρότερα αποτελέσματα όπως παρασκήνιο επιθέσεις σε ασφαλή συστήματα, διαρροές δεδομένων και ακόμη και κατασκοπεία. Ενώ η δηλητηρίαση δεδομένων στη φυσική υποδομή είναι σπάνια, είναι ήδη μια σημαντική ανησυχία για τα ηλεκτρονικά συστήματα, ειδικά αυτά που τροφοδοτείται από μεγάλα μοντέλα γλωσσών εκπαιδευμένο σε κοινωνικά μέσα και περιεχόμενο ιστού.
Ένα διάσημο παράδειγμα δηλητηρίασης από δεδομένα στον τομέα της επιστήμης των υπολογιστών ήρθε το 2016, πότε Η Microsoft έκανε ντεμπούτο ένα chatbot γνωστό ως Tay. Μέσα σε λίγες ώρες από τη δημόσια απελευθέρωσή του, οι κακόβουλοι χρήστες σε απευθείας σύνδεση άρχισαν να τροφοδοτούν τα bot reams ακατάλληλων σχολίων. Ο Tay άρχισε σύντομα να παπαγάλει τους ίδιους ακατάλληλους όρους με τους χρήστες στο X (τότε Twitter) και τρομακτικά εκατομμύρια θεατές. Μέσα σε 24 ώρες, η Microsoft είχε απενεργοποιήσει το εργαλείο και εξέδωσε μια δημόσια συγγνώμη σύντομα μετά.
Η δηλητηρίαση των δεδομένων των κοινωνικών μέσων του μοντέλου Microsoft Tay υπογραμμίζει την τεράστια απόσταση που βρίσκεται ανάμεσα στην τεχνητή και την πραγματική ανθρώπινη νοημοσύνη. Υπογραμμίζει επίσης το βαθμό στον οποίο η δηλητηρίαση των δεδομένων μπορεί να κάνει ή να σπάσει μια τεχνολογία και την επιδιωκόμενη χρήση της.
Η δηλητηρίαση των δεδομένων ενδέχεται να μην μπορεί να αποτραπεί εξ ολοκλήρου. Υπάρχουν όμως μέτρα κοινότητας που μπορούν να βοηθήσουν στην προστασία του, όπως η τοποθέτηση των ορίων στον όγκο επεξεργασίας δεδομένων και στις εισόδους δεδομένων με αυστηρή λίστα ελέγχου για να διατηρήσουν τον έλεγχο της διαδικασίας κατάρτισης. Οι μηχανισμοί που μπορούν να βοηθήσουν στην ανίχνευση δηλητηριωδών επιθέσεων προτού να γίνουν πολύ ισχυροί είναι επίσης κρίσιμοι για τη μείωση των αποτελεσμάτων τους.
Παλεύοντας πίσω με το blockchain
Στη βιωσιμότητα, τη βελτιστοποίηση και τη μάθηση του Διεθνούς Πανεπιστημίου της Φλόριντα για αλληλεξαρτώμενα δίκτυα (Συμπαγές) εργαστήριοεργαζόμαστε για να υπερασπιστούμε τις επιθέσεις δηλητηρίασης από δεδομένα, εστιάζοντας σε αποκεντρωμένες προσεγγίσεις για την οικοδόμηση τεχνολογίας. Μια τέτοια προσέγγιση, γνωστή ως ομοσπονδιακή μάθησηεπιτρέπει στα μοντέλα AI να μάθουν από αποκεντρωμένες πηγές δεδομένων χωρίς να συλλέγουν ακατέργαστα δεδομένα σε ένα μέρος. Τα κεντρικά συστήματα έχουν ένα ενιαίο σημείο ευπάθειας αποτυχίας, αλλά τα αποκεντρωμένα δεν μπορούν να μειωθούν μέσω ενός ενιαίου στόχου.
Η ομοσπονδιακή μάθηση προσφέρει ένα πολύτιμο στρώμα προστασίας, επειδή τα δηλητηριασμένα δεδομένα από μία συσκευή δεν επηρεάζουν αμέσως το μοντέλο στο σύνολό του. Ωστόσο, μπορεί να συμβεί ζημιές εάν η διαδικασία που χρησιμοποιεί το μοντέλο για τη συσσωμάτωση των δεδομένων διακυβεύεται.
Αυτό είναι όπου μια άλλη πιο δημοφιλής δυνητική λύση-αλυσίδα-Κατάρουν το παιχνίδι. Ένα blockchain είναι ένα κοινόχρηστο, αμετάβλητο ψηφιακό βιβλίο για την καταγραφή των συναλλαγών και την παρακολούθηση των περιουσιακών στοιχείων. Τα blockchains παρέχουν ασφαλή και διαφανή αρχεία του τρόπου με τον οποίο τα δεδομένα και οι ενημερώσεις για τα μοντέλα AI μοιράζονται και επαληθεύονται.
Με τη χρήση αυτοματοποιημένων μηχανισμών συναίνεσης, τα συστήματα AI με εκπαίδευση που προστατεύονται από blockchain μπορούν να επικυρώσουν τις ενημερώσεις πιο αξιόπιστα και να βοηθήσουν στην αναγνώριση των ειδών ανωμαλιών που μερικές φορές υποδηλώνουν δηλητηρίαση δεδομένων πριν εξαπλωθούν.
Οι μπλοκ αλυσίδες διαθέτουν επίσης μια δομή με χρονική σφραγίδα που επιτρέπει στους επαγγελματίες να εντοπίζουν τις δηλητηριασμένες εισροές πίσω στην προέλευσή τους, καθιστώντας ευκολότερη την αντιστροφή των ζημιών και την ενίσχυση των μελλοντικών άμυνων. Τα μπλοκ αλυσίδες είναι επίσης διαλειτουργικά – με άλλα λόγια, μπορούν να “μιλήσουν” ο ένας στον άλλο. Αυτό σημαίνει ότι εάν ένα δίκτυο ανιχνεύσει ένα δηλητηριασμένο πρότυπο δεδομένων, μπορεί να στείλει μια προειδοποίηση σε άλλους.
Στο Solid Lab, έχουμε δημιουργήσει ένα νέο εργαλείο που αξιοποιεί και τα δύο ομοσπονδιακή μάθηση και blockchain ως προπύργιο κατά της δηλητηρίασης από δεδομένα. Άλλες λύσεις προέρχονται από ερευνητές που χρησιμοποιούν φίλτρα προετοιμασίας σε δεδομένα κτηνιάτρησης προτού φτάσουν στη διαδικασία κατάρτισης ή απλώς εκπαιδεύουν τα συστήματα μηχανικής μάθησης για να είναι ιδιαίτερα ευαίσθητα σε πιθανές κυβερνοεπιχειρήσεις.
Τελικά, τα συστήματα AI που βασίζονται σε δεδομένα από τον πραγματικό κόσμο θα είναι πάντα ευάλωτα στη χειραγώγηση. Είτε πρόκειται για ένα κόκκινο δείκτη λέιζερ είτε για παραπλανητικό περιεχόμενο των κοινωνικών μέσων ενημέρωσης, η απειλή είναι πραγματική. Χρησιμοποιώντας εργαλεία άμυνας, όπως η ομοσπονδιακή μάθηση και το blockchain, μπορούν να βοηθήσουν τους ερευνητές και τους προγραμματιστές να δημιουργήσουν πιο ανθεκτικά, υπεύθυνα συστήματα AI που μπορούν να ανιχνεύσουν όταν εξαπατούνται και διαχειριστούν επιφυλακτικοί διαχειριστές συστημάτων να παρεμβαίνουν.
Μ. Μέχρι να πιστέψετε είναι αναπληρωτής καθηγητής υπολογιστών και επιστημών πληροφοριών στο Φλόριντα Διεθνές Πανεπιστήμιο.
Ervin Moore είναι Ph.D. φοιτητής στην επιστήμη των υπολογιστών στο Φλόριντα Διεθνές Πανεπιστήμιο.
Αυτό το άρθρο αναδημοσιεύεται από Η συνομιλία Κάτω από μια άδεια Creative Commons. Διαβάστε το αρχικό άρθρο.
