IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

Des chercheurs découvrent qu'ils peuvent arrêter un Tesla en faisant clignoter des images fantômes d'un panneau d'arrêt pendant moins d'une demi-seconde
Sur un panneau d'affichage connecté à Internet

Le , par Nancy Rey

687PARTAGES

6  0 
Les systèmes automatisés d'aide à la conduite comme celui de Tesla se concentrent généralement sur ce que la voiture ne peut pas voir. Mais un groupe de chercheurs s'est penché sur ce que les systèmes de conduite autonomes pourraient voir qu'un conducteur humain ne voit pas, y compris les objets "fantômes" et les panneaux qui ne sont pas vraiment là.

Les chercheurs de l'université israélienne Ben Gurion ont passé les deux dernières années à expérimenter ces images "fantômes" afin de réussir à tromper les systèmes de conduite semi-autonomes. Ils ont précédemment révélé qu'ils pouvaient utiliser des projections de lumière en une fraction de seconde sur les routes pour réussir à tromper les systèmes d'aide à la conduite de Tesla. Et qu’ils pouvaient les faire s'arrêter automatiquement sans avertissement lorsque les caméras des voitures voient des images truquées de panneaux de signalisation ou de piétons. Dans le cadre de nouvelles recherches, les investigateurs ont découvert qu'ils pouvaient réussir le même tour avec seulement quelques images d'un panneau de signalisation injectées dans la vidéo d'un panneau d'affichage. Ils avertissent que si des pirates informatiques détournent un panneau d'affichage connecté à Internet pour réaliser le tour, celui-ci pourrait être utilisé pour provoquer des embouteillages ou même des accidents de la route tout en laissant peu de traces derrière lui.

« Le pirate se contente de faire ressortir une image de quelque chose sur la route ou d'injecter quelques images dans un panneau d'affichage numérique et la voiture va freiner ou éventuellement faire une sortie de route. Et c'est dangereux. Le conducteur ne s'en rendra même pas compte du tout. La voiture de quelqu'un va donc réagir, et il ne comprendra pas pourquoi », explique Yisroel Mirsky, un chercheur de l'université Ben Gurion et de Georgia Tech qui a travaillé sur ce projet. Les resultats de cette recherche seront présentés le mois prochain à la conférence ACM Computer and Communications Security, en Floride.


Dans une première série de recherches, publiée au début de l'année, l'équipe a projeté des images de figures humaines sur une route, ainsi que des panneaux de signalisation sur des arbres et d'autres surfaces. Ils ont découvert que la nuit, lorsque les projections étaient visibles, ils pouvaient tromper à la fois une Tesla Model X équipée du système d'assistance à la conduite HW2.5 Autopilot (la version la plus récente disponible à l'époque, aujourd'hui la deuxième plus récente) et un appareil Mobileye 630. Ils ont réussi à faire s'arrêter une voiture Tesla pour un piéton fantôme qui est apparu pendant une fraction de seconde et ont trompé le dispositif Mobileye en communiquant la limite de vitesse incorrecte au conducteur avec un panneau routier projeté.

Dans cette dernière série d'expériences, les chercheurs ont injecté des images d'un panneau stop fantôme sur des panneaux d'affichage numérique, simulant ce qu'ils décrivent comme un scénario dans lequel quelqu'un a piraté un panneau d'affichage routier pour en modifier la vidéo. Ils ont également mis à jour la dernière version du pilote automatique de Tesla, connue sous le nom de HW3. Ils ont découvert qu'ils pouvaient à nouveau tromper un véhicule Tesla ou faire en sorte que le même appareil Mobileye donne au conducteur des alertes erronées avec seulement quelques images de vidéo altérée.

Les chercheurs ont découvert qu'une image apparaissant pendant 0,42 seconde pouvait tromper le véhicule Tesla de manière fiable, tandis qu'une image apparaissant pendant seulement un huitième de seconde pouvait tromper le Mobileye. Ils ont également essayé de trouver des points dans une image vidéo qui attireraient le moins l'attention de l'œil humain, allant jusqu'à développer leur propre algorithme pour identifier les blocs de pixels clés dans une image afin qu'un panneau routier fantôme d'une demi-seconde puisse être glissé dans les parties "inintéressantes". Et s'ils ont testé leur technique sur un écran de télévision sur une petite route. Ils affirment que celle-ci pourrait facilement être adaptée à un panneau d'affichage routier numérique, où elle pourrait provoquer un chaos beaucoup plus généralisé.

Les chercheurs de Ben Gurion sont loin d'être les premiers à démontrer des méthodes d'usurpation d'entrées dans les capteurs d'un véhicule Tesla. Dès 2016, une équipe de chercheurs chinois a démontré qu'ils pouvaient usurper, et même cacher des objets aux capteurs de Tesla en utilisant des équipements radio, soniques et lumineux. Plus récemment, une autre équipe chinoise a découvert qu'elle pouvait exploiter la technologie de suivi de voie de Tesla pour inciter une Tesla à changer de trajectoire simplement en plantant des autocollants bon marché sur une route.

Mais les chercheurs de Ben Gurion soulignent que, contrairement à ces méthodes antérieures, leurs projections et les astuces des panneaux d'affichage piratés ne laissent pas de traces physiques. L'effraction d'un panneau d'affichage en particulier peut être réalisée à distance, comme l'ont démontré de nombreux pirates informatiques. L'équipe émet l'hypothèse que les attaques fantômes pourraient être menées comme une technique d'extorsion, comme un acte de terrorisme, ou pour un pur méfait. « Les méthodes précédentes laissent des preuves médico-légales et nécessitent une préparation compliquée. Les attaques fantômes peuvent être réalisées à distance et ne nécessitent pas d'expertise particulière », explique le chercheur Ben Nassi, de Ben Gurion.

Dans un courriel adressé aux chercheurs la semaine dernière, Tesla a fait valoir un argument familier, à savoir que sa fonction de pilote automatique n'est pas censée être un système de conduite entièrement autonome. « Le pilote automatique est une fonction d'assistance au conducteur qui est destinée à être utilisée uniquement par un conducteur attentif qui a les mains sur le volant et qui est prêt à prendre le relais à tout moment », peut-on lire dans la réponse de Tesla. Les chercheurs de Ben Gourion rétorquent que le pilote automatique est utilisé de manière très différente dans la pratique. « Comme nous le savons, les gens utilisent cette fonction comme un pilote automatique et ne gardent pas toute leur attention sur la route lorsqu'ils l'utilisent. Par conséquent, nous devons essayer d'atténuer cette menace pour assurer la sécurité des gens, indépendamment des avertissements de Tesla », écrit Mirsky dans un courriel.


Tesla a raison, mais pas de manière à rassurer ses propres conducteurs. Le système Autopilot de Tesla dépend en grande partie de caméras et dans une moindre mesure, de radars. Alors que les véhicules plus véritablement autonomes comme ceux développés par Waymo, Uber ou la société de démarrage de véhicules autonomes de GM, Cruise, intègrent également un système de laser, souligne Charlie Miller, l'architecte principal de la sécurité des véhicules autonomes chez Cruise. « Le laser n'aurait pas été susceptible de ce type d'attaque. Vous pouvez changer une image sur un panneau d'affichage et le laser s'en fiche, il mesure les informations de distance et de vitesse. Donc ces attaques n'auraient pas fonctionné sur la plupart des voitures vraiment autonomes qui existent », déclare Miller.

Les chercheurs de Ben Gurion n'ont pas testé leurs attaques contre ces autres installations à capteurs multiples. Mais ils ont démontré des moyens de détecter les fantômes qu'ils ont créés, même sur une plateforme basée sur une caméra. Ils ont mis au point un système qu'ils ont appelé "Ghostbusters", conçu pour prendre en compte un ensemble de facteurs tels que la profondeur, la lumière et le contexte autour d'un panneau de signalisation perçu, puis de peser tous ces facteurs avant de décider si l'image d'un panneau de signalisation est réelle. « C'est comme si un comité d'experts se réunissait et décidait, sur la base de perspectives très différentes, de ce qu'est cette image, qu'elle soit réelle ou fausse, puis prenait une décision collective », explique Mirsky. Le résultat, selon les chercheurs, pourrait bien plus sûrement vaincre leurs attaques fantômes, sans ralentir de manière perceptible les réactions d'un système de conduite autonome basé sur une caméra.

Nassi de Ben Gurion concède que le système Ghostbuster n'est pas parfait et il affirme que leurs recherches sur les images fantômes montrent la difficulté inhérente à prendre des décisions de conduite autonomes même avec de multiples capteurs comme le radar et la caméra combinés d'un véhicule Tesla. Tesla, dit-il, a adopté une approche "mieux vaut prévenir que guérir" qui fait confiance à la seule caméra si elle montre un obstacle ou un panneau routier devant elle, la rendant ainsi vulnérable aux attaques fantômes. Mais une autre solution pourrait ne pas tenir compte des dangers si un ou plusieurs des capteurs d'un véhicule les manquent. « Si vous mettez en place un système qui ignore les images fantômes s'ils ne sont pas validés par d'autres capteurs, vous aurez probablement des accidents. Atténuer les fantômes a un prix », explique Nassi.

Source : Compte rendu des recherches

Et vous ?

Que pensez-vous des conclusions de cette recherche ?

Voir aussi :

Tesla lutte contre le piratage des performances de ses voitures électriques. Une nouvelle mise à jour alerte sur un « risque potentiel de dommages ou d'arrêt » en cas d'utilisation de module tiers

Des chercheurs ont démontré comment une Tesla Model S pouvait être piratée et volée en quelques secondes, en utilisant seulement 600 $ de matériel

Tesla offre près d'un million de dollars et une voiture gratuite à quiconque pourra pirater une Tesla modèle 3, lors du concours de piratage Pwn2Own 2020

Elon Musk recrute pour Tesla et signe dans un style qui lui est particulier : « Je me fiche de savoir si tu es même parvenu à obtenir ton diplôme d'études secondaires »

Une erreur dans cette actualité ? Signalez-nous-la !

Avatar de L33tige
Membre expérimenté https://www.developpez.com
Le 15/10/2020 à 10:10
Citation Envoyé par pierre-y Voir le message
La voiture entièrement autonome annoncé dernièrement vient de prendre un coup dans l'aile. mais du coup il y a quoi comme sécurité si quelqu'un s'amuse a aveugler les capteurs?
La même sécurité que celle qui empêche les gens d'aller sur l'autoroute avec un laser et aveugler les conducteurs, l'empathie, la peur, la police, la loi.
7  1 
Avatar de Anselme45
Membre extrêmement actif https://www.developpez.com
Le 15/10/2020 à 19:10
Citation Envoyé par halaster08 Voir le message
C'est quand même dingue qu'il soit plus facile de faire s'arrêter un véhicule autonome avec un jeu de lumière qu'avec de vrai piétons/voitures, cf tout les accidents qu'il y a déjà eu.
Cela n'a rien à voir avec un jeu de lumière ou avec Tesla, il s'agit d'un problème que tous les experts en IA connaissent et qui empêchera pour longtemps un usage étendu de l'IA: L'être humain ne comprend pas la logique de l'IA pour prendre ses décisions!

C'est ainsi que si on apprend à une IA à reconnaître des objets sur une photo, on obtient des résultats totalement idiots qu'aucun expert en IA n'a jamais été capable d'expliquer et surtout d'empêcher:

1° On montre une photo d'orange à une IA > L'IA dit "c'est une orange" (super, c'est la bonne réponse)

2° On change un seul bit dans la photo représentant l'orange et... L'IA dit "c'est un hélicoptère"!!!!

Dans les 2 cas, n'importe quel humain (même un gamin de 3 ans) conclut que la photo représente une orange et l'IA non!

Au final, on peut facilement tromper une IA: Simplement en modifiant par exemple quelque détails sur un panneau de stop... L'être humain verra toujours un stop et l'IA de l'auto-pilote de Telsa foncera sans s'arrêter parce que croyant avoir affaire par exemple à un panneau de bienvenue
4  1 
Avatar de L33tige
Membre expérimenté https://www.developpez.com
Le 15/10/2020 à 8:57
Dingue, et si quelqu'un pile devant le freinage d'urgence pile aussi dans toutes les voitures neuves, rien de nouveau...
2  0 
Avatar de pierre-y
Membre chevronné https://www.developpez.com
Le 16/10/2020 à 10:40
Citation Envoyé par L33tige Voir le message
La même sécurité que celle qui empêche les gens d'aller sur l'autoroute avec un laser et aveugler les conducteurs, l'empathie, la peur, la police, la loi.
C'est en terme de sécurité lié a l'appareillage dont je parlais vous vous en doutez bien.
1  0 
Avatar de jean12
Membre régulier https://www.developpez.com
Le 26/10/2020 à 16:00
D'après la Banque Mondiale, chaque année, environ 1,2 millions de personnes meurent dans un accident de voiture. Les voitures autonomes sont donc nécessaires pour réduire considérablement, voir éradiquer le nombre de morts par accident de voiture. Cependant, comme pour toute technologie (on le voit aisément avec les correctifs d'extensions ou d'applications qui apparaissent chaque année), il faut intégrer les solutions aux nouvelles failles découvertes. Et aussi, plus globalement il faut prévoir un comportement global très sécurisé pour les voitures autonomes lorsque celles-ci font face à une situation totalement inattendue (ces scénarios ne sont pas inclus dans les données utilisées pour éduquer la voiture autonome), afin de préserver la vie humaine qui est sans prix.
1  0 
Avatar de pierre-y
Membre chevronné https://www.developpez.com
Le 15/10/2020 à 9:44
La voiture entièrement autonome annoncé dernièrement vient de prendre un coup dans l'aile. mais du coup il y a quoi comme sécurité si quelqu'un s'amuse a aveugler les capteurs?
2  2 
Avatar de MaxMax95
Futur Membre du Club https://www.developpez.com
Le 26/11/2020 à 12:05
Oui. Mais les critères de jugement devraient être non pas "on va éviter tous les accidents" mais "y aura-t-il moins d'accidents que si on laisse les hommes s'en occuper ?". L'aviation a de nombreux systèmes automatiques, qui de temps en temps (rarement) causent des accidents. Mais elle a mis en place des Bureaux d'enquête (indépendants des constructeurs et des exploitants) qui examinent TOUS les accidents, leurs causes premières et leur causes contributives, comme le manque d'instructions ou la mauvaise lecture des instruments et obligent les constructeurs ou les exploitants à y remédier. L'automatisme de la conduite automobile passera par là, mais je n'ai entendu personne le proposer jusqu'à présent, c'est laissé au constructeur dont la partialité ne fait aucun doute : elle est totale.
J'ajoute que la faiblesse, voire l'absence totale de sanction pour les créateurs volontaires de causes d'accidents ou de dysfonctionnements, informatiques ou autres est scandaleuse.
0  0 
Avatar de halaster08
Expert confirmé https://www.developpez.com
Le 15/10/2020 à 10:47
C'est quand même dingue qu'il soit plus facile de faire s'arrêter un véhicule autonome avec un jeu de lumière qu'avec de vrai piétons/voitures, cf tout les accidents qu'il y a déjà eu.
0  2 
Avatar de abriotde
Membre chevronné https://www.developpez.com
Le 15/10/2020 à 13:21
C'est quand même dingue qu'il soit plus facile de faire s'arrêter un véhicule autonome avec un jeu de lumière qu'avec de vrai piétons/voitures, cf tout les accidents qu'il y a déjà eu.
Que la voiture s'arrête ne constitue en rien un problème. C'est en sois mieux qu'elle s'arrête plutôt quelle face autre chose. Ca marche aussi avec les humains, si on les éblouis, ils s'arrêtent quand ils font attention à la sécurité.

Il faut savoir que les voiture conduite par IA ont moins d'accident que les voitures conduites par humain surtout si l'humain fais son travail de surveillance. Les voitures autonomes de Tesla ont déjà sauvé de nombreuses vies de chauffeur s'étant endormie ou d’évènement ou l'humain n'avait pas eu le temps de réagir ou n'avait tout simplement pas vue. En contre partie, les accident ou l'IA est responsable, il y a toujours un humain qui surveillait vraiment pas et en plus très rarement des blessé. Souvent plus de peur que mal. C'est surtout des comportement "bizarre".

Citons notamment l'accident ou la voiture est passée, elle était prioritaire mais généralement on laisse passer le bus ou du moins les humains font attention au bus sachant qu'il risque de forcer le passage. Le bus est passé, l'accident a été spectaculaire mais personne n'a été blessé car la voiture a freiné plus rapidement qu'un humain l'aurait fait. Mais tous les humains s'énervent au volent en accusant le bus de ne pas respecter le code de la route...
1  3