Projet Maven : l'ICRAC, l'ONG visant à sensibiliser sur les dangers des robots militarisés, s'oppose à Google
Et lui demande d'abandonner le projet
Le 2018-05-22 12:52:41, par Stéphane le calme, Chroniqueur Actualités
Il y a quelques jours, des employés de Google ont décidé de déposer leur démission. La raison ? La participation de l’entreprise dans un projet en intelligence artificielle pour le compte du Pentagone.
« Nous demandons que le projet Maven soit annulé et que Google prépare, publie et instaure des règles qui stipulent que jamais l’entreprise et ses sous-traitants ne participeront à la construction de matériel de guerre », ont lancé les employés à Sundar Pichai.
Une douzaine d’employés ont présenté leurs démissions tandis que plus de 3000 Googlers ont signé une pétition demandant à l’entreprise d’arrêter sa participation dans ce projet.
Le projet Maven vise à améliorer les opérations des drones en utilisant des technologies de reconnaissance d'images. Selon le Pentagone, l'objectif initial est de fournir à l'armée une vision par ordinateur avancée, permettant la détection et l'identification automatique d'objets (classés dans pas moins de 38 catégories) capturés par la caméra d'un drone. Le projet a donc vocation à pister certaines cibles plus aisément. Google dont le rôle n’est pas très clair dans l’affaire, mais dont on sait au moins qu’il fournit l’API TensorFlow utilisée en IA, ajoute pour se défendre qu’il intervient sur des aspects non offensifs.
Seulement, référence faite à une publication (parue en juillet 2017) du département de la Défense (DoD) des États-Unis, il s’agit de « gagner des guerres en s’appuyant sur les algorithmes et l’intelligence artificielle. » Plus loin dans le papier du DoD, un colonel de l’armée américaine rappelle que « nous [les USA] sommes dans la course aux armes autonomes ».
Les employés de Google ne sont pas les seuls à avoir demandé à l’entreprise de se retirer. En effet, dans une lettre publique, l’ICRAC (International Committee for Robot Arms Control), une ONG regroupant des experts tous azimuts dont l'objectif est de sensibiliser sur les dangers que représentent les robots militarisés pour la sécurité internationale, a montré son opposition à ce projet.
« En tant qu’universitaires et chercheurs qui étudient, enseignent et développent des technologies de l'information, nous nous solidarisons aux 3100 employés de Google, rejoints par d'autres travailleurs de la technologie, qui s'opposent à la participation de Google au projet Maven. Nous soutenons sans réserve leur demande que Google résilie son contrat avec le DoD, et que Google et sa société mère Alphabet s'engagent à ne pas développer de technologies militaires et à ne pas utiliser les données personnelles qu'ils collectent à des fins militaires. La mesure dans laquelle le financement militaire a toujours été un moteur de la recherche et du développement en informatique ne devrait pas déterminer la voie à suivre pour l'avenir. Nous invitons également les dirigeants de Google et d'Alphabet à se joindre à d'autres chercheurs en IA et en robotique et à des responsables de la technologie pour réclamer un traité international interdisant les systèmes d'armes autonomes.
« Google a longtemps cherché à organiser et à améliorer l'utilité de l'information du monde. Au-delà de la recherche de pages Web pertinentes sur Internet, Google est responsable de la compilation de nos courriels, vidéos, calendriers et photos, et nous guide vers des destinations physiques. Comme beaucoup d'autres sociétés de technologie numérique, Google a recueilli de vastes quantités de données sur les comportements, les activités et les intérêts de leurs utilisateurs. Les données privées collectées par Google ont pour responsabilité non seulement d'utiliser ces données pour améliorer ses propres technologies et développer son activité, mais aussi d’en faire bénéficier la société. La devise de l'entreprise "Do not Be Evil" embrasse cette responsabilité ».
Selon Defense One, les forces d'opérations spéciales interarmées « au Moyen-Orient » ont mené des essais initiaux en utilisant des images vidéo d'un petit drone de surveillance ScanEagle. Le projet devrait s'étendre « à des drones Predator et Reaper plus grands et de moyenne altitude d'ici l'été prochain » et finalement à Gorgon Stare, « une série sophistiquée de caméras high-tech capables de voir des villes entières ».
« Avec Project Maven, Google devient impliqué dans la pratique douteuse des assassinats ciblés. Il s'agit notamment de ce que l'on appelle des frappes de signatures et des frappes de type de vie qui ciblent des personnes non sur des activités connues mais sur des probabilités tirées de séquences de surveillance à longue portée. La légalité de ces opérations a été remise en question en vertu de la loi internationale et américaine », assure l’ICRAC.
Vers des robots autorisés à tuer automatiquement, sans supervision humaine ?
Alors que les rapports sur le projet Maven mettent actuellement l'accent sur le rôle des analystes humains, ces technologies sont sur le point de devenir une base pour la reconnaissance automatisée des cibles et les systèmes d'armes autonomes. « À mesure que les commandants militaires verront les algorithmes de reconnaissance d'objets comme fiables, il sera tentant d'atténuer ou même de supprimer l'examen humain et la surveillance de ces systèmes. Selon Defense One, le DoD prévoit déjà d'installer des technologies d'analyse d'images à bord des drones eux-mêmes, y compris des drones armés. Nous sommes alors à deux pas d'autoriser des drones autonomes à tuer automatiquement, sans supervision humaine ou contrôle humain significatif. Si une action éthique de la part des entreprises technologiques nécessite de considérer qui pourrait bénéficier d'une technologie et qui pourrait être lésé, alors nous pouvons affirmer qu'aucun sujet ne mérite une réflexion plus sérieuse - aucune technologie n'a d'enjeux plus importants - que les algorithmes destinés à cibler et tuer à distance et sans responsabilité publique ».
L’ICRAC indique que « Nous sommes également très préoccupés par l'intégration possible des données de Google sur la vie quotidienne des gens avec des données de surveillance militaire, et son application combinée à la mise à mort ciblée. Google s'est lancé dans le travail militaire sans se soumettre à un débat public ou délibéré, que ce soit au niveau national ou international. Alors que Google décide régulièrement de l'avenir de la technologie sans engagement public démocratique, son entrée dans les technologies militaires met en relief les problèmes du contrôle privé de l'infrastructure de l'information ».
Si Google décidait d'utiliser les données personnelles des utilisateurs d'Internet à des fins militaires, cela violerait la confiance du public qui est fondamentale à ses activités en mettant en péril la vie de ses utilisateurs et les droits de l'homme. « Les responsabilités des entreprises mondiales comme Google doivent être proportionnelles à la composition transnationale de leurs utilisateurs. Les contrats du DoD en cours d'examen par Google, et des contrats similaires déjà conclus chez Microsoft et Amazon, signalent une alliance dangereuse entre l'industrie technologique privée, actuellement en possession de vastes quantités de données personnelles sensibles recueillies auprès de personnes à travers le monde. Ils signalent également un échec à s'engager avec la société civile mondiale et les institutions diplomatiques qui ont déjà souligné les enjeux éthiques de ces technologies ».
Source : lettre de l'ICRAC
Et vous ?
Partagez-vous les craintes de l'ICRAC ?
Voir aussi :
RGPD : les développeurs Android auraient suspendu les annonces publicitaires Google, jusqu'à la sortie du nouveau SDK de Google
Google a-t-il l'intention de devenir malveillant ? L'entreprise efface toutes les mentions de « Don't be evil », de son code de conduite
Google estime que la sanction du gendarme indien de la concurrence va lui causer des dommages irréparables, sur le marché du moteur de recherche
Google aurait-il simulé une avancée dans le domaine de l'IA avec Google Duplex ? Un quotidien relève quelques incohérences
Chrome 66 : Google supprime temporairement sa nouvelle politique de lecture automatique, mais uniquement pour l'API Web Audio
« Nous demandons que le projet Maven soit annulé et que Google prépare, publie et instaure des règles qui stipulent que jamais l’entreprise et ses sous-traitants ne participeront à la construction de matériel de guerre », ont lancé les employés à Sundar Pichai.
Une douzaine d’employés ont présenté leurs démissions tandis que plus de 3000 Googlers ont signé une pétition demandant à l’entreprise d’arrêter sa participation dans ce projet.
Le projet Maven vise à améliorer les opérations des drones en utilisant des technologies de reconnaissance d'images. Selon le Pentagone, l'objectif initial est de fournir à l'armée une vision par ordinateur avancée, permettant la détection et l'identification automatique d'objets (classés dans pas moins de 38 catégories) capturés par la caméra d'un drone. Le projet a donc vocation à pister certaines cibles plus aisément. Google dont le rôle n’est pas très clair dans l’affaire, mais dont on sait au moins qu’il fournit l’API TensorFlow utilisée en IA, ajoute pour se défendre qu’il intervient sur des aspects non offensifs.
Seulement, référence faite à une publication (parue en juillet 2017) du département de la Défense (DoD) des États-Unis, il s’agit de « gagner des guerres en s’appuyant sur les algorithmes et l’intelligence artificielle. » Plus loin dans le papier du DoD, un colonel de l’armée américaine rappelle que « nous [les USA] sommes dans la course aux armes autonomes ».
Les employés de Google ne sont pas les seuls à avoir demandé à l’entreprise de se retirer. En effet, dans une lettre publique, l’ICRAC (International Committee for Robot Arms Control), une ONG regroupant des experts tous azimuts dont l'objectif est de sensibiliser sur les dangers que représentent les robots militarisés pour la sécurité internationale, a montré son opposition à ce projet.
« En tant qu’universitaires et chercheurs qui étudient, enseignent et développent des technologies de l'information, nous nous solidarisons aux 3100 employés de Google, rejoints par d'autres travailleurs de la technologie, qui s'opposent à la participation de Google au projet Maven. Nous soutenons sans réserve leur demande que Google résilie son contrat avec le DoD, et que Google et sa société mère Alphabet s'engagent à ne pas développer de technologies militaires et à ne pas utiliser les données personnelles qu'ils collectent à des fins militaires. La mesure dans laquelle le financement militaire a toujours été un moteur de la recherche et du développement en informatique ne devrait pas déterminer la voie à suivre pour l'avenir. Nous invitons également les dirigeants de Google et d'Alphabet à se joindre à d'autres chercheurs en IA et en robotique et à des responsables de la technologie pour réclamer un traité international interdisant les systèmes d'armes autonomes.
« Google a longtemps cherché à organiser et à améliorer l'utilité de l'information du monde. Au-delà de la recherche de pages Web pertinentes sur Internet, Google est responsable de la compilation de nos courriels, vidéos, calendriers et photos, et nous guide vers des destinations physiques. Comme beaucoup d'autres sociétés de technologie numérique, Google a recueilli de vastes quantités de données sur les comportements, les activités et les intérêts de leurs utilisateurs. Les données privées collectées par Google ont pour responsabilité non seulement d'utiliser ces données pour améliorer ses propres technologies et développer son activité, mais aussi d’en faire bénéficier la société. La devise de l'entreprise "Do not Be Evil" embrasse cette responsabilité ».
Selon Defense One, les forces d'opérations spéciales interarmées « au Moyen-Orient » ont mené des essais initiaux en utilisant des images vidéo d'un petit drone de surveillance ScanEagle. Le projet devrait s'étendre « à des drones Predator et Reaper plus grands et de moyenne altitude d'ici l'été prochain » et finalement à Gorgon Stare, « une série sophistiquée de caméras high-tech capables de voir des villes entières ».
« Avec Project Maven, Google devient impliqué dans la pratique douteuse des assassinats ciblés. Il s'agit notamment de ce que l'on appelle des frappes de signatures et des frappes de type de vie qui ciblent des personnes non sur des activités connues mais sur des probabilités tirées de séquences de surveillance à longue portée. La légalité de ces opérations a été remise en question en vertu de la loi internationale et américaine », assure l’ICRAC.
Vers des robots autorisés à tuer automatiquement, sans supervision humaine ?
Alors que les rapports sur le projet Maven mettent actuellement l'accent sur le rôle des analystes humains, ces technologies sont sur le point de devenir une base pour la reconnaissance automatisée des cibles et les systèmes d'armes autonomes. « À mesure que les commandants militaires verront les algorithmes de reconnaissance d'objets comme fiables, il sera tentant d'atténuer ou même de supprimer l'examen humain et la surveillance de ces systèmes. Selon Defense One, le DoD prévoit déjà d'installer des technologies d'analyse d'images à bord des drones eux-mêmes, y compris des drones armés. Nous sommes alors à deux pas d'autoriser des drones autonomes à tuer automatiquement, sans supervision humaine ou contrôle humain significatif. Si une action éthique de la part des entreprises technologiques nécessite de considérer qui pourrait bénéficier d'une technologie et qui pourrait être lésé, alors nous pouvons affirmer qu'aucun sujet ne mérite une réflexion plus sérieuse - aucune technologie n'a d'enjeux plus importants - que les algorithmes destinés à cibler et tuer à distance et sans responsabilité publique ».
L’ICRAC indique que « Nous sommes également très préoccupés par l'intégration possible des données de Google sur la vie quotidienne des gens avec des données de surveillance militaire, et son application combinée à la mise à mort ciblée. Google s'est lancé dans le travail militaire sans se soumettre à un débat public ou délibéré, que ce soit au niveau national ou international. Alors que Google décide régulièrement de l'avenir de la technologie sans engagement public démocratique, son entrée dans les technologies militaires met en relief les problèmes du contrôle privé de l'infrastructure de l'information ».
Si Google décidait d'utiliser les données personnelles des utilisateurs d'Internet à des fins militaires, cela violerait la confiance du public qui est fondamentale à ses activités en mettant en péril la vie de ses utilisateurs et les droits de l'homme. « Les responsabilités des entreprises mondiales comme Google doivent être proportionnelles à la composition transnationale de leurs utilisateurs. Les contrats du DoD en cours d'examen par Google, et des contrats similaires déjà conclus chez Microsoft et Amazon, signalent une alliance dangereuse entre l'industrie technologique privée, actuellement en possession de vastes quantités de données personnelles sensibles recueillies auprès de personnes à travers le monde. Ils signalent également un échec à s'engager avec la société civile mondiale et les institutions diplomatiques qui ont déjà souligné les enjeux éthiques de ces technologies ».
Source : lettre de l'ICRAC
Et vous ?
Voir aussi :
-
ManyTwoMembre du ClubDonc, si je comprends bien, 9 ingénieurs refusent de faire le travail pour lequel ils sont payé et sabotent volontairement une partie de l'entreprise qui les emplois …
Je trouve quand dans certains cas d'éthique il faut avoir le courage de montrer son désaccord. Il est facile après coup de se dire "j'y suis pour rien si mes productions sont utilisées pour tuer des gens, c'est mon patron qu'y m'a demandé".
Si faire certaines taches vont vraiment contre ton éthique, ben ne les fait pas . Quite à démissionner par la suite. La on parle de projets d'IA pour reconnaitre des gens dans un carde militaire, qui finira surement par des assassinats ciblés…
Si ton patron te dit:" écrit un programme pour notre drone qui différencie les civils des combatants et tire automatiquement, avec une marge d'erreur à la reconnaissance de 40%" (exemple arbitraire).
Pour moi, ne pas protester/refuser de faire cela équivaut a avoir une part responsabilité dans les morts civiles faites via TON travail. Tu peux pas te cacher derriere "on m'a dit de le faire c'est pas moi qui décide". Trop facile.le 25/06/2018 à 10:56 -
Julien BodinMembre éclairéAllez, mvn cleanle 23/05/2018 à 17:35
-
DevTroglodyteMembre extrêmement actifle 28/05/2018 à 9:08
-
CalmacilMembre régulierUn gâteau JEDI?
Come to the Dark Side, we have cookies.le 22/06/2018 à 12:44 -
onilink_Membre éméritePas forcement. Si on prévoit que d'autres états (comme la russie je crois) comptent faire des drôles militaires autonomes, en partant du principe qu'ils seront forcément armés, on peut plutôt prendre une position stratégique défensive.
Il y a tout un champ de recherche pour luter contre les drones. Donc des drones anti drones, non armés, plutôt avec des filets, ou des moyens pour dérégler les drones, faire des interférences etc... qui ne risquent pas de causer des morts humaines, ou des prises de pouvoir.
Je pense qu'on oublie trop souvent qu'il n'y a pas que l'attaque dans "l'art de la guerre".le 22/05/2018 à 16:15 -
Jon ShannowMembre extrêmement actifJ'interviens juste là-dessus, mais Saverok parle de l'Étoile Noire, donc rien à voir avec Disney. L'Étoile Noire c'est dans l'épisode IV, sorti en 77.le 28/05/2018 à 8:52
-
tmcuhMembre habituéAidez-nous à ne pas tuer trop de gens... la blague.
Bravo à Google d'avoir osé sortir de cette m***** .
Il faut avoir peu d'éthique pour développer ce genre de programme dans tous les cas, sans doute l'avidité ou l'égo qui entre en jeu.
De l'autre vous aurez la Chine et la Russie qui n'hésiteront pas une seconde à développer et vendre la technologie à d'autres qui n'auront eu aucune éthique.
Donc In Fine, le développement devra avoir lieu tant que l'organisme (qui sert à rien dans ce monde, en l'état) qui s'appel les Nations Unis n'aura pas mis les "Ola" sur ce genre de technologie folle qui nous pousse à toujours plus de pressions, de guerre, de pauvreté, de déséquilibre ... qui est d'ailleurs nullement lié au capitalisme, mais un manque de gouvernance mondiale.
C'est juste une pierre jetté dans la mare, ça ne fait que retarder les USA, ça ne l'arrêtera pas. Et je pense d'ailleurs que si elle faisait voter à l'U.N. une motion de non proliférations de l'IA a des fins militaires , on avancerait grandement, mais comme la Russie mettra sa motion de censure comme toujours... suite au prochain épisodele 04/06/2018 à 9:06 -
frenchlover2Membre régulierCe sera dommage laissant la chance au robots s'il sont meilleurs que nous alors il merite de prendre la relève n'est ce pas l'une des lois de la nature qui laisse l'avantage au espèces qui dominentle 09/06/2018 à 20:04
-
SofEvansMembre émériteDonc, si je comprends bien, 9 ingénieurs refusent de faire le travail pour lequel ils sont payé et sabotent volontairement une partie de l'entreprise qui les emplois ...
Je ne sais pas qui sont ces 9 personnes, mais elles ont intérêts a être relativement importantes pour Google, parce que là c'est assez hallucinant quand même.le 22/06/2018 à 17:03 -
Ryu2000Membre extrêmement actifCe serait chouette qu'on interdise aux états d'utiliser des robots contre leur peuple, par contre quand c'est la guerre il n'y a plus de règle.
ONU. Soixante-dix ans après les Conventions de Genève, les violations du droit international humanitaire qui ravagent la vie des civils en temps de guerre illustrent un échec catastrophique
En Somalie, la crise des droits humains et humanitaire reste également l’une des plus graves au monde. Toutes les parties au conflit, et notamment les États-Unis, ont commis des violations du droit international relatif aux droits humains et du droit international humanitaire. Bien qu’ayant intensifié les frappes aériennes dans leur guerre opaque en Somalie ces deux dernières années, les États-Unis ont refusé d’admettre que leurs frappes avaient fait des victimes parmi les civils jusqu’à ce qu’une enquête d’Amnesty International les y force.
Israël a, à de nombreuses reprises, pris pour cible des civils et des biens de caractère civil lors d’opérations militaires à Gaza depuis 2008, causant une destruction de grande ampleur et faisant de nombreux morts parmi les civils. Entre mars 2018 et mars 2019, Israël a eu recours à une force meurtrière contre des manifestants palestiniens, faisant au moins 195 morts, dont des secouristes, des journalistes et des enfants. Des groupes armés palestiniens ont procédé à des tirs aveugles de roquettes en direction de quartiers civils d’Israël, faisant plusieurs morts.
Traité sur les forces nucléaires à portée intermédiaire
Depuis 2007, Vladimir Poutine le met en cause à plusieurs reprises comme desservant les intérêts de la Russie face au développement de missiles par la Chine et au déploiement de systèmes de défense antimissile par les États-Unis. En octobre 2018, Donald Trump annonce son intention de retirer les États-Unis de ce traité. Les négociations menées avec la Russie ne débouchant sur aucun accord, Washington confirme formellement le 1er février 2019 que les États-Unis suspendent leurs obligations en vertu du traité FNI et entament le processus de retrait du traité FNI d'une durée de six mois. Moscou réplique le lendemain en annonçant à son tour se retirer de ce traité. Le retrait américain est officiel le 2 août 2019.
L’armée américaine investit 2 milliards de dollars dans l’intelligence artificielle
La Darpa, prestigieuse agence de recherche de l’armée, veut développer des machines qui seront « comme des collègues » pour les militaires.
Les États-Unis annoncent un investissement d’un milliard de dollars dans l’intelligence artificielle et l’informatique quantique. L’objectif ? Rester leader technologique, devant la Chine, notamment dans le domaine militaire…le 17/11/2020 à 14:29