Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

Des scientifiques demandent l'interdiction du développement d'armes contrôlées par l'IA
En évoquant de nombreux problèmes sous-jacents

Le , par Stéphane le calme

255PARTAGES

13  0 
La question de l'utilisation de l'IA pour le développement des armes autonomes agite de plus en plus le monde scientifique et militaire. Et c'est d'autant plus sérieux à cause des tentatives de développement d'armes autonomes de la part des industriels. En août 2016 déjà, les États-Unis d'Amérique et l'armée irakienne testaient leurs prototypes d'arme autonome. De même, les experts de l'IA n'hésitent pas à s'opposer au développement de ces armes. En 2017, un groupe d'experts de l'IA a appelé le Canada et l'Australie à lutter pour l'interdiction des robots tueurs autonomes. L'ONU aussi ne cesse de militer contre ces armes. Il y a quelques mois, plus de 2400 professionnels de l’intelligence artificielle et de la robotique représentant 150 entreprises de 90 pays à travers le monde ont signé un engagement contre le développement des armes autonomes.

En effet, à la Conférence mixte internationale sur l’intelligence artificielle de 2018 à Stockholm, un engagement a été signé pour exiger des gouvernements, des industries et des universités, la création « de normes, régulations et lois internationales contre les armes létales autonomes ». Le Future of Life Institute, organisateur de la Conférence, définit les armes létales autonomes, ou robots tueurs, comme des armes capables d’identifier, de cibler et de tuer une personne. « Ceci étant dit, aucun humain ne prend la décision finale d’autoriser la force létale », ajoute l’institut.

« L’intelligence artificielle a un immense potentiel pour aider le monde si nous empêchons qu’on en abuse. Les armes contrôlées par intelligence artificielle qui décident en toute indépendance de tuer des gens sont aussi répugnantes et déstabilisantes que les armes biologiques, et donc, devraient être traitées de la même manière », avait alors déclaré Max Tegmark, le président de l’institut.

En septembre dernier, le Parlement européen a adopté une résolution demandant une interdiction internationale des robots soi-disant tueurs. Il vise à anticiper le développement et l'utilisation de systèmes d'armes autonomes capables de tuer sans intervention humaine.

Une position affirmée qui peut être expliquée par le fait que les négociations à l’ONU n’ont pas abouti à un consensus, certains pays ayant déclaré que les avantages des armes autonomes devaient être explorés.

Néanmoins l’Europe n’est pas encore unanime. En effet, certains députés craignent que la législation ne limite les progrès scientifiques de l'intelligence artificielle. D’autres ont déclaré que cela pouvait devenir un problème de sécurité si certains pays autorisaient de telles armes alors que d’autres ne le faisaient pas.

« Je sais que cela pourrait ressembler à un débat sur un futur lointain ou sur la science-fiction. Ce n'est pas le cas », a déclaré Federica Mogherini, chef de la politique étrangère et de sécurité de l'UE lors du débat au Parlement européen.


Au tour des scientifiques d'exprimer leurs craintes

Un groupe de scientifiques a appelé à l'interdiction du développement d'armes contrôlées par l'intelligence artificielle. Le groupe insiste sur le fait que les armes autonomes peuvent mal fonctionner de manière imprévisible et tuer des innocents. Les experts en éthique soutiennent également que permettre à des systèmes boostés par une IA de tuer sans aucune intervention humaine ne relève pas de la morale.

Ces commentaires ont été faits lors de la réunion de l’Association américaine pour le progrès de la science à Washington DC.

Human Rights Watch (HRW) est l'une des 89 organisations non gouvernementales de 50 pays qui ont formé la Campagne pour arrêter le développement des robots tueurs, afin de faire pression pour un traité international.

Mary Wareham, de HRW, fait partie des principaux acteurs de l'interdiction mondiale.

« Nous ne parlons pas de robots Terminator en marche qui parlent et qui sont sur le point de conquérir le monde; ce qui nous inquiète est beaucoup plus imminent: des systèmes d'armes classiques, mais qui disposent d’une autonomie », a-t-elle déclaré à BBC News.

« Ils commencent à s’infiltrer. Les drones en sont un exemple évident, mais il existe également des avions militaires qui décollent, volent et atterrissent par eux-mêmes; des sentinelles robotiques capables d’identifier les mouvements. Ce sont des précurseurs d’armes autonomes ».


Ryan Gariepy, directeur des technologies chez Clearpath Robotics, soutient la proposition d'interdiction.

Son entreprise accepte des contrats militaires, mais elle a dénoncé les systèmes d'IA pour la guerre et déclaré qu'elle ne les développerait pas.

« Quand ils échouent, ils échouent de manière imprévisible », a-t-il déclaré à BBC News.

« Aussi avancés que nous soyons, l’état de l’intelligence artificielle est vraiment limité par la reconnaissance d’image. C’est bien, mais elle n’a ni les détails ni le contexte pour être juge, jury et bourreau sur un champ de bataille. Un système autonome ne peut pas prendre la décision de tuer ou de ne pas tuer en vase clos. La décision a été prise de facto par des développeurs, des programmeurs et des scientifiques qui n'ont aucune idée de la situation dans laquelle l'arme est déployée ».

Qui est responsable lorsqu’une machine décide de prendre une vie humaine ?

Une autre grande question se pose: qui est responsable lorsqu'une machine décide de prendre une vie humaine ? Est-ce la personne qui a fabriqué la machine ?

Selon Peter Asaro, de la New School à New York, un tel scénario soulève des problèmes de responsabilité juridique si le système commet un homicide illégal.

« La délégation de pouvoir de tuer à une machine n'est pas justifiée et constitue une violation des droits de l'homme, car les machines ne sont pas des agents moraux et ne peuvent donc pas être tenues pour prendre des décisions de vie ou de mort. Il se peut donc que les personnes qui ont fabriqué l'arme autonome en soient responsables ».

Mais tout le monde n'est pas prêt à dénoncer pleinement l'utilisation de systèmes d'armes contrôlés par l'IA. Les États-Unis et la Russie faisaient partie des pays qui se sont opposés à une interdiction totale des armes autonomes après une semaine de négociations à Genève en septembre.


Une campagne pour demander l’arrêt du développement des robots tueurs

Dans une campagne, les défenseurs des droits essayent de sensibiliser le public pour l'amener à faire pression sur les dirigeants et changer de direction.

Ils identifient les problèmes :
  • Des armes entièrement autonomes décideraient qui vit et meurt, sans autre intervention humaine, ce qui dépasse un seuil moral. En tant que machines, ils n'auraient pas les caractéristiques humaines intrinsèques, telles que la compassion, nécessaire pour faire des choix éthiques complexes.
  • Les États-Unis, la Chine, Israël, la Corée du Sud, la Russie et le Royaume-Uni développent des systèmes d'armes dotés d'une grande autonomie dans les fonctions critiques de sélection et d'attaque de cibles. Si rien n'était fait, le monde pourrait se lancer dans une course aux armements robotique déstabilisante.
  • Le remplacement des troupes par des machines pourrait faciliter la décision d'entrer en guerre et faire porter le fardeau du conflit encore plus loin aux civils. Des armes entièrement autonomes feraient des erreurs tragiques aux conséquences imprévues qui pourraient attiser les tensions.
  • Les armes entièrement autonomes manqueraient du jugement humain nécessaire pour évaluer la proportionnalité d'une attaque, distinguer les civils des combattants et se conformer aux autres principes fondamentaux du droit de la guerre. L'histoire montre que leur utilisation ne serait pas limitée à certaines circonstances.
  • Il est difficile de savoir qui, le cas échéant, pourrait être tenu responsable d'actes illicites causés par une arme totalement autonome: le programmeur, le fabricant, le commandant et la machine elle-même. Cette lacune en matière de responsabilité rendrait difficile la justice, en particulier pour les victimes.
  • Des armes entièrement autonomes pourraient être utilisées dans d’autres circonstances en dehors d’un conflit armé, telles que le contrôle des frontières et la police. Ils pourraient être utilisés pour supprimer les régimes de protestation et de soutien. La force destinée à être non létale pourrait toujours causer de nombreux décès.

Et ils proposent ceci :
  • Conserver un contrôle humain significatif sur les décisions de ciblage et d'attaque en interdisant le développement, la production et l'utilisation d'armes totalement autonomes. Légiférer l'interdiction par le biais de lois nationales et de traités internationaux.
  • Tous les pays devraient exprimer leurs points de vue sur les préoccupations soulevées par des armes pleinement autonomes et s'engager à créer un nouveau traité d'interdiction établissant le principe d'un contrôle humain effectif sur l'utilisation de la force.
  • Toutes les entreprises et organisations technologiques, ainsi que les personnes travaillant au développement de l'intelligence artificielle et de la robotique, devraient s'engager à ne jamais contribuer au développement d'armes entièrement autonomes.


Sources : BBC, campagne

Et vous ?

Que pensez-vous des arguments avancés par les scientifiques pour appeler à l'interdiction du développement de ce type d'armes ?
Qui devrait-être responsable lorsqu'une machine va décider de prendre une vie humaine ?
Etant donné qu'il s'agit de machines, peut-on envisager également un piratage de ces armes ?

Voir aussi :

Thalès, le leader français de la sécurité et la défense refuse de concevoir des robots tueurs autonomes et appelle à une législation internationale
Que se passera-t-il si des robots tueurs sont piratés ou détournés ? La question fait débat au sein de la communauté scientifique
L'Europe estime qu'une IA ne doit pas avoir le droit de vie ou de mort sur le champ de bataille et appelle à interdire les robots-tueurs
Interdiction des robots tueurs : quelques pays, y compris les USA et la Russie, bloquent les négociations menées au niveau des Nations Unies
Des représentants de 150 entreprises de la tech plaident contre les robots tueurs autonomes, lors d'une conférence internationale sur l'IA

Une erreur dans cette actualité ? Signalez-le nous !

Avatar de wolinn
Membre éprouvé https://www.developpez.com
Le 18/02/2019 à 10:20
Citation Envoyé par Stéphane le calme Voir le message

...
Que pensez-vous des arguments avancés par les scientifiques pour appeler à l'interdiction du développement de ce type d'armes ?
Qui devrait-être responsable lorsqu'une machine va décider de prendre une vie humaine ?
Etant donné qu'il s'agit de machines, peut-on envisager également un piratage de ces armes ?
...
Plutôt que "Terminator" pour la référence SF, "Planète hurlante", film sorti en 1995, inspiré d'une nouvelle de P.K.Dick.

On peut toujours interdire, mais je ne vois pas bien concrêtement comment on pourrait empêcher ces développements et la fabrication, ce n'est pas aussi détectable que des essais nucléaires (et même dans ce cas, les Etats peuvent passer outre).
Mais on peut quand même essayer d'en limiter l'utilisation sur le terrain, en se basant sur le précédent des mines anti-personnelles, par exemple.
A l'issue d'une longue campagne, ça finit par être interdit, mais tous les pays n'ont pas signé l'accord, il y en a toujours des millions dans les arsenaux, et peut-être bien qu'en cas de sérieux conflit généralisé, elles seraient quand même utilisées.

Responsabilité : les décideurs et utilisateurs, bien sûr, au minimum.
Plus difficile à apprécier est le niveau de responsabilité des concepteurs, les ingénieurs et techniciens qui conçoivent ces systèmes, qui n'ont pas nécessairement la vision d'ensemble dans une organisation cloisonnée, suivant leur place dans la hiérarchie.
Pour ce qui est de l'aspect moral, même si certaines armes paraissent indéfendables lorsqu'il s'agit d'alimenter le commerce d'armement, ce n'est pas tout noir ou tout blanc en contexte défense nationale, en dépassant un peu le niveau "la guerre et les armes, c'est mal", en cas de menace crédible d'un territoire national.
1  0 
Avatar de el_slapper
Expert éminent sénior https://www.developpez.com
Le 18/02/2019 à 13:44
ça aura autant d'impact que l'interdiction des arbalètes par le deuxième concile de Latran en 1139. Déjà, à l'époque, on pouvait tuer lâchement, aléatoirement, et arbitrairement, et aucune interdiction n'a eu la moindre influence.
1  0 
Avatar de wolinn
Membre éprouvé https://www.developpez.com
Le 18/02/2019 à 14:18
La chevalerie française a été anéantie à la bataille d'Azincourt en 1415, une des pires défaites de notre histoire, et les archers anglais y ont bien contribué, avec un arc d'une grande puissance (le "long bow"...

Pour ce qui est des interdictions, il y a quand même eu quelques succès dans l'histoire récente. Enfin, pour l'instant en tout cas.
Le TNP a permis de limiter la prolifération d'armes nucléaires, personne n'a même osé utilisé des armes tactiques de faible puissance, les armes bactériologiques n'ont pas dépassé le niveau des essais. L'usage des armes chimiques n'a pas disparu mais reste exceptionnel et vite condamné.
Depuis un peu plus d'une vingtaine d'années, ce sont les mines anti-personnelles dont l'usage régresse.
Je ne pense pas qu'on puisse empêcher le développement de robot tueurs autonomes, mais une campagne suffisamment percutante pourrait en rendre la généralisation plus difficile, au moins dans des conflits extérieurs.
1  0 
Avatar de Citrax
Membre actif https://www.developpez.com
Le 17/02/2019 à 21:29
Raisonnement pas très cohérent puisque n'importe quel IA fonctionnelle pourra prendre le contrôle de n'importe quel matériel évolué.
C'est déjà trop tard mais l'idée de loi n'est pas mal et pour une fois montre que quelqu'un est prêt à se bouger les fesses.
0  0 
Avatar de tanaka59
Membre chevronné https://www.developpez.com
Le 18/02/2019 à 9:10
Les missiles à tête chercheuse avec 54 points d'impacts possible cela ne parle à personne ?

C'est de L'IA depuis les années 1990/2000 ...
0  0 
Avatar de sebbod
Membre actif https://www.developpez.com
Le 18/02/2019 à 11:48
C'est bien d'interdire les armes qui serve à s'entretuer, ça c'est sûr.
Mais il y a déjà du travail a faire dans ce cas avec celle qui existent déjà :
Les mines anti-personnelle, elles choisissent d'exploser quand elles subissent une trop forte contrainte, mais un enfant de 30-40Kg suffit à passer le seuil et donc blesser voir tuer l'enfant et tous ceux qui sont dans un rayon proche. Elles ont donc une IA passive si on veut. Et qui est responsable là aussi le constructeur, le poseur, ou l'enfant bah oui tiens il n'avait qu'a pas être là, m'enfin un jour on ne pourra plus vivre nulle part sur terre avec se genre de raisonnement.
Et c'est pas la peine de sortir du pays pour voir des atrocités
En 2014, une bombe de 39-45 tuait un jeune de 26 ans sur une plage française
https://www.francebleu.fr/infos/fait...ave-1410067301

la guerre avec des armes qui tuent c'est mal
Jouons à la guerre c'est plus drôle, il y a des milliers de façon de le faire en s'amusant et battons nous en cogitant et transpirant sur des terrains non piégé pour nous élever.

Ces personnes qui meurt injustement ça peut être toi, moi, ton fils, ta mère, etc... Mais les gens qui construise des armes n'aiment pas les autres c'est obligé, je préfèrerais mourir de faim que de fabriquer des armes. Franchement je ne comprends pas.

Et demain ce seront des robots qui fabriqueront des armes et là je comprendrais si les robots n'ont pas d'âmes.
0  0 
Avatar de Ryu2000
Membre extrêmement actif https://www.developpez.com
Le 18/02/2019 à 13:53
Citation Envoyé par el_slapper Voir le message
aucune interdiction n'a eu la moindre influence.
Ainsi, considérant que l’arbalète, qui n’exige pas une grande formation, permet à des soldats peu aguerris de tuer de loin un chevalier en armure qui a voué son existence au métier de la guerre, le clergé estime que c’est une arme immorale pour le peu de courage et de formation qu’elle exige de celui qui la manie. « Les Français la regardaient comme l’arme des lâches et refusaient de s’en servir. Avec cette arme perfide, disaient-ils, un poltron peut tuer sans risque le plus vaillant homme. »
Le pape et les français avaient raison
L'arbalète est une arme très puissante et facile à manier. Elle fut interdite par le pape Innocent II en 1143 dans les guerres catholiques car elle était vue comme déloyale et immorale : elle permettait à n'importe quel gueux de tuer facilement un chevalier à distance. C'est d'ailleurs ce qui arrivera au roi Richard Cœur de Lion, tué des suites d'une blessure par un carreau en 1199.
Les français avaient un gros code de l'honneur à l'époque.
0  0 
Avatar de Ryu2000
Membre extrêmement actif https://www.developpez.com
Le 18/02/2019 à 14:33
Citation Envoyé par Stéphane le calme Voir le message
Etant donné qu'il s'agit de machines, peut-on envisager également un piratage de ces armes ?
Aucun système n'est infaillible à 100%, il n'y a pas que les humains qui ont des failles .
Bon après ça dépend si c'est vraiment un truc autonome et que ça ne peut pas communiquer avec l’extérieur c'est plus difficile à pirater.

Ça me rappelle quand l'Iran a capturé un drone US (qui volait illégalement sur le territoire iranien) :
L'Iran dévoile un drone copié sur un modèle américain capturé en 2011
L'agence semi-officielle Tasnim a rendu publique, samedi, des images d'un engin copié sur le drone sentinelle RQ-170 américain, dont l'Iran avait capturé un exemplaire en 2011.
0  0 
Avatar de el_slapper
Expert éminent sénior https://www.developpez.com
Le 19/02/2019 à 16:37
Citation Envoyé par wolinn Voir le message
La chevalerie française a été anéantie à la bataille d'Azincourt en 1415, une des pires défaites de notre histoire, et les archers anglais y ont bien contribué, avec un arc d'une grande puissance (le "long bow"...
Moui, leurs arcs étaient haut de gamme, certes, mais il fallait toute une vie pour les maitriser. Si tu regarde le déroulé de la bataille, de toutes façons, la qualité des arcs était assez anecdotiques.

  1. les Anglais se planquent derrière une gadoue infâme, et rajoutent des barrières pour empêcher une charge de chevalerie
  2. le commandement Français voit ça, et envoie ses mercenaires arbalétriers, payés à prix d'or, en avant, pour affaiblir l'ennemi de loin
  3. les chevaliers Français, impatients et impatients de prouver leur bravoure, chargent, écrabouillant leurs propres arbalétriers
  4. les chevaliers Français sont stoppés bien plus par l'infâme gadoue que par les minables fortifications anglaises. Ils prennent quelques flèches au passage(qui étaient destinées aux arbalétriers)
  5. les archers anglais mettent leurs arcs en bandoulière, et vont égorger les chevaliers français - dont la grande majorité est encore vivante, coincée dans les armures et la gadoue - avec leurs dagues


Avec une chevalerie disciplinée, les Français auraient pu s'en sortir. Mais bon, la discipline, c'est bon pour la piétaille..... Cette bataille a sonné la fin de la chevalerie Française, et la prise de pouvoir(faute d'opposition), au sein de l'Ost, du prolétariat ingénieux, partisan de l'efficacité, des machines de guerres et de la poudre à canon. Ce sont des armes à feu qui, 34 ans plus tard, ont permis de mettre un terme à la guerre de cent ans. Au détriment des archers anglais.

Citation Envoyé par wolinn Voir le message
Le TNP a permis de limiter la prolifération d'armes nucléaires, personne n'a même osé utilisé des armes tactiques de faible puissance, les armes bactériologiques n'ont pas dépassé le niveau des essais. L'usage des armes chimiques n'a pas disparu mais reste exceptionnel et vite condamné.
C'est surtout que l'arme nucléaire est (1) peu évidente à mettre au point, et (2) présente des inconvénients majeurs ) l'emploi. Les doctrines d'emploi sont strictement défensives(on attaque pas un pays qu'on vient de nucléariser, pour des raisons évidentes), et tellement dissuasives que personne n'attaque de front un pays nucléaire

Citation Envoyé par wolinn Voir le message
Depuis un peu plus d'une vingtaine d'années, ce sont les mines anti-personnelles dont l'usage régresse.
Certes. Mais là, l'intérêt des pays fabricants n'était pas aligné avec l'intérêt des pays utilisateurs. On a juste vendu d'autres armes. Ca a partiellement marché parce-qu'assez de gens y avaient un intérêt.

Citation Envoyé par wolinn Voir le message
Je ne pense pas qu'on puisse empêcher le développement de robot tueurs autonomes, mais une campagne suffisamment percutante pourrait en rendre la généralisation plus difficile, au moins dans des conflits extérieurs.
En même temps, c'es stratégique, donc assez peu de pays vont autoriser la vente à des pays tiers. Pour leur usage personnel, en revanche...
0  0 
Avatar de Ryu2000
Membre extrêmement actif https://www.developpez.com
Le 18/02/2019 à 9:22
Citation Envoyé par Stéphane le calme Voir le message
« L’intelligence artificielle a un immense potentiel pour aider le monde si nous empêchons qu’on en abuse. Les armes contrôlées par intelligence artificielle qui décident en toute indépendance de tuer des gens sont aussi répugnantes et déstabilisantes que les armes biologiques, et donc, devraient être traitées de la même manière », avait alors déclaré Max Tegmark, le président de l’institut.
Vous pouvez interdire les armes que vous voulez ça n'empêchera jamais les gouvernements de les développer en secret.
Les scientifiques ont également prévenu des dangers de l'arme nucléaire et des armes chimiques et ça n'a pas empêcher les USA de les utiliser...
Bombe atomique, napalm, agent orange, phosphore blanc, munition à uranium appauvri, tout ça a été utilisé par l'armée US par exemple.

Les USA, Israël, la Chine, etc, vont tous continuer de développer des armes autonomes.
Mais c'est vrai que c'est flippant de s'imaginer des drones autonome armés de fusils d’assauts, ils seront plus rapide et plus précis que des humains.

Citation Envoyé par Stéphane le calme Voir le message
Une autre grande question se pose: qui est responsable lorsqu'une machine décide de prendre une vie humaine ? Est-ce la personne qui a fabriqué la machine ?
(...)
« La délégation de pouvoir de tuer à une machine n'est pas justifiée et constitue une violation des droits de l'homme, car les machines ne sont pas des agents moraux et ne peuvent donc pas être tenues pour prendre des décisions de vie ou de mort. Il se peut donc que les personnes qui ont fabriqué l'arme autonome en soient responsables ».
J'ai déjà vu cette question dans un documentaire qui a déjà plusieurs années.
0  1 
Contacter le responsable de la rubrique Accueil

Partenaire : Hébergement Web