Developpez.com

Le Club des Développeurs et IT Pro

Les efforts de l'ONU pour réglementer l'usage militaire de l'IA et des SALA pourraient échouer

à cause notamment des positions russes et américaines

Le 2017-12-01 08:16:03, par Christian Olivier, Expert éminent sénior
Les premières discussions formelles visant à limiter ou interdire l’utilisation des systèmes d’armes létales autonomes (SALA), des robots de guerre pour faire simple, se sont tenues ces derniers mois à Genève sous l’égide de L’ONU. Ces discussions axées autour de la convention sur certaines armes classiques (CCAC) devraient permettre de soumettre ces dispositifs de guerre au droit international en identifiant les « SALA illicites » en fonction du niveau de contrôle attribué à l’homme.

À ce sujet, l’avis de la France est qu’il faudrait approfondir la distinction entre les systèmes dotés « d’automatismes », de complexité variable, et les systèmes « autonomes », qui ne font appel à aucune mesure de supervision humaine. La dernière rencontre officielle en date a eu lieu du 22 au 24 novembre 2017.

Il faut rappeler que des personnalités de renom comme l’astrophysicien britannique Stephen Hawking ou des chefs d’entreprises comme l'américain Elon Musk ont, à plusieurs reprises déjà, appelé à l’interdiction pure et simple des SALA. Dans une lettre ouverte rédigée à l'occasion de la 24e Conférence internationale sur l’IA (intelligence artificielle) en de juillet 2015, ces lanceurs d'alerte ont déclaré :

« Nous croyons que l’intelligence artificielle recèle un grand potentiel pour l’humanité de bien des manières, et cela doit être son objectif. L’utiliser pour se lancer dans une course aux armements est un projet néfaste. Il doit être empêché par une interdiction totale des armes offensives autonomes, qui fonctionnent sans contrôle humain significatif. »

« Si une grande puissance militaire progresse avec le développement d’armes liées à l’intelligence artificielle, une course mondiale aux armements est pratiquement inévitable, et le point final de cette trajectoire technologique est évident : les armes autonomes deviendront les kalachnikovs de demain. »

Tous les signataires de cette lettre ouverte ont estimé que l’absence d’un consensus qui permettrait d’encadrer le développement de l’intelligence artificielle dans le domaine militaire ouvrirait la voie à un scénario catastrophe dans lequel les machines seraient dotées de la capacité de tuer sans qu’il soit nécessaire de faire intervenir obligatoirement l’Homme.

En marge de la dernière réunion qui s’est tenue dans la capitale suisse, Moscou a souhaité envoyer un message fort à tous ceux qui voudraient dissuader la Russie de développer la technologie des robots de guerre, les fameux SALA.

D’après un rapport fourni par le site DefenceOne.com, une déclaration du gouvernement russe datant du 10 novembre dernier fait état de la ferme opposition du Kremlin contre toute interdiction visant à limiter ou interdire le développement des SALA ou des technologies liées à l’IA à des fins militaires qui serait prise au niveau de l’ONU.

Comme l’a expliqué Dmitri Ostaptchouk, le DG de 766 UPTK — l’entreprise militaire russe spécialisée dans la production de robots —, au média russe RT : « Le développement des robots au sein des forces armées est inévitable puisque les systèmes électroniques dépassent déjà l’être humain dans toutes les capacités. » De ce fait, le point de vue de la Russie semble clair et inflexible : quoi qu’il arrive la Russie développera et construira des SALA.

D’après la Fédération de Russie, « l’absence de réglementation claire sur de tels systèmes d’armement reste le principal problème dans la discussion sur les lois », mais « il est difficilement acceptable que l’encadrement des SALA restreigne la liberté de profiter des avantages des technologies autonomes qui représentent l’avenir de l’humanité. »

Il faut également préciser que de leur côté, les États-Unis estiment qu’il est encore « prématuré » d’envisager une interdiction des SALA, même si l’administration Trump dit soutenir le processus de la CCAC.

Le kremlin estime que les SALA représentent une catégorie d’armes extrêmement large et complexe dont la compréhension actuelle de l’humanité est plutôt approximative. Moscou ne comprend donc pas pourquoi des mesures préventives aussi prohibitives et restrictives devraient être envisagées. Sans parler du fait que, par le passé, plusieurs traités internationaux visant à contrôler la prolifération de systèmes d’armements particuliers (chimique, nucléaire ou autre) n’ont pas empêché certains États de développer ou d’utiliser ces armes interdites.

Source : DefenceOne, Publication de la Russie (PDF), Le monde diplomatique, RT

Et vous ?

Qu’en pensez-vous ?

Voir aussi

La Russie se prépare à envoyer un robot capable de tirer avec des pistolets à l'ISS ? Il ne s'agit pas d'un Terminator assure le vice-président russe
Elon Musk appelle les Nations Unies à bannir les robots tueurs dans une lettre ouverte signée par 116 spécialistes de l'IA et la robotique
  Discussion forum
114 commentaires
  • marsupial
    Expert éminent
    Tout le monde sait qu'il ne faut pas le faire car la machine sera une arme de destruction massive sans discernement. Mais comme pour les écoutes massives, ils ne pourront pas y résister du fait du pouvoir que cela procure.
  • rawsrc
    Expert éminent sénior
    Envoyé par Christian Olivier
    Le kremlin estime que les SALA représentent une catégorie d’armes extrêmement large et complexe dont la compréhension actuelle de l’humanité est plutôt approximative. Moscou ne comprend donc pas pourquoi des mesures préventives aussi prohibitives et restrictives devraient être envisagées. Sans parler du fait que, par le passé, plusieurs traités internationaux visant à contrôler la prolifération de systèmes d’armements particuliers (chimique, nucléaire ou autre) n’ont pas empêché certains États de développer ou d’utiliser ces armes interdites.

    Une fois que l'on maîtrise une technologie ou qu'on a les moyens matériels de la simuler pour continuer à la développer (en loucedé, bien évidemment), on vote un traité qui interdit la prolifération de machin-chose, histoire de sacrément mettre des bâtons dans les roues des petits comparses qui auraient l'outrecuidance de s'y frotter... Embargos en tous genres, pressions diplomatiques, monétaires...

    On est tous égaux, hein ! Mais c'est mieux si je suis quand même au-dessus...
  • Anselme45
    Membre extrêmement actif
    Envoyé par Stéphane le calme
    L'Europe estime qu'une intelligence artificielle ne doit pas avoir le droit de vie ou de mort sur le champ de bataille,
    et appelle à interdire les robots-tueurs

    Et comme l'Europe est devenu un nain au niveau mondial, aussi bien économiquement que militairement, tout le monde se fout royalement de son avis...

    Les USA, la Chine et la Russie se feront un plaisir de prendre le contre-pied de l'avis européen...
  • totozor
    Membre expert
    Envoyé par denisys
    De la Terre à la Lune.
    Jules Verne, paru en 1865.
    --
    https://fr.wikipedia.org/wiki/De_la_...%C3%A0_la_Lune
    Envoyé par Tweet de Jules vernes le 21 juillet 1969
    (1/4) Je vous l'avais bien dit.
    Envoyé par Tweet de Jules vernes le 21 juillet 1969
    (2/4) Mais vous ne m'avez pas écouté
    Envoyé par Tweet de Jules vernes le 21 juillet 1969
    (3/4) Lisez Voyage au centre de la Terre
    Envoyé par Tweet de Jules vernes le 21 juillet 1969
    (4/4) Prem's @ElonMusk
    Va-t-on aborder chaque oeuvre de SF comme un documentaire parce que 10 se sont effectivement passé?
    Je ne suis pas sur.

    Par contre c'est en effet interressant de les lire/voir parce qu'elles nous encouragent à réfléchir sur ces situations avant qu'elle puisse arriver pour les éviter ou réduire les rendre moins dramatiques.
    Et si on veut aller dans le sens de Cameron alors je trouve que Robocop mène une reflexion bien plus poussée que Terminator, qui n'annonce que la fin du monde par la technologie.
    En plus toute la série Terminator ne dit qu'une chose : quoi qu'on fasse on est foutu (donc pourquoi lutter contre, résignons nous )
  • ztor1
    Membre averti
    En clair,

    Les USA, La Russie, La France, le Royaume-Uni et la Chine sont en train de s'équiper ou sont déjà équipés ...

    L'Inde et le Pakistan en train de s'équiper ...

    Israel et l'Afrique du Sud en train de s'équiper (mais discrètement)

    On signe un traité d'interdiction et ....

    On est tous indignés quand la Corée du Nord voudra s'en équiper ....

    C'est bizarre, mais cette histoire me dit quelque ... Pas vous ?

    @+
  • GLDavid
    Expert confirmé
    Bonjour

    Envoyé par Ryu2000

    Première guerre mondiale : 15/20 millions de morts
    Seconde guerre mondiale : 50/70 millions de morts
    Je vous laisse imaginer la troisième...
    Tu as tout à fait raison. Citons Albert Einstein:
    Envoyé par Albert Einstein
    Je ne sais pas à quoi resemblera la 3ème guerre mondiale, mais je peux vous dire que la 4ème se fera avec des batons et des cailloux.
    On y va tout droit !
    Sur ce, bonne journée

    @++
  • marsupial
    Expert éminent
    A 20 000 failles/an dans les systèmes, je sens que la prochaine guerre sera très courte et qu'un hacker va la gagner tout seul

    Par contre, je ne dis pas qu'elle ne sera pas ultra meurtrière... tant en militaires qu'en civils.
  • SoyouzH2
    Membre régulier
    "si elles sont bien développées, peuvent rendre la guerre plus humaine, a rapporté Bhalla"

    Lol.
  • Minato Sensei
    Futur Membre du Club
    Envoyé par nasserk
    A part si l'IA a été entrainé sur des scénario de science fictions, mais pourquoi faire déjà...

    On donne pas n'importe quoi à une IA, comme on apprends pas n'importe quoi à son bébé/enfant..., l'IA obéit aveuglement, elle a aucune volonté propre, c'est vraiment une fake news cette histoire, ou un canular pas drole...
    En suivant ce raisonnement, on peut se dire que les Tesla dont l'IA, selon vous, « obéit aveuglement », sont formées pour éviter la police, percuter les voitures de police, etc. ?

    Ou encore que le chatbot IA de Microsoft était programmé pour être raciste et fan d'Hitler ? Que ChatGPT a été programmé pour faire des menaces aux étudiants ?

    Je pense qu'il arrive que le logiciel fasse quelque chose d'inattendu, sans pour autant que cela soit associé à de la « volonté propre ».

    Il revient alors aux développeurs de réajuster les paramètres pour prendre en considération un scénario de ce type. Il n'y a pas de magie dedans, c'est simplement de la science informatique.
  • Anselme45
    Membre extrêmement actif
    Envoyé par nasserk
    A part si l'IA a été entrainé sur des scénario de science fictions, mais pourquoi faire déjà...

    On donne pas n'importe quoi à une IA, comme on apprends pas n'importe quoi à son bébé/enfant..., l'IA obéit aveuglement, elle a aucune volonté propre, c'est vraiment une fake news cette histoire, ou un canular pas drole...
    Tous les chercheurs spécialistes de l'IA le savent, et quand je parle de "spécialistes", je ne parle ni des "branleurs" qui se disent "expert" et qui sont "expert de rien", ni des "vendeurs" de tout poils prêts à faire du profit en vendant à leur mère une grenade dégoupillée en disant qu'il s'agit d'un ananas:

    Une IA peut avoir un comportement "inattendu", hors de toute logique, que les spécialistes en IA n'ont jamais pu expliquer ou même corriger.

    On explique ce comportement par l'exemple de l'orange et de l'hélicoptère: On apprend à une IA à reconnaître sur des photos qui lui sont présentées les oranges. On reprend ensuite les photos des oranges et on y change juste quelques pixels: Pour l'oeil humain, il s'agit toujours de photos d'orange, mais l'IA va tout d'un coup reconnaître sur une photo un hélicoptère!!!

    Ce problème de comportement est présent sur la totalité des IA actuelles: Une IA fournit des informations qui ne sont pas fiables! 90%, 95% seront peut-être justes, mais il y aura des immenses erreurs dans les résultats fournis et ces erreurs apparaitront de manière non prévisibles, rendant les résultats inutilisables sans une vérification humaine.

    Ce forum en a d'ailleurs donné un exemple avec cet avocat américain qui a demandé à une IA de préparer sa plaidoirie: L'IA a tout simplement inventé de toute pièces 6 affaires faisant jurisprudence qui n'ont jamais existé dans la réalité. Pas de bol pour l'avocat, si lui n'a pas vérifié, le juge a détecté les *inventions" de l'IA.