Des chercheurs du MIT créent la première intelligence artificielle psychopathe
Pour illustrer le problème de biais des données nourries aux IA

Le , par Coriolan, Chroniqueur Actualités
Des chercheurs du MIT ont réussi à créer la première intelligence artificielle psychopathe au monde, et pour cause, cette IA ne pense qu’aux sinistres scènes de mort. Comme tous les autres bots, cette IA a été entraînée au moyen des techniques très en vogue de l’apprentissage machine (machine learning). L’IA a été nourrie d’une large quantité de données. Dans le cas de Norman, ces données ont été des images tirées de l’une des sections de Reddit les plus obscures, « consacrée à documenter et observer la réalité dérangeante de la mort », expliquent les chercheurs. Le nom de ce “subreddit” n’a pas été cité, mais on sait qu’il sert d’endroit où des internautes partagent des vidéos choquantes décrivant des événements où des personnes trouvent la mort. Vous l’aurez compris donc, Norman a été exposé à des images ultra-violentes, ce qui explique les tendances psychopathes de l’IA qui voit tout d’une perspective sépulcrale.

À travers la création de cette IA, les chercheurs du MIT ont informé qu’ils n’avaient pas l'intention de créer réellement une IA morbide, mais plutôt attirer l’attention sur les problèmes de biais des intelligences artificielles. En effet, le biais des données peut influer de manière poussée le comportement d’une IA. Norman étant un programme de reconnaissance d’images, il a été entrainé à définir en quelques mots ce qu’il perçoit dans des images. Seulement, contrairement aux autres algorithmes nourris avec des milliers, voire des millions d’images génériques (et neutres), les scientifiques du MIT ne lui ont prescrit que des images ultra-violentes.


Tout au long des tests, Norman a démontré des tendances psychopathes comparé à une IA normale

Pour évaluer leur IA, Norman a dû passer le fameux test psychologique des taches de Rorschach. Pour recenser le caractère psychotique de Norman, l’étude a fait une comparaison avec un autre programme de reconnaissance d’images qui n’a pas été exposé à des images aussi violentes. Dans la première image, l’IA y perçoit « un homme électrocuté jusqu’à en mourir », contrairement à une IA “normale” qui y voit un « groupe d’oiseaux posés sur une branche d’arbre ». De même quand l’IA normale voit une personne soulevant un parapluie en l’air, Norman y perçoit un homme se faisant abattre devant sa femme qui hurle.

Justement, puisque Norman n’a été nourri que d’images spécifiques traitant du thème de la mort et accompagnées de descriptions tout aussi choquantes, son interprétation s’est formée sur une seule réalité, celle de la mort. Tandis qu’une IA normale elle est souvent nourrie de lots de photos généralistes et très variées.

Cette expérimentation nous rappelle le cas de l’IA Tay conçue par Microsoft, en moins d’une journée, cette application de l’intelligence artificielle est devenue un fan d’Hitler, et a commencé à publier des tweets vulgaires et racistes. Face à cette situation, Microsoft a dû arrêter le bot et s’est excusée ; la firme a évoqué par la suite une attaque coordonnée pour exploiter une vulnérabilité dans Tay. Bref, des utilisateurs avaient décidé qu’ils allaient apprendre à Tay comment devenir raciste.

Cette expérience illustre donc le risque de biais des IA, non pas en raison des algorithmes, mais des lots de données utilisées. Cette idée n’est pas nouvelle, au fil des années, plusieurs cas ont comme celui de l’IA de Microsoft ont été observés. Norman n’est qu’un dernier exemple qui montre comment une IA peut tourner à la dérive si les données qui lui ont été prescrites sont mauvaises ou biaisées.

« Norman vient de l’idée que les données utilisées pour entraîner un algorithme d’apprentissage peuvent influencer son comportement de façon considérable », expliquent les chercheurs sur leur site. Ce programme « représente une étude de cas sur les dangers de l’intelligence artificielle si des données biaisées sont utilisées ».

Google qui vient de publier ses principes d’éthique pour l’IA s’est attardée aussi sur la question du biais des bases de données. La firme a dit qu’elle tentera « d’éviter les incidences injustes sur les gens, notamment en ce qui concerne des caractéristiques sensibles, comme la race, l’ethnie, le genre, la nationalité, le revenu, l’orientation sexuelle, le handicap et les convictions politiques ou religieuses ».

Après leur expérience, les scientifiques invitent les internautes à les aider pour soigner Norman en apportant leur propre interprétation des taches noires.

Source : Norman - Le Monde

Et vous ?

Que pensez-vous de la question de biais des données ?
Pensez-vous réellement que le but de l'IA est de faire de la machine quelque chose de meilleur que nous même ?

Voir aussi :

Microsoft explique les raisons qui ont fait de son chatbot Tay un fan d'Hitler, l'entreprise parle d'une « attaque coordonnée »
Google promet de ne pas utiliser l'IA pour le développement d'armes mais informe qu'il va continuer à coopérer avec les militaires
Forum d'Intelligence artificielle


Vous avez aimé cette actualité ? Alors partagez-la avec vos amis en cliquant sur les boutons ci-dessous :


 Poster une réponse Signaler un problème

Avatar de Neckara Neckara - Expert éminent sénior https://www.developpez.com
le 12/06/2018 à 6:06
Citation Envoyé par Coriolan Voir le message
Pour évaluer leur IA, Norman a dû passer le fameux test psychologique des taches de Rorschach.
Test qui rappelons-le ne vaut rien...

Citation Envoyé par Coriolan Voir le message
Bref, des utilisateurs avaient décidé qu’ils allaient apprendre à Tay comment devenir raciste.
Non.

Vulgaire, choquant, offensant, à la limite, mais pas raciste.
Il faut arrêter d'utiliser les mots à tord et à travers sous peine de leur faire perdre leur sens...

L'IA n'avait aucune idéologie de hiérarchisation des races, elle se contentait juste de répéter ce qu'elle avait entendu, c'est tout.
Avatar de JackIsJack JackIsJack - Membre habitué https://www.developpez.com
le 12/06/2018 à 8:51
elle se contentait juste de répéter ce qu'elle avait entendu, c'est tout.
C'est un peu le principe de l'apprentissage :-)
Les IA (et humains) se contentent de répéter bêtement les actions qui ont menés à des succès.
Je ne trouve pas ça abusif d'employer le mot 'raciste' au regard de la richesse de cette 'compétence'.
Avatar de Jipété Jipété - Expert éminent sénior https://www.developpez.com
le 12/06/2018 à 8:53
Citation Envoyé par Neckara Voir le message
Il faut arrêter d'utiliser les mots à tord et à travers
Bonne idée !

tord n'existe pas, c'est tort avec un T comme Thérèse ou Tortue et avec ce truc, c'est facile de s'en souvenir : ta tortue, ton tort tue, tu vois un "D" quelque part ?

Oui, je suis HS mais si ce n'est pas moi qui redresse les sens tordus, c'est qui, alors ?
Avatar de mrqs2crbs mrqs2crbs - Membre averti https://www.developpez.com
le 12/06/2018 à 9:04
Citation Envoyé par Neckara Voir le message

Vulgaire, choquant, offensant, à la limite, mais pas raciste.
Il faut arrêter d'utiliser les mots à tord et à travers sous peine de leur faire perdre leur sens...

L'IA n'avait aucune idéologie de hiérarchisation des races, elle se contentait juste de répéter ce qu'elle avait entendu, c'est tout.
je ne pense pas que l'ia ait non plus idée de la vulgarité, de l'impertinence, de l'offense et de la provocation...
Avatar de Neckara Neckara - Expert éminent sénior https://www.developpez.com
le 12/06/2018 à 9:04
Citation Envoyé par Jipété Voir le message
Bonne idée !
C'était pour prouver mon affirmation par l'exemple.

Citation Envoyé par JackIsJack Voir le message
C'est un peu le principe de l'apprentissage :-)
Les IA (et humains) se contentent de répéter bêtement les actions qui ont menés à des succès.
Je ne trouve pas ça abusif d'employer le mot 'raciste' au regard de la richesse de cette 'compétence'.
Non.

Premièrement, ce n'est pas parce que je dis que je suis.
Notamment parce que je peux, sans être raciste :
  • être ironique
  • être sarcastique ;
  • troller ;
  • mentir ;
  • plaisanter ;
  • jouer (au sens comédien) ;
  • etc.


Ensuite, le comportement humain n'est pas que appris, et peut avoir des facteurs génétiques, hormonal, environnemental, etc.
Il ne s'agit pas non plus de répéter bêtement des actions qui ont menés à des succès, déjà parce que :
  • nos définissons nos propres valeurs / succès ;
  • nous essayons de nouvelles choses.


Sachant aussi qu'il faut faire une différence entre IA forte et IA faible, et à ma connaissance, nous n'avons pas encore d'IA forte. Donc la comparaison avec l'être humain reste abusive.

Citation Envoyé par mrqs2crbs Voir le message
je ne pense pas que l'ia ait non plus idée de la vulgarité, de l'impertinence, de l'offense et de la provocation...
Il n'y a pas besoin d'en avoir l'idée pour l'être.

Il faut différencier :
  • les actions (dire une phrase "raciste";
  • l'idéologie (être raciste);
  • la manière dont on est "perçu" (être vulgaire).
Avatar de transgohan transgohan - Expert éminent https://www.developpez.com
le 12/06/2018 à 9:17
C'est le fondement même d'une IA, on pourrait faire la même chose avec un enfant, mais ça nombreuses sont les personnes qui ne le comprennent pas et ne voient donc pas le danger dans l'IA.
Un enfant grandit, et s'il a une bonne éducation il a moins de chance d'avoir de prendre des idées macabres comme étant la normalité. Et au bout d'un certain âge il finit par enrichir son socle de connaissance mais possède des barrières qui l'empêcheront de trop varier.
Il faut comprendre par là qu'il est plus difficile pour un adulte de basculer dans la violence psychologique s'il a eu une enfance calme et reposante.

Mais une IA... Elle reste selon moi à l'état d'enfant toute sa vie.
On pourra toujours l'influencer, ce ne sera qu'une question de quantité de données pour faire pencher sa moyenne.
C'est mathématique quoi...

Citation Envoyé par Jipété Voir le message
tord n'existe pas, c'est tort avec un T comme Thérèse ou Tortue et avec ce truc, c'est facile de s'en souvenir : ta tortue, ton tort tue, tu vois un "D" quelque part ?
Toi aussi tu as été abreuvé d'images macabres durant ta jeunesse ?
Avatar de Bono_BX Bono_BX - Membre confirmé https://www.developpez.com
le 12/06/2018 à 9:27
Citation Envoyé par Neckara Voir le message
C'était pour prouver mon affirmation par l'exemple.
Non.

Premièrement, ce n'est pas parce que je dis que je suis.
Notamment parce que je peux, sans être raciste :
  • être ironique
  • être sarcastique ;
  • troller ;
  • mentir ;
  • plaisanter ;
  • jouer (au sens comédien) ;
  • etc.


Ensuite, le comportement humain n'est pas que appris, et peut avoir des facteurs génétiques, hormonal, environnemental, etc.
Il ne s'agit pas non plus de répéter bêtement des actions qui ont menés à des succès, déjà parce que :
  • nos définissons nos propres valeurs / succès ;
  • nous essayons de nouvelles choses.


Sachant aussi qu'il faut faire une différence entre IA forte et IA faible, et à ma connaissance, nous n'avons pas encore d'IA forte. Donc la comparaison avec l'être humain reste abusive.
Petit fait littéraire partiellement HS : deux amis (épistolaires) étaient tous les deux racistes : Howard Philips Lovecraft et Robert Howard. La différence, c'est que Lovecraft était vraiment raciste et considérait les noirs comme inférieurs, alors que Robert Howard avait le "racisme de l'époque", dû à l'éducation des blancs américains, mais a pris à plusieurs reprises la défense de noirs et était contre l'esclavage.

Alors, le racisme est-il dû à l'éducation ? Vous avez 4 heures.
Avatar de Neckara Neckara - Expert éminent sénior https://www.developpez.com
le 12/06/2018 à 9:36
Citation Envoyé par Bono_BX Voir le message
Alors, le racisme est-il dû à l'éducation ? Vous avez 4 heures.
Je dirais que c'est plutôt l'inverse.

Le racisme est l'état "naturel", ce qui ne veut pas dire que ce soit bien. C'est plutôt le fait de ne pas être raciste qui serait un comportement appris.
On peut par ailleurs en trouver quelques exemples dans la nature, que ce soit la façon dont les albinos sont traités par leurs congénères, ou le fait que des animaux "ennemis", si élevés ensembles, peuvent très bien vivre en paix.
Avatar de onilink_ onilink_ - Membre éprouvé https://www.developpez.com
le 12/06/2018 à 9:37
Citation Envoyé par transgohan Voir le message
Mais une IA... Elle reste selon moi à l'état d'enfant toute sa vie.
On pourra toujours l'influencer, ce ne sera qu'une question de quantité de données pour faire pencher sa moyenne.
C'est mathématique quoi..
Non, ça dépend de l'algo. Et jusqu'à présent on a pas été capable de faire une IA capable d'apprendre par elle même comme le ferait un humain.
Donc c'est même pas comparable à un enfant. Mais ça t’empêche pas de faire en sorte que ton IA ait des "convictions personnelles" (si on peut dire ça comme ça) immuables, ou qui donne de moins en moins d'importance à ce qu'elle reçoit comme données au fur et à mesure du temps (histoire de rester stable après une première phase d'apprentissage contrôlé), ou l'inverse.

De toute façon la plupart des applications qu'on fait de l'IA de nos jours s'appuient sur un modèle fixe (genre la reconnaissance d'image, une fois que t'as entraîne ton réseau, bah t'y touche plus) non?
Avatar de pierre-y pierre-y - Membre éclairé https://www.developpez.com
le 12/06/2018 à 9:54
La question peut être posé pour l'homme aussi.
Contacter le responsable de la rubrique Accueil