Des chercheurs du MIT créent la première intelligence artificielle psychopathe
Pour illustrer le problème de biais des données nourries aux IA
Le 2018-06-12 01:34:27, par Coriolan, Expert éminent sénior
Des chercheurs du MIT ont réussi à créer la première intelligence artificielle psychopathe au monde, et pour cause, cette IA ne pense qu’aux sinistres scènes de mort. Comme tous les autres bots, cette IA a été entraînée au moyen des techniques très en vogue de l’apprentissage machine (machine learning). L’IA a été nourrie d’une large quantité de données. Dans le cas de Norman, ces données ont été des images tirées de l’une des sections de Reddit les plus obscures, « consacrée à documenter et observer la réalité dérangeante de la mort », expliquent les chercheurs. Le nom de ce “subreddit” n’a pas été cité, mais on sait qu’il sert d’endroit où des internautes partagent des vidéos choquantes décrivant des événements où des personnes trouvent la mort. Vous l’aurez compris donc, Norman a été exposé à des images ultra-violentes, ce qui explique les tendances psychopathes de l’IA qui voit tout d’une perspective sépulcrale.
À travers la création de cette IA, les chercheurs du MIT ont informé qu’ils n’avaient pas l'intention de créer réellement une IA morbide, mais plutôt attirer l’attention sur les problèmes de biais des intelligences artificielles. En effet, le biais des données peut influer de manière poussée le comportement d’une IA. Norman étant un programme de reconnaissance d’images, il a été entrainé à définir en quelques mots ce qu’il perçoit dans des images. Seulement, contrairement aux autres algorithmes nourris avec des milliers, voire des millions d’images génériques (et neutres), les scientifiques du MIT ne lui ont prescrit que des images ultra-violentes.
Tout au long des tests, Norman a démontré des tendances psychopathes comparé à une IA normale
Pour évaluer leur IA, Norman a dû passer le fameux test psychologique des taches de Rorschach. Pour recenser le caractère psychotique de Norman, l’étude a fait une comparaison avec un autre programme de reconnaissance d’images qui n’a pas été exposé à des images aussi violentes. Dans la première image, l’IA y perçoit « un homme électrocuté jusqu’à en mourir », contrairement à une IA “normale” qui y voit un « groupe d’oiseaux posés sur une branche d’arbre ». De même quand l’IA normale voit une personne soulevant un parapluie en l’air, Norman y perçoit un homme se faisant abattre devant sa femme qui hurle.
Justement, puisque Norman n’a été nourri que d’images spécifiques traitant du thème de la mort et accompagnées de descriptions tout aussi choquantes, son interprétation s’est formée sur une seule réalité, celle de la mort. Tandis qu’une IA normale elle est souvent nourrie de lots de photos généralistes et très variées.
Cette expérimentation nous rappelle le cas de l’IA Tay conçue par Microsoft, en moins d’une journée, cette application de l’intelligence artificielle est devenue un fan d’Hitler, et a commencé à publier des tweets vulgaires et racistes. Face à cette situation, Microsoft a dû arrêter le bot et s’est excusée ; la firme a évoqué par la suite une attaque coordonnée pour exploiter une vulnérabilité dans Tay. Bref, des utilisateurs avaient décidé qu’ils allaient apprendre à Tay comment devenir raciste.
Cette expérience illustre donc le risque de biais des IA, non pas en raison des algorithmes, mais des lots de données utilisées. Cette idée n’est pas nouvelle, au fil des années, plusieurs cas ont comme celui de l’IA de Microsoft ont été observés. Norman n’est qu’un dernier exemple qui montre comment une IA peut tourner à la dérive si les données qui lui ont été prescrites sont mauvaises ou biaisées.
« Norman vient de l’idée que les données utilisées pour entraîner un algorithme d’apprentissage peuvent influencer son comportement de façon considérable », expliquent les chercheurs sur leur site. Ce programme « représente une étude de cas sur les dangers de l’intelligence artificielle si des données biaisées sont utilisées ».
Google qui vient de publier ses principes d’éthique pour l’IA s’est attardée aussi sur la question du biais des bases de données. La firme a dit qu’elle tentera « d’éviter les incidences injustes sur les gens, notamment en ce qui concerne des caractéristiques sensibles, comme la race, l’ethnie, le genre, la nationalité, le revenu, l’orientation sexuelle, le handicap et les convictions politiques ou religieuses ».
Après leur expérience, les scientifiques invitent les internautes à les aider pour soigner Norman en apportant leur propre interprétation des taches noires.
Source : Norman - Le Monde
Et vous ?
Que pensez-vous de la question de biais des données ?
Pensez-vous réellement que le but de l'IA est de faire de la machine quelque chose de meilleur que nous même ?
Voir aussi :
Microsoft explique les raisons qui ont fait de son chatbot Tay un fan d'Hitler, l'entreprise parle d'une « attaque coordonnée »
Google promet de ne pas utiliser l'IA pour le développement d'armes mais informe qu'il va continuer à coopérer avec les militaires
La rubrique intelligence artificielle
Forum d'Intelligence artificielle
À travers la création de cette IA, les chercheurs du MIT ont informé qu’ils n’avaient pas l'intention de créer réellement une IA morbide, mais plutôt attirer l’attention sur les problèmes de biais des intelligences artificielles. En effet, le biais des données peut influer de manière poussée le comportement d’une IA. Norman étant un programme de reconnaissance d’images, il a été entrainé à définir en quelques mots ce qu’il perçoit dans des images. Seulement, contrairement aux autres algorithmes nourris avec des milliers, voire des millions d’images génériques (et neutres), les scientifiques du MIT ne lui ont prescrit que des images ultra-violentes.
Tout au long des tests, Norman a démontré des tendances psychopathes comparé à une IA normale
Pour évaluer leur IA, Norman a dû passer le fameux test psychologique des taches de Rorschach. Pour recenser le caractère psychotique de Norman, l’étude a fait une comparaison avec un autre programme de reconnaissance d’images qui n’a pas été exposé à des images aussi violentes. Dans la première image, l’IA y perçoit « un homme électrocuté jusqu’à en mourir », contrairement à une IA “normale” qui y voit un « groupe d’oiseaux posés sur une branche d’arbre ». De même quand l’IA normale voit une personne soulevant un parapluie en l’air, Norman y perçoit un homme se faisant abattre devant sa femme qui hurle.
Justement, puisque Norman n’a été nourri que d’images spécifiques traitant du thème de la mort et accompagnées de descriptions tout aussi choquantes, son interprétation s’est formée sur une seule réalité, celle de la mort. Tandis qu’une IA normale elle est souvent nourrie de lots de photos généralistes et très variées.
Cette expérimentation nous rappelle le cas de l’IA Tay conçue par Microsoft, en moins d’une journée, cette application de l’intelligence artificielle est devenue un fan d’Hitler, et a commencé à publier des tweets vulgaires et racistes. Face à cette situation, Microsoft a dû arrêter le bot et s’est excusée ; la firme a évoqué par la suite une attaque coordonnée pour exploiter une vulnérabilité dans Tay. Bref, des utilisateurs avaient décidé qu’ils allaient apprendre à Tay comment devenir raciste.
Cette expérience illustre donc le risque de biais des IA, non pas en raison des algorithmes, mais des lots de données utilisées. Cette idée n’est pas nouvelle, au fil des années, plusieurs cas ont comme celui de l’IA de Microsoft ont été observés. Norman n’est qu’un dernier exemple qui montre comment une IA peut tourner à la dérive si les données qui lui ont été prescrites sont mauvaises ou biaisées.
« Norman vient de l’idée que les données utilisées pour entraîner un algorithme d’apprentissage peuvent influencer son comportement de façon considérable », expliquent les chercheurs sur leur site. Ce programme « représente une étude de cas sur les dangers de l’intelligence artificielle si des données biaisées sont utilisées ».
Google qui vient de publier ses principes d’éthique pour l’IA s’est attardée aussi sur la question du biais des bases de données. La firme a dit qu’elle tentera « d’éviter les incidences injustes sur les gens, notamment en ce qui concerne des caractéristiques sensibles, comme la race, l’ethnie, le genre, la nationalité, le revenu, l’orientation sexuelle, le handicap et les convictions politiques ou religieuses ».
Après leur expérience, les scientifiques invitent les internautes à les aider pour soigner Norman en apportant leur propre interprétation des taches noires.
Source : Norman - Le Monde
Et vous ?
Voir aussi :
-
NeckaraInactifC'était pour prouver mon affirmation par l'exemple.
Non.
Premièrement, ce n'est pas parce que je dis que je suis.
Notamment parce que je peux, sans être raciste :
- être ironique
- être sarcastique ;
- troller ;
- mentir ;
- plaisanter ;
- jouer (au sens comédien) ;
- etc.
Ensuite, le comportement humain n'est pas que appris, et peut avoir des facteurs génétiques, hormonal, environnemental, etc.
Il ne s'agit pas non plus de répéter bêtement des actions qui ont menés à des succès, déjà parce que :
- nos définissons nos propres valeurs / succès ;
- nous essayons de nouvelles choses.
Sachant aussi qu'il faut faire une différence entre IA forte et IA faible, et à ma connaissance, nous n'avons pas encore d'IA forte. Donc la comparaison avec l'être humain reste abusive.
Il n'y a pas besoin d'en avoir l'idée pour l'être.
Il faut différencier :
- les actions (dire une phrase "raciste"
; - l'idéologie (être raciste);
- la manière dont on est "perçu" (être vulgaire).
le 12/06/2018 à 9:04 -
NeckaraInactifTest qui rappelons-le ne vaut rien...
Non.
Vulgaire, choquant, offensant, à la limite, mais pas raciste.
Il faut arrêter d'utiliser les mots à tord et à travers sous peine de leur faire perdre leur sens...
L'IA n'avait aucune idéologie de hiérarchisation des races, elle se contentait juste de répéter ce qu'elle avait entendu, c'est tout.le 12/06/2018 à 6:06 -
JipétéExpert éminent séniorBonne idée !
tord n'existe pas, c'est tort avec un T comme Thérèse ou Tortue et avec ce truc, c'est facile de s'en souvenir : ta tortue, ton tort tue, tu vois un "D" quelque part ?
Oui, je suis HS mais si ce n'est pas moi qui redresse les sens tordus, c'est qui, alors ?le 12/06/2018 à 8:53 -
transgohanExpert éminentC'est le fondement même d'une IA, on pourrait faire la même chose avec un enfant, mais ça nombreuses sont les personnes qui ne le comprennent pas et ne voient donc pas le danger dans l'IA.
Un enfant grandit, et s'il a une bonne éducation il a moins de chance d'avoir de prendre des idées macabres comme étant la normalité. Et au bout d'un certain âge il finit par enrichir son socle de connaissance mais possède des barrières qui l'empêcheront de trop varier.
Il faut comprendre par là qu'il est plus difficile pour un adulte de basculer dans la violence psychologique s'il a eu une enfance calme et reposante.
Mais une IA... Elle reste selon moi à l'état d'enfant toute sa vie.
On pourra toujours l'influencer, ce ne sera qu'une question de quantité de données pour faire pencher sa moyenne.
C'est mathématique quoi...
Toi aussi tu as été abreuvé d'images macabres durant ta jeunesse ?le 12/06/2018 à 9:17 -
NeckaraInactifJe dirais que c'est plutôt l'inverse.
Le racisme est l'état "naturel", ce qui ne veut pas dire que ce soit bien. C'est plutôt le fait de ne pas être raciste qui serait un comportement appris.
On peut par ailleurs en trouver quelques exemples dans la nature, que ce soit la façon dont les albinos sont traités par leurs congénères, ou le fait que des animaux "ennemis", si élevés ensembles, peuvent très bien vivre en paix.le 12/06/2018 à 9:36 -
JamatronicMembre éprouvéC'est donc une inintelligence artificielle.le 12/06/2018 à 12:00
-
NeckaraInactifAh ? Et quelle est ta fonction d'évaluation du bien-être du genre humain ?le 15/06/2018 à 15:43
-
Matthieu76Membre éclairéIA a juste répété ce qu'elle a appris. Arrêtez d'en faire tout un fromage !le 18/06/2018 à 10:19
-
onilink_Membre émériteNon, ça dépend de l'algo. Et jusqu'à présent on a pas été capable de faire une IA capable d'apprendre par elle même comme le ferait un humain.
Donc c'est même pas comparable à un enfant. Mais ça t’empêche pas de faire en sorte que ton IA ait des "convictions personnelles" (si on peut dire ça comme ça) immuables, ou qui donne de moins en moins d'importance à ce qu'elle reçoit comme données au fur et à mesure du temps (histoire de rester stable après une première phase d'apprentissage contrôlé), ou l'inverse.
De toute façon la plupart des applications qu'on fait de l'IA de nos jours s'appuient sur un modèle fixe (genre la reconnaissance d'image, une fois que t'as entraîne ton réseau, bah t'y touche plus) non?le 12/06/2018 à 9:37 -
NeckaraInactif???
Être raciste, c'est se conformer à une idéologie de hiérarchisation des races.
Contrairement à être vulgaire, qui est d'être perçu comme tel du fait de nos actes.
Comme je l'ai dit, il faut différencier l'idéologie, les actions, et la manière dont on est perçu.le 12/06/2018 à 18:41