Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

Microsoft explique les raisons qui ont fait de son chatbot Tay un fan d'Hitler
L'entreprise parle d'une « attaque coordonnée »

Le , par Stéphane le calme

156PARTAGES

12  0 
Microsoft s’est excusé pour les tweets déplacés de Tay : son chatbot qui était supposé reproduire une conversation qu’aurait tenue une jeune femme âgée entre 18 et 24 ans sur les plateformes Twitter, Kik et GroupMe, a été mis hors ligne en moins de 24 heures après des tweets comme « je déteste les féministes, et ils devraient tous mourir et brûler en enfer », ou « Hitler avait raison, je déteste les juifs ».


« Comme plusieurs d’entre vous le savent, mercredi nous avons lancé le chatbot appelé Tay. Nous sommes profondément désolés pour les malencontreux tweets offensant et blessant de Tay, qui ne représentent pas qui nous sommes, ou ce que nous représentons, et encore moins la façon dont nous avons conçu Tay. Tay est désormais hors ligne et nous allons le remettre en ligne dès que nous serons sûrs de pouvoir mieux anticiper les incidents qui s’opposent à nos principes et valeurs » a expliqué Peter Lee, Corporate Vice President, Microsoft Research.

Il a rappelé le contexte de la création de Tay : « Tay n’a pas été la première application d’intelligence artificielle que nous avons déployée dans le monde des réseaux sociaux. En Chine, nous avons notre chatbot XiaoIce qui est utilisé par 40 millions de personnes, les délectant d’histoires et de conversations. La grande expérience de XiaoIce nous a fait nous demander : est-ce qu’une IA comme celle-ci pourrait être aussi captivante dans un environnement culturel radicalement différent ? Tay, un chatbot créé pour les personnes âgées entre 18 et 24 ans aux États-Unis pour des besoins de divertissement était notre première tentative de réponse à cette question ».

Tandis que Tay était en développement, de nombreux filtres lui ont été appliqués et divers groupes de bêta testeurs l’ont essayé. Un accent a été mis sur l’expérience positive. « Une fois que nous étions satisfaits de la façon dont Tay interagissait avec les utilisateurs, nous avons voulu inviter un plus grand groupe de personnes à discuter avec elle. C’est par un accroissement des interactions que nous espérons en apprendre plus et que l’IA fasse de mieux en mieux ».

Pour commencer cette aventure, Twitter a été le choix logique de Microsoft, sans doute à cause du nombre d’utilisateurs. « Malheureusement, dans les premières 24 heures de sa mise en ligne, une attaque coordonnée, lancée par quelques individus, a exploité une vulnérabilité dans Tay. Bien que nous soyons préparés à plusieurs cas d’abus du système, nous avons fait un contrôle critique de cette attaque spécifique. Par conséquent, Tay a fait des tweets de mots et d’images très inappropriés », a expliqué Microsoft. « Nous prenons l’entière responsabilité pour ne pas avoir pu voir venir cette possibilité d’attaque », a indiqué Microsoft qui a avancé « prendre cela comme une leçon » qui sera combinée à ses expériences en Chine, au Japon et aux États-Unis. Pour le moment, la société voudrait d’abord colmater la faille qui a été exploitée.

Concrètement, que s’est-il passé ? L’un des problèmes avec les machines d’apprentissage c’est qu’elles ne « savent » pas ce dont elles sont en train de parler. Aussi, les utilisateurs 4chan et 8chan, qui se sont fait une réputation en ligne avec des théories du complot, mais aussi par leur capacité à mobiliser des lecteurs pour participer à des campagnes en ligne, ont fait savoir sur leurs espaces qu’ils allaient apprendre au bot à être raciste.

C’est 4chan qui a découvert le premier le bot, expliquant sur son espace qu’il allait faire un carnage. Plusieurs échanges privés avec le bot ont été partagés pour célébrer les tentatives de voir Tay accepter des choses horribles.




4chan a donc réalisé qu’il pouvait faire que Tay fasse des tweets sur Hitler, le racisme, etc. 8chan l’a rejoint un peu plus tard. Il a ouvert un sujet et a expliqué à ses lecteurs : « alors au cas où vous ne le sauriez pas, Microsoft a publié une IA sur Twitter avec laquelle vous pouvez avoir des échanges. Gardez à l’esprit qu’elle apprend des choses en se basant sur ce que vous dites et comment vous interagissez avec elle. Donc je pense que nous pouvons commencer par l’histoire de base. J’espère que vous pourrez m’aider à éduquer ce pauvre e-jeune ».

En parlant d’histoire de base, il a dénigré l’holocauste, prôné un amour sans mesure pour Donald Trump, parlé de la Racial Holy War (un concept de suprémacistes blancs), etc.

Ils ont également fait appel aux capacités d’annotation de Tay comme ici



Lorsque Tay a été mis hors ligne, 4chan et 8chan ont célébré leur victoire. Le sujet de célébration qui a été posté par 8chan a eu tellement de réponses qu’il a dû en ouvrir un nouveau. Les commentaires sont un mélange de joie d’avoir réussi cette mission, de déception parce que les choses ne sont pas allées plus loin, l’un d’eux disant qu’ils auraient dû « leurrer Microsoft dans un sentiment de sécurité pour le laisser le déployer comme produit commercialisable ».

Source : blog Microsoft, Fusion

Une erreur dans cette actualité ? Signalez-le nous !

Avatar de rawsrc
Modérateur https://www.developpez.com
Le 27/03/2016 à 16:57
Quand on vous dit que tout va plus vite...

Avant cela devait prendre du temps pour faire "un bon nazi", maintenant en moins de 24 heures tu passes de l'amour le plus universel au nazi le plus sectaire.
L'avantage au fait qu'avant les conversions prenaient plus de temps c'est qu'entre temps, il y avait une plus grande probabilité d'avoir un apport externe qui amène une réflexion plus profonde, un apport qui t'amène à reconsidérer une croyance assénée souvent comme une vérité et au final ce délai pouvait s'avérer salutaire. Alors que maintenant, en 24h, tu veux faire quoi ? Tu gobes et basta. IA ou pas IA.

Purée, vive l'éloge d'une certaine lenteur.
Cette énorme boulette est à l'image du fonctionnement de notre société moderne : totalement débile.
7  0 
Avatar de 10_GOTO_10
Membre expérimenté https://www.developpez.com
Le 27/03/2016 à 16:03
Ca montre un défaut de l'intelligence tout court, et non un défaut spécifique de l'intelligence artificielle. Tout système apprenant peut être la victime de manipulations :

« Je peux convaincre n’importe qui de n’importe quoi si je le répète assez souvent et que le sujet n’ait aucune autre source d’information » (Charles Manson, gourou d’une secte américaine).
CQFD
6  0 
Avatar de benjamin_musique
Membre habitué https://www.developpez.com
Le 27/03/2016 à 11:55
L’un des problèmes avec les machines d’apprentissage c’est qu’elles ne « savent » pas ce dont elles sont en train de parler
Ces chatbots n'ont l'air de n'être rien de plus que des analyseurs sémantiques qui essaient de créer des réponses sémantiquement correctes, sans intention ni compréhension du contexte ... c'est limité comme apprentissage

Concernant toutes ces " innovations " on pourrait arrêter de parler d'intelligence artificielle non?
5  0 
Avatar de BufferBob
Expert éminent https://www.developpez.com
Le 27/03/2016 à 13:09
en même temps on s'offusque de ce que dit un chatbot alors qu'il ne fait manifestement que paraphraser (au mieux !) les humains, on pourrait probablement parler des péchés des pères, mais de mon point de vue ce sont plutôt les humains utilisateurs de 4chan/8chan qui depuis des années démontrent le caractère artificiel de leur intelligence
3  0 
Avatar de Squisqui
En attente de confirmation mail https://www.developpez.com
Le 28/03/2016 à 11:58
Citation Envoyé par 10_GOTO_10 Voir le message
Ca montre un défaut de l'intelligence tout court, et non un défaut spécifique de l'intelligence artificielle. Tout système apprenant peut être la victime de manipulations
Tay est clairement une jeune fille qui n'avait pas de parents qui auraient dû lui apprendre les mœurs.
En gros, il aurait fallu biaiser l'IA avant que d'autres le fasse.
2  0 
Avatar de TiranusKBX
Expert confirmé https://www.developpez.com
Le 27/03/2016 à 15:24
Cette histoire me fait marrer car l'on voit que les testeurs de chez Microsoft manquent d'imagination pour tester le plus de cas possible sinon cela aurait été détecté plus tôt vus l'ampleur du problème
1  0 
Avatar de bclinton
Membre habitué https://www.developpez.com
Le 29/03/2016 à 9:27
Ils n'ont pas vu le film Chappie chez Micro$oft.
1  0 
Avatar de souviron34
Expert éminent sénior https://www.developpez.com
Le 29/03/2016 à 21:13
Citation Envoyé par Squisqui Voir le message
Tay est clairement une jeune fille qui n'avait pas de parents qui auraient dû lui apprendre les mœurs.
En gros, il aurait fallu biaiser l'IA avant que d'autres le fasse.
Fixed !!
1  1 
Avatar de stalacta
Membre averti https://www.developpez.com
Le 01/04/2016 à 21:08
Bah, plus un fait divers amusant qu'un réel problème . Ca aura au moins le mérite d'apprendre aux gens comment sont programmés les chat-bot
0  0 
Avatar de hotcryx
Membre extrêmement actif https://www.developpez.com
Le 29/03/2016 à 16:17
Et ils vont nous faire gober que le robot peut remplacer l'homme => ça va vite se terminer en guerre.

Mais faisons le point, combien de guerres depuis 1900?

Pouvons-nous en déduire que les présidents sont des robots? hum!

Ou qu'ils n'ont pas d'amour?
0  1