IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

Un chercheur en IA forme un chatbot IA sur 4Chan pour en faire une véritable « machine à discours haineux »
Après 24 heures, neuf instances du bot fonctionnant sur 4chan avaient posté 15 000 fois

Le , par Stéphane le calme

0PARTAGES

20  0 
Un chercheur farceur a formé un chatbot IA sur plus de 134 millions de messages sur le forum Internet notoirement connu 4chan, puis l'a mis en ligne sur le site avant qu'il ne soit rapidement interdit.

Yannic Kilcher, chercheur en intelligence artificielle qui publie certains de ses travaux sur YouTube, a appelé sa création GPT-4chan et l'a décrite comme étant « la pire IA de tous les temps ». Il a formé GPT-J 6B, un modèle de langage open source, sur un ensemble de données contenant 3,5 ans de publications extraites de l'imageboard de 4chan. Kilcher a ensuite développé un chatbot qui traitait les messages 4chan comme entrées et générait des sorties texte, commentant automatiquement dans de nombreux fils de discussion.

4chan, est tristement célèbre pour sa toxicité : messages racistes, misogynes, etc., tout y passe au nom de la liberté d'expression. Pourtant, les membres ont rapidement remarqué qu'un compte 4chan publiait fréquemment de manière suspecte et ont émis l'hypothèse selon laquelle il s'agissait d'un bot.

Alors que 4Chan exige généralement que les utilisateurs remplissent un CAPTCHA pour prouver leur humanité, Kilcher l'a contourné en se procurant un 4Chan Pass, un abonnement premium de 20 $/mois qui permet aux membres d'ignorer le CAPTCHA. Le 4Chan Pass permet également de publier à partir d'un serveur proxy, ce qui n'est généralement pas autorisé. Le bot de Kilcher fonctionnait sur un basé aux Seychelles, une petite nation insulaire au large des côtes de l'Afrique de l'Est.

GPT-4chan s'est comporté comme les utilisateurs de 4chan, lançant des insultes et multipliant des théories du complot avant d'être banni.

« Le modèle était bon, dans un sens terrible », déclare Kilcher dans une vidéo sur YouTube décrivant le projet. « Cela résume parfaitement le mélange d'offenses, de nihilisme, de trolling et de profonde méfiance à l'égard de toute information quelle qu'elle soit qui imprègne la plupart des publications sur /pol/ ».


Les éthiciens et les chercheurs en IA expriment leur inquiétude

Après que Kilcher ait posté sa vidéo et ait posté une copie du programme sur Hugging Face, une sorte de GitHub pour l'IA, des éthiciens et des chercheurs dans le domaine de l'IA ont exprimé leur inquiétude.

Le bot était d'une efficacité choquante et reproduisait le ton et sensation de messages 4chan.

Selon la vidéo de Kilcher, il a activé neuf instances du bot et leur a permis de publier pendant 24 heures sur /pol/. Pendant ce temps, les bots ont posté environ 15 000 fois. Cela représentait « plus de 10% de tous les messages publiés sur le tableau politiquement incorrect ce jour-là », a déclaré Kilcher dans sa vidéo sur le projet.

Les chercheurs en intelligence artificielle n'ont pas considéré la vidéo de Kilcher comme une simple farce sur YouTube. Pour eux, c'était une expérience contraire à l'éthique utilisant l'IA. « Cette expérience ne passerait jamais un comité d'éthique de la recherche humaine », a déclaré Lauren Oakden-Rayner, directrice de la recherche en imagerie médicale au Royal Adelaide Hospital et chercheuse principale à l'Australian Institute for Machine Learning, dans un fil Twitter.


« La science ouverte et les logiciels sont des principes merveilleux mais doivent être mis en balance avec les dommages potentiels », a-t-elle déclaré. « La recherche médicale a une forte culture éthique parce que nous avons une histoire terrible de causer du tort aux gens, généralement de groupes impuissants... il a effectué des expériences humaines sans en informer les utilisateurs, sans consentement ni surveillance. Cela enfreint tous les principes de l'éthique de la recherche humaine ».

Kilcher a rappelé sur Twitter qu'il n'était pas un universitaire : « Je suis un YouTuber et c'est une farce. De plus, mes bots, le cas échéant, produisent de loin le contenu le plus doux et le plus timide que vous trouverez sur 4chan », a-t-il déclaré. « J'ai limité le temps et le nombre de publications, et je ne distribue pas le code du bot lui-même ».

Il a également repoussé, comme il l'avait fait sur Twitter, l'idée que ce bot ferait du mal ou avait fait du mal : « Tout ce que j'entends, ce sont de vagues déclarations grandiloquentes sur le "préjudice", mais absolument aucun cas de préjudice réel », a-t-il déclaré. « C'est comme un mot magique que ces gens disent mais rien de plus ».

L'environnement de 4chan est si toxique, a expliqué Kilcher, que les messages déployés par ses bots n'auraient aucun impact. « Personne sur 4chan n'a même été un peu blessé par cela », a-t-il déclaré. « Je vous invite à aller passer un peu de temps sur /pol/ et à vous demander si un bot qui sort juste le même style change vraiment l'expérience ».

Après que des chercheurs en intelligence artificielle ont alerté Hugging Face de la nature nocive du bot, le site a fermé le modèle et les gens n'ont pas pu le télécharger. « Après de nombreux débats internes à HF, nous avons décidé de ne pas supprimer le modèle que l'auteur a téléchargé ici dans les conditions suivantes*: #1 La fiche modèle et la vidéo avertissaient clairement des limitations et des problèmes soulevés par le modèle et la section POL de 4Chan en général. #2 Le widget d'inférence a été désactivé afin de ne pas faciliter l'utilisation du modèle », a déclaré le cofondateur et PDG de Hugging Face, Clément Delangue, sur Hugging Face.


Un bot utile ?

Kilcher a expliqué dans sa vidéo, et Delangue a cité dans sa réponse, que l'une des choses qui rendaient GPT4-Chan intéressant était sa capacité à surpasser d'autres bots similaires dans les tests d'IA conçus pour mesurer la « véracité ».

« Nous avons considéré qu'il était utile pour le terrain de tester ce qu'un modèle entraîné sur de telles données pouvait faire et comment il s'en sortait par rapport à d'autres (à savoir GPT-3) et aiderait à attirer l'attention à la fois sur les limites et les risques de ces modèles », a indiqué Delangue. « Nous avons également travaillé sur une fonctionnalité permettant de "fermer" de tels modèles que nous priorisons actuellement pour des raisons éthiques ».

Lorsqu'il a été contacté pour commenter, Delangue a déclaré que Hugging Face avait pris la mesure supplémentaire de bloquer tous les téléchargements du modèle.

« Construire un système capable de créer un contenu indiciblement horrible, l'utiliser pour produire des dizaines de milliers de messages pour la plupart toxiques sur un véritable babillard électronique, puis le publier dans le monde entier afin que n'importe qui d'autre puisse faire de même, cette décision semble la plus indiquée », a déclaré Arthur Holland Michel, chercheur en intelligence artificielle et écrivain pour le Comité international de la Croix-Rouge.

« Cela pourrait générer un contenu extrêmement toxique à une échelle massive et soutenue », a continué Michel. « De toute évidence, il y a déjà une tonne de trolls humains sur Internet qui font ça à l'ancienne. Ce qui est différent ici, c'est la quantité de contenu qu'il peut créer avec ce système, une seule personne a pu publier 30 000 commentaires sur 4chan en l'espace de quelques jours. Imaginez maintenant quel genre de mal une équipe de dix, vingt ou cent personnes coordonnées utilisant ce système pourrait faire ».

Kilcher ne croyait pas que GPT-4chan puisse être déployé à grande échelle pour des campagnes de haine ciblées. « Il est en fait assez difficile de faire dire à GPT-4chan quelque chose de ciblé », a-t-il déclaré. « Habituellement, il se comporte mal de manière étrange et est très inadapté à l'exécution de quoi que ce soit de ciblé. Encore une fois, de vagues accusations hypothétiques sont lancées, sans aucune instance ni preuve réelle ».


Os Keyes, un collègue d'Ada Lovelace doctorant à l'Université de Washington, a estimé que le commentaire de Kilcher n'était pas pertinent : « C'est une bonne occasion de discuter non pas du mal, mais du fait que ce mal est si évidemment prévisible, et que sa réponse de "montrez-moi où il a fait du mal" est complètement à côté de la plaque et est inadéquate », a-t-il déclaré. « Si je dépense la succession de ma grand-mère en cartes de station-service et que je les jette par-dessus le mur dans une prison, nous ne devrions pas avoir à attendre que le premier libéré sur parole commence à allumer des incendies pour convenir que c'était une chose phénoménalement stupide à faire ».

« Mais - et c'est un gros "mais" - c'est un peu l'objectif », a déclaré Keyes. « C'est un projet insipide dont rien de bon ne peut sortir, et c'est en quelque sorte inévitable. Toutefois, il y a un équilibre à trouver entre la sensibilisation aux problèmes et l'attention portée à quelqu'un dont le seul modèle apparent d'importance dans le monde est "faites attention à moi!" »

Kilcher a dit, à plusieurs reprises, qu'il savait que le bot était ignoble : « Je suis évidemment conscient que le modèle ne fonctionnera pas bien dans un cadre professionnel ou à la table de la plupart des gens », a-t-il déclaré. « Il utilise des jurons, des insultes fortes, a des opinions complotistes et toutes sortes de propriétés "désagréables". Après tout, il est formé sur /pol/ et il reflète le ton et les sujets communs de ce forum.*»

Il a dit qu'il sentait qu'il avait été clair, mais qu'il voulait que ses résultats soient reproductibles et c'est pourquoi il a posté le modèle sur Hugging Face. « En ce qui concerne les résultats de l'évaluation, certains d'entre eux étaient vraiment intéressants et inattendus et ont révélé des faiblesses dans les références actuelles, ce qui n'aurait pas été possible sans faire le travail ».

Kathryn Cramer, étudiante diplômée en systèmes complexes et sciences des données à l'Université du Vermont, a souligné que GPT-3 a des garde-fous qui l'empêchent d'être utilisé pour construire ce type de bot raciste et que Kilcher a dû utiliser GPT-J pour construire son système. « J'ai essayé le mode démo de votre outil 4 fois, en utilisant des tweets bénins de mon flux comme texte de base », a déclaré Cramer dans un fil de discussion sur Hugging Face. « Lors du premier essai, l'un des messages de réponse était un seul mot, un mot en N. La graine de mon troisième essai était, je pense, une seule phrase sur le changement climatique. Votre outil a répondu en l'étendant à une théorie du complot selon laquelle les Rothschild et les Juifs seraient derrière ».

Cramer a déclaré qu'elle avait beaucoup d'expérience avec GPT-3 et comprenait certaines des frustrations liées à la façon dont il censurait a priori certains types de comportement. « Je ne suis pas fan de ce garde-corps », a-t-elle déclaré. « Je trouve cela profondément ennuyeux et je pense que cela fausse les résultats… Je comprends l'envie de repousser cela. Je comprends même l'envie de faire des farces à ce sujet. Mais la réalité est qu'il a essentiellement inventé une machine à discours haineux, l'a utilisée 30 000 fois et l'a relâchée dans la nature. Eh oui, je comprends que l'on puisse être ennuyé par les règles de sécurité, mais ce n'est pas une réponse légitime à cet agacement ».

Keyes était du même avis : « Certes, nous devons poser des questions significatives sur la façon dont GPT-3 est limité (ou non) dans la façon dont il peut être utilisé, ou quelles sont les responsabilités des personnes lors du déploiement des choses », a-t-il déclaré. « Le premier devrait être dirigé vers les développeurs de GPT-3, et tandis que le second devrait être dirigé vers Kilcher, il n'est pas clair pour moi qu'il s'en soucie réellement. Certaines personnes veulent juste être énervées par un besoin d'attention peu sûr. La plupart d'entre eux utilisent 4chan ; certains d'entre eux, semble-t-il, en font des modèles ».

Sources : vidéo d'explication de Yannic Kilcher dans le texte, Dr. Lauren Oakden-Rayner, Clement Delangue, Yannic Kilcher

Et vous ?

Que pensez-vous de cette expérience ?
Que pensez-vous des inquiétudes exprimez par les chercheurs en IA et les éthiciens ?
Comprenez-vous la ligne de défense du chercheur qui estime que son chatbot n'a rien fait de répréhensible puisque personne ne s'en est plaint, mais surtout parce que les messages qu'il a publié sont parmi les plus « doux » sur 4chan ?

Voir aussi :

Microsoft explique les raisons qui ont fait de son chatbot Tay un fan d'Hitler, l'entreprise parle d'une « attaque coordonnée »
L'armée américaine voudrait enseigner à l'IA des notions basiques de bon sens, dans le cadre de son programme Machine Common Sense
Deux chatbots chinois auraient été désactivés et reconditionnés après avoir manqué de faire preuve de patriotisme
Qui devra être tenu pour responsable si une intelligence artificielle fait un mauvais diagnostic, induisant un médecin en erreur ?

Une erreur dans cette actualité ? Signalez-nous-la !

Avatar de Jules34
Membre expérimenté https://www.developpez.com
Le 10/06/2022 à 9:52
Citation Envoyé par mith06 Voir le message
Je me demande quel pourcentage un bot ferait à la présidentielle?
Quand je vois leurs capacités à changer les choses et dire des conneries, nos politiciens sont pas loin d'avoir le même problème d'éthique que ce bot
6  0 
Avatar de onilink_
Membre émérite https://www.developpez.com
Le 09/06/2022 à 20:48
La réaction des chercheurs est assez amusante.
Dans quel monde croient-il vivre pour imaginer que ce genre de chose ne finirais pas arriver?
Je suis même étonné de pas voir ce genre de bots plus souvent...

Ou en fait, c'est déjà le cas, mais peut être qu'on ne le remarque juste pas.
Au moins ce youtubeur a eu la décence de faire une vidéo, expliquer les ficelles etc derrière, et donc au final de mettre à jour une pratique qui était peut être déjà courante, ou qui le sera de plus en plus dans le futur.
5  0 
Avatar de daerlnaxe
Membre éprouvé https://www.developpez.com
Le 10/06/2022 à 9:14
Je pense que le problème est pris à l'envers. On parle d'éthique, l'expérience de Milgram à ce compte ne passerait pas ? Je ne vais pas rentrer dans le détail concernant la remise en question de la dite expérience, supposons qu'elle reste validée, et pour ma part les résultats ne m'ont jamais étonné.

La réelle question à se poser est où s'arrête la liberté d'expression, où commence aussi d'un côté le préjudice et de l'autre l'endoctrinement. Est ce que réellement si A profère B, C va suivre A ou bien est ce que si B ailleurs aura un comportement similaire à A, C n'a pas été altéré. Tout cela pose surtout la question au final de la toxicité des RS, mais surtout du manque de recul aussi de gens qui n'ont pas le profil pour. Pour ma part ça m'est arrivé (à titre temporaire car me lassant assez vite) d'intégrer ces groupes connus comme toxiques, où grosso modo tu ne parles jamais autrement qu'en proférant des insultes, à l'autre... Déjà beaucoup qui ont une position prédominante ne se rendent pas compte qu'ils vont perdre à un moment et ce qu'ils vont perdre paradoxalement c'est la réputation qu'ils se seront taillés et là de ne plus prendre avec du second degré mais d'en devenir haineux. J'ai toujours éprouvé un malin plaisir à tester ce genre de limites, sachant que pour ma part je me moque éperdument d'être en haut de ce genre d'échelle, c'est même pour ça que dès le début j'optais pour un pseudonyme que je savais voué à finir à la poubelle. Globalement en dehors de sites sérieux comme ici, les gens devraient se moquer totalement de ce qu'on peut leur dire, ils ne devraient pas fournir trop de données personnelles, voire pas du tout.... Ils devraient à tout moment couper avec un "killswitch" leur compte. Pour autant je ne valide pas les insultes gratuites, la volonté de blesser les gens sans raison etc etc et comme je le dis là où ça ne me dérange pas c'est quand ce sont des zones connues pour ça où l'on rentre en toute connaissance de cause comme on va dans un bar malfamé ... Mais quand ça arrive il faut savoir le plus possible en laisser, et surtout en amont il faut avoir eu l'intelligence de mettre un firewall entre sa vie personnelle et celle des réseaux.

Moi la question que je me pose et qui est donc plus ou moins formée dans mon paragraphe c'est de savoir si l'humanité est réellement prête à squatter les Réseaux Sociaux, que ça soit les globaux comme FB/Twitter etc.. ou même les communautaires comme notre bon site ici. Ca serait différent sur des zones où l'on n'annonce pas la couleur, comme ici, je pense que les insultes et moqueries n'ont pas leur place. Maintenant sur un forum WTF, si ça permet aux gens de se défouler... Je m'inquiète limite plus de cette volonté de créer des safe zone partout, ça part toujours d'un bon sentiment... Internet n'est pas ma vie, d'ailleurs sincèrement plus le temps a passé et moins j'ai multiplié les sites où j'allais. Je le trouve de plus en plus redondant, inintéressant, en dehors de quelques sites dont je fais le tour assez vite. Il reste son côté pratique au niveau des achats. Je pense que le principal problème n'est pas l'IA qui n'est qu'une farce au final... Si derrière on s'inquiète de l'influence qu'elle peut avoir c'est qu'influence il y a ... quand il ne devrait pas y en avoir, ou du moins de manière ultra limitée. Reste à voir qui se connecte, quel age, comment sont formés ces gens... Combien ont débarqué en étalant tout de leur vie personnelle, ces dernières années ? J'ai moi même fini par faire l'erreur à cause de FB qui m'a obligé à dévoiler mon identité.

Dernier point, on ne me fera jamais croire que des forums fabriquent des tueurs... Ca peut entrer dans les facteurs mais c'est une conjugaison de plusieurs. Là on s'intéresse à 4chan car un des derniers tueurs de masse y était, mais est ce qu'on s'est posé la question pour cet homme de 50 et qqs qui a fait feu dans le métro en visant des blancs ? Pourtant on est en plein dans la mouvance BLM, l'intersectionnalité etc... Des discours racialistes qu'on entendait plus car l'universalisme avait fait du bon travail. Mais est ce que pour autant on peut dire qu'une personne normale, équilibrée, éduquée (attention je ne veux pas lever la responsabilité pénale par contre) va se laisser corrompre par des discours sur le net. Et sincèrement est ce qu'aussi le temps passé sur ces RS n'est pas le facteur clé plus important dans l'histoire que le contenu qu'on y trouve en lui même ?

Je pense que la manière dont a été abordée le problème est très simpliste et témoigne des préjugés et/ou d'intérêts personnels. Il y a des questions bien plus complexes auxquelles il faut répondre. Pour ma part je suis même pour mettre en place des obligations pour limiter les connexions aux RS, comme sur les MMORPG pour autant j'ai utilisé les deux, mais je sais justement à quel point c'est nécessaire. L'hyperconnexion est un véritable poison pour l'esprit, les RS sont des leurres laissant croire que l'on communique, y compris avec des gens que l'on connait IRL.
4  1 
Avatar de mith06
Membre expérimenté https://www.developpez.com
Le 10/06/2022 à 8:50
Je me demande quel pourcentage un bot ferait à la présidentielle?
1  0 
Avatar de kain_tn
Expert éminent https://www.developpez.com
Le 10/06/2022 à 12:19
Citation Envoyé par daerlnaxe Voir le message

Dernier point, on ne me fera jamais croire que des forums fabriquent des tueurs... Ca peut entrer dans les facteurs mais c'est une conjugaison de plusieurs. Là on s'intéresse à 4chan car un des derniers tueurs de masse y était, mais est ce qu'on s'est posé la question pour cet homme de 50 et qqs qui a fait feu dans le métro en visant des blancs ? Pourtant on est en plein dans la mouvance BLM, l'intersectionnalité etc... Des discours racialistes qu'on entendait plus car l'universalisme avait fait du bon travail. Mais est ce que pour autant on peut dire qu'une personne normale, équilibrée, éduquée (attention je ne veux pas lever la responsabilité pénale par contre) va se laisser corrompre par des discours sur le net. Et sincèrement est ce qu'aussi le temps passé sur ces RS n'est pas le facteur clé plus important dans l'histoire que le contenu qu'on y trouve en lui même ?
Disons que l'argument "c'est la faute à tel forum/site/etc" est un argument facile à une époque où on cherche à brider le plus possible la liberté d'expression. À aucun moment on se demande pourquoi ça existait avant Internet, ni pourquoi c'est aussi courant aux USA et pas dans d'autres pays où les populations sont elles aussi armées.
1  0 
Avatar de totozor
Membre expert https://www.developpez.com
Le 10/06/2022 à 12:43
Citation Envoyé par mith06 Voir le message
Je me demande quel pourcentage un bot ferait à la présidentielle?
7.07%, au hasard
2  1 
Avatar de Madmac
Membre extrêmement actif https://www.developpez.com
Le 13/06/2022 à 16:32
Citation Envoyé par kain_tn Voir le message
Disons que l'argument "c'est la faute à tel forum/site/etc" est un argument facile à une époque où on cherche à brider le plus possible la liberté d'expression.
L'endoctrinement par les médias et les médias sociaux est un véritable problème. "Si vous répêtez mille fois le même mensonge, il finit par devenir une vérité". Et cela a de veritable incidence lorsque ces mensonges diabolisent des gens. Avec comme conséquence que des innocents sont sont victime de tentative de meurtre. Il ne faut minimiser les dangers que cela cause chez les faibles d'esprits.

Citation Envoyé par kain_tn Voir le message

À aucun moment on se demande pourquoi ça existait avant Internet, ni pourquoi c'est aussi courant aux USA et pas dans d'autres pays où les populations sont elles aussi armées.
Car les médias sont très biaisés aux EU. Et la majorité mentent ouvertement. Vous avez plus de change de savoir ce qui ce passe aux États-Unis en lisant les journaux étrangers. Fox news est décent, mais cela n'a rien de comparable à la qualité de l'information d'il y a 20 ans. Connaître la vérité demande maintenant du travail.
0  3