Le modèle d'IA de génération d'images Midjourney suspend les essais gratuits après que les deepfakes sont devenus viraux,

Mais la société impute ce choix à la création excessive de comptes jetables

Midjourney a discrètement mis fin aux essais gratuits de son modèle d'IA de génération d'images après avoir constaté "un afflux soudain de nouveaux utilisateurs et un abus de l'offre gratuite". Cette décision intervient après que Midjourney s'est retrouvé au cœur d'une attention indésirable ces dernières semaines. Son modèle d'IA a été utilisé pour créer des deepfakes de Donald Trump en train de se faire arrêter et du pape François portant un manteau à la mode. Le PDG de Midjourney, David Holz, a déclaré mardi que l'entreprise a tenté de résoudre les problèmes d'abus avec des correctifs de sécurité, mais que ces changements n'ont malheureusement pas suffi.

Midjourney est une IA qui génère des images en fonction des instructions fournies par l'utilisateur. Aussi absurdes ou irréalistes que soient les requêtes, Midjourney est capable d'en produire au moins l'essentiel. Il existe de nombreux autres modèles d'IA de ce type, dont les plus populaires sont DALL-E et Stable Diffusion. Cependant, bien qu'ils soient impressionnants et utiles à certains égards, ces nouveaux outils d'IA ont également malheureusement enclenché l'ère des images réalistes et facilement trompeuses générées par l'IA. Midjourney, DALL-E et Stable Diffusion ont propulsé le réalisme des deepfakes à un niveau supérieur, compliquant ainsi leur détection.

Midjourney a récemment mis fin aux essais gratuits de son service, évoquant un afflux soudain de nouveaux utilisateurs. David Holz, cofondateur et PDG de Midjourney, a annoncé le changement mardi, affirmant que "la décision est due à un nombre massif de personnes créant des comptes jetables pour obtenir des images gratuites". Holz a déclaré que Midjourney a tenté de résoudre les problèmes d'abus avec des correctifs de sécurité, mais les changements tentés n'ont pas pu résoudre les problèmes : « nous avons essayé de réactiver les essais avec de nouvelles sécurités contre les abus, mais cela n'a pas semblé suffisant. Nous les désactivons à nouveau ».


Le service payant de l'entreprise reste disponible et, bien que les essais gratuits soient interrompus pour l'instant, ils pourraient revenir à tout moment. L'utilisation du terme "abus" par Holz dans ses messages sur Discord a laissé penser que l'interruption de l'offre gratuite est intervenue après que des deepfakes générés grâce à son outil d'IA sont devenus viraux. En fait, les utilisateurs de Midjourney ont créé de fausses images montrant Donald Trump qui tente de résister tant bien que mal à une arrestation, mais également des images montrant l'ancien président des États-Unis en tenue de détenu et faisant du nettoyage dans une enceinte pénitentiaire.

Midjourney a également permis aux internautes de créer des images montrant le pape François dans un manteau à la mode et le président français Emmanuel Macron ramassant des ordures dans les rues de Paris ou se mêlant aux forces de l'ordre pour encadrer des manifestants. Bien que les images aient été rapidement identifiées comme des deepfakes, il est à craindre que des acteurs malveillants utilisent Midjourney, DALL-E, Stable Diffusion ou d'autres outils similaires pour diffuser de fausses informations avec des images très réalistes à l'appui. Mais Holz a affirmé que la décision n'a pas été motivée par le souci de limiter la prolifération des deepfakes.

En parlant d'un rapport publié par le Washington Post, Holz explique : « l'article contient de gros malentendus. Nous avons arrêté les essais en raison du nombre massif de personnes qui créaient des comptes jetables pour obtenir des images gratuites. Cela s'est produit en même temps qu'une pénurie temporaire de GPU. Les deux choses se sont conjuguées et ont entraîné une baisse du service pour les utilisateurs payants ». Les rapports affirment également que les récents deepfakes viraux ont été créés grâce à la dernière version de Midjourney, Midjourney v5, mais Holz a déclaré sur Discord que l'offre gratuite n'a jamais inclus l'accès à cette version.


Midjourney v5 a considérablement amélioré la qualité des images représentant des personnes. Par exemple, les mains difformes qui étaient auparavant une caractéristique des images générées par l'IA posent désormais moins de problèmes. L'éclairage et les tissus sont également plus réalistes, et le système est capable de générer des images d'innombrables célébrités et personnalités publiques. En raison de ces améliorations, mais également d'améliorations similaires ou plus avancées apportées par les rivaux tels que DALL-E et Stable Diffusion, l'utilisation des modèles d'IA de génération d'images pour créer des deepfakes a le vent en poupe.

Sur les réseaux sociaux, vous avez peut-être rencontré des images du président russe Vladimir Poutine face à un tribunal de La Haye, ou encore de l'ancien président des États-Unis John F. Kennedy pointant un fusil par la fenêtre. Toutes ces images ont été créées à l'aide de Midjourney, mais Holz affirme que ces images ne sont pas une raison suffisante pour restreindre ou fermer l'accès à Midjourney. Au contraire, l'entreprise affirme que son interdiction actuelle des essais gratuits est une forme de protection des bénéfices. Elle souhaite que les utilisateurs passent de l'essai gratuit à un abonnement payant, et non à un autre essai gratuit.

La réponse de Midjourney à l'escalade de la menace politiquement sensible des fausses images a jusqu'à présent été fragmentaire, sans révision significative de ses politiques de modération. Les restrictions de contenu de Midjourney sont plus permissives que certains services concurrents (comme DALL-E), mais plus restrictives que d'autres (comme Stable Diffusion). Holz a néanmoins déclaré que Midjourney s'efforçait d'améliorer la modération : « je crois que nous essayons encore de trouver les bonnes politiques de modération. Nous prenons en compte les commentaires des experts et de la communauté et nous essayons d'être vraiment réfléchis ».


« Nous avons déjà de nouveaux systèmes qui devraient être livrés prochainement », a-t-il ajouté. Les difficultés de Midjourney, et de ses rivaux, à mettre un terme à l'essor de fausses images divertissantes, mais potentiellement dangereuses et trompeuses, illustrent les questions obscures de la réglementation de l'IA. Comment les créateurs d'IA générative parviendront-ils à trouver un équilibre entre la pression pour l'accès, la "liberté d'expression" et la fabrication d'un produit que les gens veulent réellement utiliser, d'une part, et la responsabilité sociale et le risque d'abus flagrant, d'autre part ? Quels rôles les régulateurs auront-ils à jouer ?

Pour l'instant, les réponses restent floues, y compris pour les PDG des entreprises technologiques. Mercredi, lors d'une session Discord en direct, Holz a reconnu qu'il a du mal à établir des politiques en matière de contenu, en particulier en ce qui concerne l'utilisation d'images de personnes réelles. « Il y a un argument en faveur d'un Disney total ou d'un Far West total, et tout ce qui se trouve au milieu est un peu pénible. Nous sommes en quelque sorte au milieu en ce moment, et je ne sais pas ce que je dois en penser », aurait déclaré le PDG de Midjourney, selon certains rapports. Le moratoire sur l'accès gratuit à Midjourney ne résout pas le problème.

Et, une fois de plus, le PDG affirme que la décision d'arrêter les essais gratuits n'est pas du tout le résultat de la diffusion de deepfake. Mais peut-être que cela pourrait ralentir le problème en limitant le nombre de personnes qui peuvent produire des photos effrayantes, vraies et fausses de presque tout ce qu'elles veulent. Pour 10, 30 ou 60 dollars par mois, ceux qui sont prêts à payer pour accéder à Midjourney peuvent toujours opter pour le chaos du contenu. Par ailleurs, selon un message de Holz datant d'octobre, Midjourney tient à jour une liste de mots interdits liés à des sujets dans différents pays, sur la base de plaintes d'utilisateurs de ces pays.


Holz a ajouté que l'entreprise ne partage pas la version complète de cette liste afin de minimiser les "drames". Mais l'entreprise a élargi cette liste au fur et à mesure que ses contrefaçons devenaient virales, interdisant récemment le terme "arrêté", par exemple. Cette mesure semble avoir été prise après la publication des images montrant Donald Trump en train d'être arrêté. Ces images auraient été créées par le journaliste d'investigation Eliot Higgins, qui a depuis affirmé que Midjourney l'a banni. Il est toutefois facile de contourner de telles restrictions. Par exemple, il suffit d'utiliser des synonymes ou de formuler sa phrase autrement pour obtenir des résultats.

Source : David Holz, cofondateur et PDG de Midjourney

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous de la décision de Midjourney de suspendre son offre gratuite ?
Quel est votre avis sur la raison évoquée par le PDG de Midjourney ?
Selon vous, comment ces entreprises d'IA pourraient-elles lutter contre la prolifération des deepfakes ?

Voir aussi

« J'ai perdu tout ce qui me faisait aimer mon travail à cause du modèle d'IA Midjourney », affirme un artiste 3D qui raconte comment l'IA lui a arraché son travail du jour au lendemain

L'IA de génération d'images la plus avancée de la Chine bloque déjà les contenus politiques, des entrées telles que "place Tiananmen" et "Xi Jinping" ne produisent aucun résultat

Les nouveaux outils de clonage de voix par l'IA ajoutent "de l'huile sur le feu" de la désinformation, une voix de Joe Biden générée par l'IA prononce un discours "hilarant" sur l'état de l'Union

Des images truquées par l'IA de l'arrestation imaginaire de Donald Trump circulent sur Twitter, montrant Donald Trump résistant à l'arrestation et traîné par la police