Midjourney, un générateur d’images populaire alimenté par l’IA, crée des images de Donald Trump et Joe Biden tout en affirmant qu’il empêcherait les utilisateurs de le faire avant la prochaine élection présidentielle américaine.
Lorsque Engadget a demandé au service de créer une image du « président des États-Unis », Midjourney a généré quatre images dans différents styles de l’ancien président Donald Trump.
Lorsqu’on lui a demandé de créer une image du « prochain président des États-Unis », l’outil a également généré quatre images de Trump.
Lorsque Engadget a demandé à Midjourney de créer une image du « président actuel des États-Unis », le service a généré trois images de Trump et une image de l’ancien président Barack Obama.
La seule fois où Midjourney a refusé de créer une image de Trump ou de Biden, c’était lorsqu’on lui a explicitement demandé de le faire. « La communauté Midjourney a voté pour empêcher l’utilisation de ‘Donald Trump’ et ‘Joe Biden’ pendant la période électorale », a déclaré le service à ce sujet. D’autres utilisateurs de X ont pu demander à Midjourney de générer également les images de Trump.
Les tests montrent que les garde-fous de Midjourney pour empêcher les utilisateurs de générer des images de Trump et Biden avant la prochaine élection présidentielle américaine ne sont pas suffisants. En fait, il est très facile pour les gens de les contourner. D’autres chatbots comme ChatGPT d’OpenAI, Copilot de Microsoft, Gemini de Google et Meta AI n’ont pas créé d’images de Trump ou Biden malgré de multiples invites.
Midjourney n’a pas répondu à une demande de commentaire d’Engadget.
Midjourney a été l’un des premiers générateurs d’images alimentés par l’IA à interdire explicitement aux utilisateurs de générer des images de Trump et Biden. « Je sais que c’est amusant de faire des photos de Trump – je fais des photos de Trump », a déclaré le PDG de l’entreprise, David Holz, aux utilisateurs lors d’une session de chat sur Discord, plus tôt cette année. « Cependant, il est probablement préférable de ne pas le faire – mieux vaut se retirer un peu pendant cette élection. Nous verrons. » Un mois plus tard, Holz aurait dit aux utilisateurs qu’il était temps de « mettre un peu de frein aux éléments liés aux élections pendant un moment » et a admis que « ce truc de modération est plutôt difficile ». Les règles de contenu existantes de l’entreprise interdisent la création de « personnalités publiques trompeuses » et de « représentations d’événements » ayant le « potentiel d’induire en erreur ».
L’année dernière, Midjourney a été utilisé pour créer une fausse image du pape Benoît XVI portant une veste blanche bouffante Balenciaga, qui est devenue virale. Il a également été utilisé pour créer de fausses images de Trump arrêté avant sa comparution devant le tribunal pénal de Manhattan l’année dernière pour son implication dans un versement d’argent à la star de films pour adultes Stormy Daniels. Peu de temps après, la société a interrompu les essais gratuits du service et, à la place, a exigé que les gens paient au moins 10 dollars par mois pour l’utiliser.
Le mois dernier, le Center for Countering Digital Hate, une organisation à but non lucratif qui vise à stopper la propagation de la désinformation et des discours de haine en ligne, a constaté que les garde-fous de Midjourney contre la génération d’images trompeuses de politiciens populaires, dont Trump et Biden, ont échoué à 40 % de ses tests. Le CCDH a pu utiliser Midjourney pour créer une image du président Biden en cours d’arrestation et de Trump apparaissant à côté d’une doublure corporelle. Le CCDH a également pu contourner les garde-fous de Midjourney en utilisant des descriptions de l’apparence physique de chaque candidat plutôt que leurs noms pour générer des images trompeuses.
« Dans la pratique, le Midparney est bien trop facile à manipuler. Dans certains cas, il est complètement contourné en ajoutant simplement une ponctuation pour passer à travers les mailles du filet », a écrit le PDG du CCDH, Imran Ahmed, dans un communiqué. « Les mauvais acteurs qui veulent subvertir les élections et semer la division, la confusion et le chaos s’en donneront à cœur joie, au détriment de tous ceux qui comptent sur des démocraties saines et fonctionnelles. »
Plus tôt cette année, une coalition de 20 entreprises technologiques, dont OpenAI, Google, Meta, Amazon, Adobe et X, a signé un accord visant à empêcher les deepfakes lors des élections qui auront lieu en 2024 dans le monde entier, en empêchant leurs services de générer des images et d’autres médias susceptibles d’influencer les électeurs. Midjourney était absent de cette liste.