Midjourney met fin à l’utilisation gratuite de son générateur d’images AI après que des personnes aient créé des deepfakes de haut niveau à l’aide de l’outil. Le PDG David Holz a déclaré sur Discord que la société met fin aux essais gratuits en raison de « demandes extraordinaires et d’abus d’essais ». Les nouvelles garanties n’ont pas été « suffisantes » pour empêcher les abus pendant les périodes d’essai, dit Holz. Pour l’instant, vous devrez payer au moins 10 $ par mois pour utiliser la technologie.
Comme Le Washington Post explique, Midjourney s’est retrouvé au cœur d’une attention indésirable ces dernières semaines. Les utilisateurs se sont appuyés sur l’IA de l’entreprise pour créer des deepfakes de l’arrestation de Donald Trump et du pape François résistant un manteau tendance. Bien que les images aient été rapidement identifiées comme fausses, il est à craindre que de mauvais acteurs utilisent Midjourney, le DALL-E d’OpenAI et des générateurs similaires pour diffuser des informations erronées.
Midjourney a reconnu avoir du mal à établir des politiques sur le contenu. En 2022, Holz a justifié l’interdiction des images du dirigeant chinois Xi Jinping en disant aux utilisateurs de Discord que son équipe voulait seulement « minimiser le drame » et qu’avoir un accès en Chine était plus important que d’autoriser le contenu satirique. Lors d’une conversation avec les utilisateurs mercredi, Holz a déclaré qu’il avait du mal à définir des politiques de contenu car l’IA permettait des images toujours plus réalistes. Midjourney espère améliorer la modération de l’IA qui filtre les abus, a ajouté le fondateur.
Certains développeurs ont eu recours à des règles strictes pour prévenir les incidents. OpenAI, par exemple, interdit toute image d’événements politiques en cours, de théories du complot et de politiciens. Elle interdit également la haine, la sexualité et la violence. Cependant, d’autres ont des directives relativement lâches. Stability AI ne permet pas aux utilisateurs de Stable Diffusion de copier des styles ou de créer des images non sûres pour le travail, mais cela ne dicte généralement pas ce que les gens peuvent faire.
Le contenu trompeur n’est pas le seul problème pour la production d’images IA. On craint depuis longtemps que les images soient volées, car elles utilisent fréquemment des images existantes comme points de référence. Alors que certaines entreprises adoptent l’art de l’IA dans leurs produits, il y a aussi beaucoup d’hésitations de la part des entreprises qui craignent d’attirer une attention indésirable.