OctoML annonce avoir mis fin à ses relations commerciales avec Civitai quelques jours après une enquête menée par 404 Médias a révélé que la plate-forme de conversion texte-image était utilisée pour générer des images qui « pourraient être classées dans la catégorie de la pornographie juvénile ». Civitai s’appuyait auparavant sur OctoAI d’OctoML pour la génération d’images. Alors qu’OctoML avait initialement indiqué qu’il continuerait à travailler avec Civitai et introduit de nouvelles mesures pour freiner la création d’images nuisibles, 404 Médias a rapporté samedi qu’il avait désormais décidé de rompre complètement les liens avec la plateforme.
Selon 404 MédiasDans le rapport du 5 décembre, des communications internes ont montré qu’OctoML savait que certains utilisateurs de Civitai créaient du matériel sexuellement explicite comprenant des images non consensuelles de personnes réelles. et les représentations pornographiques d’enfants. Dans un rapport de suivi ce week-end, la publication a noté qu’OctoML avait déployé un filtre pour bloquer la génération de tout le contenu NSFW sur Civitai avant d’annoncer sa décision de se retirer. Civitai a également ajouté de nouvelles méthodes de modération en réponse à l’enquête plus tôt cette semaine, y compris une intégration obligatoire appelée Civitai Safe Helper (Minor) qui empêche le modèle de générer des images d’enfants si « un thème ou un mot-clé adulte est détecté », selon 404.
Civitai, soutenu par Andreessen Horowitz, a déjà fait l’objet d’un examen minutieux pour sa fonctionnalité « primes » qui met les utilisateurs au défi de générer des images réalistes de personnes réelles pour obtenir des récompenses. En novembre, 404 Médias a découvert qu’il était utilisé pour créer des deepfakes non consensuels de célébrités, d’influenceurs et même d’un simple citoyen, qui étaient, dans de nombreux cas, de nature sexuelle. Les sujets étaient principalement des femmes. Selon 404 MédiasCivitai a depuis ajouté un filtre pour empêcher la création de contenu NSFW mettant en vedette « certaines » célébrités.
Néanmoins, OctoML, qui utilise les serveurs d’Amazon Web Services, ne souhaite plus être impliqué. Dans une déclaration à 404 Médias Samedi, OctoML a déclaré : « Nous avons décidé de mettre fin à notre relation commerciale avec Civitai. Cette décision s’aligne sur notre engagement à garantir une utilisation sûre et responsable de l’IA.