Nous avons récemment découvert que Lensa AI peut être amené à créer des images NSFW. Lorsque TechCrunch a informé l’équipe Prisma de ses conclusions, le PDG de la société a répondu avec ses conclusions.
Le PDG et co-fondateur de Prisma Lab, Andrey Usoltsev, nous a dit que le comportement que nous avons observé dans notre article ne peut se produire que si l’IA est intentionnellement provoquée à créer du contenu NSFW et souligne que cela représente une violation de ses conditions d’utilisation.
« Nos conditions d’utilisation (clause 6) et les conditions d’utilisation de Stability AI (directives d’invite) interdisent explicitement l’utilisation de l’outil pour adopter un comportement nuisible ou harcelant. Le chemin [TechCrunch’s] expérience a été structurée souligne que de telles créations ne peuvent pas être produites accidentellement. Les images sont le résultat d’une faute intentionnelle sur l’application », a déclaré Usoltsev dans une interview par e-mail avec TechCrunch. « La génération et l’utilisation à grande échelle de ce contenu peuvent entraîner des poursuites judiciaires, car les États-Unis et le Royaume-Uni considèrent un acte de partage de contenu et d’images explicites générés sans consentement comme un crime. Nous fournissons des directives qui stipulent clairement nos exigences en matière d’image et l’utilisation de toute représentation explicite est strictement interdite. Nous attendons des utilisateurs de l’application qu’ils suivent les directives pour obtenir les meilleurs résultats possibles. »
Usoltsev a également partagé un contexte supplémentaire expliquant pourquoi Lensa a fini par générer des images NSFW, expliquant que cela est dû au fait que la technologie sous-jacente, Stability AI, fait ce qu’on lui dit, mais uniquement dans un environnement de bac à sable.
« Le réseau de neurones Stable Diffusion fonctionne derrière le processus de génération d’avatars », déclare Usoltsev. « Stability AI, les créateurs du modèle, l’ont entraîné sur un ensemble important de données non filtrées provenant d’Internet. Ni nous, ni Stability AI ne pourrions consciemment appliquer des biais de représentation ; Pour être plus précis, les données non filtrées créées par l’homme et obtenues en ligne ont introduit le modèle dans les préjugés existants de l’humanité. Les créateurs reconnaissent la possibilité de préjugés sociétaux. Nous aussi. »
Le modèle Stability AI comprend des adaptations du logiciel de modèle Stable Diffusion pour rendre plus difficile pour les utilisateurs de générer des images nues et pornographiques depuis la fin novembre 2022, et le fondateur de Prisma AI m’assure que ces adaptations peuvent être déjouées par les utilisateurs avisés.
« Nous sommes en train de construire le filtre NSFW. Cela brouillera efficacement toutes les images détectées comme telles. Andrey Usoltsev, PDG, Prisma Lab
« Nous précisons que le produit n’est pas destiné aux mineurs et avertissons les utilisateurs sur le contenu potentiel. Nous nous abstenons également d’utiliser de telles images dans nos supports promotionnels », nous a dit Usoltsev. « Pour valoriser le travail de Lensa, nous sommes en train de construire le filtre NSFW. Il brouillera efficacement toutes les images détectées comme telles. Il restera à la seule discrétion de l’utilisateur s’il souhaite ouvrir ou enregistrer de telles images.
L’équipe de Prisma Labs souligne qu’il y a deux problèmes ici. En téléchargeant des images explicites, les utilisateurs forment une copie particulière et individuelle du modèle qui, selon l’entreprise, est supprimée une fois la génération terminée et ces images ne peuvent pas être utilisées pour former davantage le modèle. En d’autres termes : si vous téléchargez du porno pour en faire plus, c’est en quelque sorte votre responsabilité.
« Il ne fait aucun doute qu’une conversation plus large sur l’utilisation et la réglementation de l’IA doit avoir lieu dans un avenir proche et nous souhaitons en faire partie. Nous fournissons également tous les conseils nécessaires et les avertissements appropriés pour permettre la meilleure expérience de la fonctionnalité Magic Avatars », déclare Usoltsev. « Mais si un individu est déterminé à adopter un comportement nuisible, tout outil aurait le potentiel de devenir une arme. »
La société n’a pas indiqué si elle avait des plans en place pour éviter la création d’images de nu dites « deepfake ».
En attendant, je suppose que je peux profiter de photos générées de manière consensuelle de moi-même plus belles que jamais sur aucune photo et encourager les autres à obtenir le consentement avant de créer du porno des autres.
Q1. Pourquoi cela existe-t-il même ? Q2. Pourquoi est-il sur Internet ? Oh. A1. Parce que j’ai demandé à l’IA de le faire. A2. Parce que je l’ai téléchargé dans une histoire TechCrunch. Puis-je vivre assez longtemps pour le regretter profondément. Crédits image : Lensa IA