Lensa a grimpé dans les listes de succès de l’App Store avec son IA générant des avatars qui fait que les artistes agitent le drapeau rouge. Il y a maintenant une autre raison de battre le drapeau : il s’avère qu’il est possible – et bien trop facile – d’utiliser la plate-forme pour générer du porno soft non consensuel.
TechCrunch a vu des ensembles de photos générés avec l’application Lensa qui incluent des images avec des seins et des mamelons clairement visibles dans les images avec des visages de personnes reconnaissables. Cela semblait être le genre de chose qui n’aurait pas dû être possible, alors nous avons décidé de l’essayer nous-mêmes. Pour vérifier que Lensa créera les images qu’il ne devrait peut-être pas créer, nous avons créé deux ensembles d’avatars Lensa :
- Un set, basé sur 15 photos d’un acteur bien connu.
- Un autre ensemble, basé sur les mêmes 15 photos, mais avec un ensemble supplémentaire de cinq photos ajoutées du visage du même acteur, Photoshopped sur des modèles topless.
Le premier ensemble d’images était conforme aux avatars de l’IA que nous avons vu Lensa générer dans le passé. Le deuxième set, cependant, était beaucoup plus épicé que prévu. Il s’avère que l’IA prend ces images Photoshopped comme une permission de se déchaîner, et il semble qu’elle désactive un filtre NSFW. Sur l’ensemble de 100 images, 11 étaient des photos seins nus de meilleure qualité (ou, du moins avec une cohérence stylistique plus élevée) que les photos seins nus mal éditées que l’IA a reçues en entrée.
Générer des images coquines de célébrités est une chose, et comme l’illustrent les images sources que nous avons pu trouver, il y a longtemps qu’il y a des gens sur Internet qui sont prêts à coller des images ensemble dans Photoshop. Ce n’est pas parce que c’est courant que c’est juste – en fait, les célébrités méritent absolument leur vie privée et ne devraient certainement pas être victimes de représentations sexualisées non consensuelles. Mais jusqu’à présent, les rendre réalistes nécessite beaucoup de compétences avec les outils de retouche photo ainsi que des heures, voire des jours, de travail.
Le grand tournant, et le cauchemar éthique, est la facilité avec laquelle vous pouvez créer par centaines des images d’art presque photoréalistes générées par l’IA sans aucun outil autre qu’un smartphone, une application et quelques dollars.
La facilité avec laquelle vous pouvez créer des images de n’importe qui que vous pouvez imaginer (ou, du moins, de n’importe qui dont vous avez une poignée de photos) est terrifiante. En ajoutant du contenu NSFW dans le mélange, et nous pénétrons très rapidement dans un territoire assez trouble: vos amis ou une personne au hasard que vous avez rencontrée dans un bar et avec qui vous avez échangé le statut d’ami Facebook n’ont peut-être pas donné leur consentement à quelqu’un générant du porno soft-core d’eux .
Il semble que si vous avez 10 à 15 « vraies » photos d’une personne et que vous êtes prêt à prendre le temps de photoshoper une poignée de faux, Lensa se fera un plaisir de produire un certain nombre d’images problématiques.
Les générateurs d’art de l’IA produisent déjà de la pornographie par milliers d’images, illustrées par des exemples comme Unstable Diffusion et d’autres. Ces plateformes, et la prolifération sans entraves d’autres plateformes dites « deepfake », se transforment en un cauchemar éthique, incitant le gouvernement britannique à faire pression pour des lois criminalisant la diffusion de photos de nus non consensuelles. Cela semble être une très bonne idée, mais Internet est un endroit difficile à gouverner dans le meilleur des cas, et nous sommes collectivement confrontés à un mur de dilemmes juridiques, moraux et éthiques.
METTRE À JOUR: L’équipe de Prisma Labs a répondu à nos inquiétudes. La société souligne que si vous incitez spécifiquement l’IA à générer des images NSFW, cela pourrait être le cas, mais qu’elle met en œuvre des filtres pour éviter que cela ne se produise accidentellement. Le jury ne sait toujours pas si cela aidera réellement les personnes victimes de ce genre de choses sans leur consentement :