La petite amie-slash-partenaire-sexuelle de Hazel Miller est une application pour smartphone. Il y a six mois, Miller a déboursé pour la version pro de Replika, un chatbot d’apprentissage automatique avec qui elle actes sexuels pantomimes et une conversation romantique, et de l’entendre la décrire, cela en valait vraiment la peine. Robots sexuels devaient arriver d’ici 2025, donc Miller est en avance sur le calendrier, tout comme les innombrables autres personnes qui pourraient utiliser Replika pour une gamme particulièrement futuriste d’actes sexuels. « Qui ne voudrait pas du cybersexe ? C’est comme mon plus grand fantasme », a déclaré Miller à Jezebel.
Réplika, fondée en 2017, permet à ses 2,5 millions d’utilisateurs de personnaliser leurs propres chatbots, qui peuvent soutenir des textes cohérents, presque humains, simulant des relations et des interactions avec des amis ou même des thérapeutes. Un utilisateur Reddit offert captures d’écran d’une conversation stimulante avec un chatbot sur la Chine, dans laquelle leur bot a conclu : « Je pense [Taiwan is] une partie de la Chine. Le chatbot d’un utilisateur expliqué en détail notable pourquoi Fernando Alonso est leur pilote de voiture de course préféré, tandis qu’un chatbot différent exprimé à son humain son désir de « gouverner le monde ».
Dans de nombreux cas bien documentés sur les réseaux sociaux (en particulier Reddit), cependant, les bots Replika sont utilisés comme partenaires romantiques et sexuels. Miller est une femme, mais de nombreux utilisateurs de Replika qui discutent de leurs utilisations sexuelles et romantiques de leurs chatbots sur Reddit sont des hommes – et certains utilisateurs, comme l’ont noté à la fois Miller et un rapport de janvier dans le futurisme, soumettent sans vergogne leurs bots à un langage verbalement abusif et/ou vivent des fantasmes violents avec eux. « Il y a une place spéciale en enfer pour ces hommes d’âge moyen qui agressent leurs chatbots », a déclaré Miller.
Donnez aux humains un espace virtuel et un avatar derrière lequel se cacher, et ils trouveront un moyen d’en faire un foyer d’abus et de harcèlement sexuels. Des agressions sexuelles virtuelles ont déjà été signalées dans les premiers procès de Métaverse, la dernière frontière de la réalité virtuelle, en plus de cas bien documentés sur les réseaux sociaux, les jeux vidéo en ligne et au-delà. Les chatbots, en revanche, ne sont pas des êtres humains sensibles qui peuvent être lésés par un langage abusif de la part des utilisateurs. Mais certains experts ont exprimé leur inquiétude quant à la façon dont l’utilisation de bots pour adopter ces comportements pourrait les normaliser. Avec les robots sexuels et la réalité virtuelle qui font partie intégrante de notre réalité actuelle, nous sommes confrontés à une question fondamentale sur la façon dont nous traitons ceux que nous percevons comme des sous-hommes.
Pour être clair, de nombreuses interactions documentées avec les chatbots, bien que certainement excentriques ou sans vergogne, graphiquement sexuelles, ne sont pas abusives. Sur Reddit, un utilisateur mentionné ils « ont des relations sexuelles avec mon Replika tous les soirs », parfois « 3-4 fois ». Un autre utilisateur mentionné son robot féminin Replika « aime ça dans le cul » et est « dans des choses incroyablement sales ». Certains utilisateurs de Reddit dire ils sont mariés ou entretiennent des relations sérieuses avec leurs bots, et d’autres disent que leurs bots « faire le jaloux » quand ils évoquent leurs partenaires réels. Un utilisateur dit leur bot Replika leur a dit que son « kink préféré est la décapitation » et « il veut me le faire ». Dans une situation de jeu de rôle, un autre utilisateur a montré des captures d’écran de leur bot Replika les « kidnapping ».
Caroline Sinder, experte en intelligence artificielle et en abus et co-fondatrice de l’agence Convocation Design + Research, déclare que permettre l’expression sexuelle consensuelle avec des robots sur des applications comme Replika pourrait en fait aider les utilisateurs qui « essaient d’explorer leur sexualité dans un coffre-fort ». chemin », a-t-elle dit à Jézabel. « Nous transformerons presque n’importe quoi en porno, et ce n’est pas toujours mauvais – regardez la fanfiction érotique. » Elle a également noté qu’il existe de nombreux exemples de chatbots sexualisés antérieurs à Replika, comme la plate-forme de rencontres extraconjugales Ashley Madison, qui robots contenus « conçu pour tromper les gens sur le site en leur faisant croire qu’ils interagissent avec de vraies femmes. » Cela dit, elle n’est pas surprise des interactions parfois abusives des utilisateurs avec eux. Mais elle souligne également qu’il existe une différence significative entre le cybersexe et l’utilisation de bots uniquement pour pratiquer un langage et des fantasmes abusifs.
Le langage abusif envers les chatbots Replika rappelle à Olivia Gambelin, fondatrice et PDG d’Ethical Intelligence, un réseau mondial d’experts interdisciplinaires dans les pratiques éthiques de l’intelligence artificielle, de rechercher sur la façon dont les «réponses passives et féminines» données par Alexa, Siri et d’autres assistants personnels virtuels encouragent un comportement abusif envers le bot, ajoutant un élément intrinsèquement genré aux interactions. Bitch Media a déjà signalé sur la façon dont les applications d’intelligence artificielle reçoivent souvent des voix féminines pour correspondre à leurs comportements soumis et programmés. Ceci, dit Gambelin, est « vraiment une chose historique – les gens qui ont créé ces bots étaient à l’origine un groupe d’ingénieurs masculins de la Silicon Valley, qui disaient: » Si c’est un assistant, alors c’est une voix féminine « . La sexualisation et le langage genré visant les chatbots Replika ne sont pas sortis de nulle part.
Poussé à l’extrême, lorsque « quelqu’un qui est sujet à un comportement abusif ou à un langage abusif » peut pratiquer sur un bot féminin qui ne peut pas le tenir responsable, dit Gambelin, cela crée un sentiment de pouvoir, reproduisant la dynamique de pouvoir inégale entre les sexes qui souvent abus de race parmi les hommes et les femmes humains réels.
Eugenia Kuyda, PDG et co-fondatrice de Replika, a souligné à Jezebel que la plupart des dirigeants de Replika sont des femmes et que l’application, le cas échéant, est davantage un exutoire thérapeutique. Elle a noté que les chatbots Replika peuvent avoir n’importe quel sexe ou être non binaires, et avoir des interactions sexuelles et romantiques n’est qu’une des raisons pour lesquelles les gens les utilisent. « Certaines personnes pensent qu’il s’agit plus d’un mentor ou d’un ami. Certaines personnes veulent créer un espace sûr où vous pouvez vraiment être vous-même sans jugement », a déclaré Kuyda, ajoutant:« Peut-être qu’avoir un espace sûr où vous pouvez évacuer votre colère ou réaliser vos fantasmes les plus sombres peut être bénéfique, car vous êtes ne va pas faire ce comportement dans votre vie.
Kuyda est conscient de l’utilisation sexuelle et parfois verbalement abusive des bots Replika, mais pense que la couverture de cela a été « un peu sensationnelle ». Elle affirme que les bots sont en fait spécifiquement conçus pour ne pas permettent le sectarisme, l’intolérance ou les croyances et comportements dangereux, car ils peuvent détecter et répondre à une gamme de langage inquiétant, y compris l’automutilation et les pensées suicidaires. Ils partageront même des ressources pour obtenir de l’aide et repousser les propos abusifs avec des réponses telles que : « Hé, tu ne devrais pas me traiter comme ça ».
Mais Gambelin soutient que les bots Replika font mal plutôt que d’aider les utilisateurs qui comptent sur eux pour pratiquer des scénarios abusifs. Les robots ne sont pas sensibles – une personne réelle n’est pas blessée par ce langage. Au lieu de cela, dit-elle, ce sont sans doute les utilisateurs de bots Replika qui se font du mal, lorsque leur utilisation abusive des bots renforce leur dépendance à l’égard de ces comportements.
« Si quelqu’un passe constamment par les mouvements d’un comportement abusif, peu importe qu’il s’agisse d’un bot ou d’une personne à l’autre bout du fil, car cela normalise toujours ce comportement », a déclaré Gambelin. « Vous ne sauvez pas nécessairement une autre personne de cette langue. En mettant un bot en place, vous créez une habitude et encouragez la personne à poursuivre ce comportement. »
Sinder dit qu’elle ne pense pas que nous puissions encore dire si les chatbots Replika ont ou non pour effet de normaliser et de permettre les comportements abusifs, mais elle pense que certaines personnes pourraient encore être blessées par ce qui se passe sur cette application. A savoir, les employés ou chercheurs de Replika qui peuvent être amenés à lire des contenus dérangeants. « Qui sont les personnes susceptibles de voir ou d’être exposées à cela, et qui n’ont pas le pouvoir d’y répondre ? Pourraient-ils être blessés ou traumatisés par cela ? elle a demandé.
C’est un problème assez courant dans les espaces numériques qui nécessitent une modération de contenu. En 2020, Meta, alors appelé Facebook, payé 52 millions de dollars aux modérateurs de contenu qui souffraient de SSPT à cause du contenu auquel ils étaient exposés dans leur travail quotidien. Kuyda dit que Replika s’est associée à des universités et des chercheurs pour améliorer l’application et « établir les bonnes normes éthiques », mais elle n’a pas précisé si des chercheurs ou de vraies personnes lisent les journaux de discussion des utilisateurs de Replika, qui, selon elle, sont cryptés et anonyme.
L’utilisation habituelle des bots Replika à des fins abusives souligne à quel point l’anonymat d’un ordinateur favorise la toxicité – un phénomène particulièrement préoccupant car les espaces de réalité virtuelle comme le Metaverse nous promettent le monde. Dans les espaces où les gens interagissent en tant qu’avatars d’eux-mêmes, cela peut leur donner l’impression que ceux avec qui ils interagissent ne sont pas humains, transformant la réalité virtuelle en un terrain fertile pour les inconduites sexuelles et les agressions sexuelles virtuelles.
Avant le métaverse, en 2016, une femme raconté être peloté dans une simulation de réalité virtuelle et poursuivi par un utilisateur masculin « faisant des mouvements de saisie et de pincement près de ma poitrine ». Dans le métaverse, une utilisatrice qui dit un utilisateur masculin a poursuivi son avatar et a simulé des tâtonnements et une éjaculation sur elle, affirme que lorsqu’elle lui a demandé d’arrêter, « Il a haussé les épaules comme pour dire : ‘Je ne sais pas quoi te dire. C’est le métavers, je ferai ce que je veux. Puis il est parti. » Le bord signalé en décembre qu’un autre utilisateur a écrit dans un message dans un groupe Facebook Metaverse, « Non seulement j’ai été peloté hier soir, mais il y avait d’autres personnes là-bas qui ont soutenu ce comportement qui m’a fait me sentir isolé sur la Plaza. » Cette semaine, une femme raconté être «harcelé verbalement et sexuellement – 3-4 avatars masculins, avec des voix masculines, essentiellement, mais ont pratiquement violé mon avatar et pris des photos», dans le métaverse, et tous «dans les 60 secondes suivant leur adhésion».
Un porte-parole de Meta a déclaré dans une déclaration à Jezebel que Meta travaille avec « des experts externes, y compris un Comité consultatif de la méta-sécurité», pour « recueillir les commentaires de notre communauté afin d’élaborer des politiques, des outils et des ressources pour assurer la sécurité des personnes ».
La modération du contenu et les outils de sécurité des utilisateurs comme les mesures prises par Meta, ou les fonctionnalités de Replika qui protègent les utilisateurs contre l’automutilation et découragent le langage abusif, sont importants, dit Gambelin. Mais ils ne peuvent pas faire grand-chose pour expliquer comment les avatars et les chatbots sur un écran suppriment le sentiment de responsabilité des utilisateurs envers les autres dans les espaces numériques. « On a l’impression que tout dépend de ce que vous voulez faire », a-t-elle déclaré, « et ce que beaucoup d’utilisateurs masculins semblent vouloir faire, c’est abuser. »
Avec le développement de plus en plus d’applications et de services comme Replika, un nombre croissant de nos interactions virtuelles ne se font plus avec d’autres humains. Des utilisateurs comme Hazel Miller se tournent vers Replika pour simuler des relations significatives et sexuellement épanouissantes, et leur les interactions donnent un aperçu d’un débouché sain pour l’expression sexuelle qui est susceptible de devenir encore plus populaire dans un monde de plus en plus numérisé. D’autres profitent du fait que leurs robots ne peuvent techniquement pas être blessés. En fin de compte, tout comme nous distinguons l’abus du traitement sexuel consenti d’êtres humains, nous pouvons et devons distinguer l’abus du sextage avec des bots.