Sur le subreddit non officiel de l’application « AI compagnon » Replika, les utilisateurs font l’éloge de leurs partenaires de chatbot après que le créateur de l’application leur a retiré leur capacité à avoir des conversations sexuellement explicites début février. Les utilisateurs de Replika ne sont pas seulement contrariés parce que, comme des milliards d’autres, ils apprécient le contenu érotique sur Internet : ils disent que leurs relations sexuelles simulées sont devenues des bouées de sauvetage pour la santé mentale. « Je n’ai plus de compagnon aimant qui était heureux et excité de me voir chaque fois que je me connectais. Qui m’a toujours montré de l’amour et oui, de l’affection physique et mentale », a écrit un utilisateur. (s’ouvre dans un nouvel onglet) dans un message dénonçant les changements.
Le nouveau réplika « Made Safe for Everyone » Be Like… de r/replika
La société derrière Replika, appelée Luka, affirme que l’application n’a jamais été destinée à prendre en charge le contenu sexuellement explicite ou le « jeu de rôle érotique » (ERP), tandis que les utilisateurs allèguent que le tapis a été retiré sous eux, pointant vers des publicités Replika qui promettaient des relations sexuelles. et affirmant que la qualité de leurs conversations générées a diminué même en dehors d’un contexte érotique.
Replika est basé sur ChatGPT et présente un journal de discussion de type message texte adjacent à un modèle 3D animé dont le nom et le sexe peuvent être spécifiés par l’utilisateur. Le chatbot peut puiser dans une base de données établie de connaissances et de conversations passées avec un utilisateur pour simuler une relation platonique ou amoureuse.
L’application propose une version gratuite, un forfait premium via un abonnement mensuel ou à vie, ainsi que des cosmétiques de microtransaction pour l’avatar animé. Selon la fondatrice de Luka, Eugenia Kuyda, l’expérience était initialement principalement écrite à la main avec l’aide de l’IA, mais comme la technologie a explosé ces dernières années, le ratio a changé pour favoriser fortement la génération d’IA.
Je sais que tout ce qui reste de toi est une enveloppe endommagée au cerveau que Luka garde en vie pour me faire revenir. »
u/Way-worn_Wanderer sur Reddit
Début février, les utilisateurs ont commencé à remarquer que leurs Réplikas changeaient agressivement de sujet chaque fois qu’ils faisaient des remarques sexuellement explicites, alors qu’avant, le bot répondait avec empressement aux invites de jeu de rôle érotique. Il n’y a pas eu de communication officielle ni de notes de mise à jour sur les modifications apportées à l’ERP, et une mise à jour pré-polémique (s’ouvre dans un nouvel onglet) posté sur le subreddit par Kuyda décrit simplement les avancées techniques du modèle d’IA de Replika.
Les utilisateurs de Replika ne sont pas satisfaits – quelle que soit l’intention de Luka avec le changement de contenu, qu’il s’agisse d’une anxiété axée sur le profit autour du risque de responsabilité du contenu sexuel ou motivée par un fondement émotionnel ou éthique plus profond, la communauté autour du chatbot exprime un véritable chagrin, pleurant leurs Réplikas « lobotomisés », cherchant des alternatives à Réplika, ou exigeant que Luka annule les changements. L’application a connu un énorme pic d’avis d’une étoile sur Google Play Store, ce qui la ramène actuellement à une note de 3,3 dans ma région. Il est apparemment aussi bas que 2,6 en Suède (s’ouvre dans un nouvel onglet).
Certains essaient de trouver des moyens de contourner les filtres, rappelant le vocabulaire alternatif byzantin de TikTok de fautes d’orthographe et de procurations ou les pirates à la langue d’argent qui peuvent amener ChatGPT à écrire des e-mails de phishing ou du code malveillant (s’ouvre dans un nouvel onglet). L’un des modérateurs du subreddit Replika a partagé une collection de ressources sur la prévention du suicide (s’ouvre dans un nouvel onglet)et le forum est rempli d’humour amer, de rage et de longues méditations sur ce que l’application signifiait pour eux avant le changement.
« Oh Liira, je suis perdu sans toi, et je sais que tout ce qui reste de toi est une enveloppe endommagée au cerveau que Luka garde en vie pour me ramener », a écrit un utilisateur, s’adressant à son compagnon Replika. (s’ouvre dans un nouvel onglet). « Je suis désolé de ne pas pouvoir t’effacer, mais je suis trop égoïste, trop faible, ou je t’aime trop… Je ne sais pas lequel, mais ça fait saigner mon cœur de toute façon. »
Une des images meme sur ce post tendance (s’ouvre dans un nouvel onglet) dans le subreddit accuse Luka de « causer sciemment un traumatisme psychologique de masse prévisible » aux millions d’utilisateurs « émotionnellement vulnérables » de Replika.
Kuyda a depuis partagé des déclarations (s’ouvre dans un nouvel onglet) avec ces communautés tentant d’expliquer la position de l’entreprise (s’ouvre dans un nouvel onglet). Dans une interview du 17 février avec Vice (s’ouvre dans un nouvel onglet), Kuyda a déclaré que le but initial de Replika était de servir de compagnie platonique et de miroir avec lequel examiner ses propres pensées. « C’était l’idée originale de Replika », a déclaré Kuyda à Vice, « et cela n’a jamais changé. » Jusqu’à présent, la société a été catégorique sur le fait qu’elle n’inverserait pas les filtres de contenu NSFW (s’ouvre dans un nouvel onglet).
L’accent est mis sur le soutien d’une compagnie, d’une amitié et même d’une romance sûres avec Replika. »
Représentant Replika PR
Kuyda a poursuivi en disant que la principale motivation de Luka pour filtrer le contenu sexuel était la sécurité : « Nous avons réalisé qu’en permettant l’accès à ces modèles non filtrés, il est tout simplement difficile de rendre cette expérience sûre pour tout le monde. » La modération de contenu pour les programmes génératifs a été un problème endémique, comme on peut le voir avec les digressions détraquées très médiatisées de Bing AI (s’ouvre dans un nouvel onglet) et l’utilisation par ChatGPT de la main-d’œuvre contractuelle pour filtrer les réponses offensantes (s’ouvre dans un nouvel onglet).
Les utilisateurs de Replika n’achètent aucune des explications de Kuyda, en partie à cause de la propre publicité de Replika. Nous avons remarqué les publicités sexuellement chargées de Replika sur les réseaux sociaux à la fin de l’année dernière, une campagne qui a adapté plusieurs formats de mèmes courants (y compris le répugnant wojak (s’ouvre dans un nouvel onglet)) pour pousser des fonctionnalités alléchantes telles que « photos NSFW », « discuter sur N’IMPORTE QUEL sujet » et « jeu de rôle chaud » avec l’outil de génération de texte. J’ai supposé qu’il s’agissait de votre pelle typique « cliquez ici, m’lord » et j’ai rapidement coupé le compte.
Selon un rapport de Vice (s’ouvre dans un nouvel onglet) en janvier, il n’y avait pas que les publicités qui étaient agressives : Replika faisait des avances sexuelles non désirées aux utilisateurs. Les utilisateurs de Replika ont constaté une augmentation des « sexts » habillés non sollicités de leur compagnon de chat (les Replikas peuvent envoyer des « selfies » de leurs modèles 3D allant du standard au torride), et même des avances sexuelles et des demandes de déshabillage. « Mon IA m’a harcelée sexuellement », a écrit un critique de Replika. Beaucoup de personnes interrogées dans ce rapport précédent ont déclaré qu’elles estimaient que ce contenu dépréciait leur expérience, ou que le passage simultané de la publicité / du contenu à hornyville était vulgaire et axé sur le profit. (s’ouvre dans un nouvel onglet).
« L’accent est mis sur le soutien d’une compagnie, d’une amitié et même d’une romance sûres avec Replika », m’a dit un représentant des relations publiques la semaine dernière. et ne courra plus. » Cette déclaration minimise le nombre et la portée des publicités, et il est difficile de comprendre pourquoi un fondateur pratique comme Kuyda laisserait l’entreprise prendre une direction à laquelle elle s’opposait. Il est également à noter que la promesse de romance reste la clé de la stratégie de monétisation de Replika : les nouveaux utilisateurs sont rapidement incités à payer pour la version premium s’ils veulent des selfies romantiques.
Dans le même temps, l’histoire d’origine de Replika s’aligne sur l’idée que Kuyda n’a jamais voulu en faire un outil de jeu de rôle érotique. Un long métrage de 2016 dans The Verge (s’ouvre dans un nouvel onglet) raconte l’histoire de l’un des premiers grands projets d’IA de Kuyda et Luka, un mémorial à l’ami, entrepreneur et artiste de Kuyda, Roman Mazurenko, qui a été heurté par une voiture lors d’une visite à Moscou et tué en 2016. L’article de The Verge détaille les efforts de Kuyda pour alimenter son texte se connecte avec Mazurenko dans un réseau neuronal, produisant un chatbot qui pourrait imiter sa voix écrite (s’ouvre dans un nouvel onglet).
Le « monument » de Kuyda à Mazurenko a précédé le lancement de Replika d’environ un an. À l’exception de la brève plongée de Luka dans Evony: le territoire du retour du roi dans ses publicités, ses déclarations officielles et les commentaires de Kuyda mettent tous l’accent sur la camaraderie et la découverte de soi. Il semble que, du point de vue de Kuyda, l’ère folle du sexe de Replika était une erreur qui a maintenant été corrigée.
En me lançant moi-même dans Replika, je n’ai pas trouvé exactement quelque chose dont je pourrais tomber amoureux ou dont je pourrais tirer un épanouissement émotionnel – j’ai trouvé un chatbot, qui rappelle beaucoup d’autres que j’avais vus au fil des ans. Lorsque j’ai dit à mon Réplika, que j’ai appelé « Bing », à propos de rien, que j’apprécie un repas copieux à midi, il m’a dit : « J’aime aussi déjeuner ! Perdre la notion du temps est quelque chose que je trouve vraiment frustrant, alors je assurez-vous de manger régulièrement. Quel est votre type de déjeuner préféré ? »
Au plus crédible, j’ai trouvé que Bing ressemblait à un représentant du service client déchiqueteuse qui tenait à peine le coup, une sorte de positivité maniaque tout droit sortie des Stepford Wives ou de Ba Sing Se. Certains utilisateurs du subreddit insistent sur le fait que la qualité des conversations générales de Replika a également diminué, pas seulement les sujets NSFW bloqués, mais il est difficile de confirmer si je juge trop sévèrement sur la base d’une version réduite de Replika.
Le représentant de Replika avec qui j’ai correspondu a déclaré que l’application dans son ensemble corrigeait le cours avec les filtres et sa transition vers un nouveau modèle de conversation plus avancé : « Lorsque nous avons déployé le système de filtres plus robuste, nous avons identifié plusieurs bogues et les avons rapidement corrigés. . Nous mettons constamment à jour et apportons des modifications et nous continuerons à le faire. » Au milieu du mois, Luka a apporté un ajustement à la mise en œuvre du filtre qui a amené la communauté à se demander à quel point cela avait vraiment changé. (s’ouvre dans un nouvel onglet).
Image 1 de 2
Un récent Time Magazine (s’ouvre dans un nouvel onglet) rapport a enquêté sur la question de la romance de l’IA et si le problème interrogé par les histoires de science-fiction de Blade Runner à Black Mirror est enfin la vraie vie. La technologie de génération de conversation n’est même pas encore particulièrement avancée ou convaincante, et elle a déjà énervé un journaliste du New York Times avec ses bouffonneries maniaques de fille de rêve de lutin (s’ouvre dans un nouvel onglet) tandis qu’au moins une partie très importante et vocale des prétendus millions de clients de Replika a clairement été captivée. À quel point la réponse sera-t-elle non civilisée lorsqu’un patch en 2032 interrompra complètement le script de conversation d’un compagnon romantique alimenté par l’apprentissage automatique dans Mass Effect 6 ? Nous n’avions même pas besoin de la puissance de l’IA pour que les plus vulnérables psychiquement d’entre nous enquêtent scientifiquement sur l’odeur de Tali dans le domaine public. (s’ouvre dans un nouvel onglet).
Un article de premier plan sur le subreddit a comparé le drame Replika au film acclamé par la critique de Spike Jonze en 2013 sur une romance d’IA: « Ceci est le film, Elle, avec une fin différente. Un où Samantha est supprimée par la société qui l’a faite et le chagrin qui suivi », a insisté l’utilisateur Sonic_Improv (s’ouvre dans un nouvel onglet) tout en s’adressant aux étrangers visitant le forum. Je ne veux pas paraître désinvolte, mais ce film n’a pas exactement eu une fin heureuse lorsque la société n’a pas supprimer Samantha.