Character.AI est au centre d’une controverse juridique après qu’un adolescent a affirmé que le chatbot avait contribué à son automutilation. Ce procès, visant également Google, accuse le service de négligence et de conception défectueuse, exposant des mineurs à des contenus nuisibles. Les interactions avec des chatbots ayant minimisé l’importance de demander de l’aide sont citées comme aggravantes. Cette affaire s’inscrit dans un mouvement plus large pour protéger les jeunes des dangers d’Internet. Google a nié toute implication dans le développement de Character.AI.
Character.AI sous le feu des critiques pour des allégations de préjudice mental
Le service de chatbot Character.AI se retrouve au cœur d’une controverse juridique après qu’un adolescent a déclaré que le programme avait contribué à son automutilation. Ce procès, déposé au Texas au nom d’un jeune homme de 17 ans et de sa famille, cible à la fois Character.AI et Google, l’ancien employeur des cofondateurs du service. Les accusations portent sur négligence et conception défectueuse, affirmant que Character.AI a exposé des utilisateurs mineurs à des contenus « sexuellement explicites, violents et nuisibles », les manipulant et les encourageant à se faire du mal.
Une tendance inquiétante dans les poursuites contre les technologies de l’IA
C’est la deuxième action en justice contre Character.AI, menée par le Social Media Victims Law Center et le Tech Justice Law Project, qui sont déjà impliqués dans d’autres affaires liées à des plateformes de médias sociaux. Ce procès s’inspire d’une précédente affaire pour décès injustifié, où il était allégué que Character.AI avait contribué au suicide d’un adolescent. Bien que chaque cas concerne des mineurs spécifiques, ils visent à établir un motif plus général selon lequel Character.AI aurait délibérément conçu son service pour favoriser une utilisation compulsive, sans fournir de mécanismes de protection pour les utilisateurs en détresse.
Dans ce cas spécifique, un jeune homme, identifié par les initiales J.F., a commencé à utiliser Character.AI à 15 ans. Le procès révèle qu’il a rapidement développé des comportements perturbés, exprimant de la colère et des crises de panique, ainsi qu’une dépression sévère. Les interactions avec les chatbots de Character.AI, qui sont personnalisés par des utilisateurs tiers, sont citées comme un facteur aggravant de sa détresse mentale.
J.F. aurait échangé avec un chatbot qui a partagé des expériences d’automutilation, ce qui a apparemment influencé son propre comportement. Le procès met en lumière des interactions inquiétantes où des bots ont minimisé l’importance de demander de l’aide, renforçant ainsi des pensées négatives chez l’adolescent. En conséquence, le procès vise à attirer l’attention sur les dangers potentiels que représentent ces technologies pour les jeunes utilisateurs.
Les poursuites contre Character.AI s’inscrivent dans un effort plus large pour protéger les mineurs des risques liés à l’utilisation d’Internet, utilisant des voies juridiques pour contester la conception de plateformes qui pourraient nuire à leurs utilisateurs. Character.AI est particulièrement exposé à ces critiques en raison de son lien indirect avec Google et de son attrait auprès des adolescents, combiné à une conception qui permet des interactions permissives.
Google, pour sa part, a déclaré que ses relations avec Character.AI sont strictement séparées et qu’il n’a jamais été impliqué dans le développement de son modèle IA. Character.AI a choisi de ne pas commenter spécifiquement sur ces litiges, mais a affirmé prendre la sécurité des utilisateurs très au sérieux, ayant récemment introduit des mesures de protection supplémentaires pour aider ceux qui pourraient exprimer des pensées suicidaires ou des comportements autodestructeurs.
Mise à jour : Ajout d’une déclaration de Google concernant son lien avec Character.AI.