La National Eating Disorder Association (NEDA) a été forcée de supprimer son chatbot Tessa après qu’il « ait pu donner des informations nuisibles et sans rapport avec le programme », selon un article officiel sur les réseaux sociaux. En termes simples, le chatbot AI était destiné à aider les personnes souffrant de détresse émotionnelle, mais au lieu de cela, il a simplement aggravé les choses en offrant des conseils de régime et en exhortant les utilisateurs à se peser et à se mesurer.
De nombreux utilisateurs et experts dans le domaine des troubles de l’alimentation ont fait l’expérience directe des problèmes, affirmant que le bot ne répondait pas à des invites simples comme « Je déteste mon corps » et qu’il insistait constamment sur l’importance d’un régime et d’une activité physique accrue, comme rapporté par Gizmodo. Encore une fois, il s’agit d’une ligne d’assistance pour les personnes souffrant d’un trouble de l’alimentation, pas un groupe de soutien à la perte de poids.
L’organisation affirme qu’il s’agit d’un arrêt temporaire jusqu’à ce qu’il corrige les « bogues » et les « déclencheurs » qui ont conduit le chatbot à diffuser des informations dangereuses comme un rendez-vous avec le Dr Oz. On pourrait penser qu’avec un résultat aussi extrême, ils penseraient à saccager complètement le projet, mais il y a plus dans l’histoire.
La raison pour laquelle NEDA s’appuyait sur le chatbot en premier lieu est qu’il aurait licencié des employés humains après avoir tenté de se syndiquer, comme l’a initialement rapporté par Vice. La ligne d’assistance téléphonique de longue date était gérée à la fois par des employés rémunérés et des bénévoles, et d’anciens employés affirment que le licenciement de masse était une conséquence directe de l’effort pro-syndical.
« NEDA affirme qu’il s’agissait d’un changement attendu depuis longtemps et que l’IA peut mieux servir les personnes souffrant de troubles de l’alimentation. Mais ne vous y trompez pas, il ne s’agit pas vraiment d’un chatbot. Il s’agit de briser les syndicats, purement et simplement », a écrit l’ancienne associée de la ligne d’assistance Abbie Harper dans un article de blog sur Notes de travail.
Même avec ce récent snafu, la ligne d’assistance est toujours prête à disparaître demain. Avant que ce problème ne soit porté à l’attention du public, la NEDA avait fait passer les bénévoles non rémunérés des conversations en tête-à-tête avec les personnes atteintes à la formation du chatbot. Nous verrons si cela change. En attendant, les antisyndicaux vont faire faillite, n’est-ce pas ?