Twitch s’appuie sur une approche de sécurité « en couches » avec de nouveaux outils de modération

Modérer une communauté en ligne est un travail difficile, souvent ingrat — et c’est encore plus difficile quand cela se passe dans un silo.

Sur Twitch, les chaînes interconnectées partagent déjà de manière informelle des informations sur les utilisateurs qu’elles préfèrent interdire. La société officialise maintenant cette pratique ad hoc avec un nouvel outil qui permet aux chaînes d’échanger des listes d’interdiction, invitant les communautés à collaborer pour verrouiller les harceleurs en série et les autres utilisateurs perturbateurs avant qu’ils ne causent des problèmes.

Lors d’une conversation avec TechCrunch, la vice-présidente des produits Twitch, Alison Huffman, a expliqué que la société souhaitait en fin de compte responsabiliser les modérateurs de la communauté en leur donnant autant d’informations que possible. Huffman dit que Twitch a mené des entretiens « approfondis » avec des mods pour déterminer ce dont ils ont besoin pour se sentir plus efficaces et rendre leurs communautés plus sûres.

Les modérateurs doivent prendre une tonne de petites décisions à la volée et la plus importante consiste généralement à déterminer quels utilisateurs agissent de bonne foi – sans causer intentionnellement de problèmes – et lesquels ne le sont pas.

« Si c’est quelqu’un que vous voyez et que vous dites ‘Oh, c’est un message légèrement décalé, je me demande s’il est juste nouveau ici ou s’il est de mauvaise foi’ – s’il a été banni dans l’un de vos les chaînes d’un ami, il est plus facile pour vous de dire « oui, non, ce n’est probablement pas la bonne personne pour cette communauté » et vous pouvez prendre cette décision plus facilement », a déclaré Huffman.

« Cela réduit la surcharge mentale des modérateurs et permet de faire sortir plus efficacement quelqu’un qui ne convient pas à la communauté de votre communauté. »

Dans le tableau de bord des créateurs, les créateurs et les modérateurs de chaînes peuvent demander à d’autres chaînes avec lesquelles ils souhaitent échanger des listes d’utilisateurs bannis. L’outil est bidirectionnel, donc tout canal qui demande la liste d’un autre streamer partagera la sienne en retour. Une chaîne peut accepter toutes les demandes de partage de listes de bannissement ou autoriser uniquement les demandes des affiliés Twitch, des partenaires et des chaînes mutuellement suivies. Tous les canaux pourront échanger des listes d’interdiction avec jusqu’à 30 autres canaux, ce qui permettra de créer une liste assez solide d’utilisateurs qu’ils préféreraient exclure, et les canaux peuvent arrêter de partager leurs listes à tout moment.

Les chaînes peuvent choisir de surveiller ou de restreindre automatiquement tout compte dont elles ont connaissance via ces listes partagées, et elles seront restreintes par défaut. Les utilisateurs qui sont « surveillés » peuvent toujours discuter, mais ils seront signalés afin que leur comportement puisse être surveillé de près et leur premier message sera mis en évidence avec une boîte rouge qui affiche également où ils ont été bannis. À partir de là, une chaîne peut choisir de les interdire purement et simplement ou de leur donner le feu vert et de les faire passer au statut «de confiance».

Les nouveaux outils de modération de Twitch sont un moyen intéressant pour les chaînes d’appliquer leurs règles contre les utilisateurs qui pourraient s’avérer perturbateurs mais qui pourraient potentiellement ne pas enfreindre les directives plus larges de l’entreprise interdisant les mauvais comportements manifestes. Il n’est pas difficile d’imaginer un scénario, en particulier pour les communautés marginalisées, où une personne mal intentionnée pourrait harceler intentionnellement une chaîne sans enfreindre explicitement les règles de Twitch contre la haine et le harcèlement.

Crédits image : Tic

Twitch reconnaît que le harcèlement a « de nombreuses manifestations », mais aux fins d’être suspendu de Twitch, ce comportement est défini comme « harcèlement, attaques personnelles, promotion de blessures physiques, raids hostiles et faux rapports malveillants ». Il existe une zone grise de comportement en dehors de cette définition qui est plus difficile à saisir, mais l’outil d’interdiction partagé est un pas dans cette direction. Pourtant, si un utilisateur enfreint les règles de la plate-forme de Twitch – et pas seulement les règles locales d’un canal – Twitch encourage un canal à les signaler.

« Nous pensons que cela aidera également les choses qui violent les directives de notre communauté », a déclaré Huffman. « J’espère que ceux-ci sont également signalés à Twitch afin que nous puissions agir. Mais nous pensons que cela aidera avec le harcèlement ciblé que nous voyons impacter, en particulier, les communautés marginalisées.

En novembre dernier, Twitch a ajouté une nouvelle façon pour les modérateurs de détecter les utilisateurs essayant de contourner les interdictions de chaînes. Cet outil, que la société appelle « Ban Evasion Detection », utilise l’apprentissage automatique pour signaler automatiquement toute personne dans un canal qui est susceptible d’échapper à une interdiction, permettant aux modérateurs de surveiller cet utilisateur et d’intercepter ses messages de chat.

Les nouvelles fonctionnalités s’inscrivent dans la vision de Twitch d’une sécurité « en couches » sur sa plate-forme, où les créateurs diffusent en direct, parfois à des centaines de milliers d’utilisateurs, et les décisions de modération doivent être prises en temps réel à tous les niveaux.

« Nous pensons qu’il s’agit d’une puissante combinaison d’outils pour aider à dissuader de manière proactive le harcèlement basé sur le chat [and] l’une des choses que j’aime à ce sujet, c’est qu’il s’agit d’une autre combinaison d’humains et de technologie », a déclaré Huffman. « Avec la détection d’évasion d’interdiction, nous utilisons l’apprentissage automatique pour aider à trouver les utilisateurs que nous pensons suspects. Avec cela, nous nous appuyons sur les relations humaines et les créateurs et communautés de confiance qu’ils ont déjà établis pour aider à fournir ce signal.

Le défi de modération de contenu de Twitch est une sorte de creuset, où des flux dangereux peuvent atteindre un public et causer des dommages lorsqu’ils se déroulent en temps réel. La plupart des autres plates-formes se concentrent sur la détection de contenu après coup – quelque chose est publié, scanné par des systèmes automatisés ou signalé, et ce contenu reste affiché, descend ou est marqué d’un avertissement quelconque destiné à l’utilisateur ou à la plate-forme.

L’entreprise fait évoluer son approche de la sécurité et de l’écoute de sa communauté, méditant sur les besoins des communautés marginalisées comme les streamers noirs et LGBTQ qui ont longtemps lutté pour se tailler un espace sûr ou une présence visible sur la plateforme.

En mars, Color of Change a appelé l’entreprise à intensifier ses efforts pour protéger les créateurs noirs avec une campagne appelée #TwitchDoBetter. La communauté trans et LGBTQ au sens large a également fait pression sur l’entreprise pour qu’elle fasse plus pour mettre fin aux raids haineux – où des utilisateurs malveillants inondent la chaîne d’un streamer de harcèlement ciblé. Twitch a poursuivi deux utilisateurs à la fin de l’année dernière pour avoir coordonné des campagnes de haine automatisées afin de dissuader les futurs mauvais acteurs.

En fin de compte, des politiques intelligentes appliquées de manière uniforme et des améliorations de la boîte à outils dont disposent les modérateurs auront probablement plus d’impact au jour le jour que des poursuites judiciaires, mais davantage de couches de défense ne peuvent pas faire de mal.

« Pour un problème comme le harcèlement ciblé, cela n’est résolu nulle part sur Internet », a déclaré Huffman. « Et, comme c’est le cas dans le monde sans Internet, c’est un problème éternel – et ce n’est pas celui qui a une solution unique.

« Ce que nous essayons de faire ici, c’est simplement de créer un ensemble d’outils vraiment robustes et hautement personnalisables, puis de les mettre entre les mains des personnes qui connaissent le mieux leurs besoins, à savoir les créateurs et leurs modérateurs, et juste leur permettent d’adapter cette suite d’outils pour répondre à leurs besoins particuliers.