Bien qu’il serve de refroidisseur d’eau en ligne pour les journalistes, les politiciens et les VC, Twitter n’est pas le réseau social le plus rentable du quartier. Au milieu des bouleversements internes et de la pression accrue des investisseurs pour gagner plus d’argent, Twitter aurait envisagé de monétiser le contenu pour adultes.
Selon un rapport de The Verge, Twitter était sur le point de devenir un concurrent d’OnlyFans en permettant aux créateurs adultes de vendre des abonnements sur la plateforme de médias sociaux. Cette idée peut sembler étrange au premier abord, mais ce n’est pas vraiment si bizarre – certains créateurs adultes comptent déjà sur Twitter pour faire la publicité de leurs comptes OnlyFans, puisque Twitter est l’une des seules plateformes majeures sur lesquelles la publication de porno ne viole pas les directives.
Mais Twitter a apparemment suspendu ce projet après qu’une «équipe rouge» de 84 employés, conçue pour tester le produit à la recherche de failles de sécurité, a découvert que Twitter ne pouvait pas détecter le matériel d’abus sexuels sur des enfants (CSAM) et la nudité non consensuelle à grande échelle. Twitter manquait également d’outils pour vérifier que les créateurs et les consommateurs de contenu pour adultes avaient plus de 18 ans. Selon le rapport, l’équipe Santé de Twitter avait averti les supérieurs du problème CSAM de la plate-forme depuis février 2021.
Pour détecter un tel contenu, Twitter utilise une base de données développée par Microsoft appelée PhotoDNA, qui aide les plateformes à identifier et à supprimer rapidement les contenus CSAM connus. Mais si un morceau de CSAM ne fait pas déjà partie de cette base de données, des images plus récentes ou modifiées numériquement peuvent échapper à la détection.
« Vous voyez des gens dire: » Eh bien, Twitter fait du mauvais travail « », a déclaré Matthew Green, professeur agrégé au Johns Hopkins Information Security Institute. « Et puis il s’avère que Twitter utilise la même technologie de numérisation PhotoDNA que presque tout le monde. »
Le chiffre d’affaires annuel de Twitter – environ 5 milliards de dollars en 2021 – est faible par rapport à une entreprise comme Google, qui a réalisé un chiffre d’affaires de 257 milliards de dollars l’année dernière. Google a les moyens financiers de développer une technologie plus sophistiquée pour identifier le CSAM, mais ces mécanismes basés sur l’apprentissage automatique ne sont pas infaillibles. Meta utilise également l’API Content Safety de Google pour détecter le CSAM.
« Ce nouveau type de technologie expérimentale n’est pas la norme de l’industrie », a expliqué Green.
Dans un cas récent, un père a remarqué que les organes génitaux de son tout-petit étaient enflés et douloureux, alors il a contacté le médecin de son fils. Avant un rendez-vous de télémédecine, le père a envoyé des photos de l’infection de son fils au médecin. Les systèmes de modération de contenu de Google ont signalé ces images médicales comme CSAM, excluant le père de tous ses comptes Google. La police a été alertée et a commencé à enquêter sur le père, mais ironiquement, ils n’ont pas pu entrer en contact avec lui, car son numéro de téléphone Google Fi était déconnecté.
« Ces outils sont puissants dans la mesure où ils peuvent trouver de nouvelles choses, mais ils sont également sujets aux erreurs », a déclaré Green à TechCrunch. « L’apprentissage automatique ne fait pas la différence entre envoyer quelque chose à votre médecin et un véritable abus sexuel d’enfant. »
Bien que ce type de technologie soit déployé pour protéger les enfants contre l’exploitation, les critiques craignent que le coût de cette protection – surveillance de masse et numérisation des données personnelles – ne soit trop élevé. Apple prévoyait de déployer sa propre technologie de détection CSAM appelée NeuralHash l’année dernière, mais le produit a été abandonné après que des experts en sécurité et des défenseurs de la vie privée ont souligné que la technologie pouvait facilement être utilisée de manière abusive par les autorités gouvernementales.
« Des systèmes comme celui-ci pourraient signaler les minorités vulnérables, y compris les parents LGBT dans des endroits où la police et les membres de la communauté ne sont pas amicaux avec eux », a écrit Joe Mullin, analyste politique pour l’Electronic Frontier Foundation, dans un article de blog. « Le système de Google pourrait signaler à tort des parents aux autorités de pays autocratiques ou de lieux où la police est corrompue, où les parents accusés à tort ne pourraient pas être assurés d’une procédure régulière. »
Cela ne signifie pas que les plateformes sociales ne peuvent pas faire plus pour protéger les enfants contre l’exploitation. Jusqu’en février, Twitter n’avait aucun moyen pour les utilisateurs de signaler le contenu contenant du CSAM, ce qui signifie que certains des contenus les plus nuisibles du site Web pouvaient rester en ligne pendant de longues périodes après les signalements des utilisateurs. L’année dernière, deux personnes ont poursuivi Twitter pour avoir prétendument profité de vidéos enregistrées d’eux en tant qu’adolescents victimes de trafic sexuel; l’affaire est dirigée vers la Cour d’appel du neuvième circuit des États-Unis. Dans cette affaire, les plaignants ont affirmé que Twitter n’avait pas supprimé les vidéos lorsqu’ils en avaient été informés. Les vidéos ont accumulé plus de 167 000 vues.
Twitter est confronté à un problème difficile : la plate-forme est suffisamment grande pour que la détection de tous les CSAM soit presque impossible, mais elle ne rapporte pas assez d’argent pour investir dans des protections plus robustes. Selon le rapport de The Verge, l’acquisition potentielle de Twitter par Elon Musk a également eu un impact sur les priorités des équipes de santé et de sécurité de l’entreprise. La semaine dernière, Twitter aurait réorganisé son équipe de santé pour se concentrer plutôt sur l’identification des comptes de spam – Musk a affirmé avec ardeur que Twitter mentait sur la prévalence des bots sur la plate-forme, citant cela comme sa raison de vouloir mettre fin à l’accord de 44 milliards de dollars.
« Tout ce que Twitter fait de bon ou de mauvais va maintenant être pesé à la lumière de » Comment cela affecte-t-il le procès [with Musk]? » dit Vert. « Il pourrait y avoir des milliards de dollars en jeu. »
Twitter n’a pas répondu à la demande de commentaire de TechCrunch.