Images Getty | SOPA Images
L’un des créateurs du Botometer, un outil Web utilisé par Elon Musk pour estimer le pourcentage de spam de Twitter pour un dossier judiciaire, aurait déclaré que le calcul de Musk « ne veut rien dire ». Kai-Cheng Yang, un doctorat. candidat à l’Université de l’Indiana, « a remis en question la méthodologie utilisée par l’équipe de M. Musk et a déclaré à la BBC qu’ils ne l’avaient pas approché avant d’utiliser l’outil », a déclaré aujourd’hui un article de la BBC.
Un dossier du tribunal de Musk du 4 août a affirmé qu’une analyse Botometer des données de Twitter firehose au cours de la première semaine de juillet « montre que, pendant cette période, les faux comptes ou les spams représentaient 33% des comptes visibles ». Mais comme Yang l’a souligné, le Botomètre fournit des scores de 0 à 5 – 5 étant le plus semblable à un bot – et le dossier judiciaire de Musk n’a pas précisé où il avait fixé la limite entre l’humain et le bot.
« Afin d’estimer la prévalence [of bots] vous devez choisir un seuil pour réduire le score », a déclaré Yang à la BBC. « Si vous modifiez le seuil de trois à deux, vous obtiendrez plus de bots et moins d’humains. » Parce que le dossier judiciaire de Musk « ne rend pas le détails clairs, » Musk « a la liberté de faire ce qu’il veut. Donc, le nombre pour moi, ça ne veut rien dire », a déclaré Yang.
« Techniquement, vous pouvez choisir n’importe quel seuil que vous voulez et obtenir n’importe quel résultat que vous voulez », a déclaré Yang dans une précédente interview avec Yahoo. Le Botomètre est un projet de l’Observatoire des médias sociaux et du Network Science Institute de l’Université de l’Indiana.
Botometer a classé Musk comme un bot probable
Le Botomètre lui-même « a indiqué une fois que le propre compte Twitter d’Elon Musk était probablement un bot, le notant 4/5 », comme Twitter l’a souligné dans un dossier judiciaire. Le score Botometer de Musk aurait fluctué entre 0,5 et 4, montrant que l’outil évalue Musk comme un humain certains jours et comme un robot sur d’autres.
Twitter a également souligné que Musk et son équipe « n’ont pas indiqué quel score ils appliquent pour conclure qu’un compte constitue un spam ; par conséquent, leur allégation est invérifiable ». Twitter a en outre noté qu’un compte pouvait être un bot sans être ce que l’entreprise considère comme un faux compte ou un spam. Twitter a donné des exemples tels que des bots « qui signalent les tremblements de terre au fur et à mesure qu’ils se produisent ou des mises à jour sur la météo ».
D’autres types de comptes légitimes peuvent être considérés comme des bots probables par le Botometer. Le Botometer a donné à mon propre compte Twitter vérifié un score de bot de 3 sur 5 aujourd’hui, et il a noté le compte Ars Technica vérifié de 3,6 sur 5.
La FAQ du site Web Botometer met en garde contre l’étiquetage de chaque compte au-dessus d’un certain nombre de bot. « Il est tentant de définir un score de seuil arbitraire et de considérer tout ce qui est au-dessus de ce nombre comme un bot et tout ce qui est en dessous d’un humain, mais nous ne recommandons pas cette approche… Nous pensons qu’il est plus instructif d’examiner la distribution des scores sur un échantillon de comptes », indique la FAQ.
Yang surpris que Musk n’ait pas créé un meilleur outil
Yang a également parlé à CNN récemment, exprimant sa surprise que Musk ait utilisé le Botometer au lieu de créer quelque chose de plus précis. « Pour être honnête, vous savez, Elon Musk est vraiment riche, n’est-ce pas ? J’avais supposé qu’il dépenserait de l’argent pour embaucher des gens pour construire lui-même des outils ou des méthodes sophistiqués », a déclaré Yang à CNN.
Le Botomètre est mieux utilisé « pour compléter, et non pour remplacer, votre propre jugement », indique la FAQ de l’outil, notant que « les humains et les machines ont des forces différentes en matière de reconnaissance de formes. Certains comptes ‘évidemment’ de robots/humains selon un un observateur humain trompera un algorithme d’apprentissage automatique. Par exemple, Botometer catégorise parfois les « comptes organisationnels » comme des comptes de robots. De même, un algorithme peut classer en toute confiance certains comptes avec lesquels les humains ont du mal. »
Twitter a poursuivi Musk devant le Delaware Court of Chancery après avoir tenté de se soustraire à son engagement d’acheter la société pour 44 milliards de dollars. Musk a défendu sa tentative de rompre l’accord de fusion en remettant en question la divulgation publique de Twitter selon laquelle moins de 5% de ses utilisateurs actifs quotidiens monétisables (mDAU) sont des spams ou des faux.
Twitter défend l’exactitude de ses estimations, affirmant qu’elles sont basées sur « de multiples examens humains (répliqués) de milliers de comptes sélectionnés au hasard chaque trimestre en utilisant à la fois des données publiques et privées ». Twitter indique également que Musk n’a pas le droit de sortir de l’accord de fusion en raison du nombre de comptes de spam.
Musk a des plans pour une analyse plus approfondie du spam, a déclaré son dossier judiciaire. « Les experts des accusés poursuivent leur analyse même maintenant et, en prévision de la production de données supplémentaires par Twitter (y compris des données » privées « que Twitter met à la disposition de ses examinateurs humains et affirme qu’il est nécessaire de vérifier son rapport de moins de 5 % spam et taux de faux utilisateurs), ont l’intention de mener une analyse plus complète et s’attendent à présenter des estimations et des conclusions mises à jour dans des rapports d’experts et au procès », ont écrit les avocats de Musk.