Devant un tribunal de Londres cette semaine, le coroner Andrew Walker a eu la tâche difficile d’évaluer une question que les défenseurs de la sécurité des enfants posent depuis des années : dans quelle mesure les médias sociaux sont-ils responsables des algorithmes de contenu transmis aux mineurs ? L’affaire devant Walker impliquait une adolescente de 14 ans nommée Molly Russell, qui s’est suicidée en 2017 après avoir consulté des milliers de messages sur des plateformes comme Instagram et Pinterest faisant la promotion de l’automutilation. À un moment de l’enquête, Walker a décrit le contenu que Russell aimait ou enregistrait dans les jours précédant sa mort comme si dérangeant, a déclaré le coroner au tribunal, qu’il l’a trouvé « presque impossible à regarder ».
Aujourd’hui, Walker a conclu que la mort de Russell ne pouvait pas être considérée comme un suicide, rapporte Bloomberg. Au lieu de cela, il a décrit sa cause de décès comme « un acte d’automutilation tout en souffrant de dépression et des effets négatifs du contenu en ligne ».
Bloomberg a rapporté que Walker avait pris cette décision sur la base de l’utilisation « prolifique » d’Instagram par Russell – aimer, partager ou enregistrer 16 300 publications en six mois avant sa mort – et de Pinterest – 5 793 épingles sur la même durée – combinée à la façon dont les plateformes contenu traiteur pour contribuer à l’état dépressif de Russell.
« Les plateformes fonctionnaient de manière à utiliser des algorithmes qui entraînaient, dans certaines circonstances, des périodes de frénésie d’images, de clips vidéo et de texte », qui « romantisaient les actes d’automutilation » et « cherchaient à isoler et à décourager la discussion avec ceux qui aurait peut-être été en mesure d’aider », a déclaré Walker.
À la suite de la décision de Walker, la famille de Russell a publié une déclaration fournie à Ars, la qualifiant de décision historique et affirmant que le tribunal n’avait même pas examiné le contenu le plus dérangeant rencontré par Molly.
« Ces quinze derniers jours ont été particulièrement douloureux pour notre famille », lit-on dans le communiqué de la famille Russell. « Nous manquons de Molly plus douloureusement que d’habitude, mais nous espérons que l’examen minutieux de cette affaire aidera à prévenir des décès similaires encouragés par le contenu inquiétant qui est encore disponible à ce jour sur les plateformes de médias sociaux, y compris celles gérées par Meta. »
Bloomberg rapporte que l’avocat de la famille, Oliver Sanders, a demandé à Walker « d’envoyer des instructions sur la manière d’empêcher que cela ne se reproduise à Pinterest, Meta, le gouvernement britannique et le régulateur des communications ». Dans leur déclaration, la famille a poussé les régulateurs britanniques à adopter et à appliquer rapidement le projet de loi britannique sur la sécurité en ligne, qui, selon le New York Times, pourrait instituer « de nouvelles garanties pour les jeunes utilisateurs du monde entier ».
Les défenses de Pinterest et Facebook ont adopté des tactiques différentes
Au cours de l’enquête, Pinterest et Meta ont adopté des approches différentes pour défendre leurs politiques. Pinterest s’est excusé, affirmant qu’il ne disposait pas de la technologie dont il dispose actuellement pour modérer plus efficacement le contenu auquel Molly a été exposée. Mais la responsable de la santé et du bien-être de Meta, Elizabeth Lagone, a frustré la famille en disant au tribunal que le contenu consulté par Molly était considéré comme « sûr » selon les normes de Meta.
« Nous avons entendu un cadre supérieur de Meta décrire ce flux de contenu mortel que les algorithmes de la plate-forme ont envoyé à Molly, comme étant » SÉCURISÉ « et ne contrevenant pas aux politiques de la plate-forme », a écrit la famille Russell dans son communiqué. « Si cette piste démentielle de contenu suceur de vie était sûre, ma fille Molly serait probablement encore en vie. »
Un porte-parole de Meta a déclaré à Bloomberg que la société « s’engage à faire en sorte qu’Instagram soit une expérience positive pour tout le monde, en particulier les adolescents », promettant « d’examiner attentivement le rapport complet du coroner lorsqu’il le fournira ».
La famille de Molly a tenu à féliciter Pinterest pour sa transparence au cours de l’enquête, exhortant les autres sociétés de médias sociaux à considérer Pinterest comme un modèle lorsqu’elles traitent avec quiconque conteste les décisions en matière de politique de contenu.
« Pour la première fois aujourd’hui, les plateformes technologiques ont été officiellement tenues responsables de la mort d’un enfant », indique le communiqué de Russells. « À l’avenir, en tant que famille, nous espérons que toutes les autres sociétés de médias sociaux appelées à participer à une enquête suivront l’exemple de Pinterest, qui a pris des mesures pour tirer des leçons et s’est engagée sincèrement et respectueusement dans le processus d’enquête. »
Bloomberg a rapporté que Pinterest a déclaré que « l’histoire de Molly a renforcé notre engagement à créer un espace sûr et positif pour nos pinners ». En réponse à la décision, Pinterest a déclaré avoir « continué à renforcer » ses « politiques concernant le contenu autodestructeur ».
Ni Pinterest ni Meta n’ont immédiatement répondu à la demande de commentaire d’Ars. [Update: Pinterest told Ars that its thoughts are with the Russell family, saying it has listened carefully to the court and the family throughout the inquest. According to Pinterest, it is « committed to making ongoing improvements to help ensure that the platform is safe for everyone » and internally « the Coroner’s report will be considered with care. » Since Molly’s death, Pinterest said it has taken steps to improve content moderation, including blocking more than 25,000 self-harm related search terms and, since 2019, has combined « human moderation with automated machine learning technologies to reduce policy-violating content on the platform. »]