ElevenLabs, une startup d’IA qui propose des services de clonage vocal avec ses outils, a banni l’utilisateur qui a créé un deepfake audio de Joe Biden utilisé pour tenter de perturber les élections, selon Bloomberg. L’audio usurpant l’identité du président a été utilisé lors d’un appel automatisé envoyé à certains électeurs du New Hampshire la semaine dernière, leur disant de ne pas voter aux primaires de leur État. Au départ, on ne savait pas exactement quelle technologie avait été utilisée pour copier la voix de Biden, mais une analyse approfondie réalisée par la société de sécurité Pindrop a montré que les auteurs ont utilisé les outils d’ElevanLabs.
La société de sécurité a supprimé le bruit de fond et nettoyé l’audio de l’appel automatisé avant de le comparer à des échantillons de plus de 120 technologies de synthèse vocale utilisées pour générer des deepfakes. Le PDG de Pindrop, Vijay Balasubramaniyan, a déclaré Filaire qu’il « est revenu bien au nord de 99 pour cent qu’il s’agissait d’ElevenLabs ». Bloomberg dit que la société a été informée des conclusions de Pindrop et qu’elle enquête toujours, mais qu’elle a déjà identifié et suspendu le compte qui a créé le faux audio. ElevenLabs a déclaré à l’agence de presse qu’il ne pouvait pas commenter le problème lui-même, mais qu’il était « dédié à empêcher l’utilisation abusive des outils d’IA audio et [that it takes] tout incident d’utilisation abusive est extrêmement grave. »
L’appel automatisé de Biden, falsifié, montre comment des technologies capables d’imiter l’image et la voix de quelqu’un d’autre pourraient être utilisées pour manipuler les votes lors de la prochaine élection présidentielle aux États-Unis. « Ce n’est en quelque sorte que la pointe de l’iceberg de ce qui pourrait être fait en matière de répression des électeurs ou d’attaques contre les travailleurs électoraux », a déclaré Kathleen Carley, professeur à l’Université Carnegie Mellon. La colline. « C’était presque un signe avant-coureur de toutes sortes de choses auxquelles nous devrions nous attendre au cours des prochains mois. »
Il n’a fallu que quelques jours à Internet après qu’ElevenLabs a lancé la version bêta de sa plateforme pour commencer à l’utiliser pour créer des clips audio qui ressemblent à des célébrités lisant ou disant quelque chose de douteux. La startup permet à ses clients d’utiliser sa technologie pour cloner des voix pour « un discours artistique et politique contribuant aux débats publics ». Sa page de sécurité avertit les utilisateurs qu’ils « ne peuvent pas cloner une voix à des fins abusives telles que la fraude, la discrimination, les discours de haine ou pour toute forme d’abus en ligne sans enfreindre la loi ». Mais il est clair qu’il doit mettre en place davantage de garde-fous pour empêcher de mauvais acteurs d’utiliser ses outils pour influencer les électeurs et manipuler les élections dans le monde entier.
Cet article contient des liens d’affiliation ; si vous cliquez sur un tel lien et effectuez un achat, nous pouvons gagner une commission.