Il y a quelques jours, la startup d’IA vocale ElevenLabs a lancé une version bêta de sa plate-forme qui donne aux utilisateurs le pouvoir de créer des voix synthétiques entièrement nouvelles pour l’audio de synthèse vocale ou de cloner la voix de quelqu’un. Eh bien, il n’a fallu que quelques jours à Internet pour commencer à utiliser ce dernier à des fins ignobles. La société a révélé sur Twitter qu’il voit un « nombre croissant de cas d’abus de clonage de voix » et qu’il réfléchit à un moyen de résoudre le problème en « implémentant des garanties supplémentaires ».
Bien qu’ElevenLabs n’ait pas précisé ce qu’il entendait par « cas d’utilisation abusive », Carte mère trouvé des messages 4chan avec des clips contenant des voix générées qui ressemblent à des célébrités lisant ou disant quelque chose de douteux. Un clip, par exemple, aurait présenté une voix qui ressemblait à Emma Watson lisant une partie de Mein Kampf. Les utilisateurs ont également publié des clips vocaux qui présentent des sentiments homophobes, transphobes, violents et racistes. Il n’est pas tout à fait clair si tous les clips utilisaient la technologie d’ElevenLab, mais un message avec une large collection de fichiers vocaux sur 4chan comprenait un lien vers la plate-forme de la startup.
Peut-être que cette émergence de clips audio « deepfake » ne devrait pas surprendre, car il y a quelques années, nous avions vu un phénomène similaire se produire. Les progrès de l’IA et de l’apprentissage automatique ont entraîné une augmentation des vidéos deepfake, en particulier de la pornographie deepfake, dans laquelle le matériel pornographique existant est modifié pour utiliser les visages de célébrités. Et, oui, les gens ont utilisé le visage d’Emma Watson pour certaines de ces vidéos.
ElevenLabs recueille actuellement des commentaires sur la manière d’empêcher les utilisateurs d’abuser de sa technologie. Pour le moment, ses idées actuelles incluent l’ajout de plusieurs couches à la vérification de son compte pour permettre le clonage vocal, par exemple en demandant aux utilisateurs de saisir des informations de paiement ou un identifiant. Il envisage également de demander aux utilisateurs de vérifier la propriété des droits d’auteur de la voix qu’ils souhaitent cloner, par exemple en leur demandant de soumettre un échantillon avec un texte invité. Enfin, la société envisage d’abandonner complètement son outil Voice Lab et de demander aux utilisateurs de soumettre des demandes de clonage de voix qu’elle doit vérifier manuellement.
Week-end fou – merci à tous d’avoir essayé notre plateforme bêta. Alors que nous voyons notre technologie être massivement appliquée à une utilisation positive, nous constatons également un nombre croissant de cas d’utilisation abusive du clonage de la voix. Nous voulons tendre la main à la communauté Twitter pour des réflexions et des commentaires !
– ElevenLabs (@elevenlabsio) 30 janvier 2023
Tous les produits recommandés par Engadget sont sélectionnés par notre équipe éditoriale, indépendante de notre maison mère. Certaines de nos histoires incluent des liens d’affiliation. Si vous achetez quelque chose via l’un de ces liens, nous pouvons gagner une commission d’affiliation. Tous les prix sont corrects au moment de la publication.