Amazon utilise la grand-mère décédée d’un enfant dans une démo morbide du deepfake audio d’Alexa

Agrandir / Le haut-parleur intelligent Amazon Echo Dot de 4e génération.

Amazone

Amazon cherche à faire en sorte que son assistant vocal Alexa falsifie profondément la voix de n’importe qui, mort ou vivant, avec juste un court enregistrement. La société a présenté la fonctionnalité lors de sa conférence re: Mars à Las Vegas mercredi, utilisant le traumatisme émotionnel de la pandémie en cours et le chagrin pour vendre de l’intérêt.

Re: Mars d’Amazon se concentre sur l’intelligence artificielle, l’apprentissage automatique, la robotique et d’autres technologies émergentes, avec des experts techniques et des leaders de l’industrie sur scène. Au cours du discours d’ouverture du deuxième jour, Rohit Prasad, vice-président senior et scientifique en chef d’Alexa AI chez Amazon, a présenté une fonctionnalité en cours de développement pour Alexa.

Après avoir noté le grand nombre de vies perdues pendant la pandémie, Prasad a diffusé une vidéo de démonstration, où un enfant demande à Alexa : « Est-ce que grand-mère peut finir de me lire Magicien d’Oz? » Alexa répond, « D’accord », de sa voix efféminée et robotique typique. Mais ensuite, la voix de la grand-mère de l’enfant sort du haut-parleur pour lire l’histoire de L. Frank Baum.

Vous pouvez regarder la démo ci-dessous :

Amazon re:MARS 2022 – Jour 2 – Keynote.

Prasad a seulement déclaré qu’Amazon « travaillait » sur la fonctionnalité Alexa et n’a pas précisé quel travail restait et quand/s’il serait disponible.

Il a cependant fourni des détails techniques minutieux.

« Cette invention nécessitait d’apprendre à produire une voix de haute qualité avec moins d’une minute d’enregistrement contre des heures d’enregistrement en studio », a-t-il déclaré. « La façon dont nous y sommes parvenus est de définir le problème comme une tâche de conversion vocale et non comme une tâche de génération de parole. »

Prasad a très brièvement expliqué le fonctionnement de la fonctionnalité.
Agrandir / Prasad a très brièvement expliqué le fonctionnement de la fonctionnalité.

Bien sûr, le deepfaking a acquis une réputation controversée. Pourtant, des efforts ont été déployés pour utiliser la technologie comme un outil plutôt que comme un moyen de faire peur.

Les deepfakes audio en particulier, comme l’a noté The Verge, ont été exploités dans les médias pour aider à compenser quand, par exemple, un podcasteur gâche une ligne ou lorsque la star d’un projet décède soudainement, comme cela s’est produit avec le documentaire d’Anthony Bourdain Roadrunner.

Il y a même des cas où des personnes utilisent l’IA pour créer des chatbots qui fonctionnent pour communiquer comme s’ils étaient un être cher perdu, note la publication.

Alexa ne serait même pas le premier produit grand public à utiliser l’audio deepfake pour remplacer un membre de la famille qui ne peut pas être là en personne. Le haut-parleur intelligent Takara Tomy, comme l’a souligné Gizmodo, utilise l’IA pour lire les histoires des enfants au coucher avec la voix d’un parent. Les parents téléchargeraient leur voix, pour ainsi dire, en lisant un script pendant environ 15 minutes. Bien que cela diffère de ce que la démo vidéo d’Amazon implique, en ce que le propriétaire du produit décide de fournir sa voix, plutôt qu’une personne affiliée au propriétaire (Amazon n’a pas expliqué comment les autorisations, en particulier pour les personnes décédées, pourraient fonctionner avec le caractéristique).

Outre les inquiétudes quant à l’utilisation de deepfakes pour des escroqueries, des arnaques et d’autres activités néfastes, il y a déjà des choses troublantes sur la façon dont Amazon cadre la fonctionnalité, qui n’a même pas encore de date de sortie.

Avant de montrer la démo, Prasad a parlé d’Alexa offrant aux utilisateurs une « relation de compagnie ».

« Dans ce rôle de compagnonnage, les attributs humains d’empathie et d’affect sont essentiels pour établir la confiance », a déclaré le dirigeant. « Ces attributs sont devenus encore plus importants en ces temps de pandémie en cours, alors que tant d’entre nous ont perdu quelqu’un que nous aimons. Bien que l’IA ne puisse pas éliminer cette douleur de la perte, elle peut certainement faire durer leurs souvenirs. »

Prasad a ajouté que la fonctionnalité « permet des relations personnelles durables ».

Il est vrai qu’un nombre incalculable de personnes sont à la recherche sérieuse de « l’empathie et de l’affect » humains en réponse à la détresse émotionnelle initiée par la pandémie de COVID-19. Cependant, l’assistant vocal AI d’Amazon n’est pas l’endroit pour satisfaire ces besoins humains. Alexa ne peut pas non plus permettre des « relations personnelles durables » avec des personnes qui ne sont plus avec nous.

Il n’est pas difficile de croire qu’il y a de bonnes intentions derrière cette fonctionnalité en développement et qu’entendre la voix de quelqu’un qui vous manque peut être un grand réconfort. On pourrait même se voir s’amuser avec une fonctionnalité comme celle-ci, théoriquement. Faire en sorte qu’Alexa fasse entendre à un ami qu’il a dit quelque chose de stupide est inoffensif. Et comme nous en avons discuté ci-dessus, il existe d’autres entreprises qui exploitent la technologie deepfake de manière similaire à ce qu’Amazon a démontré.

Mais encadrer une capacité Alexa en développement comme un moyen de raviver une connexion avec les membres décédés de la famille est un pas de géant, irréaliste et problématique. Pendant ce temps, tirer sur la corde sensible en apportant le chagrin et la solitude liés à la pandémie semble gratuit. Il y a des endroits où Amazon n’appartient pas, et le conseil en cas de deuil en fait partie.

Source-147