Nvidia a publié une vidéo festive mettant en vedette un adorable avatar à tête branlante du PDG Jensen Huang chantant Jingle Bells. La chanson de Noël traditionnelle a été jazzée dans le style des crooners des années 50 avec une action de claquement de doigts cool de la veste en cuir drapée ‘Toy Jensen. Cette vidéo amusante présente des technologies intéressantes et diffuse un peu de joie des Fêtes.
La sortie vidéo n’est pas seulement une façon de dire de joyeuses fêtes aux fans de Nvidia, elle démontre également (s’ouvre dans un nouvel onglet) les capacités de la plate-forme Nvidia Omniverse Avatar Cloud Engine, ou ACE. La performance n’a pris «que quelques heures» pour rendre et démontrer des expressions faciales et des mouvements corporels réalistes ainsi que la technologie de conversion vocale qui a mappé le ton de Jensen à la performance d’un chanteur professionnel – ce n’est pas un enregistrement réel de la voix chantée de Jensen.
En décomposant les éléments vidéo, l’équipe de développement de Nvidia a utilisé un modèle récemment développé pour mapper le ton de la voix de Jensen Huang sur l’échantillon de chant Jingle Bells d’un chanteur professionnel. Les notes de musique du chant professionnel ont été appliquées à la voix numérique de Toy Jensen pour que l’avatar chante les notes et le rythme corrects. Il est à noter que l’arrangement musical de cette performance n’a pas été généré par l’IA, mais a été mis en place par Jochem van der Saag, un compositeur et producteur qui a travaillé avec Michael Bublé et David Foster.
Ensuite, Omniverse Audio2Face (s’ouvre dans un nouvel onglet) et Audio2Gesture (s’ouvre dans un nouvel onglet) les technologies ont été exploitées pour générer des expressions faciales et des gestes réalistes correspondant à la performance musicale animée de l’avatar Toy Jensen. Pour une performance de style spectacle de talents X-Factor plus complète, nous pensons que Nvidia devra développer une nouvelle technologie Audio2Walk-down-steps.
En mettant la vidéo ci-dessus en perspective, Jensen Huang a fait la une des journaux en novembre lors de sa visite à Taipei et a bombardé un duo de chanteurs. Lors d’un carnaval de Taiwan Esports, il a réussi à se faufiler entre Lah Yileh Lee et Xinting Lee lors d’une représentation de « Always Remember Us This Way » de Lady Gaga. La performance est devenue virale, mais Huang insiste sur le fait qu’il est trop timide pour enregistrer une interprétation réelle de Jingle Bells, alors il a chargé ses ingénieurs de préparer la performance de Toy Jensen, intégrée au sommet.
Nvidia indique que la plate-forme Omniverse ACE sera bientôt disponible pour les partenaires à accès anticipé. Il ne dit pas si la version inclura un Toy Jensen avec lequel jouer.