NYU lance un projet visant à stimuler le développement de vidéos 3D immersives pour l’enseignement de la danse – et peut-être dans d’autres domaines. Soutenu par une subvention de 1,2 million de dollars sur quatre ans de la National Science Foundation, le projet tentera de rendre la technologie Point-Cloud Video (PCV) viable pour le streaming.
Un nuage de points est un ensemble de points de données dans un espace 3D représentant la surface d’un sujet ou d’un environnement. NYU affirme que Point-Cloud Video, qui regroupe des images de nuages de points dans une scène en mouvement, est en cours de développement depuis une décennie. Cependant, cette technologie est généralement trop gourmande en données pour des raisons pratiques, nécessitant une bande passante bien au-delà des capacités des appareils connectés d’aujourd’hui.
Les chercheurs prévoient de surmonter ces obstacles en « réduisant la consommation de bande passante et la latence de livraison, et en augmentant l’efficacité de la consommation d’énergie afin que les PCV puissent être diffusés beaucoup plus facilement », selon un article du blog NYU Engineering publié lundi. Le chef du projet, Yong Liu, professeur de génie électrique et informatique à l’Université de New York, estime que les avancées modernes rendent cela possible. « Avec les récents progrès dans les technologies clés, nous sommes maintenant sur le point de terminer le puzzle de la téléportation d’hologrammes d’humains, de créatures et d’objets du monde réel via l’Internet mondial », a écrit Liu lundi.
Le créateur de ChatGPT, OpenAI, a lancé l’année dernière un modèle capable de créer des nuages de points 3D à partir d’invites de texte. Engadget a contacté le chef de projet pour préciser si lui-même ou d’autres outils d’IA générative font partie du processus, et nous mettrons à jour cet article si nous recevons une réponse.
L’équipe testera la technologie avec la NYU Tisch School of the Arts et le Dance Center du Mark Morris Dance Group. Les danseurs des deux organisations se produiront sur une scène de capture volumétrique. L’équipe diffusera leurs mouvements en direct et à la demande, offrant un contenu éducatif aux danseurs en herbe souhaitant étudier auprès d’artistes de haut niveau – et permettant aux ingénieurs de tester et de peaufiner leur technologie PCV.
Les chercheurs envisagent que ces travaux ouvriront les portes à des contenus de streaming VR et de réalité mixte plus avancés. « Le succès de la recherche proposée contribuera au déploiement à grande échelle de systèmes de streaming PCV robustes et de haute qualité qui facilitent une expérience immersive de réalité augmentée, virtuelle et mixte et créent de nouvelles opportunités dans de nombreux domaines, notamment l’éducation, les affaires, la santé et le divertissement », a déclaré Liu. .
« La vidéo Point-Cloud présente un énorme potentiel pour transformer toute une série d’industries, et je suis ravie que l’équipe de recherche de NYU Tandon ait donné la priorité à l’enseignement de la danse afin de récolter ces avantages dès le plus tôt possible », a déclaré Jelena Kovačević, doyenne de NYU Tandon.