Une fonctionnalité ajoutée à AI Copilot de Microsoft dans le navigateur Edge cette semaine est la possibilité de générer des résumés textuels de vidéos. Mais la fonctionnalité permettant de gagner du temps d’Edge Copilot est encore assez limitée et ne fonctionne que sur les vidéos prétraitées ou sous-titrées, comme l’explique Mikhail Parakhin, PDG de la publicité et des services Web de Microsoft.
Comme repéré par Utilisateur MSPower, Parakhine écrit, « Pour que cela fonctionne, nous devons pré-traiter la vidéo. Si la vidéo est sous-titrée – nous pouvons toujours y recourir, si ce n’est pas le cas et que nous ne l’avons pas encore prétraitée – alors cela ne fonctionnera pas », en réponse à une question.
En d’autres termes, Edge Copilot à lui seul ne résume pas vraiment vidéos car il résume les transcriptions textuelles des vidéos. Copilot peut également exécuter une fonction similaire dans Microsoft 365, notamment en résumant la vidéo Teams. réunions et appels pour les agents du service client – et dans les deux cas, l’audio doit être transcrit d’abord par Microsoft. Copilot sur Microsoft Stream peut également résumer n’importe quelle vidéo, mais encore une fois, il oblige les utilisateurs à générer une transcription écrite.
La conversation a commencé après que le designer Pietro Schirano posté un enregistrement d’écran d’Edge Copilot résumant une vidéo YouTube sur le GTA VI bande-annonce. Dans ce cas, Copilot semble parfaitement faire son travail. L’utilisateur dans l’enregistrement appuie sur le bouton « Générer un résumé vidéo » dans la barre latérale de Copilot, et quelques secondes plus tard, Copilot en produit un, avec les faits saillants et les horodatages.
Bien entendu, de nombreuses plateformes, notamment YouTube et Vimeo, peuvent générer automatiquement des transcriptions et des sous-titres, si les utilisateurs activent cette fonctionnalité. Après Le bord a demandé à Parakhin sur X si nous pouvions supposer que la plupart des vidéos accessibles au public (c’est-à-dire YouTube) n’étaient pas prétraitées, il a répondu: « Devrait fonctionner pour la plupart des vidéos. »
Copilot n’est que le dernier exemple de la course à l’IA générative dans laquelle Microsoft est en concurrence avec Google (et d’autres). Le mois dernier, Google a mis à niveau l’extension YouTube de son chatbot Bard pour lui permettre de résumer le contenu d’une vidéo et d’en extraire des informations spécifiques. Cette semaine encore, Google a annoncé une mise à jour majeure de Gemini qui comporte ses propres problèmes : les modifications de la société ont peut-être dénaturé certaines des capacités de l’IA dans une démo, et ce n’est pas toujours le cas. avoir des faits clairs.
Parakhin a été Candide sur les différentes étapes de l’évolution de Copilot sur les réseaux sociaux. Alors qu’il était dans un avion mardi matin, l’expert en apprentissage automatique a posté sur X : « Ajout de la possibilité pour Edge Copilot d’utiliser des informations dans des vidéos – pendant un vol. »