Lorsque Google a introduit Night Sight sur le Pixel 3, ce fut une révélation.
C’était comme si quelqu’un avait littéralement allumé les lumières sur vos photos en basse lumière. Des prises de vue auparavant impossibles sont devenues possibles : aucun trépied ou flash de cerf dans les phares n’est nécessaire.
Cinq ans plus tard, prendre des photos dans le noir est un vieux chapeau : presque tous les téléphones, de haut en bas de la gamme de prix, sont dotés d’une sorte de mode nuit. La vidéo, cependant, est une autre histoire. Les modes nuit pour les photos fixes capturent plusieurs images pour créer une image plus lumineuse, et il n’est tout simplement pas possible de copier et coller les mécanismes de cette fonctionnalité dans une vidéo qui, de par sa nature, est déjà une série d’images. La réponse, comme cela semble être le cas ces derniers temps, est de faire appel à l’IA.
Lors du lancement du Pixel 8 Pro cet automne, Google a annoncé une fonctionnalité appelée Video Boost with Night Sight, qui arriverait dans une future mise à jour logicielle. Il utilise l’IA pour traiter vos vidéos, faisant ressortir plus de détails et améliorant les couleurs, ce qui est particulièrement utile pour les clips faiblement éclairés. Il n’y a qu’un seul problème : ce traitement s’effectue dans le cloud sur les serveurs de Google, et non sur votre téléphone.
Comme promis, Video Boost a commencé à arriver sur les appareils il y a quelques semaines avec la mise à jour Pixel de décembre, y compris mon unité d’évaluation Pixel 8 Pro. Et c’est bon ! Mais ce n’est pas tout à fait le moment décisif qu’a été le Night Sight original. Cela montre à la fois à quel point Night Sight était impressionnant lors de ses débuts, ainsi que les défis particuliers que la vidéo présente pour un système de caméra pour smartphone.
Video Boost fonctionne comme ceci : d’abord et surtout, vous devez disposer d’un Pixel 8 Pro, pas un Pixel 8 ordinaire – Google n’a pas répondu à ma question sur la raison. Vous l’activez dans les paramètres de votre appareil photo lorsque vous souhaitez l’utiliser, puis commencez à enregistrer votre vidéo. Une fois que vous avez terminé, la vidéo doit être sauvegardée sur votre compte Google Photos, automatiquement ou manuellement. Ensuite tu attends. Et attendre. Et dans certains cas, attendez : Video Boost fonctionne sur des vidéos d’une durée maximale de dix minutes, mais même un clip de quelques minutes seulement peut prendre des heures à traiter.
Selon le type de vidéo que vous enregistrez, cette attente peut en valoir la peine ou non. Documentation d’assistance de Google dit qu’il est conçu pour vous permettre de « réaliser des vidéos sur votre téléphone Pixel avec une qualité supérieure et avec un meilleur éclairage, de meilleures couleurs et de meilleurs détails », quel que soit l’éclairage. Mais le principal Ce que Video Boost propose, c’est une meilleure vidéo en basse lumière – c’est ce que me dit le chef de produit du groupe Isaac Reynolds. « Pensez-y à Night Sight Video, car toutes les modifications apportées aux autres algorithmes visent toutes Night Sight. »
Tous les processus qui améliorent l’apparence de nos vidéos sous un bon éclairage (stabilisation, mappage de tons) cessent de fonctionner lorsque vous essayez d’enregistrer une vidéo dans des conditions de très faible luminosité. Reynolds explique que même le gentil le flou que vous obtenez dans une vidéo en basse lumière est différent. « OIS [optical image stabilization] peut stabiliser un cadre, mais seulement d’une certaine longueur. La vidéo en basse lumière nécessite des images plus longues, ce qui constitue un défi de taille en matière de stabilisation. « Lorsque vous commencez à marcher dans des conditions de faible luminosité, avec des images aussi longues, vous pouvez obtenir un type particulier de flou intra-image qui n’est que le résidu que l’OIS peut compenser. » En d’autres termes, c’est sacrément compliqué.
Tout cela aide à expliquer ce que je vois dans mes propres clips Video Boost. Avec un bon éclairage, je ne vois pas beaucoup de différence. Certaines couleurs ressortent un peu plus, mais je ne vois rien qui m’obligerait à l’utiliser régulièrement lorsque la lumière disponible est abondante. Dans extrêmement en basse lumière, Video Boost peut récupérer des couleurs et des détails totalement perdus dans un clip vidéo standard. Mais ce n’est pas aussi dramatique que la différence entre une photo ordinaire et une photo Night Sight dans les mêmes conditions.
Il existe cependant un véritable point idéal entre ces extrêmes, où je peux voir Video Boost vraiment utile. Dans un clip où je marche sur un chemin au crépuscule dans une pergola sombre abritant la Kobe Bell, il y a une amélioration notable des détails des ombres et de la stabilisation après Boost. Plus j’utilisais Video Boost dans un éclairage intérieur moyen-faible, plus j’en voyais l’intérêt. Vous commencez à voir à quel point les vidéos standards sont délavées dans ces conditions – comme mon fils jouant avec des camions sur le sol de la salle à manger. L’activation de Video Boost a restauré une partie du dynamisme que j’avais oublié.
Video Boost est limité à la caméra arrière principale du Pixel 8 Pro et enregistre en 4K (valeur par défaut) ou en 1080p à 30 ips. L’utilisation de Video Boost génère deux clips : un premier fichier « d’aperçu » qui n’a pas été boosté et est immédiatement disponible pour le partage, et éventuellement le deuxième fichier « boosté ». Mais sous le capot, il se passe bien plus encore.
Reynolds m’a expliqué que Video Boost utilise un pipeline de traitement totalement différent qui conserve beaucoup plus de données d’image capturées qui sont généralement supprimées lorsque vous enregistrez un fichier vidéo standard – un peu comme la relation entre les fichiers RAW et JPEG. Un fichier temporaire conserve ces informations sur votre appareil jusqu’à ce qu’elles soient envoyées vers le cloud ; après cela, il est supprimé. C’est une bonne chose, car les fichiers temporaires peuvent être volumineux : plusieurs gigaoctets pour des clips plus longs. Les vidéos finales boostées, cependant, sont de taille beaucoup plus raisonnable : 513 Mo pour un clip de trois minutes que j’ai enregistré contre 6 Go pour le fichier temporaire.
Ma première réaction à Video Boost a été que cela ressemblait à un pis-aller : une démonstration de fonctionnalités de quelque chose qui a besoin du cloud pour fonctionner en ce moment, mais qui serait transféré sur l’appareil à l’avenir. Qualcomm a présenté une version sur appareil de quelque chose de similaire cet automne, donc cela doit être la fin du jeu, n’est-ce pas ? Reynolds dit que ce n’est pas comme ça qu’il voit les choses. « Les choses que vous pouvez faire dans le cloud seront toujours plus impressionnantes que celles que vous pouvez faire sur un téléphone. »
La distinction entre ce que votre téléphone peut faire et ce qu’un serveur cloud peut faire passera au second plan.
Exemple concret : il dit qu’à l’heure actuelle, les téléphones Pixel exécutent diverses versions plus petites et optimisées du modèle HDR Plus de Google sur l’appareil. Mais le modèle HDR Plus « parent » complet que Google a développé au cours de la dernière décennie pour ses téléphones Pixel est trop volumineux pour être exécuté de manière réaliste sur n’importe quel téléphone. Et les capacités d’IA sur l’appareil s’amélioreront avec le temps, il est donc probable que quelques les choses qui ne pouvaient être faites que dans le cloud seront transférées sur nos appareils. Mais ce qui est possible dans le cloud va également changer. Reynolds dit qu’il considère le cloud comme simplement « un autre composant » des capacités de Tensor.
En ce sens, Video Boost est un aperçu de l’avenir : c’est simplement un avenir dans lequel l’IA de votre téléphone fonctionnera main dans la main avec l’IA du cloud. Davantage de fonctions seront gérées par une combinaison d’IA sur et hors appareil, et la distinction entre ce que votre téléphone peut faire et ce qu’un serveur cloud peut faire passera au second plan. Ce n’est pas vraiment le moment « aha » qu’a été Night Sight, mais cela va tout de même constituer un changement significatif dans la façon dont nous percevons les capacités de notre téléphone.