Environ 50 % de mon album photo est constitué de reçus. C’est-à-dire de captures d’écran de tout ce que je considère comme légèrement intéressant. Qu’il s’agisse de chauffeurs Uber qui ne semblent jamais se rapprocher, de thé chaud provenant des stories Instagram de mes amis ou de fils de discussion insondables par e-mail, ma galerie est pleine de détritus Internet inexplicables. Mieux encore, rien qu’en regardant leurs vignettes, je ne peux jamais savoir exactement où se trouve une image spécifique, car les murs de texte se ressemblent tous de loin. Alors, lorsque Google a annoncé sa nouvelle application Pixel Screenshots lors de son événement Made By Google aujourd’hui, j’étais extrêmement enthousiaste.
L’application Captures d’écran est lancée en même temps que les Pixel 9, Pixel 9 Pro et Pixel 9 Pro Fold, et utilise l’IA Gemini pour vous aider à localiser des images spécifiques. Une fois que vous avez autorisé l’application à accéder à vos photos, l’IA ingère non seulement les fichiers qu’elle pense être des captures d’écran, mais commence également à identifier le contenu de chaque image.
Sur la page d’accueil, vous verrez une ligne en haut appelée « Collections », avec une série de clichés pré-organisés tels que « Idées cadeaux », « Bottes » ou « Lieux à visiter ». Vous pouvez les organiser vous-même ou les suggérer par le système.
Sous cette ligne se trouve une grille de toutes vos captures les plus récentes, et en bas se trouve une barre de recherche et un symbole Plus à côté. En appuyant sur ce symbole, vous pourrez soit lancer l’appareil photo, soit importer une photo de votre album. Cela est utile pour les photos que vous avez prises de signes du monde réel qui contiennent des informations dont vous souhaitez que Gemini AI vous aide à vous souvenir.
Appuyez sur chaque capture d’écran dans cette application pour agrandir l’image et faire apparaître un titre, un résumé et des boutons en fonction de son contenu. Ces éléments sont tous générés par l’IA. Ainsi, si vous regardez une photo d’une publication Instagram d’un festival de musique sur les dates à venir, le titre pourrait indiquer « Lollapalooza Headline Acts » avec des boutons pour ajouter des événements spécifiques de cette photo à votre calendrier. Si vous avez affiché une image du site Web d’un restaurant, les captures d’écran peuvent proposer des raccourcis pour appeler le magasin ou accéder à l’adresse de l’entreprise via Maps.
Depuis la page d’accueil, vous pouvez soit saisir du texte dans la barre de recherche, soit appuyer sur l’icône du microphone et demander à Google des choses comme « Quel était le mot de passe Wi-Fi de Sam ? » ou « Combien dois-je à Cherlynn ? » L’application va parcourir votre galerie et non seulement vous retourner des images avec des informations potentiellement pertinentes, mais elle essaiera également de répondre à votre question en haut de la page. Dans la démonstration que j’ai vue lors d’un récent événement pratique, un représentant de Google a demandé à l’application « Quand les billets pour le festival seront-ils mis en vente ? »
Les captures d’écran ont réagi presque instantanément en affichant une photo d’une publication Instagram d’un festival folklorique, et quelques secondes plus tard, elles ont affiché les mots « Les billets pour le festival seront mis en vente le 5 août ». Cet exemple était particulièrement impressionnant car plusieurs dates étaient indiquées dans la capture d’écran, une pour le début de la vente des billets et une pour le début du festival lui-même. À partir de la même interface, le représentant de l’entreprise a pu demander au Pixel 9 de définir un rappel pour acheter les billets à temps.
C’est une sorte de coïncidence que Google lance cette application aujourd’hui, étant donné qu’elle accorde également une attention particulière à l’organisation et au filtrage des captures d’écran. Mon expérience des deux approches est extrêmement limitée pour le moment, mais je préfère légèrement l’application Captures d’écran de Google. Cela ressemble à une manière plus ciblée et délibérée de rechercher des informations et d’obtenir de l’aide de l’IA, plutôt que de me laisser distraire par mes millions de selfies dans l’application Photos de mon iPhone lorsque j’essaie de rechercher un relevé bancaire, peut-être.
L’utilisation de l’IA pour donner un sens à nos captures d’écran semble être une idée judicieuse, même si elle soulève bien sûr des problèmes de confidentialité. Microsoft a déjà dû utiliser une application qui était censée se souvenir de tout ce que vous faisiez sur votre ordinateur en prenant des captures d’écran toutes les quelques secondes. L’application Screenshots de Google utilise Gemini Nano, qui est son modèle d’IA sur l’appareil pour le traitement local, et la société affirme que cette fonctionnalité ne partagera pas vos captures d’écran hors ligne (au-delà des sauvegardes que vous avez peut-être déjà choisies via Google Photos).
L’application Pixel Screenshots sera disponible sur la famille Pixel 9 au lancement, et la société n’a rien à dire sur une disponibilité plus large pour le moment. Mais en se basant sur la façon dont Google a lancé et déployé des applications comme Recorder dans le passé, il est probable que les anciens appareils Pixel bénéficieront de Screenshots à temps, à condition qu’elle soit bien accueillie par les utilisateurs.