Glass repense l’appareil photo du smartphone à travers un objectif de cinéma à l’ancienne

Les caméras des smartphones ont sont devenus assez bons, mais il devient de plus en plus difficile de les améliorer car nous avons à peu près atteint la limite de ce qui est possible dans l’espace d’un centimètre cube. Glass est une startup qui cherche à changer fondamentalement le fonctionnement de la caméra, en utilisant un capteur beaucoup plus grand et une astuce optique issue des profondeurs du cinéma : les lentilles anamorphiques.

Il n’est peut-être pas évident que les appareils photo ne s’amélioreront pas, car nous avons vu de telles avancées dans les dernières générations de téléphones. Mais nous avons utilisé tout le mou restant dans cette ligne, pour ainsi dire.

Pour améliorer l’image, vous avez besoin d’un capteur plus grand, d’un meilleur objectif ou d’une sorte de magie informatique. Malheureusement, les capteurs ne peuvent pas devenir beaucoup plus gros car ils auraient besoin de lentilles plus grandes pour correspondre. Et les objectifs ne peuvent pas grossir car il n’y a tout simplement pas de place pour eux dans le corps du téléphone, même lorsque vous « pliez » l’appareil photo. Pendant ce temps, la photographie informatique est excellente, mais elle ne peut pas faire grand-chose – empiler quelques images pour obtenir de meilleures informations sur la plage dynamique ou la profondeur est une bonne chose, mais vous atteignez un point de rendements décroissants assez rapidement.

« Auparavant, les limites concernaient le prix, mais maintenant c’est la taille », a expliqué le co-fondateur et PDG de Glass, Ziv Attar, qui a travaillé dans l’imagerie mobile pendant plus d’une décennie, y compris chez Apple. L’autre co-fondateur, Tom Bishop, a également travaillé chez Apple, tous deux travaillant à la création du mode Portrait et s’irritant probablement des limites de la conception traditionnelle des appareils photo.

« Il y a jusqu’à 5 ans, ils ont simplement élargi l’objectif, puis ils ont commencé à agrandir le capteur », a déclaré Attar. «Ensuite, vous lui lancez des algorithmes pour réduire le bruit, mais même cela atteint ses limites; bientôt ce sera une pure hallucination [i.e. AI-generated imagery]. Le mode nuit pousse l’empilement d’exposition à l’extrême – il gère très bien le manque de photons, mais si vous zoomez, cela commence à paraître très bizarre et faux.

« L’écran du téléphone nous trompe en quelque sorte », a-t-il poursuivi. « Si vous laissez une personne ordinaire comparer un iPhone 12 et 13, elle ne verra pas la différence – mais par rapport à un appareil photo professionnel, tout le monde peut le dire. Et si vous pouvez voir la différence, il y a beaucoup de travail à faire.

Alors, quel est ce travail, exactement ? Attar a décidé que parmi ces diverses énigmes, la seule qui ait du sens à changer est l’objectif. Certes, il ne peut pas grossir, mais uniquement si vous utilisez un objectif normal et symétrique. Mais pourquoi devrions-nous? Ils ont abandonné cette contrainte il y a un siècle au cinéma.

Évolution anamorphique

Les films n’étaient pas toujours grand écran. À l’origine, ils étaient plus susceptibles d’avoir approximativement la forme d’un cadre de film 35 mm, pour des raisons évidentes. Si vous masquiez le haut et le bas, vous pouviez projeter une image grand écran, ce que les gens aimaient, mais vous ne faisiez que zoomer sur une partie du film, ce que vous avez payé en détail. Mais une technique testée pour la première fois dans les années 20 a rapidement résolu le problème.

Les lentilles anamorphiques pressent un large champ de vision sur les côtés afin qu’elles s’intègrent dans le cadre du film, et lorsqu’elles sont projetées à l’aide d’un projecteur anamorphique, le processus a été inversé – l’image est étirée vers le rapport d’aspect souhaité. Il y a quelques effets optiques intéressants introduits mais… si je les décris, vous ne pourrez jamais les voir dans le contenu, donc je m’abstiendrai.

Le système de lentilles proposé par Glass n’est pas tout à fait le même, mais il utilise des principes similaires et des lentilles de forme inhabituelle. Tout est parti de l’idée fondamentale de savoir comment ajouter un capteur plus grand. Le simple fait de créer un carré plus grand nécessiterait une lentille plus grande, ce que nous ne pouvons pas faire – mais que se passerait-il si vous fabriquiez le capteur plus long, comme dans un rectangle ? Eh bien, vous auriez aussi besoin d’un objectif rectangulaire plus long. La technique anamorphique signifie que vous pouvez capturer et projeter une image plus grande mais déformée, puis la convertir au bon rapport d’aspect dans le processeur d’image. (Le processus n’est pas exactement analogue à la technique du film mais il utilise les mêmes principes.)

Combien plus grande une image êtes-vous capable de capturer ? Eh bien, l’appareil photo principal d’un iPhone 13 a un capteur d’environ 7 × 5 millimètres, soit 35 mm carrés au total. Le prototype de Glass utilise un capteur d’environ 24 × 8 mm : environ 192 mm carrés, 5 à 6 fois plus grand, avec une augmentation proportionnelle des mégapixels. Voici un petit tableau pour référence occasionnelle :

Compte tenu de la fanfare qui accompagne généralement l’augmentation de la taille du capteur d’un téléphone de 15 ou 20 pour centc’est un bond énorme.

Mais Attar a expliqué que la façon dont ils le mesurent, c’est encore plus. Si vous deviez agrandir l’image au format d’image correct, elle serait en fait deux fois plus haute : 24 x 16 mm, juste en deçà de la norme APS-C dans les reflex numériques, mais bien au-dessus des capteurs Micro Four Thirds et 1 ″ également courants (et très performants ) dans les appareils photo sans miroir. Cela conduit à la revendication de la société d’avoir 11 fois la « zone d’imagerie » d’un iPhone. L’évaluation de ces mesures est un processus non trivial pour lequel je ne suis pas équipé, mais honnêtement, l’un ou l’autre serait une mise à niveau révolutionnaire pour un téléphone.

Plus grand, plus lumineux et un peu plus étrange

Il y a des avantages et des inconvénients à ce processus. Le plus important est une immense augmentation du pouvoir de collecte et de résolution de la lumière. Plus de lumière signifie de meilleures expositions en général et de meilleures prises de vue dans des conditions difficiles – pas besoin d’un mode nuit multi-exposition sophistiqué alimenté par l’apprentissage automatique si vous pouvez simplement… voir les choses. Et il y a beaucoup, beaucoup plus de détails dans les images par rapport à celles des smartphones ordinaires.

Notez que l’exemple limité ci-dessus n’est que cela – il est difficile de faire des comparaisons de pommes à pommes lorsque les distances focales, le traitement d’image et la résolution de sortie sont si différents (sans parler de mon recadrage et de mon réencodage), mais à tout le moins vous pouvez voir que beaucoup de détails sont ajoutés même dans cette présentation non optimale. Les images originales en taille réelle sont disponibles ici : iPhone, Glass.

En raison du capteur plus grand et de la nature du verre, vous obtenez également un bokeh naturel ou un flou d’arrière-plan. Le mode portrait est bien sûr un favori parmi les utilisateurs de smartphones, mais même les meilleures méthodes de simulation de bokeh sont loin d’être parfaites. Le même effet qu’Apple a minutieusement simulé avec des objectifs se produit naturellement sur le prototype Glass, tout comme il le ferait sur un appareil photo numérique plus grand. Et il n’y a aucune chance du genre d’erreur étrange que vous voyez dans les images segmentées par l’IA, qui coupent souvent les cheveux et d’autres détails, ou ne parviennent pas à obtenir l’effet de profondeur de manière plus subtile.

Bien qu’il n’y ait pas de zoom optique, Attar a souligné que le zoom avant par recadrage (c’est-à-dire le zoom numérique) sur un système Glass vous permettrait de zoomer plus que la plupart des zooms optiques, et vous auriez toujours plus de lumière et de pixels que le concurrence. Normalement, je ne suis pas du genre à laisser vivre les affirmations « le zoom numérique va bien », mais dans ce cas, la taille même de l’objectif et du capteur compense largement cela.

Ces avantages, bien que brièvement énoncés, sont plus que considérables. L’amélioration de la lumière et des détails le place devant les meilleurs appareils photo du marché. (Et bien que les moindres détails puissent vous échapper sur un petit écran, une mauvaise exposition est perceptible quelle que soit la taille.)

Les inconvénients sont principalement liés à la complexité du fonctionnement d’une caméra totalement différente optiquement d’une caméra traditionnelle. Les mécanismes de mise au point automatique sont différents (la mise au point anamorphique est notoirement complexe) et il y a beaucoup de distorsions et d’aberrations qui doivent être corrigées – les objectifs symétriques de cette taille ont également une distorsion et une dégradation, mais d’un type différent.

« [Distortions] sont tous limités lors de la conception, de sorte que nous savons à l’avance que nous pouvons les corriger », a déclaré Attar. « C’est un processus itératif, mais nous avons lancé le développement d’un outil logiciel dédié personnalisé pour co-optimiser les paramètres de l’objectif et les variables du réseau neuronal. » En d’autres termes, ils n’ont rien conçu qu’ils ne pouvaient pas corriger.

Un effet que je trouve désorientant mais peut-être que d’autres décideront est trivial est la forme du bokeh. Normalement, les reflets flous s’estompent en petits disques translucides, mais dans le système Glass, ils se résolvent en un dégradé d’ovales et de croissants potelés.

Pour mon œil névrosé, ce n’est pas juste. C’est… pas naturel. Mais je ne peux pas non plus ne pas remarquer le bokeh vigneté à cause des drapeaux français dans le cinéma et la télévision (ne le cherchez pas — c’est aussi partout et vous ne pouvez pas le voir). Et de toute façon, les films tournés en anamorphique montrent une distorsion bokeh similaire, donc c’est en fait assez courant, mais pas dans les images fixes et les prises de vue de smartphone.

J’ai supposé qu’il y aurait des inconvénients en raison de la nécessité d’étirer l’image numériquement – ce genre de chose, s’il est mal fait, peut entraîner un moiré et d’autres artefacts indésirables. Mais Attar a déclaré qu’il est remarquablement simple de former un modèle pour le faire afin que personne ne puisse faire la différence, à l’exception des observateurs de pixels : « Nous avons formé des réseaux pour appliquer une super-résolution 1-D basée sur les informations des autres axes. Après avoir appliqué notre algorithme, il semble qu’il provienne d’un capteur APS-C complet, dans le champ de vision et la résolution.

Tout cela devra être vérifié par des critiques et des experts en caméra lorsqu’il y aura une version de production, mais la théorie semble solide et les premiers résultats sont plus que prometteurs.

À l’heure actuelle, la société est passée de prototypes autonomes à un appareil de facteur téléphonique de troisième génération qui montre comment la technologie s’intégrera à pratiquement tous les châssis du marché. Il n’y a rien d’exotique à part les qualités optiques, a déclaré Attar, donc bien qu’il ne soit pas aussi bon marché à fabriquer que les caméras et les unités de traitement d’image standard d’aujourd’hui, il peut être fabriqué tout aussi facilement. Comme il l’a noté, le prix n’est plus une option, et si une entreprise peut faire un énorme bond en avant dans la qualité de l’appareil photo, elle peut capturer une grande partie du marché.

« Nous devons convaincre un fabricant de téléphones d’abandonner l’ancienne technologie », a déclaré Attar. « Nous avons de bons retours. Le seul défi est de le faire dans un délai raisonnable. Je ne dis pas qu’il n’y a aucun risque. Mais beaucoup d’entre nous avaient de bons emplois dans de grandes entreprises – nous n’avons pas laissé nos salaires fantaisistes chez Apple pour travailler sur quelque chose de BS. Nous avions un plan depuis le début.

Même si un accord était conclu maintenant avec un grand fabricant de téléphones mobiles, il faudrait un an et demi ou deux ans pour arriver sur le marché. « Mais il faut commencer quelque part », a-t-il conclu.

Glass a levé 2,2 millions de dollars en financement de démarrage, dirigé par LDV Capital et un ensemble d’investisseurs providentiels. Bien sûr, cela ne vise pas à couvrir le coût de fabrication, mais maintenant que l’entreprise quitte le laboratoire, elle aura besoin de liquidités d’exploitation pour commercialiser même si un grand fabricant s’engage. Greg Gilley, ancien vice-président des appareils photo et des photos d’Apple, et Ramesh Raskar du laboratoire MIT Media se sont joints en tant que conseillers, complétant une équipe en laquelle les investisseurs sont susceptibles d’avoir beaucoup de confiance.

Si l’approche Glass fait son chemin, attendez-vous à entendre parler d’autres entreprises prétendant l’avoir inventée en un peu moins de deux ans.