Vous êtes-vous déjà tenu devant un séquoia et vous êtes-vous déjà demandé : « Ne serait-ce pas génial si c’était de la poésie au lieu d’un arbre ? » Joyce Kilmer non plus. Kelin Carolyn Zhang et Ryan Mather, cependant, ont décidé de combler le fossé entre la technologie de l’IA et la poésie avec leur idée captivante : la Poetry Camera. Le dispositif open source combine technologie de pointe et vision artistique, aboutissant à une création qui repousse les limites des deux domaines.
À première vue, la Poetry Camera semble être un autre gadget dans le paysage en constante évolution des appareils numériques. Cependant, en y regardant de plus près, il devient évident qu’il ne s’agit pas d’un appareil photo ordinaire. Au lieu de simplement capturer des images, la Poetry Camera élève le concept de photographie vers de nouveaux sommets en générant une poésie qui suscite la réflexion (ou, enfin, aussi stimulante que la poésie de l’IA peut l’être) basée sur les visuels qu’elle rencontre.
Zhang et Mather, les cerveaux derrière ce projet, ont parfaitement combiné leur expertise en technologie et en art pour créer un appareil techniquement impressionnant et esthétiquement captivant.
L’histoire de Poetry Camera a commencé comme un projet de passion personnelle pour Zhang et Mather, qui se sont retrouvés captivés par l’idée de fusionner leur amour pour la technologie avec leur appréciation pour les arts. Au début du développement, ils ont passé d’innombrables heures à bricoler divers composants et à expérimenter différents modèles d’IA pour donner vie à leur vision.
« L’origine du projet remonte au moment où j’ai eu accès à GPT-3. Mon premier instinct a été de jouer à Donjons & Dragons avec parce que je suis un nerd. Je me suis dit « si cette chose pouvait jouer à Donjons & Dragons, ce serait impressionnant ». Et oui, ça a fonctionné pour ça. C’était à l’époque où il fallait faire de l’ingénierie rapide. Il a donc fallu un peu d’huile de coude pour que cela fonctionne. Mais j’ai aussi eu cette idée de peut-être créer un appareil photo dans le cadre d’un projet », explique Mather. « Et si vous preniez un appareil photo, mais que c’était une réaction à la culture Instagram ? Et si du texte sortait à la place d’une photo ? … Tout le monde préfère la version livre au film, donc c’est comme ça pour capturer des moments.
Alors qu’ils peaufinaient leur prototype, Zhang et Mather ont commencé à partager leur création avec leurs amis et leur famille lors de réunions sociales. Les réactions qu’ils ont reçues ont été tout simplement étonnantes. Les gens étaient fascinés par le concept d’une caméra capable de générer de la poésie à partir de ce qu’elle voyait. L’appareil est rapidement devenu le centre d’attention, suscitant des discussions animées et enflammant l’imagination de tous ceux qui le rencontraient.
Ces premières réactions ont été une puissante motivation pour Zhang et Mather pour continuer à perfectionner leur invention. Ils ont réalisé que la Poetry Camera avait le potentiel de combler le fossé entre la technologie et l’art d’une manière qui trouve un écho auprès des gens. Alors que la nouvelle de la Poetry Camera se répandait, le duo a été inondé de demandes de renseignements de personnes curieuses désireuses de découvrir l’appareil par elles-mêmes. Cet intérêt les a amenés à envisager la possibilité de transformer leur projet en un potentiel produit commercial, rendant ainsi la magie de la Caméra Poétique accessible à un public plus large.
La technologie
Au cœur de cet appareil innovant se trouve un Raspberry Pi, un ordinateur monocarte de la taille d’une carte de crédit doté d’un puissant punch. Ce composant minuscule mais puissant sert de cerveau à la Poetry Camera, lui permettant de capturer des images et de communiquer avec le GPT-4 d’OpenAI pour générer de la poésie.
Un Raspberry Pi capture l’image puis utilise des algorithmes de vision par ordinateur pour analyser les données visuelles. Les modèles d’IA interprètent ensuite l’image, identifiant les éléments clés, les couleurs, les motifs et les émotions dans le cadre. Ces informations servent de fondement au processus de génération de poésie.
Zhang a pointé la caméra vers notre interview Zoom :
Ryan Mather et Kelin Carolyn Zhang dans une interview avec votre correspondant. Crédits images : Capture d’écran de Zoom
Et il en sortit un poème :
Le poème généré et imprimé par Poetry Camera (transcrit ci-dessous). Crédits images : Caméra de poésie
Derrière l’objectif, un homme ajuste son regard,
Dans les limites carrées de l’espace des pixels.
Zoomé sur des visages hébergés dans un lieu virtuel,
La course effrénée a disparu depuis longtemps.La lumière du jour filtre à travers des voilages décolorés,
Dans sa main, du café tiède.
Les conversations dérivent, au-delà de la frontière virtuelle,
Son reflet en miroir, apparaît sur l’écran.Sur l’étagère, des livres maigres, des bavardages silencieux,
Une plante prospère, seule matière vivante.
Les verres perchés, la maison devient son placide frappeur,
Entre ces murs, son monde s’est dispersé.En ce matin d’avril 2024,
Une nouvelle normalité, tranquillement usée.Un poème de @poésie.camera
Zhang théorise que la référence à « avoir quitté la course effrénée » est une référence à ma chemise hawaïenne.
Les inventeurs me disent que la sortie de la Poetry Camera ne se limite pas à un seul format. L’appareil étant open source, les utilisateurs peuvent choisir parmi diverses formes poétiques, telles que le haïku, le sonnet ou le vers libre, en fonction de leurs préférences, de leur capacité et de leur volonté de s’impliquer dans le code source.
Alors que la Poetry Camera continue d’évoluer, Zhang et Mather explorent de nouvelles façons d’améliorer ses capacités. Ils affinent et sélectionnent constamment les modèles d’IA, élargissent les invites de l’appareil et expérimentent des techniques avancées de traitement du langage naturel. L’objectif est de créer un appareil qui génère de la poésie et engage un dialogue significatif avec les utilisateurs, favorisant ainsi un lien plus profond entre la technologie et les arts.
L’intersection de l’art et de la technologie
La Poetry Camera témoigne de l’incroyable potentiel à l’intersection de l’art et de la technologie. En exploitant la puissance de l’IA et de l’apprentissage automatique, Zhang et Mather ont créé un appareil qui non seulement capture la beauté du monde qui nous entoure, mais l’interprète également d’une manière qui peut être étonnamment touchante. En tant que technologie, c’est simple, mais j’aime la façon dont Poetry Camera rend les choses accessibles. Il devient si facile d’oser rêver et de repousser les limites de ce que la technologie peut réaliser.
Les écrans dominent notre vie quotidienne ; la Poetry Camera offre une rupture rafraîchissante par rapport à la norme. Plutôt que de s’appuyer sur un affichage numérique pour présenter ses productions poétiques, l’appareil utilise une méthode d’interaction plus tactile et immersive. Les poèmes générés sont imprimés sur papier, créant une incarnation physique de l’expérience artistique. La nature temporaire de l’art va assez loin avec Poetry Camera.
Un autre exemple de poème. Crédits images : Caméra de poésie
« Nous ne sauvegardons aucune des images ou des poèmes sous forme numérique. Il y a plusieurs raisons à cela : Premièrement, c’est plus facile. Deux : la vie privée. Troisièmement, cela ajoute une signification supplémentaire aux poèmes s’ils ressemblent à ces sortes d’artefacts éphémères. Si vous le perdez, il disparaît », explique Mather. « Tout le monde a désormais un appareil photo dans sa poche via son téléphone portable – nous voulions faire quelque chose de très différent. »
Nous avons vu de nouvelles interfaces utilisateur avec des produits comme Plaud et Humane Ai Pin – et cet appareil continue dans la même veine. Il permet aux utilisateurs de se déconnecter du barrage constant de stimuli visuels et de s’engager dans les créations de Poetry Camera d’une manière plus consciente et contemplative. Ce n’est pas destiné à tous les étudiants en art, mais l’expérience viscérale de tenir un poème imprimé entre mes mains est une invitation à réfléchir sur les mots, à apprécier la beauté du langage et à établir un lien plus profond avec l’œuvre d’art.
La philosophie de conception s’étend au-delà de l’appareil, influençant l’ensemble de l’expérience utilisateur. Zhang et Mather ont soigneusement conçu la caméra poétique pour favoriser un sentiment d’émerveillement et de découverte. Capturer une image, attendre que l’IA génère un poème, puis recevoir le résultat imprimé crée un sentiment d’anticipation et de surprise, renforçant l’engagement global avec l’appareil.
Un reflet de l’avenir de l’IA et de l’informatique personnelle
La philosophie de conception de Zhang et Mather pour la Poetry Camera reflète leur vision plus large de l’avenir de l’informatique personnelle et de l’IA. Ils croient que la technologie doit être intégrée de manière transparente dans notre vie quotidienne, améliorant ainsi nos expériences sans nous submerger de stimuli constants. En créant un appareil qui donne la priorité à la simplicité et à l’expression artistique, ils remettent en question le statu quo et ouvrent la voie à une nouvelle ère technologique.
« Je pense que les caméras poétiques sont un microcosme de ce qui arrivera à de nombreuses industries grâce à l’IA. Les appareils photo poétiques ne ressemblent pas à une discipline traditionnelle : vous n’avez jamais rencontré quelqu’un qui dit : « Oh, je suis un photographe poétique pour des événements d’entreprise », rit Zhang. Poésie Les appareils photo se situent entre ce domaine établi de la photographie et de la poésie. C’est cette chose nouvelle et bizarre. Plus important encore, regarder les gens interagir avec eux est agréable : les gens trouvent une joie enfantine dans leur personnalité enjouée.
Et après?
Alors que Poetry Camera continue de captiver le public et de générer du buzz, Zhang et Mather réfléchissent attentivement à l’avenir de leur création innovante. Alors que l’appareil a commencé comme un projet de passion personnelle, la réponse extrêmement positive les a amenés à explorer la possibilité de le rendre disponible commercialement à un public plus large.
« Après les 100 premières questions, nous avons répondu : « Nous ne le vendons pas », mais après 101 questions, nous avons commencé à y réfléchir plus en détail, en nous demandant si nous devrions le rendre accessible aux gens », envisage Zhang. « Mais en même temps, c’est un projet artistique, tu sais ? Notre première réponse a été de laisser le capitalisme en dehors.»
Cependant, fidèles à leur engagement en faveur du développement durable et d’une consommation consciente, Zhang et Mather prennent du temps avant de se lancer dans la production de masse. Au lieu de cela, ils adoptent une approche plus mesurée, avec la possibilité de baisses limitées de produits privilégiant la qualité à la quantité. En contrôlant soigneusement le processus de production, ils visent à garantir que chaque caméra Poetry est conçue avec la plus grande attention aux détails et répond à leurs normes élevées en matière de performance et de durabilité.
J’ai mis l’équipe au défi de devoir acheter un produit matériel : les téléphones ont des caméras, des connexions Internet et des écrans. Ne serait-il pas plus durable d’utiliser du matériel déjà existant ?
Un autre exemple de poème, avec, en arrière-plan, la personne qui l’a inspiré. Crédits images : Caméra de poésie
« La chose la plus durable serait de ne rien fabriquer du tout », reconnaît Zhang. « Mais nous avons initialement démarré cela comme un projet de bricolage open source, et nous avions toutes les instructions en ligne ; c’est juste qu’il est difficile pour les gens de rassembler toutes les différentes pièces nécessaires. Au départ, nous avons joué avec l’idée de créer une enceinte en carton. Mais j’ai remarqué qu’une partie de ce qui fait que les gens l’aiment et veulent jouer avec, c’est le genre d’esthétique du produit poli par Poké Ball. Je pense que pour que la Poetry Camera prenne vie dans sa forme la plus complète, elle doit être un produit soigné. Je ne sais pas comment aborder la question dans une optique de durabilité, mais c’est important pour nous.
Pour l’avenir, Zhang et Mather envisagent un avenir dans lequel la caméra poétique ne sera pas seulement un appareil innovant, mais également un catalyseur de changement dans la façon dont nous interagissons avec la technologie et l’art. Ils espèrent que leur création inspirera d’autres personnes à explorer l’intersection de ces deux domaines, repoussant les limites du possible et créant de nouvelles formes d’expression.
J’aime vivre dans un monde où les passe-temps enthousiastes se croisent avec l’art et la technologie, et ce projet s’inscrit parfaitement dans ce diagramme de Venn.
« Pour moi, cela continue d’être de l’art parce qu’il s’agit d’exprimer. C’est un moyen de façonner le monde que nous souhaitons voir, un monde dans lequel les gens peuvent jouer avec cette nouvelle technologie : l’IA n’est pas que sombre. Et il ne s’agit pas seulement d’IA imitant les humains d’une manière plus profonde, plus rapide et pire », conclut Zhang. « Il s’agit de créer quelque chose d’entièrement nouveau avec sa nouvelle technologie et de faire ressortir à nouveau l’enfant qui sommeille en nous. Pour ce projet, il ne s’agit pas de gagner de l’argent, mais de rendre à nouveau possible cette merveille enfantine.
Si vous souhaitez regarder de plus près la caméra en action, TikTok semble être la meilleure ressource.