On dit qu’une image vaut mille mots, mais mille mots pourraient-ils valoir une image ? Le créateur et développeur Diego Trujillo Pisanty a cherché à découvrir avec son Tarte aux framboises-alimenté caméra aveugle projet. Au lieu d’utiliser un objectif pour capturer la lumière pour créer une image, il écoute le son et construit une approximation de ce qui pourrait être autour de lui en fonction de l’audio détecté.
L’appareil fonctionne de la même manière qu’un appareil photo ordinaire en ce sens que vous dirigez l’appareil photo vers ce que vous voulez capturer et appuyez sur un bouton pour générer une image. Dans ce cas, cependant, il a une corne géante à l’avant utilisée pour aider à amplifier la capture des sons. Les utilisateurs doivent orienter cette corne dans la direction de ce qu’ils veulent capturer avant d’appuyer sur le bouton. La caméra analyse ensuite l’audio à travers un filtre AI et génère une image.
Selon Pisanty, il a développé un réseau de neurones artificiels personnalisé (ou ANN) juste pour ce projet. Il a formé l’IA avec ses propres modèles basés sur un ensemble de vidéos prises autour de Mexico.
Le modèle a été créé en prenant chaque image de vidéo et en l’accompagnant de la dernière seconde d’audio. Cela a permis de créer une association de son et de vidéo que le système peut utiliser pour créer des images. Parce qu’il a été formé de cette manière, tout ce qu’il crée est vaguement basé sur des images du centre-ville de Mexico.
Image 1 de 4
Pour ce projet, Pisanty utilise un module Raspberry Pi 3B. Il serait cependant possible de le recréer à l’aide d’un Raspberry Pi 4. Tant que le Pi peut gérer Tensorflow, cela devrait fonctionner. L’appareil photo dispose également d’un petit écran qui sert en quelque sorte de viseur. Il permet aux utilisateurs de savoir quand les images sont en cours de traitement et fournit un aperçu des images générées. Tout est logé à l’intérieur d’une coque personnalisée imprimée en 3D.
Le modèle AI utilisé pour entraîner la caméra aveugle a été créé à l’aide de Python 3. Il est conçu pour fonctionner avec Tensorflow 2 et fonctionne sur le Raspberry Pi à l’aide de TFLite. Si vous souhaitez recréer ce projet Raspberry Pi ou simplement voir de plus près comment cela fonctionne, regardez la vidéo partagée par Pisanty sur YouTube et en savoir plus sur le projet sur son site Web.