La recherche dans le domaine de l’apprentissage automatique et de l’IA, désormais une technologie clé dans pratiquement toutes les industries et entreprises, est beaucoup trop volumineuse pour que quiconque puisse tout lire. Cette colonne vise à rassembler certaines des découvertes et des articles récents les plus pertinents – en particulier, mais sans s’y limiter, l’intelligence artificielle – et à expliquer pourquoi ils sont importants.
Cette semaine, des applications d’IA ont été trouvées dans plusieurs créneaux inattendus en raison de sa capacité à trier de grandes quantités de données ou à faire des prédictions sensées sur la base de preuves limitées.
Nous avons vu des modèles d’apprentissage automatique prendre en charge des ensembles de données volumineuses dans les biotechnologies et la finance, mais des chercheurs de l’ETH Zurich et du LMU Munich appliquent des techniques similaires aux données générées par des projets internationaux d’aide au développement tels que les secours en cas de catastrophe et le logement. L’équipe a formé son modèle sur des millions de projets (d’un montant de 2,8 billions de dollars de financement) des 20 dernières années, un énorme ensemble de données trop complexe pour être analysé manuellement en détail.
« Vous pouvez considérer le processus comme une tentative de lire une bibliothèque entière et de trier des livres similaires dans des étagères thématiques. Notre algorithme prend en compte 200 dimensions différentes pour déterminer à quel point ces 3,2 millions de projets sont similaires les uns aux autres – une charge de travail impossible pour un être humain », a déclaré Malte Toetzke, auteur de l’étude.
Les tendances de très haut niveau suggèrent que les dépenses consacrées à l’inclusion et à la diversité ont augmenté, tandis que les dépenses climatiques ont, étonnamment, diminué au cours des dernières années. Vous pouvez examiner l’ensemble de données et les tendances qu’ils ont analysées ici.
Un autre domaine auquel peu de gens pensent est le grand nombre de pièces et de composants de machines qui sont produits par diverses industries à un rythme énorme. Certains peuvent être réutilisés, certains recyclés, d’autres doivent être éliminés de manière responsable – mais il y en a trop pour que les spécialistes humains les examinent. L’équipe allemande de R&D Fraunhofer a développé un modèle d’apprentissage automatique pour identifier les pièces afin qu’elles puissent être utilisées au lieu de se diriger vers la casse.
Crédits image : Fraunhofer
Le système repose sur plus que des vues de caméra ordinaires, car les pièces peuvent sembler similaires mais être très différentes, ou être identiques mécaniquement mais différer visuellement en raison de la rouille ou de l’usure. Ainsi, chaque pièce est également pesée et scannée par des caméras 3D, et des métadonnées telles que l’origine sont également incluses. Le modèle suggère ensuite ce qu’il pense être la pièce afin que l’homme qui l’inspecte n’ait pas à repartir de zéro. On espère que des dizaines de milliers de pièces seront bientôt sauvées, et le traitement de millions accéléré, en utilisant cette méthode d’identification assistée par l’IA.
Les physiciens ont trouvé un moyen intéressant d’appliquer les qualités de ML à un problème vieux de plusieurs siècles. Essentiellement, les chercheurs cherchent toujours des moyens de montrer que les équations qui régissent la dynamique des fluides (dont certaines, comme celle d’Euler, datent du XVIIIe siècle) sont incomplètes – qu’elles se cassent à certaines valeurs extrêmes. En utilisant des techniques de calcul traditionnelles, cela est difficile à faire, mais pas impossible. Mais des chercheurs du CIT et de l’Université Hang Seng de Hong Kong proposent une nouvelle méthode d’apprentissage en profondeur pour isoler les cas probables de singularités de la dynamique des fluides, tandis que d’autres appliquent la technique d’autres manières sur le terrain. Cet article de Quanta explique assez bien ce développement intéressant.
Un autre concept séculaire qui obtient une couche ML est le kirigami, l’art de la découpe de papier que beaucoup connaissent dans le contexte de la création de flocons de neige en papier. La technique remonte à des siècles au Japon et en Chine en particulier, et peut produire des structures remarquablement complexes et flexibles. Les chercheurs d’Argonne National Labs se sont inspirés du concept pour théoriser un matériau 2D qui peut retenir l’électronique à l’échelle microscopique mais aussi fléchir facilement.
L’équipe avait effectué manuellement des dizaines de milliers d’expériences avec 1 à 6 coupes et utilisé ces données pour former le modèle. Ils ont ensuite utilisé un supercalculateur du Department of Energy pour effectuer des simulations jusqu’au niveau moléculaire. En quelques secondes, il a produit une variation de 10 coupes avec une extensibilité de 40 %, bien au-delà de ce que l’équipe avait prévu ou même essayé par elle-même.
Crédits image : Laboratoires nationaux d’Argonne
«Il a compris des choses que nous ne lui avions jamais dit de comprendre. Il a appris quelque chose comme un humain apprend et a utilisé ses connaissances pour faire quelque chose de différent », a déclaré le chef de projet Pankaj Rajak. Le succès les a incités à augmenter la complexité et la portée de la simulation.
Une autre extrapolation intéressante réalisée par une IA spécialement formée a un modèle de vision par ordinateur reconstruisant des données de couleur à partir d’entrées infrarouges. Normalement, une caméra capturant l’infrarouge ne saurait rien de la couleur d’un objet dans le spectre visible. Mais cette expérience a trouvé des corrélations entre certaines bandes IR et celles visibles, et a créé un modèle pour convertir les images de visages humains capturées en IR en celles qui se rapprochent du spectre visible.
Ce n’est encore qu’une preuve de concept, mais une telle flexibilité du spectre pourrait être un outil utile en science et en photographie.
—
Pendant ce temps, une nouvelle étude co-écrite par Jeff Dean, responsable de Google AI, repousse l’idée que l’IA est une entreprise coûteuse pour l’environnement, en raison de ses exigences élevées en matière de calcul. Alors que certaines recherches ont montré que la formation d’un grand modèle comme le GPT-3 d’OpenAI peut générer des émissions de dioxyde de carbone équivalent à celle d’un petit quartier, l’étude affiliée à Google affirme que « suivre les meilleures pratiques » peut réduire jusqu’à 1000 fois les émissions de carbone de l’apprentissage automatique.
Les pratiques en question concernent les types de modèles utilisés, les machines utilisées pour entraîner les modèles, la « mécanisation » (par exemple, l’informatique dans le cloud par rapport aux ordinateurs locaux) et la « carte » (choisir les emplacements des centres de données avec l’énergie la plus propre). Selon les coauteurs, la sélection de modèles « efficaces » seuls peut réduire le calcul par des facteurs de 5 à 10, tandis que l’utilisation de processeurs optimisés pour la formation en apprentissage automatique, tels que les GPU, peut améliorer le rapport performances par watt par des facteurs de 2 à 5.
Tout fil de recherche suggérant que l’impact environnemental de l’IA peut être atténué est en effet un motif de célébration. Mais il faut préciser que Google n’est pas une partie neutre. De nombreux produits de l’entreprise, de Google Maps à Google Search, s’appuient sur des modèles qui nécessitent de grandes quantités d’énergie pour se développer et fonctionner.
Mike Cook, membre du groupe de recherche ouvert Knives and Paintbrushes, souligne que – même si les estimations de l’étude sont exactes – il n’est tout simplement pas une bonne raison pour une entreprise de ne pas se développer d’une manière inefficace sur le plan énergétique si cela lui profite. Alors que les groupes universitaires pourraient prêter attention à des paramètres tels que l’impact carbone, les entreprises ne sont pas aussi incitées de la même manière – du moins actuellement.
« La raison pour laquelle nous avons cette conversation pour commencer est que des entreprises comme Google et OpenAI disposaient effectivement d’un financement infini et ont choisi de l’exploiter pour créer des modèles tels que GPT-3 et BERT à tout prix, car elles savaient que cela leur donnait un avantage, » Cook a déclaré à TechCrunch par e-mail. « Globalement, Je pense que le document dit de belles choses et c’est bien si nous pensons à l’efficacité, mais le problème n’est pas technique à mon avis – nous savons pertinemment que ces entreprises deviendront grandes quand elles en auront besoin, elles ont gagné ‘t se retenir, donc dire que c’est maintenant résolu pour toujours ressemble à une ligne vide.
Le dernier sujet de cette semaine ne concerne pas exactement l’apprentissage automatique, mais plutôt ce qui pourrait être une voie à suivre pour simuler le cerveau de manière plus directe. Des chercheurs en bioinformatique de l’EPFL ont créé un modèle mathématique pour créer des tonnes de neurones simulés uniques mais précis qui pourraient éventuellement être utilisés pour construire des jumeaux numériques de neuroanatomie.
« Les découvertes permettent déjà à Blue Brain de construire des reconstructions et des simulations biologiquement détaillées du cerveau de la souris, en reconstruisant par ordinateur des régions cérébrales pour des simulations qui reproduisent les propriétés anatomiques des morphologies neuronales et incluent une anatomie spécifique à la région », a déclaré la chercheuse Lida Kanari.
Ne vous attendez pas à ce que les sim-brains fassent de meilleures IA – c’est vraiment à la recherche de progrès en neurosciences – mais peut-être que les connaissances des réseaux neuronaux simulés peuvent conduire à des améliorations fondamentales dans la compréhension des processus que l’IA cherche à imiter numériquement.