Une spin-off du MIT cofondée par la sommité de la robotique Daniela Rus vise à construire des systèmes d’IA à usage général alimentés par un type relativement nouveau de modèle d’IA appelé réseau neuronal liquide.
Le spin-off, bien nommé Liquid AI, est sorti furtivement ce matin et a annoncé avoir levé 37,5 millions de dollars – ce qui est substantiel pour un tour de table en deux étapes – auprès de sociétés de capital-risque et d’organisations telles que OSS Capital, PagsGroup, la société mère de WordPress, Automattic, Samsung Next, Bold. Capital Partners et ISAI Cap Venture, ainsi que des investisseurs providentiels comme le co-fondateur de GitHub Tom Preston Werner, le co-fondateur de Shopify Tobias Lütke et le co-fondateur de Red Hat Bob Young.
La tranche valorise Liquid AI à 303 millions de dollars après argent.
Ramin Hasani (PDG), Mathias Lechner (CTO) et Alexander Amini (directeur scientifique) rejoignent Rus au sein de l’équipe fondatrice de Liquid AI. Hasani était auparavant le principal scientifique en IA de Vanguard avant de rejoindre le MIT en tant qu’associé postdoctoral et associé de recherche, tandis que Lechner et Amini sont des chercheurs de longue date du MIT, ayant contribué – avec Hasani et Rus – à l’invention des réseaux de neurones liquides.
Que sont les réseaux de neurones liquides, vous demandez-vous peut-être ? Mon collègue Brian Heater a beaucoup écrit à leur sujet et je vous encourage fortement à lire sa récente interview avec Rus sur le sujet. Mais je ferai de mon mieux pour aborder les points saillants.
Un article de recherche intitulé « Liquid Time-constant Networks », publié fin 2020 par Hasani, Rus, Lechner, Amini et d’autres, a mis les réseaux de neurones liquides sur la carte après plusieurs années de va-et-vient ; Les réseaux de neurones liquides en tant que concept existent depuis 2018.
Crédits images : MIT CSAIL
« L’idée a été inventée à l’Université de technologie de Vienne, en Autriche, dans le laboratoire du professeur Radu Grosu, où j’ai effectué mon doctorat. et Mathias Lechner sa maîtrise », a déclaré Hasani à TechCrunch dans une interview par courrier électronique. « Le travail a ensuite été affiné et mis à l’échelle dans le laboratoire de Rus au MIT CSAIL, où Amini et Rus ont rejoint Mathias et moi. »
Les réseaux de neurones liquides sont constitués de « neurones » régis par des équations qui prédisent le comportement de chaque neurone au fil du temps, comme la plupart des autres architectures modèles modernes. Le terme « liquide » dans le terme « réseaux de neurones liquides » fait référence à la flexibilité de l’architecture ; Inspirés par le « cerveau » des vers ronds, les réseaux de neurones liquides sont non seulement beaucoup plus petits que les modèles d’IA traditionnels, mais ils nécessitent également beaucoup moins de puissance de calcul pour fonctionner.
Il est utile, je pense, de comparer un réseau neuronal liquide à un modèle d’IA générative typique.
GPT-3, le prédécesseur du modèle GPT-4 de génération de texte et d’analyse d’images d’OpenAI, contient environ 175 milliards de paramètres et environ 50 000 neurones — les « paramètres » étant les parties du modèle apprises à partir des données d’entraînement qui définissent essentiellement les compétences de l’utilisateur. modéliser un problème (dans le cas de GPT-3, générer du texte). En revanche, un réseau de neurones liquides formé pour une tâche telle que piloter un drone dans un environnement extérieur peut contenir aussi peu que 20 000 paramètres et moins de 20 neurones.
De manière générale, moins de paramètres et de neurones se traduisent par moins de calcul nécessaire pour entraîner et exécuter le modèle, une perspective attrayante à une époque où la capacité de calcul de l’IA est limitée. Un réseau de neurones liquides conçu pour conduire une voiture de manière autonome pourrait en théorie fonctionner sur un Raspberry Pi, pour donner un exemple concret.
La petite taille et l’architecture simple des réseaux de neurones liquides offrent l’avantage supplémentaire de l’interprétabilité. Cela a du sens intuitif : déterminer la fonction de chaque neurone à l’intérieur d’un réseau neuronal liquide est une tâche plus gérable que de déterminer la fonction des quelque 50 000 neurones de GPT-3 (bien que des efforts raisonnablement réussis aient été déployés pour y parvenir). ).
Il existe désormais des modèles à quelques paramètres capables de conduite autonome, de génération de texte et bien plus encore. Mais la faible surcharge n’est pas le seul avantage des réseaux de neurones liquides.
Une autre caractéristique attrayante – et sans doute plus unique – des réseaux de neurones liquides est leur capacité à adapter leurs paramètres pour « réussir » au fil du temps. Les réseaux considèrent les séquences de données par opposition aux tranches isolées ou aux instantanés traités par la plupart des modèles et ajustent dynamiquement l’échange de signaux entre leurs neurones. Ces qualités permettent aux réseaux de neurones liquides de gérer les changements dans leur environnement et les circonstances, même s’ils n’étaient pas formés pour anticiper ces changements, comme les conditions météorologiques changeantes dans le contexte de la conduite autonome.
Lors des tests, les réseaux de neurones liquides ont devancé d’autres algorithmes de pointe pour prédire les valeurs futures d’ensembles de données allant de la chimie atmosphérique à la circulation automobile. Mais le plus impressionnant – du moins pour cet auteur – est ce qu’ils ont réalisé en matière de navigation autonome.
Plus tôt cette année, Rus et le reste de l’équipe de Liquid AI ont formé un réseau neuronal liquide sur les données collectées par un pilote de drone humain professionnel. Ils ont ensuite déployé l’algorithme sur une flotte de quadrotors, qui ont subi des tests longue distance, de suivi de cible et autres dans divers environnements extérieurs, notamment une forêt et un quartier urbain dense.
Selon l’équipe, le réseau neuronal liquide a battu d’autres modèles entraînés à la navigation, parvenant à prendre des décisions qui ont conduit les drones vers des cibles dans des espaces jusqu’alors inexplorés, même en présence de bruit et d’autres défis. De plus, le réseau neuronal liquide était le seul modèle capable de généraliser de manière fiable à des scénarios qu’il n’avait pas vus sans aucun réglage précis.
La recherche et le sauvetage par drones, la surveillance et la livraison de la faune sauvage font partie des applications les plus évidentes des réseaux de neurones liquides. Mais Rus et le reste de l’équipe de Liquid AI affirment que l’architecture est adaptée à l’analyse de tout phénomène fluctuant dans le temps, notamment les réseaux électriques, les relevés médicaux, les transactions financières et les conditions météorologiques extrêmes. Tant qu’il existe un ensemble de données contenant des données séquentielles, comme la vidéo, les réseaux de neurones liquides peuvent s’entraîner dessus.
Alors, que fait exactement Liquid AI la startup espérez-vous réaliser avec cette nouvelle (ish) architecture puissante ? Clairement et simplement, la commercialisation.
« [We compete] avec des sociétés modèles de fondation qui construisent des GPT », a déclaré Hasani – sans citer de noms mais en faisant des gestes pas si subtils vers OpenAI et ses nombreux rivaux (par exemple Anthropic, Stability AI, Cohere, AI21 Labs, etc.) dans l’espace de l’IA générative. « [The seed funding] nous permettra de créer les meilleurs nouveaux modèles de fondations liquides au-delà des GPT.
On suppose que les travaux se poursuivront également sur l’architecture du réseau neuronal liquide. En 2022 seulement, le laboratoire de Rus a conçu un moyen de faire évoluer les réseaux de neurones liquides bien au-delà de ce qui était autrefois informatiquement pratique ; Avec un peu de chance, d’autres avancées pourraient se profiler à l’horizon.
Au-delà de la conception et de la formation de nouveaux modèles, Liquid AI prévoit de fournir une infrastructure d’IA sur site et privée aux clients ainsi qu’une plate-forme qui permettra à ces clients de créer leurs propres modèles pour tous les cas d’utilisation qu’ils évoquent – sous réserve des conditions de Liquid AI, de cours.
« La responsabilité et la sécurité des grands modèles d’IA sont d’une importance primordiale », a ajouté Hasani. « L’IA liquide offre des modèles d’apprentissage automatique plus efficaces, plus fiables, plus explicables et plus performants, pour les applications d’IA spécifiques à un domaine et génératives. »
Liquid AI, présent à Palo Alto en plus de Boston, dispose d’une équipe de 12 personnes. Hasani s’attend à ce que ce nombre atteigne 20 d’ici le début de l’année prochaine.