Les grands modèles d’IA – les énormes réserves de données linguistiques, visuelles et audio qui alimentent les services d’intelligence artificielle générative – s’annoncent comme étant aussi importants dans le développement de l’IA que les systèmes d’exploitation l’ont été dans le développement des smartphones : ils le sont, d’une certaine manière. , ressemblant aux plates-formes de l’espace (une idée sur laquelle d’autres se penchent également). Aujourd’hui, une startup suisse appelée Jua utilise ce paradigme avec l’ambition de tracer une nouvelle frontière dans la manière dont l’IA pourrait être utilisée dans le monde physique. Il a collecté 16 millions de dollars pour construire ce qui est essentiellement un grand modèle « physique » pour le monde naturel.
L’entreprise en est encore à ses débuts. Sa première application concernera la modélisation et la prévision des modèles météorologiques et climatiques, dans un premier temps dans leurs relations avec les acteurs du secteur énergétique. Le lancement est prévu dans les semaines à venir, a indiqué la société. Les autres secteurs qu’il envisage de cibler avec son modèle comprennent l’agriculture, les assurances, les transports et le gouvernement.
468 Capital et le Green Generation Fund codirigent ce tour de table pour la startup zurichoise, avec la participation également de Promus Ventures, Kadmos Capital, les fondateurs de Flix Mobility, Session.vc, Virtus Resources Partners, Notion.vc et InnoSuisse.
Andreas Brenner, PDG de Jua qui a cofondé l’entreprise avec le CTO Marvin Gabler, affirme que la « volatilité » croissante du changement climatique et de la géopolitique a conduit à un besoin parmi les organisations qui travaillent dans le monde physique, que ce soit dans des domaines industriels comme l’énergie ou l’agriculture. ou autre chose – pour avoir une modélisation et des prévisions plus précises. Selon le Centre national américain d’information sur l’environnement, 2023 a été une année charnière pour les catastrophes climatiques, entraînant des dizaines de milliards de dollars de dégâts : c’est cet état de fait actuel qui pousse les organisations à mettre en place des outils de planification, et non à mettre en place des outils de planification. mentionner de meilleurs outils prédictifs pour les analystes de marché et autres utilisateurs de ces données.
D’une certaine manière, il ne s’agit pas d’un problème nouveau – ni même d’un problème que les technologues n’ont pas encore abordé avec l’IA.
La division DeepMind de Google a créé GraphCast ; Nvidia a FourCastNet ; Huawei a Pangu, qui a lancé l’année dernière un composant météo qui a suscité un vif intérêt. Des projets sont également en cours pour créer des modèles d’IA à partir de données météorologiques afin de se concentrer sur d’autres phénomènes naturels, comme le souligne la semaine dernière ce rapport sur une équipe essayant d’apporter une nouvelle compréhension des schémas de migration des oiseaux.
La réponse de Jua à cette question est double. Premièrement, il estime que son modèle est meilleur que ces autres, en partie parce qu’il ingère plus d’informations et qu’il est plus volumineux – par un multiple de 20 fois par rapport à GraphCast, affirme-t-il. Deuxièmement, la météo n’est que le point de départ pour examiner un ensemble plus large de questions, de réponses et de défis physiques.
« Les entreprises doivent améliorer leurs capacités pour répondre à tout cela [climate] volatilité », a-t-il déclaré. « Donc, à court terme, c’est le problème que nous résolvons. Mais en regardant vers l’avenir, nous construisons le premier modèle fondamental pour le monde naturel… Nous construisons essentiellement un modèle de machine qui apprend la physique… et c’est l’un des piliers clés pour parvenir à l’intelligence artificielle générale, car la simple compréhension du langage n’est pas nécessaire. Ce n’est pas assez.
La société n’a pas encore lancé ses premiers produits, mais l’acte de foi que font les investisseurs n’est pas seulement un battage médiatique pour tout ce qui concerne l’IA.
Avant Jua, Gabler dirigeait la recherche chez Q.met, un acteur de longue date dans le domaine des prévisions météorologiques ; et il a également travaillé sur la technologie d’apprentissage profond pour le gouvernement allemand. Brenner a travaillé dans le secteur de l’énergie et a précédemment fondé une startup de logiciels de gestion de flotte. Prises ensemble, ces expériences permettent non seulement une prise de conscience technique des problèmes et des solutions potentielles, mais également une compréhension directe de la manière dont l’industrie en fait l’expérience.
Il montre également quelques premiers travaux aux investisseurs et aux clients potentiels, obtenant leur avis sur les données, tout en continuant à développer le produit.
L’un des objectifs semble être d’adopter une nouvelle approche du concept de ce qui entre dans les modèles prédictifs. Par exemple, lors de la création d’un modèle de prévision météorologique, Brenner a déclaré que « l’utilisation de stations météorologiques est assez évidente ». Mais en plus de cela, il ingère ce qu’il décrit comme « des données beaucoup plus bruyantes », notamment des images satellitaires et topographiques récentes, ainsi que d’autres « données plus nouvelles et plus récentes » pour construire ses modèles. « La principale différence est que nous construisons ce système de bout en bout dans lequel toutes les données qui étaient utilisées à différentes étapes de la chaîne de valeur sont désormais toutes regroupées dans le même pool », a-t-il expliqué. La société a déclaré disposer d’environ 5 pétaoctets (5 000 téraoctets) de données de formation, contre environ 45 téraoctets pour GPT3 et (apparemment) 1 pétaoctet pour GPT4. (Comprenez cependant que les données linguistiques peuvent nécessiter moins de données qu’un modèle du monde physique.)
Un autre objectif, non négligeable, est que l’entreprise essaie de construire quelque chose de plus efficace afin de réduire les coûts opérationnels pour elle-même et pour ses clients. « Notre système utilise 10 000 fois moins de calcul que les systèmes existants », a déclaré Brenner.
Il est à noter que Jua émerge et obtient des financements en ce moment particulièrement.
Les modèles fondateurs s’annoncent comme la pierre angulaire du développement de la prochaine génération d’applications d’IA, de sorte que les entreprises qui construisent et contrôlent les modèles fondateurs détiennent beaucoup de valeur et de pouvoir potentiel.
Les plus grands acteurs dans ce domaine à l’heure actuelle sont des entreprises comme OpenAI, Google, Microsoft, Anthropic, Amazon et Meta : toutes des entreprises américaines. Cela a stimulé certaines activités dans d’autres parties du monde, comme en Europe, pour rechercher et financer des champions locaux comme alternatives. Notamment, 468 Capital soutient également l’allemand Aleph Alpha, qui – à l’instar des acteurs fondateurs du modèle aux États-Unis – construit également de grands modèles linguistiques, mais apparemment en collaboration plus étroite avec des clients potentiels. (L’un de ses slogans est « La souveraineté à l’ère de l’IA »).
« Andreas, Marvin et l’équipe construisent la première IA de base au monde pour la physique et le monde naturel, qui sera capable de fournir des informations puissantes à un large éventail d’industries dépendant d’une véritable compréhension de la nature, des compagnies d’assurance aux fournisseurs de produits chimiques et d’énergie. , aux équipes de planification des catastrophes, aux organisations agricoles, aux compagnies aériennes et aux œuvres caritatives », a déclaré Ludwig Ensthaler, associé général de 468 Capital, dans un communiqué.
Il y a définitivement un sentiment de « bon gars » à propos d’une entreprise d’IA qui cherche à mieux comprendre l’impact du changement climatique sur nous, à contribuer à une meilleure planification des catastrophes et peut-être même, un jour, à être utilisée pour aider à comprendre comment atténuer les dommages à l’environnement. Et le plus grand objectif pour une startup visant à construire une IA capable de comprendre le monde physique est que, potentiellement, elle peut être appliquée à un ensemble beaucoup plus large de défis dans les domaines de la science des matériaux, de la biomédecine, de la chimie et bien plus encore. En plus de la faisabilité du modèle lui-même, la perspective soulève également de nombreuses questions, similaires à celles auxquelles sont confrontés d’autres types de modèles d’IA, concernant la sécurité, la fiabilité et bien plus encore, des choses auxquelles Jua réfléchit déjà, même si en termes rudimentaires. pour l’instant.
« Pour que les modèles fonctionnent et soient acceptés, vous devez assurer la cohérence », a déclaré Gabler. « Vous devez vous assurer que les modèles apprennent réellement la physique à partir de la base pour résoudre correctement les problèmes. »