En février, Demis Hassabis, PDG du laboratoire de recherche DeepMind AI de Google, a averti que le fait de consacrer des quantités croissantes de calcul aux types d’algorithmes d’IA largement utilisés aujourd’hui pourrait entraîner une diminution des rendements. Passer au « niveau supérieur » de l’IA, pour ainsi dire, a déclaré Hassabis, nécessitera plutôt des percées en matière de recherche fondamentale qui offriront des alternatives viables aux approches bien ancrées d’aujourd’hui.
L’ancien ingénieur de Tesla, George Morgan, est d’accord. Il a donc fondé une startup, Symbolica AI, dans ce but précis.
« Les modèles traditionnels d’apprentissage en profondeur et de langage génératif nécessitent une échelle, un temps et une énergie inimaginables pour produire des résultats utiles », a déclaré Morgan à TechCrunch. « En construisant [novel] modèles, Symbolica peut atteindre une plus grande précision avec des besoins en données réduits, un temps de formation réduit, un coût inférieur et avec des sorties structurées dont la correction est prouvée.
Morgan a abandonné ses études à Rochester pour rejoindre Tesla, où il a travaillé dans l’équipe développant Autopilot, la suite de fonctionnalités avancées d’aide à la conduite de Tesla.
Chez Tesla, Morgan dit qu’il s’est rendu compte que les méthodes d’IA actuelles – dont la plupart tournaient autour de l’augmentation du calcul – ne seraient pas durables à long terme.
« Les méthodes actuelles n’ont qu’un seul bouton à tourner : augmenter l’échelle et espérer un comportement émergent », a déclaré Morgan. « Cependant, la mise à l’échelle nécessite plus de calcul, plus de mémoire, plus d’argent pour la formation et plus de données. Mais éventuellement, [this] ne vous permet pas d’obtenir des performances nettement meilleures.
Morgan n’est pas le seul à parvenir à cette conclusion.
Dans une note de cette année, deux dirigeants de TSMC, le fabricant de semi-conducteurs, ont déclaré que si la tendance de l’IA se poursuit au rythme actuel, l’industrie aura besoin d’une puce contenant 1 000 milliards de transistors, une puce contenant 10 fois plus de transistors que la moyenne. puce aujourd’hui – d’ici une décennie.
On ne sait pas si cela est technologiquement réalisable.
Ailleurs, un rapport (non publié) co-écrit par Stanford et Epoch AI, un institut de recherche indépendant sur l’IA, révèle que le coût de la formation de modèles d’IA de pointe a considérablement augmenté au cours de l’année écoulée et a changé. Les auteurs du rapport estiment qu’OpenAI et Google ont dépensé respectivement environ 78 millions de dollars et 191 millions de dollars pour former GPT-4 et Gemini Ultra.
Alors que les coûts sont sur le point d’augmenter encore – voir les plans annoncés par OpenAI et Microsoft pour un centre de données d’IA de 100 milliards de dollars – Morgan a commencé à étudier ce qu’il appelle des modèles d’IA « structurés ». Ces modèles structurés codent la structure sous-jacente des données – d’où leur nom – au lieu d’essayer de se rapprocher des informations provenant d’énormes ensembles de données, comme les modèles conventionnels, ce qui leur permet d’atteindre ce que Morgan qualifie de meilleures performances en utilisant moins de calcul global.
« Il est possible de produire des capacités de raisonnement structuré adaptées à un domaine dans des modèles beaucoup plus petits », a-t-il déclaré, « en associant une boîte à outils mathématiques approfondies à des avancées en matière d’apprentissage profond ».
L’IA symbolique n’est pas exactement un nouveau concept. Ils remontent à plusieurs décennies et sont ancrés dans l’idée selon laquelle l’IA peut être construite sur des symboles qui représentent la connaissance à l’aide d’un ensemble de règles.
L’IA symbolique traditionnelle résout les tâches en définissant des ensembles de règles de manipulation de symboles dédiés à des tâches particulières, telles que l’édition de lignes de texte dans un logiciel de traitement de texte. Cela s’oppose aux réseaux de neurones, qui tentent de résoudre des tâches par approximation statistique et apprentissage à partir d’exemples. Symbolica vise à tirer parti du meilleur des deux mondes.
Les réseaux de neurones sont la pierre angulaire des systèmes d’IA puissants tels que DALL-E 3 et GPT-4 d’OpenAI. Mais, affirme Morgan, l’échelle n’est pas la solution ultime ; Associer des abstractions mathématiques avec des réseaux de neurones pourrait en fait être mieux placé pour coder efficacement les connaissances du monde, raisonner à travers des scénarios complexes et « expliquer » comment ils arrivent à une réponse, affirme Morgan.
« Nos modèles sont plus fiables, plus transparents et plus responsables », a déclaré Morgan. « Il existe d’immenses applications commerciales de capacités de raisonnement structuré, en particulier pour la génération de code – c’est-à-dire raisonner sur de grandes bases de code et générer du code utile – là où les offres existantes sont insuffisantes. »
Le produit de Symbolica, conçu par son équipe de 16 personnes, est une boîte à outils permettant de créer des modèles d’IA symboliques et des modèles pré-entraînés pour des tâches spécifiques, notamment la génération de code et la preuve de théorèmes mathématiques. Le modèle économique exact est en pleine évolution. Mais Symbolica pourrait fournir des services de conseil et d’assistance aux entreprises qui souhaitent créer des modèles sur mesure à l’aide de ses technologies, a déclaré Morgan.
« La société travaillera en étroite collaboration avec de grandes entreprises partenaires et clients, en créant des modèles structurés personnalisés dotés de capacités de raisonnement considérablement améliorées, adaptés aux besoins individuels des clients », a déclaré Morgan. « Ils développeront et vendront également des modèles de synthèse de code de pointe aux grandes entreprises. »
Aujourd’hui marque le lancement furtif de Symbolica, la société n’a donc pas de clients – du moins aucun dont elle soit prête à parler publiquement. Morgan a cependant révélé que Symbolica avait décroché un investissement de 33 millions de dollars plus tôt cette année, dirigé par Khosla Ventures. Parmi les autres investisseurs figuraient Abstract Ventures, Buckley Ventures, Day One Ventures et General Catalyst.
En effet, 33 millions de dollars, ce n’est pas un petit chiffre ; Les bailleurs de fonds de Symbolica ont évidemment confiance dans la science et la feuille de route de la startup. Vinod Khosla, le fondateur de Khosla Ventures, m’a dit par e-mail qu’il pensait que Symbolica « s’attaque à certains des défis les plus importants auxquels est confrontée l’industrie de l’IA aujourd’hui ».
« Pour permettre l’adoption commerciale à grande échelle de l’IA et la conformité réglementaire, nous avons besoin de modèles avec des résultats structurés qui peuvent atteindre une plus grande précision avec moins de ressources », a déclaré Khosla. « George a réuni l’une des meilleures équipes de l’industrie pour y parvenir. »
Mais d’autres sont moins convaincus que l’IA symbolique est la bonne voie à suivre.
Os Keyes, doctorant à l’Université de Washington spécialisé dans le droit et l’éthique des données, note que les modèles symboliques d’IA dépendent de données hautement structurées, ce qui les rend à la fois « extrêmement fragiles » et dépendants du contexte et de la spécificité. En d’autres termes, l’IA symbolique a besoin de connaissances bien définies pour fonctionner – et définir ces connaissances peut demander beaucoup de travail.
« Cela pourrait encore être intéressant s’il allie les avantages de l’apprentissage profond et des approches symboliques », a déclaré Keyes, faisant référence à AlphaGeometry récemment publié par DeepMind, qui combinait des réseaux neuronaux avec un algorithme symbolique inspiré de l’IA pour résoudre des problèmes de géométrie difficiles. « Mais le temps nous le dira. »
Morgan a réfuté en affirmant que les méthodes de formation actuelles ne seront bientôt plus en mesure de répondre aux besoins des entreprises qui souhaitent exploiter l’IA à leurs fins, ce qui fait que toute alternative prometteuse mérite d’être investie. Et, a-t-il affirmé, Symbolica est stratégiquement bien positionné pour cela. l’avenir, étant donné qu’il dispose de « plusieurs années » de piste avec sa dernière tranche de financement et que ses modèles sont relativement petits (et donc bon marché) à entraîner et à faire fonctionner.
« Des tâches telles que l’automatisation du développement de logiciels, par exemple, à grande échelle nécessiteront des modèles dotés de capacités de raisonnement formel et de coûts d’exploitation moins élevés, pour analyser de grandes bases de données de code et produire et itérer du code utile », a-t-il déclaré. « La perception du public à l’égard des modèles d’IA reste largement celle selon laquelle « l’échelle est tout ce dont vous avez besoin ». Penser symboliquement est absolument nécessaire pour progresser dans le domaine : des résultats structurés et explicables dotés de capacités de raisonnement formel seront nécessaires pour répondre aux demandes.
Rien n’empêche un grand laboratoire d’IA comme DeepMind de construire sa propre IA symbolique ou des modèles hybrides et, mis à part les points de différenciation de Symbolica, Symbolica entre dans un domaine de l’IA extrêmement encombré et bien capitalisé. Mais Morgan anticipe tout de même une croissance et s’attend à ce que les effectifs de Symbolica, basée à San Francisco, doublent d’ici 2025.