Nvidia / Benj Edwards
Lundi, Nvidia a dévoilé la puce à noyau tensoriel Blackwell B200, le GPU monopuce le plus puissant de la société, avec 208 milliards de transistors, qui, selon Nvidia, peut réduire les coûts d’exploitation de l’inférence de l’IA (comme l’exécution de ChatGPT) et la consommation d’énergie jusqu’à 25 fois par rapport à au H100. La société a également dévoilé le GB200, une « superpuce » qui combine deux puces B200 et un processeur Grace pour encore plus de performances.
La nouvelle est intervenue dans le cadre de la conférence annuelle GTC de Nvidia, qui se déroule cette semaine au San Jose Convention Center. Le PDG de Nvidia, Jensen Huang, a prononcé le discours lundi après-midi. « Nous avons besoin de GPU plus gros », a déclaré Huang lors de son discours. La plate-forme Blackwell permettra la formation de modèles d’IA comportant des milliards de paramètres, ce qui donnera l’impression que les modèles d’IA génératifs d’aujourd’hui sont rudimentaires en comparaison, a-t-il déclaré. Pour référence, le GPT-3 d’OpenAI, lancé en 2020, comprenait 175 milliards de paramètres. Le nombre de paramètres est un indicateur approximatif de la complexité du modèle d’IA.
Nvidia a nommé l’architecture Blackwell en l’honneur de David Harold Blackwell, un mathématicien spécialisé dans la théorie des jeux et les statistiques et qui fut le premier érudit noir intronisé à l’Académie nationale des sciences. La plate-forme introduit six technologies pour le calcul accéléré, notamment un moteur Transformer de deuxième génération, un NVLink de cinquième génération, un moteur RAS, des capacités d’IA sécurisées et un moteur de décompression pour les requêtes de base de données accélérées.
Plusieurs grandes organisations, telles qu’Amazon Web Services, Dell Technologies, Google, Meta, Microsoft, OpenAI, Oracle, Tesla et xAI, devraient adopter la plateforme Blackwell, et le communiqué de presse de Nvidia regorge de citations standardisées de PDG du secteur technologique (clés Clients Nvidia) comme Mark Zuckerberg et Sam Altman faisant l’éloge de la plateforme.
Les GPU, autrefois conçus uniquement pour l’accélération des jeux, sont particulièrement bien adaptés aux tâches d’IA car leur architecture massivement parallèle accélère l’immense nombre de tâches de multiplication matricielle nécessaires au fonctionnement des réseaux neuronaux d’aujourd’hui. Avec l’avènement de nouvelles architectures d’apprentissage profond dans les années 2010, Nvidia s’est retrouvé dans une position idéale pour capitaliser sur la révolution de l’IA et a commencé à concevoir des GPU spécialisés uniquement pour accélérer les modèles d’IA.
L’accent mis par Nvidia sur les centres de données a rendu l’entreprise extrêmement riche et précieuse, et ces nouvelles puces poursuivent la tendance. Les revenus des GPU de jeu de Nvidia (2,9 milliards de dollars au dernier trimestre) sont éclipsés par rapport aux revenus des centres de données (à 18,4 milliards de dollars), et cela ne montre aucun signe d’arrêt.
Une bête dans une bête
La puce Grace Blackwell GB200 susmentionnée constitue un élément clé du nouveau NVIDIA GB200 NVL72, un système informatique de centre de données multi-nœuds refroidi par liquide conçu spécifiquement pour les tâches de formation et d’inférence d’IA. Il combine 36 Go200 (soit 72 GPU B200 et 36 processeurs Grace au total), interconnectés par NVLink de cinquième génération, qui relie les puces entre elles pour multiplier les performances.
« Le GB200 NVL72 offre des performances jusqu’à 30 fois supérieures à celles du même nombre de GPU NVIDIA H100 Tensor Core pour les charges de travail d’inférence LLM et réduit les coûts et la consommation d’énergie jusqu’à 25 fois », a déclaré Nvidia.
Ce type d’accélération pourrait potentiellement permettre d’économiser du temps et de l’argent lors de l’exécution des modèles d’IA actuels, mais il permettrait également de créer des modèles d’IA plus complexes. Les modèles d’IA générative, comme ceux qui alimentent Google Gemini et les générateurs d’images d’IA, sont réputés gourmands en calcul. Le manque de puissance de calcul a été largement cité comme freinant les progrès et la recherche dans le domaine de l’IA, et la recherche de davantage de calcul a conduit des personnalités comme le PDG d’OpenAI, Sam Altman, à tenter de négocier des accords pour créer de nouvelles fonderies de puces.
Bien que les affirmations de Nvidia concernant les capacités de la plate-forme Blackwell soient significatives, il convient de noter que ses performances réelles et l’adoption de la technologie restent à voir alors que les organisations commencent à mettre en œuvre et à utiliser la plate-forme elles-mêmes. Des concurrents comme Intel et AMD cherchent également à s’emparer d’une part du gâteau de l’IA de Nvidia.
Nvidia indique que les produits basés sur Blackwell seront disponibles auprès de divers partenaires à partir de la fin de cette année.