NVIDIA a lancé sa nouvelle génération de puces de supercalculateurs IA qui joueront probablement un rôle important dans les futures percées en matière d’apprentissage profond et de grands modèles de langage (LLM) comme le GPT-4 d’OpenAI, a annoncé la société. La technologie représente un progrès significatif par rapport à la dernière génération et est sur le point d’être utilisée dans les centres de données et les superordinateurs, pour des tâches telles que la prévision météorologique et climatique, la découverte de médicaments, l’informatique quantique et bien plus encore.
Le produit clé est le GPU HGX H200 basé sur l’architecture « Hopper » de NVIDIA, en remplacement du populaire GPU H100. Il s’agit de la première puce de la société à utiliser la mémoire HBM3e, plus rapide et dotée de plus de capacité, ce qui la rend mieux adaptée aux modèles de langages volumineux. « Avec HBM3e, le NVIDIA H200 offre 141 Go de mémoire à 4,8 téraoctets par seconde, soit près du double de la capacité et 2,4 fois plus de bande passante par rapport à son prédécesseur, le NVIDIA A100 », a écrit la société.
En termes d’avantages pour l’IA, NVIDIA affirme que le HGX H200 double la vitesse d’inférence sur Llama 2, un LLM de 70 milliards de paramètres, par rapport au H100. Il sera disponible dans des configurations à 4 et 8 voies compatibles à la fois avec le logiciel et le matériel des systèmes H100. Il fonctionnera dans tous les types de centres de données (sur site, cloud, cloud hybride et périphérie) et sera déployé par Amazon Web Services, Google Cloud, Microsoft Azure et Oracle Cloud Infrastructure, entre autres. Il devrait arriver au deuxième trimestre 2024.
L’autre produit clé de NVIDIA est la « superpuce » GH200 Grace Hopper qui associe le GPU HGX H200 et le processeur NVIDIA Grace basé sur Arm en utilisant l’interconnexion NVLink-C2C de la société. Il est conçu pour les superordinateurs afin de permettre « aux scientifiques et aux chercheurs de s’attaquer aux problèmes les plus difficiles au monde en accélérant les applications complexes d’IA et de HPC exécutant des téraoctets de données », a écrit NVIDIA.
Le GH200 sera utilisé dans « plus de 40 supercalculateurs d’IA dans des centres de recherche mondiaux, des fabricants de systèmes et des fournisseurs de cloud », a indiqué la société, notamment Dell, Eviden, Hewlett Packard Enterprise (HPE), Lenovo, QCT et Supermicro. Parmi ceux-ci, citons notamment les supercalculateurs Cray EX2500 de HPE qui utiliseront quatre GH200, évoluant jusqu’à des dizaines de milliers de nœuds Grace Hopper Superchip.
Le plus gros supercalculateur Grace Hopper sera peut-être JUPITER, situé dans les installations de Jülich en Allemagne, qui deviendra le « système d’IA le plus puissant au monde » lorsqu’il sera installé en 2024. Il utilise une architecture refroidie par liquide, « avec un module booster comprenant des à 24 000 superpuces NVIDIA GH200 interconnectées avec la plate-forme réseau NVIDIA Quantum-2 InfiniBand », selon NVIDIA.
NVIDIA affirme que JUPITER contribuera aux percées scientifiques dans un certain nombre de domaines, notamment la prévision climatique et météorologique, en générant des simulations climatiques et météorologiques haute résolution avec visualisation interactive. Il sera également utilisé pour la découverte de médicaments, l’informatique quantique et l’ingénierie industrielle. Beaucoup de ces domaines utilisent des solutions logicielles NVIDIA personnalisées qui facilitent le développement mais rendent également les groupes de calcul intensif dépendants du matériel NVIDIA.
Les nouvelles technologies seront essentielles pour NVIDIA, qui réalise désormais l’essentiel de ses revenus dans les segments de l’IA et des centres de données. Au dernier trimestre, la société a enregistré un chiffre d’affaires record de 10,32 milliards de dollars dans ce seul domaine (sur un chiffre d’affaires total de 13,51 milliards de dollars), en hausse de 171 % par rapport à l’année dernière. Il espère sans aucun doute que le nouveau GPU et la nouvelle superpuce contribueront à poursuivre cette tendance. La semaine dernière, NVIDIA a battu son propre record de référence en matière de formation en IA en utilisant l’ancienne technologie H100. Sa nouvelle technologie devrait donc l’aider à étendre son avance sur ses concurrents dans un secteur qu’elle domine déjà.