Nvidia
Au début de la semaine dernière au COMPUTEX, Nvidia a annoncé que son nouveau « Superchip » GH200 Grace Hopper – une combinaison CPU et GPU spécialement créée pour les applications d’IA à grande échelle – est entré en pleine production. C’est une bête. Il dispose de 528 cœurs de tenseur GPU, prend en charge jusqu’à 480 Go de RAM CPU et 96 Go de RAM GPU, et dispose d’une bande passante mémoire GPU allant jusqu’à 4 To par seconde.
Nous avons déjà couvert la puce Nvidia H100 Hopper, qui est actuellement le GPU de centre de données le plus puissant de Nvidia. Il alimente des modèles d’IA comme ChatGPT d’OpenAI, et il a marqué une mise à niveau significative par rapport à la puce A100 de 2020, qui a alimenté la première série de cycles de formation pour de nombreux chatbots génératifs d’IA et générateurs d’images dont nous parlons aujourd’hui.
Des GPU plus rapides se traduisent en gros par des modèles d’IA génératifs plus puissants, car ils peuvent exécuter davantage de multiplications matricielles en parallèle (et le faire plus rapidement), ce qui est nécessaire au fonctionnement des réseaux de neurones artificiels d’aujourd’hui.
Le GH200 prend cette base « Hopper » et la combine avec la plate-forme CPU « Grace » de Nvidia (toutes deux nommées d’après la pionnière de l’informatique Grace Hopper), en la intégrant dans une seule puce via la technologie d’interconnexion puce à puce (C2C) NVLink de Nvidia. Nvidia s’attend à ce que la combinaison accélère considérablement les applications d’IA et d’apprentissage automatique à la fois dans la formation (création d’un modèle) et l’inférence (l’exécution).
« L’IA générative transforme rapidement les entreprises, ouvre de nouvelles opportunités et accélère la découverte dans les secteurs de la santé, de la finance, des services aux entreprises et de nombreux autres secteurs », a déclaré Ian Buck, vice-président de l’informatique accélérée chez Nvidia, dans un communiqué de presse. « Avec Grace Hopper Superchips en pleine production, les fabricants du monde entier fourniront bientôt aux entreprises l’infrastructure accélérée nécessaire pour créer et déployer des applications d’IA génératives qui exploitent leurs données exclusives uniques. »
Selon la société, les principales caractéristiques du GH200 incluent une nouvelle interface de mémoire cohérente (partagée) de 900 Go/s, qui est sept fois plus rapide que PCIe Gen5. Le GH200 offre également une bande passante de mémoire système agrégée 30 fois supérieure au GPU par rapport au Nvidia DGX A100 susmentionné. De plus, le GH200 peut exécuter toutes les plates-formes logicielles Nvidia, y compris le SDK Nvidia HPC, Nvidia AI et Nvidia Omniverse.
Notamment, Nvidia a également annoncé qu’il intégrerait cette puce combo CPU/GPU dans un nouveau superordinateur appelé le DGX GH200, qui peut utiliser la puissance combinée de 256 puces GH200 pour fonctionner comme un seul GPU, fournissant 1 exaflop de performances et 144 téraoctets. de mémoire partagée, près de 500 fois plus de mémoire que la génération précédente Nvidia DGX A100.
Le DGX GH200 sera capable de former des modèles d’IA géants de nouvelle génération (GPT-6, n’importe qui ?) pour les applications de langage génératif, les systèmes de recommandation et l’analyse de données. Nvidia n’a pas annoncé de prix pour le GH200, mais selon Anandtech, un seul ordinateur DGX GH200 « va facilement coûter quelque part dans les 8 chiffres ».
Dans l’ensemble, il est raisonnable de dire que grâce aux avancées matérielles continues de fournisseurs tels que Nvidia et Cerebras, les modèles d’IA cloud haut de gamme continueront probablement à devenir plus performants au fil du temps, en traitant plus de données et en le faisant beaucoup plus rapidement qu’auparavant. Espérons juste qu’ils ne se disputent pas avec les journalistes techniques.