Nvidia ramène le double GPU… pour les centres de données

Nvidia a annoncé un nouveau produit à double GPU, le H100 NVL, lors de son discours d’ouverture GTC Spring 2023. Cela ne ramènera pas les jeux SLI ou multi-GPU, et ne sera pas l’une des meilleures cartes graphiques pour les jeux, mais ciblera plutôt le marché croissant de l’IA. D’après les informations et les images publiées par Nvidia, le H100 NVL (H100 NVLink) arborera trois connecteurs NVLink sur le dessus, les deux cartes adjacentes s’insérant dans des emplacements PCIe séparés.

C’est un changement de rythme intéressant, apparemment pour s’adapter aux serveurs qui ne prennent pas en charge l’option SXM de Nvidia, en mettant l’accent sur les performances d’inférence plutôt que sur la formation. Les connexions NVLink devraient aider à fournir la bande passante manquante que NVSwitch donne sur les solutions SXM, et il existe également d’autres différences notables.

Prenez les spécifications. Les solutions H100 précédentes – à la fois SXM et PCIe – étaient livrées avec 80 Go de mémoire HBM3, mais le package actuel contient six piles, chacune avec 16 Go de mémoire. Il n’est pas clair si une pile est complètement désactivée, ou si c’est pour ECC ou à d’autres fins. Ce que nous savons, c’est que le H100 NVL sera livré avec 94 Go par GPU et 188 Go HBM3 au total. Nous supposons que les 2 Go « manquants » par GPU sont pour ECC maintenant.

La puissance est légèrement supérieure à celle du H100 PCIe, à 350-400 watts par GPU (configurable), soit une augmentation de 50W. Pendant ce temps, les performances totales finissent par être effectivement le double de celles du H100 SXM : 134 téraflops de FP64, 1 979 téraflops de TF32 et 7 916 téraflops de FP8 (ainsi que 7 916 téraops d’INT8).

Fondamentalement, cela ressemble à la même conception de base du H100 PCIe, qui prend également en charge NVLink, mais potentiellement maintenant avec plus de cœurs GPU activés et avec 17,5 % de mémoire en plus. La bande passante mémoire est également un peu plus élevée que celle du H100 PCIe, à 3,9 To/s par GPU et 7,8 To/s combinés (contre 2 To/s pour le H100 PCIe et 3,35 To/s sur le H100 SXM).

Comme il s’agit d’une solution à deux cartes, chaque carte occupant un espace à 2 emplacements, Nvidia ne prend en charge que 2 à 4 paires de cartes H100 NVL pour les systèmes partenaires et certifiés. Combien coûterait une seule paire et seront-elles disponibles à l’achat séparément ? Cela reste à voir, même si un seul H100 PCIe peut parfois être trouvé pour environ 28 000 $ (s’ouvre dans un nouvel onglet). Donc 80 000 $ pour une paire de H100 NVL ne semble pas hors de question.

Source-138