Rafraîchir
SU a également annoncé la plate-forme AMD Instinct, qui dispose de 8 MI300X dans une conception OCP standard, offrant un total de 1,5 To de mémoire HBM3.
Cela permet d’utiliser moins de GPU pour les grands modèles de langage, ce qui permet de réaliser des économies.
Lisa Su a réalisé une démonstration du MI300X exécutant un modèle Hugging Face AI. Le LLM a écrit un poème sur San Francisco, où se déroule l’événement. C’est la première fois qu’un modèle de cette taille est exécuté sur un seul GPU. Un seul MI300X peut exécuter un modèle jusqu’à 80 milliards de paramètres.
MI300X offre une densité HBM 2,4X supérieure à celle du Nvidia H100 et une bande passante HBM 1,6X supérieure à celle du H100, ce qui signifie qu’AMD peut exécuter des modèles plus grands que les puces Nvidia.
Et voici une nouvelle puce. 153 milliards de transistors dans un seul boîtier avec 12 puces de 5 nm.
Il y aura un MI300 uniquement GPU, le MI300X. Cette puce est optimisée pour les LLM. cela offre 192 Go de HBM3, 5,2 To/s de bande passante et 896 Go/s de bande passante Infinity Fabric.
SU parle de la feuille de route Instinct et de la façon dont la société a prévisualisé le MI300 avec l’architecture GPU CDNA 3 associée à 24 cœurs de processeur Zen 4, liés à 128 Go de HBM3. Cela donne 8 fois plus de performances et 5 fois plus d’efficacité que le MI250.
146 milliards de transistors répartis sur 13 puces.
Lisa Su est revenue sur scène, et nous nous attendons maintenant à en savoir plus sur la plus grande annonce du spectacle : The Instinct MI300. C’est pour former des modèles plus grands, comme les LLM derrière la révolution actuelle de l’IA.
AMD passe à parler de modèles d’IA, avec Hugging Face rejoignant Peng sur scène. AMD et Hugging Face ont annoncé un nouveau partenariat, optimisant leurs modèles pour les processeurs AMD, les GPU et d’autres matériels d’IA.
Voici les détails de PyTorch 2.0.
PyTorch est l’un des frameworks d’IA les plus populaires de l’industrie, et ils ont rejoint Peng sur scène pour parler de leur collaboration avec ROCm. Le nouveau PyTorch 2.0 est presque deux fois plus rapide que la version précédente. AMD est l’un des membres fondateurs de la Fondation PyTorch.
AMD optimise en permanence la suite ROCm.
Le ROCm d’AMD est un ensemble complet de bibliothèques et d’outils pour sa pile logicielle d’IA optimisée. Contrairement au CUDA propriétaire, il s’agit d’une plate-forme ouverte.
Peng a montré certains des derniers efforts matériels d’AMD.
Le président d’AMD, Victor Peng, est venu sur scène pour parler des efforts de l’entreprise en matière de développement de l’écosystème logiciel. C’est une facette importante, car le logiciel CUDA de Nvidia s’est avéré être un fossé. AMD prévoit d’utiliser une philosophie « Open, Proven, and Ready » pour le développement de son écosystème de logiciels d’IA, dont Peng est responsable.
Les GPU AMD Instinct alimentent déjà bon nombre des supercalculateurs les plus rapides au monde.
Lisa Su a souligné l’énorme opportunité de marché pour le marché de l’IA tirée par les grands modèles de langage (LLM), faisant passer le TAM à environ 150 milliards de dollars.
Lisa Su est revenue sur scène pour parler du large portefeuille de silicium AI d’AMD, y compris l’Instinct MI300
L’étape suivante? Intégration du déchargement P4 DPU dans le commutateur réseau lui-même, fournissant ainsi des services au niveau du rack. Cela vient comme le Smart Switch qu’ils ont développé avec Aruba Networks.
Les Pensando SmartNIC d’AMD font partie intégrante des nouvelles architectures de centres de données.
Le DPU P4 d’AMD décharge les frais généraux du réseau et améliore la gérabilité du serveur.
AMD a acheté Pensando pour acquérir la technologie DPU. Norrod a expliqué comment AMD utilise ces appareils pour réduire les frais généraux de mise en réseau dans le centre de données.
Citadel utilise également les FPGA Xilinx d’AMD pour son travail sur les marchés financiers avec sa plateforme de trading haute fréquence. Il utilise également le réseau solarflare à faible latence d’AMD.
Citadel Securities a rejoint Norrod sur scène pour parler de son transfert de charges de travail vers les processeurs AMD, permettant une augmentation de 35 % des performances. Ils utilisent plus d’un million de cœurs AMD simultanés.
Forrest Norrod d’AMD, vice-président exécutif de MD et directeur général du Data Center Solutions Business Group, est venu sur scène pour partager des informations sur l’évolution du centre de données.
Sienna d’AMD est optimisé pour les charges de travail Telco et Edge, mais arrive sur le marché au second semestre.
Azure a annoncé la disponibilité générale de ses nouvelles instances des séries HBv4 et HX avec Genoa-X, et de nouvelles instances HBv3. Azure a également fourni des repères pour montrer les gains de performances, qui culminent à 5,7 fois les gains
Un représentant de Microsoft a rejoint McNamara sur scène pour montrer les tests de performance Azure HPC. En seulement quatre ans, Azure a vu ses performances quadrupler avec les processeurs EPYC.
Ici, nous pouvons voir une comparaison entre Genoa-X et un Intel Xeon avec le même nombre de cœurs.
McNamara a montré des références de performances de Genoa-X par rapport au Xeon à 80 cœurs d’Intel.
Gen0a-X est disponible dès maintenant. Quatre SKU, 16 à 96 cœurs. Compatibilité du socket SP5, il fonctionnera donc avec les plates-formes EPYC existantes.
Dan McNamara, SVP d’AMD et GM de l’unité commerciale des serveurs, est venu sur scène pour présenter deux nouveaux produits. Genoa-X ajoutera plus de 1 Go de cache L3 avec 96 cœurs.
Meta dit qu’il a appris qu’il peut compter sur AMD à la fois pour l’approvisionnement en puces et sur une feuille de route solide qu’il livre dans les délais. Meta prévoit d’utiliser Bergamo, qui offre 2,5 fois plus de performances que les puces Milan de la génération précédente, pour son infrastructure. Meta utilisera également Bergame pour ses plateformes de stockage.
Un représentant de Meta a rejoint Lisa Su sur scène pour parler de l’utilisation par la société des processeurs EPYC d’AMD pour son infrastructure. Meta est également en open source pour ses conceptions de serveurs alimentés par AMD.
Bergamo est désormais disponible pour les clients cloud d’AMD. AMD a également partagé les références de performances suivantes.
Voici un schéma du paquet de puces.
Le noyau est 35 % plus petit que les noyaux Zen 4 standard.
Voici la répartition des matrices.
Le cœur Zen 4c offre une densité plus élevée que les cœurs Zen 4 standard, tout en maintenant une compatibilité logicielle à 100 %. AMD a optimisé la hiérarchie du cache, entre autres ajustements, pour une économie de 35 % sur la zone de la matrice. Le chiplet de base CCD est le seul changement.
Lisa Su est maintenant passée à parler de processeurs natifs du cloud, expliquant qu’ils sont orientés vers le débit et nécessitent la densité et l’efficacité finales les plus élevées. Bergame est l’entrée pour ce marché et utilise jusqu’à 128 cœurs par socket avec un support ISA x86 cohérent. La puce a 83 milliards de transistors et offre la plus haute densité de vCPU disponible.
AMD a également annoncé qu’Oracle disposera d’instances Genoa E5 en juillet.
AMD utilisera également les instances EC2 M7a pour ses propres charges de travail internes, y compris pour les logiciels EDA de conception de puces.
Amazon a annoncé qu’il construisait de nouvelles instances avec AWS Nitro et les processeurs EPYC Genoa de quatrième génération. Les instances EC2 M7a sont disponibles en avant-première dès aujourd’hui, offrant 50 % de performances en plus que les instances M6a. AWS affirme offrir les meilleures performances des offres AWS x86.
Dave Brown, le vice-président de l’EC2 d’AWS, est venu sur scène pour parler des économies de coûts et des avantages en termes de performances de l’utilisation des instances d’AMD dans son cloud. Il a fourni plusieurs exemples de clients qui ont bénéficié des instances AMD, avec des charges de travail allant du HPC aux charges de travail standard à usage général.
Ici, nous pouvons voir les références de l’IA d’AMD par rapport au Sapphire Rapids Xeon d’Intel.
La grande majorité de l’IA fonctionne sur des processeurs, et AMD affirme avoir une avance considérable en termes de performances sur le Xeon 8490H concurrent, offrant 1,9 fois plus de performances. Su a également vanté un avantage d’efficacité de 1,9X.
Lisa Su vante les mérites du fait qu’AMD EPYC Genoa offre 1,8 fois les performances des processeurs concurrents d’Intel dans les charges de travail cloud et 1,9 fois plus rapide dans les charges de travail d’entreprise.
Lisa Su décrit les progrès d’AMD avec ses processeurs EPYC, en particulier dans le cloud avec des instances disponibles dans le monde entier.
La PDG d’AMD, Lisa Su, est montée sur scène pour présenter les nouveaux produits de la société, notant qu’elle présentera une gamme de nouveaux produits, notamment des CPU et des GPU.
Nous sommes maintenant assis et prêts pour que le spectacle commence dans moins de dix minutes.