MLCommons, un groupe industriel spécialisé dans l’évaluation des performances de l’intelligence artificielle et le matériel d’apprentissage automatique, a ajouté les résultats des derniers accélérateurs artificiels d’IA et de ML à sa base de données et a essentiellement publié les premiers chiffres de performance des GPU de calcul H100 de Nvidia et BR104 de Biren obtenus via une industrie- ensemble standard de tests. Les résultats ont été comparés à ceux obtenus sur les Sapphire Rapids d’Intel, l’AI 100 de Qualcomm et le X220 de Sapeon.
MLPerf de MLCommons est un ensemble de références de formation et d’inférence reconnues par des dizaines d’entreprises qui soutiennent les organisations et soumettent les résultats des tests de leur matériel à la base de données MLPerf. L’ensemble de benchmarks MLPerf Inference version 2.1 comprend des scénarios d’utilisation de centre de données et de périphérie ainsi que des charges de travail telles que la classification d’images (ResNet 50 v1.5), le processeur de langage naturel (BERT Large), la reconnaissance vocale (RNN-T), l’imagerie médicale (3D U-Net), détection d’objets (RetinaNet) et recommandation (DLRM).
Les machines participant à ces tests sont évaluées selon deux modes : en mode serveur, les requêtes arrivent en rafales, alors qu’en mode hors ligne, toutes les données sont alimentées en même temps, donc évidemment en mode hors ligne, elles fonctionnent mieux. De plus, les fournisseurs peuvent soumettre les résultats obtenus sous deux conditions : dans la catégorie fermée, tout le monde doit exécuter des réseaux de neurones mathématiquement équivalents, tandis que dans la catégorie ouverte, ils peuvent les modifier dans le but de les optimiser pour leur matériel, rapporte IEEE Spectrum.
Les résultats obtenus dans MLPerf décrivent non seulement les performances pures des accélérateurs (par exemple, un H100, un A100, un Biren BR104, etc.), mais également leur évolutivité et leurs performances par watt pour dresser un tableau plus détaillé. Tous les résultats peuvent être consultés dans la base de données, mais Nvidia a compilé les résultats des performances par accélérateur en fonction des soumissions de lui-même et de tiers.
Les concurrents de Nvidia n’ont pas encore soumis tous leurs résultats, il manque donc certains résultats au graphique publié par Nvidia. Pourtant, nous pouvons encore faire des découvertes assez intéressantes dans le tableau publié par Nvidia (tout en gardant à l’esprit que Nvidia est une partie intéressée ici, donc tout doit être pris avec un grain de sel).
Étant donné que le H100 de Nvidia est l’accélérateur AI/ML le plus complexe et le plus avancé, soutenu par un logiciel très sophistiqué optimisé pour l’architecture CUDA de Nvidia, il n’est pas particulièrement surprenant qu’il s’agisse du GPU de calcul le plus rapide aujourd’hui, jusqu’à 4,5 fois plus rapide que l’A100 de Nvidia.
Pourtant, le BR104 de Biren Technology, qui offre environ la moitié des performances prévues par le produit phare BR100, est assez prometteur dans les charges de travail de classification d’images (ResNet-50) et de traitement du langage naturel (BERT-Large). En fait, si le BR100 est deux fois plus rapide que le BR104, il offrira des performances supérieures à celles du H100 de Nvidia dans les charges de travail de classification d’images, du moins en ce qui concerne les performances par accélérateur.
Le X220-Enterprise de Sapeon ainsi que le Cloud AI 100 de Qualcomm ne peuvent même pas résister au A100 de Nvidia qui a été lancé il y a environ deux ans. Le processeur ‘Sapphire Rapids’ Xeon Scalable d’Intel de 4e génération peut exécuter des charges de travail AI/ML, bien qu’il ne semble pas que le code ait été suffisamment optimisé pour ce processeur, c’est pourquoi ses résultats sont plutôt faibles.
Nvidia s’attend à ce que son H100 offre des performances encore plus élevées dans les charges de travail AI/ML au fil du temps et creuse son écart avec A100 à mesure que les ingénieurs apprennent à tirer parti de la nouvelle architecture.
Il reste à voir dans quelle mesure les accélérateurs de calcul comme le BR100/BR104 de Biren, le X220-Enterprise de Sapeon ainsi que le Cloud AI 100 de Qualcomm amélioreront leurs performances au fil du temps. De plus, le véritable concurrent du H100 de Nvidia sera le GPU de calcul Ponte Vecchio d’Intel, qui se positionne à la fois pour le supercalcul et les applications AI/ML. En outre, il sera intéressant de voir les résultats de l’Instinct MI250 d’AMD – qui est sans doute optimisé principalement pour les supercalculateurs – dans MLPerf. Pourtant, au moins pour l’instant, Nvidia détient la couronne de performance AI/ML.