Nvidia
Mercredi, Nvidia a annoncé une collaboration avec Microsoft pour construire un ordinateur cloud « massif » axé sur l’IA. Il utiliserait des dizaines de milliers de GPU Nvidia haut de gamme pour des applications telles que l’apprentissage en profondeur et les grands modèles de langage. Les entreprises visent à en faire l’un des supercalculateurs d’IA les plus puissants au monde.
À son tour, le nouveau supercalculateur comportera des milliers d’unités de ce qui est sans doute le GPU le plus puissant au monde, le Hopper H100, que Nvidia a lancé en octobre. Nvidia fournira également son deuxième GPU le plus puissant, l’A100, et utilisera sa plate-forme réseau Quantum-2 InfiniBand, qui peut transférer des données à 400 gigabits par seconde entre les serveurs, les reliant dans un cluster puissant.
Pendant ce temps, Microsoft apportera son infrastructure cloud Azure et les machines virtuelles des séries ND et NC. La plate-forme AI Enterprise de Nvidia reliera le tout. Les entreprises collaboreront également sur DeepSpeed, le logiciel d’optimisation de l’apprentissage en profondeur de Microsoft.
Dans un communiqué, Nvidia a mentionné les applications que le supercalculateur commun pourrait servir :
« Dans le cadre de la collaboration, Nvidia utilisera les instances de machines virtuelles évolutives d’Azure pour rechercher et accélérer davantage les progrès de l’IA générative, un domaine de l’IA en plein essor dans lequel des modèles fondamentaux tels que Megatron Turing NLG 530B sont à la base d’algorithmes d’auto-apprentissage non supervisés. pour créer du nouveau texte, du code, des images numériques, de la vidéo ou de l’audio. »
L’année dernière a vu une augmentation rapide des modèles d’IA génératifs tels que Stable Diffusion et DALL-E qui peuvent synthétiser de nouvelles images à la demande. Des modèles similaires sont apparus qui peuvent créer des vidéos, synthétiser des voix et effectuer une transcription, entre autres utilisations. Alors que la demande informatique augmente pour l’IA générative, Nvidia et Microsoft ont l’intention d’être là pour y répondre.
Une fois que l’ordinateur cloud de Nvidia et Microsoft est en ligne, les clients peuvent déployer des milliers de GPU dans un seul cluster pour « former même les grands modèles de langage les plus massifs, créer les systèmes de recommandation les plus complexes à grande échelle et activer l’IA générative à grande échelle », selon Nvidia. .
Les entreprises n’ont pas fourni de détails sur la date à laquelle le nouveau supercalculateur sera prêt, mais ont mentionné que l’annonce marque le début d’une « collaboration pluriannuelle ». Il est probable que la capacité de l’ordinateur cloud augmentera avec le temps.