mardi, décembre 3, 2024

AWS utilise Habana Gaudi d’Intel pour les grands modèles de langage

Alors que Habana Gaudi d’Intel offre des performances quelque peu compétitives et est livré avec le progiciel Habana SynapseAI, il reste insuffisant par rapport aux GPU de calcul compatibles CUDA de Nvidia. Ceci, associé à une disponibilité limitée, est la raison pour laquelle Gaudi n’a pas été aussi populaire pour les grands modèles linguistiques (LLM) comme ChatGPT.

Maintenant que la ruée vers l’IA est lancée, Habana d’Intel voit des déploiements plus larges. Amazon Web Services a décidé d’essayer Gaudi 1ère génération d’Intel avec PyTorch et DeepSpeed ​​pour former les LLM, et les résultats étaient suffisamment prometteurs pour proposer commercialement des instances DL1 EC2.

Source-138

- Advertisement -

Latest