Lors de sa conférence I/O demain, Google dévoilera un aperçu des derniers clusters d’apprentissage automatique de Google Cloud, qui non seulement visent neuf exaflops de performances de pointe, mais le font en utilisant 90 % d’énergie sans carbone. Ce sera le plus grand centre d’apprentissage automatique accessible au public au monde.
Au cœur des nouveaux clusters se trouve le pod TPU V4. Ces unités de traitement de tenseurs ont été annoncées à Google I/O l’année dernière, et des équipes d’IA comme Meta, LG et Salesforce ont déjà eu accès aux pods. Les TPU V4 permettent aux chercheurs d’utiliser le cadre de leur choix, que ce soit Tensorflow, JAX ou PyTorch, et ont déjà permis des percées chez Google Research dans des domaines tels que la compréhension du langage, la vision par ordinateur et la reconnaissance vocale.
Basés dans le centre de données de Google en Oklahoma, les charges de travail potentielles pour les clusters devraient être similaires, analysant des données dans les domaines du traitement du langage naturel, des algorithmes de vision par ordinateur et des systèmes de recommandation.
L’accès aux clusters est proposé par tranches, allant de quatre puces (une machine virtuelle TPU) à des milliers d’entre elles. Les tranches avec au moins 64 puces utilisent des liaisons toriques tridimensionnelles, offrant une bande passante plus élevée pour les opérations de communication collectives. Les puces V4 sont également capables d’accéder à deux fois plus de mémoire que la génération précédente – 32 Go au lieu de 16 – et de doubler la vitesse d’accélération lors de l’entraînement de modèles à grande échelle.
« Afin de rendre le matériel d’IA avancé plus accessible, nous avons lancé il y a quelques années le programme TPU Research Cloud (TRC) qui a fourni un accès gratuit aux TPU à des milliers de passionnés de ML à travers le monde », a déclaré Jeff Dean, SVP, Recherche Google et IA. « Ils ont publié des centaines d’articles et de bibliothèques github open source sur des sujets allant de ‘l’écriture de poésie persane avec l’IA’ à ‘la distinction entre le sommeil et la fatigue induite par l’exercice à l’aide de la vision par ordinateur et de la génétique comportementale’. Le lancement de Cloud TPU v4 est une étape majeure pour Google Research et notre programme TRC, et nous sommes très heureux de notre collaboration à long terme avec les développeurs ML du monde entier pour utiliser l’IA pour de bon.
L’engagement de Google en matière de développement durable signifie que l’entreprise fait correspondre la consommation d’énergie de ses centres de données avec des achats d’énergie vénérables depuis 2017, et d’ici 2030 vise à gérer l’ensemble de ses activités avec des énergies renouvelables. Le V4 TPU est également plus économe en énergie que les générations précédentes, produisant trois fois le FLOPS par watt de la puce V3.
L’accès aux pods Cloud TPU v4 est proposé dans les options d’évaluation (à la demande), préemptive et de remise sur engagement d’utilisation (CUD). Il est proposé à tous les utilisateurs de Google AI Cloud.