Samsung a construit le premier système informatique à grande échelle au monde utilisant des GPU avec des puces de traitement en mémoire (PIM) intégrées. Ces modules de mémoire, qui ont été chargés sur 96 GPU AMD Instinct MI100, ont multiplié par 2,5 les performances de formation de l’IA, selon un rapport de Business Korea.
PIM est une nouvelle génération de mémoire informatique qui peut accélérer les flux de travail informatiques complexes gérés par des processeurs tels que les CPU et les GPU. Comme son nom l’indique, chaque module de mémoire est capable de traiter les données par lui-même, réduisant ainsi la quantité de données nécessaires pour voyager entre la mémoire et le processeur.
Samsung a initialement fait la démonstration des GPU modifiés par PIM en octobre, mais ce n’est que récemment qu’il a combiné 96 GPU modifiés par PIM dans un cluster. Par rapport à la mémoire vidéo normale, ces puces MI100 modifiées ont non seulement fonctionné 2,5 fois mieux, mais elles ont également réduit la consommation d’énergie de 2,67 fois, augmentant considérablement l’efficacité des GPU lors de l’exécution des algorithmes d’IA.
Samsung développe le PIM depuis un certain temps maintenant. La société a présenté plusieurs implémentations en 2021, impliquant plusieurs types de mémoire différents, notamment DDR4, LPDDR5X, GDDR6 et HBM2. Sous la forme LPDDR5, Samsung a vu ses performances multipliées par 1,8 avec une réduction de 42,6 % de la consommation d’énergie et une réduction de 70 % de la latence sur un programme de test impliquant une charge de travail Meta AI. Encore plus impressionnant, ces résultats provenaient d’un système de serveur standard sans aucune modification de la carte mère ou du processeur (tout ce qui a changé était un remplacement par des DIMM LPDDR5 compatibles PIM).
Samsung n’est pas la seule entreprise à développer des puces PIM — SK hynix a lancé ses propres modules PIM plus tôt cette année. Selon les tests préliminaires de SK hynix, son application GDDR6-AiM (Accelerator in Memory) a accéléré le traitement de l’IA de 16x et réduit la consommation d’énergie de 80 %. C’est beaucoup plus rapide que les MI100 modifiés de Samsung, mais nous ne savons pas ce que SK hynix a utilisé pour les tests, donc ce n’est pas une comparaison directe.
Quoi qu’il en soit, le PIM ressemble à une solution puissante pour accélérer les flux de travail accélérés par l’IA. « En tant que directeur du centre de recherche sur l’IA, je souhaite faire de Samsung une entreprise de semi-conducteurs qui utilise l’IA mieux que toute autre entreprise », a déclaré Choi Chang-kyu, vice-président et directeur du centre de recherche sur l’IA du Samsung Electronics Advanced Institute of Technology, a déclaré à Business Korea.