Microsoft a révélé qu’il travaillait sur un nouveau système de planification « à l’échelle de la planète » pour les charges de travail d’IA, appelé Singularity.
Comme expliqué dans une fiche technique papier publié par la société, Singularity est un « nouveau planificateur sensible à la charge de travail qui peut anticiper de manière transparente et mettre à l’échelle de manière élastique les charges de travail d’apprentissage en profondeur pour générer une utilisation élevée sans affecter leur exactitude ou leurs performances dans une sensation globale d’accélérateurs d’IA ».
En termes non techniques, cela signifie que le système est conçu pour garantir que le réseau mondial de serveur le matériel est utilisé de manière optimale, réduisant ainsi les coûts associés à l’exécution des charges de travail d’IA.
Singularité Microsoft
Au cœur de la proposition de valeur de Singularity se trouve la capacité de redimensionner les emplois à mi-parcours, ainsi que de les déplacer entre différentes infrastructures situées à travers le monde.
Comme expliqué dans le document, une tâche en direct peut être migrée vers un cluster ou un centre de données différent et reprise au point précis où elle s’est arrêtée, optimisant ainsi l’utilisation de la capacité. Il peut également être augmenté ou réduit de manière élastique, en tirant parti d’un nombre et d’un type variables d’accélérateurs d’IA selon les besoins.
La beauté de ce système, selon Microsoft, est qu’il ne nécessite aucun travail supplémentaire de la part des développeurs, car aucune modification de code n’est requise pour que Singularity fonctionne.
Cependant, pour rendre tout cela possible, Microsoft a dû trouver un moyen de dissocier les charges de travail des ressources matérielles. La nouvelle solution utilise quelque chose que l’entreprise appelle un « proxy de périphérique », qui s’exécute dans son propre espace d’adressage et établit une couche de séparation qui permet une réallocation fluide des ressources.
« Singularity réalise une percée significative dans la planification des charges de travail d’apprentissage en profondeur, en convertissant des fonctionnalités de niche telles que l’élasticité en fonctionnalités courantes et toujours actives sur lesquelles le planificateur peut s’appuyer pour mettre en œuvre des SLA stricts », a écrit Microsoft dans son résumé.
« Avec de nouveaux mécanismes qui rendent les tâches non modifiées préemptives et redimensionnables avec une surcharge de performances négligeable, Singularity permet des niveaux sans précédent de fongibilité de la charge de travail, permettant aux tâches de tirer parti de la capacité de réserve n’importe où dans la flotte mondialement distribuée. »
Bien que le service de planification soit l’objectif principal de l’article, les auteurs déclarent que le système est conçu pour s’adapter à une flotte de centaines de milliers de GPU et d’autres accélérateurs d’IA.
Tech Radar Pro a demandé à Microsoft quand il s’attend à ce que Singularity soit disponible dans le commerce.