Lors de sa conférence GTC, Nvidia a annoncé aujourd’hui Nvidia NIM, une nouvelle plate-forme logicielle conçue pour rationaliser le déploiement de modèles d’IA personnalisés et pré-entraînés dans les environnements de production. NIM reprend le travail logiciel effectué par Nvidia autour de l’inférence et de l’optimisation des modèles et le rend facilement accessible en combinant un modèle donné avec un moteur d’inférence optimisé, puis en le plaçant dans un conteneur, le rendant ainsi accessible en tant que microservice.
En règle générale, il faudrait des semaines, voire des mois, aux développeurs pour expédier des conteneurs similaires, affirme Nvidia – et ce, si l’entreprise dispose même de talents internes en IA. Avec NIM, Nvidia vise clairement à créer un écosystème de conteneurs prêts pour l’IA qui utilisent son matériel comme couche fondamentale avec ces microservices sélectionnés comme couche logicielle de base pour les entreprises qui souhaitent accélérer leur feuille de route en matière d’IA.
NIM inclut actuellement la prise en charge des modèles de NVIDIA, A121, Adept, Cohere, Getty Images et Shutterstock ainsi que des modèles ouverts de Google, Hugging Face, Meta, Microsoft, Mistral AI et Stability AI. Nvidia travaille déjà avec Amazon, Google et Microsoft pour rendre ces microservices NIM disponibles respectivement sur SageMaker, Kubernetes Engine et Azure AI. Ils seront également intégrés dans des frameworks comme Deepset, LangChain et LlamaIndex.
Crédits images : Nvidia
« Nous pensons que le GPU Nvidia est le meilleur endroit pour exécuter l’inférence de ces modèles sur […]et nous pensons que NVIDIA NIM est le meilleur progiciel, le meilleur environnement d’exécution, sur lequel les développeurs peuvent s’appuyer afin qu’ils puissent se concentrer sur les applications d’entreprise – et laisser Nvidia faire le travail pour produire ces modèles pour eux dans les meilleures conditions. de manière efficace et digne d’une entreprise, afin qu’ils puissent simplement faire le reste de leur travail », a déclaré Manuvir Das, responsable de l’informatique d’entreprise chez Nvidia, lors d’une conférence de presse précédant les annonces d’aujourd’hui.
Quant au moteur d’inférence, Nvidia utilisera le Triton Inference Server, TensorRT et TensorRT-LLM. Certains des microservices Nvidia disponibles via NIM incluront Riva pour la personnalisation des modèles de parole et de traduction, cuOpt pour les optimisations de routage et le modèle Earth-2 pour les simulations météorologiques et climatiques.
La société prévoit d’ajouter des fonctionnalités supplémentaires au fil du temps, notamment en rendant l’opérateur Nvidia RAG LLM disponible en tant que NIM, ce qui promet de faciliter grandement la création de chatbots génératifs d’IA capables d’extraire des données personnalisées.
Ce ne serait pas une conférence de développeurs sans quelques annonces de clients et de partenaires. Parmi les utilisateurs actuels de NIM figurent Box, Cloudera, Cohesity, Datastax, Dropbox
et NetApp.
« Les plates-formes d’entreprise établies reposent sur une mine d’or de données qui peuvent être transformées en copilotes d’IA générative », a déclaré Jensen Huang, fondateur et PDG de NVIDIA. « Créés avec notre écosystème de partenaires, ces microservices d’IA conteneurisés sont les éléments de base permettant aux entreprises de tous les secteurs de devenir des sociétés d’IA.