Comme vous le savez probablement, il existe une demande insatiable en matière d’IA et de puces sur lesquelles elle doit fonctionner. À tel point que Nvidia est désormais la sixième plus grande entreprise mondiale en termes de capitalisation boursière, avec 1,73 billion de dollars au moment de la rédaction de cet article. Cela montre peu de signes de ralentissement, car même Nvidia a du mal à répondre à la demande dans ce nouveau monde de l’IA. L’imprimante à billets fait brrrr.
Afin de rationaliser la conception de ses puces IA et d’améliorer la productivité, Nvidia a développé un Large Language Model (LLM) qu’elle appelle ChipNeMo. Il collecte essentiellement des données provenant des informations architecturales, des documents et du code internes de Nvidia pour lui permettre de comprendre la plupart de ses processus internes. C’est une adaptation du Llama 2 LLM de Meta.
Il a été dévoilé pour la première fois en octobre 2023 et selon le Wall Street Journal (via Business Insider), les retours ont été prometteurs jusqu’à présent. Le système se serait révélé utile pour former des ingénieurs juniors, leur permettant d’accéder à des données, des notes et des informations via son chatbot.
En disposant de son propre chatbot IA interne, les données peuvent être analysées rapidement, ce qui permet de gagner beaucoup de temps en éliminant le besoin d’utiliser des méthodes traditionnelles comme le courrier électronique ou la messagerie instantanée pour accéder à certaines données et informations. Compte tenu du temps nécessaire pour répondre à un e-mail, sans parler des différents sites et fuseaux horaires, cette méthode apporte certainement un gain de productivité bienvenu.
Nvidia est obligé de se battre pour accéder aux meilleurs nœuds semi-conducteurs. Ce n’est pas le seul à ouvrir les chéquiers pour accéder aux nœuds de pointe de TSMC. Alors que la demande monte en flèche, Nvidia a du mal à fabriquer suffisamment de puces. Alors pourquoi en acheter deux quand on peut faire le même travail avec un seul ? Cela contribue grandement à comprendre pourquoi Nvidia tente d’accélérer ses propres processus internes. Chaque minute économisée s’additionne, ce qui l’aide à commercialiser plus rapidement des produits.
Des éléments tels que la conception de semi-conducteurs et le développement de codes conviennent parfaitement aux LLM en IA. Ils sont capables d’analyser les données rapidement et d’effectuer des tâches fastidieuses comme le débogage et même des simulations.
J’ai mentionné Meta plus tôt. Selon Mark Zuckerberg (via The Verge), Meta pourrait disposer d’un stock de 600 000 GPU d’ici fin 2024. Cela représente beaucoup de silicium, et Meta n’est qu’une entreprise. Ajoutez à cela Google, Microsoft et Amazon et il est facile de comprendre pourquoi Nvidia souhaite commercialiser ses produits plus tôt. Il y a des montagnes d’argent à gagner.
Mis à part la grande technologie, nous sommes loin de réaliser pleinement les utilisations de l’IA basée sur la périphérie dans nos propres systèmes domestiques. On peut imaginer que l’IA qui conçoit de meilleurs matériels et logiciels d’IA ne fera que devenir plus importante et plus répandue. Un peu effrayant, ça.