EXO Labs a démontré l’exécution du modèle de langage AI Llama sur un ancien PC sous Windows 98, révélant des performances impressionnantes. Fondée par des chercheurs d’Oxford, EXO vise à démocratiser l’accès à l’IA, remettant en question sa centralisation. Ils ont surmonté des défis techniques pour compiler du code moderne, avec un code source disponible sur GitHub. L’équipe explore également l’avenir de l’IA avec BitNet, une architecture légère et efficace, tout en cherchant des collaborateurs pour leurs projets.
EXO Labs et Llama sur Windows 98 : Un exploit technologique fascinant
EXO Labs a récemment partagé un article captivant sur l’exécution du modèle de langage AI Llama sur un ancien système d’exploitation Windows 98, illustré par une vidéo courte sur les réseaux sociaux. Dans cette démonstration, un PC Pentium II d’Elonex, vieux de 26 ans, démarre sous Windows 98, et EXO lance son moteur d’inférence personnalisé en C pur, basé sur le code Llama2.c d’Andrej Karpathy. L’objectif ? Demander au LLM de créer une histoire sur « Sleepy Joe ». À la surprise générale, le modèle réussit à générer une histoire à un rythme impressionnant.
La mission d’EXO Labs : Démocratiser l’accès à l’IA
Ce succès n’est qu’un début pour EXO Labs, qui a émergé en septembre avec un but audacieux : « démocratiser l’accès à l’IA ». Fondée par une équipe de chercheurs et d’ingénieurs de l’Université d’Oxford, EXO remet en question la concentration de l’IA entre les mains de quelques méga-corporations, affirmant que cela pourrait nuire à la culture et à la vérité dans notre société. Leur vision ? Créer une infrastructure ouverte permettant à chacun d’entraîner et d’exécuter des modèles avancés sur presque n’importe quel appareil. Cet exploit sur Windows 98 illustre parfaitement ce que l’on peut accomplir avec des ressources limitées.
La vidéo partagée sur Twitter étant courte, nous avons été ravis de découvrir l’article de blog d’EXO expliquant l’exécution de Llama sur Windows 98, qui est le quatrième jour de leur série « les 12 jours d’EXO ». Pour réaliser ce projet, EXO a acquis un ancien PC Windows 98 sur eBay, mais a dû surmonter de nombreux défis, notamment le transfert de données vers le Pentium II à l’aide de « l’ancien FTP ».
Compiler du code moderne pour Windows 98 représentait un défi majeur. EXO a eu la chance de trouver le llama2.c d’Andrej Karpathy, un code de 700 lignes en C pur capable d’exécuter des inférences sur des modèles Llama 2. Grâce à cette ressource et à l’ancien IDE Borland C++ 5.02, avec quelques ajustements, ils ont réussi à produire un exécutable compatible avec Windows 98. Un lien vers le code terminé est disponible sur GitHub.
Alex Cheema, un membre de l’équipe, a exprimé sa gratitude envers Andrej Karpathy pour son code, soulignant que le système réussit à générer « 35,9 tok/sec sur Windows 98 » avec un LLM de 260K. Bien que ce modèle soit relativement petit, ses performances sur un ancien PC monocœur de 350 MHz sont impressionnantes. En revanche, le passage à un LLM de 15M a entraîné une baisse de la vitesse de génération, tandis que le Llama 3.2 1B était extrêmement lent, ne produisant que 0,0093 tok/sec.
EXO conclut son article en évoquant l’avenir prometteur de l’IA avec BitNet, une architecture de transformateur utilisant des poids ternaires. Cette architecture permet de stocker un modèle de 7B paramètres dans seulement 1,38 Go, ce qui, bien que toujours exigeant pour un Pentium II, reste léger pour les appareils modernes. De plus, BitNet est conçu pour fonctionner efficacement sur CPU, évitant ainsi les coûts des GPU, tout en offrant une performance pouvant atteindre 5 à 7 tok/sec avec un modèle de 100B paramètres.
Enfin, EXO Labs est à la recherche de collaborateurs. Si vous souhaitez participer à la lutte contre la centralisation de l’IA dans de vastes centres de données appartenant à des milliardaires, n’hésitez pas à les contacter. Pour des discussions plus informelles, ils ont également lancé un canal Discord Retro, dédié à l’exécution de LLM sur du matériel ancien, incluant de vieux Macs, des Gameboys, des Raspberry Pis, et plus encore.