Une équipe de chercheurs du Massachusetts Institute of Technology (MIT) a travaillé sur une nouvelle conception de résistance matérielle pour la prochaine ère de mise à l’échelle de l’électronique – en particulier dans les tâches de traitement de l’IA telles que l’apprentissage automatique et les réseaux de neurones.
Pourtant, dans ce qui peut sembler être un retour en arrière (si un retour vers le futur peut exister), leur travail se concentre sur un design plus analogique que numérique. Entrez les résistances programmables protoniques – conçues pour accélérer les réseaux d’IA en imitant nos propres neurones (et leurs synapses interconnectées) tout en accélérant leur fonctionnement un million de fois – et c’est le chiffre réel, pas seulement une hyperbole.
Tout cela est fait tout en réduisant la consommation d’énergie à une fraction de ce qui est requis par les conceptions à base de transistors actuellement utilisées pour les charges de travail d’apprentissage automatique, telles que le Wafer Scale Engine 2 de Cerebras.
Alors que nos synapses et nos neurones sont extrêmement impressionnants d’un point de vue informatique, ils sont limités par leur milieu « wetware »: l’eau.
Alors que la conduction électrique de l’eau suffit au fonctionnement de notre cerveau, ces signaux électriques fonctionnent grâce à des potentiels faibles : des signaux d’environ 100 millivolts se propageant sur des millisecondes, à travers des arbres de neurones interconnectés (les synapses correspondent aux jonctions par lesquelles les neurones communiquent via des signaux électriques). Un problème est que l’eau liquide se décompose avec des tensions de 1,23 V – plus ou moins la même tension de fonctionnement utilisée par les meilleurs processeurs actuels. Il est donc difficile de simplement « réorienter » les conceptions biologiques pour l’informatique.
« Le mécanisme de fonctionnement de l’appareil est l’insertion électrochimique du plus petit ion, le proton, dans un oxyde isolant pour moduler sa conductivité électronique. Parce que nous travaillons avec des dispositifs très fins, nous pourrions accélérer le mouvement de cet ion en utilisant un champ électrique puissant et pousser ces dispositifs ioniques au régime de fonctionnement de la nanoseconde », explique l’auteur principal Bilge Yildiz, professeur Breene M. Kerr dans les départements de science et génie nucléaires et de science et génie des matériaux.
Un autre problème est que les neurones biologiques ne sont pas construits à la même échelle que les transistors modernes. Ils sont beaucoup plus gros – allant de 4 microns (0,004 mm) à 100 microns (0,1 mm) de diamètre. Lorsque les derniers GPU disponibles embarquent déjà des transistors dans la gamme des 6 nm (un nanomètre étant 1 000 fois plus petit qu’un micron), vous pouvez presque imaginer la différence d’échelle et combien de ces neurones artificiels vous pouvez intégrer dans le même espace. .
La recherche s’est concentrée sur la création de résistances à semi-conducteurs qui, comme leur nom l’indique, créent une résistance au passage de l’électricité. À savoir, ils résistent au mouvement ordonné des électrons (particules chargées négativement). Si l’utilisation d’un matériau qui résiste au mouvement de l’électricité (et qui devrait donc à son tour générer de la chaleur) semble contre-intuitif, eh bien, ça l’est. Mais l’apprentissage en profondeur analogique présente deux avantages distincts par rapport à son homologue numérique.
Tout d’abord, lors de la programmation des résistances, vous incluez les données requises pour l’entraînement dans les résistances elles-mêmes. Lorsque vous programmez leur résistance (dans ce cas, en augmentant ou en réduisant le nombre de protons dans certaines zones de la puce), vous ajoutez des valeurs à certaines structures de puce. Cela signifie que les informations sont déjà présentes dans les puces analogiques : il n’est pas nécessaire d’en transporter davantage vers les banques de mémoire externes, ce qui est exactement ce qui se passe dans la plupart des conceptions de puces actuelles (et RAM ou VRAM). Tout cela permet d’économiser de la latence et de l’énergie.
Deuxièmement, les processeurs analogiques du MIT sont architecturés dans une matrice (rappelez-vous les cœurs Tensor de Nvidia ?). Cela signifie qu’ils ressemblent plus à vos GPU qu’à vos CPU, en ce sens qu’ils effectuent des opérations en parallèle. Tous les calculs se produisent simultanément.
La conception de la résistance protonique du MIT fonctionne à température ambiante, ce qui est plus facile à réaliser que les 38,5 ºC à 40 ºC de notre cerveau. Pourtant, il permet également la modulation de tension, une fonctionnalité requise dans toute puce moderne, permettant d’augmenter ou de diminuer la tension d’entrée en fonction des exigences de la charge de travail – avec des conséquences sur la consommation d’énergie et la température de sortie.
Selon les chercheurs, leurs résistances sont un million de fois plus rapides (encore une fois, un chiffre réel) que les conceptions de la génération précédente, car elles sont construites avec du verre phosphosilicate (PSG), un matériau inorganique qui est (surprise) compatible avec les techniques de fabrication du silicium. , car il s’agit principalement de dioxyde de silicium.
Vous l’avez déjà vu vous-même : le PSG est le matériau déshydratant en poudre que l’on trouve dans ces minuscules sacs qui sont livrés dans la boîte avec de nouvelles pièces de quincaillerie pour éliminer l’humidité.
« Avec cette idée clé et les techniques de nanofabrication très puissantes dont nous disposons à MIT.nanonous avons pu assembler ces pièces et démontrer que ces dispositifs sont intrinsèquement très rapides et fonctionnent avec des tensions raisonnables », déclare l’auteur principal Jesús A. del Alamo, professeur Donner au Département de génie électrique et d’informatique (EECS) du MIT. « Ce travail a vraiment mis ces appareils à un point où ils semblent maintenant vraiment prometteurs pour de futures applications. »
Tout comme avec les transistors, plus il y a de résistances dans une zone plus petite, plus la densité de calcul est élevée. Lorsque vous atteignez un certain point, ce réseau peut être formé pour réaliser des tâches d’IA complexes comme la reconnaissance d’images et le traitement du langage naturel. Et tout cela se fait avec des besoins en énergie réduits et des performances extrêmement accrues.
Peut-être que la recherche sur les matériaux sauvera la loi de Moore de sa mort prématurée.