Alors que le monde attend la construction du plus grand réacteur à fusion à ce jour, appelé ITER, des réacteurs plus petits avec des conceptions similaires sont toujours en cours d’exécution. Ces réacteurs, appelés tokamaks, nous aident à tester à la fois le matériel et les logiciels. Les tests de matériel nous aident à affiner des choses comme les matériaux utilisés pour les parois des conteneurs ou la forme et l’emplacement des aimants de contrôle.
Mais sans doute, le logiciel est le plus important. Pour permettre la fusion, le logiciel de contrôle d’un tokamak doit surveiller l’état du plasma qu’il contient et réagir à tout changement en effectuant des ajustements en temps réel sur les aimants du système. Ne pas le faire peut entraîner n’importe quoi, d’une baisse d’énergie (qui conduit à l’échec de toute fusion) à voir le plasma se répandre hors de son confinement (et brûler les parois du conteneur).
Obtenir ce logiciel de contrôle correct nécessite une compréhension détaillée à la fois des aimants de contrôle et du plasma que les aimants manipulent, ou, il serait plus exact de dire, obtenir ce logiciel de contrôle correct a exigé. Car aujourd’hui, l’équipe DeepMind AI de Google annonce que son logiciel a été entraîné avec succès pour contrôler un tokamak.
Hors de contrôle
Développer le logiciel de contrôle d’un tokamak est un processus compliqué. Sur la base de l’expérience passée avec des conceptions similaires, les ingénieurs peuvent extraire certains des principes de base nécessaires au fonctionnement du logiciel, tels que les entrées de capteur à lire et la manière de réagir aux modifications de celles-ci. Mais il y a toujours des bizarreries basées sur la conception du matériel et les énergies du plasma utilisé. Ainsi, il y a généralement un processus itératif de mesure et de modélisation, suivi de modifications du processus de contrôle, tout en maintenant des performances suffisantes pour effectuer des ajustements en temps quasi réel.
Le logiciel de contrôle qui en résulte a tendance à être assez spécialisé. Si les chercheurs veulent expérimenter une géométrie très différente pour le plasma dans le tokamak, une révision importante du logiciel peut être nécessaire.
Les chercheurs dans le domaine avaient déjà identifié l’intelligence artificielle comme une solution possible. Donnez suffisamment d’exemples à la bonne IA, et elle pourrait déterminer quelles configurations de contrôle produisent les propriétés souhaitées dans le plasma. Cela permettrait aux gens de se concentrer sur l’état final souhaité qu’ils souhaitaient et de laisser ensuite le logiciel le produire pour eux afin qu’ils puissent l’étudier. Une IA devrait également être plus flexible ; une fois qu’il est formé sur la façon de contrôler le système, il devrait être capable de produire des configurations de plasma très différentes pour l’étude sans avoir besoin de reprogrammation.
Pour avancer sur cette idée, nous n’avions besoin que d’experts en IA et d’un tokamak. Pour le nouveau document, l’équipe d’IA est issue de la division DeepMind de Google, célèbre pour le développement de logiciels capables de tout gérer, du repliement des protéines à StarCraft. Le tokamak est une gracieuseté du Swiss Plasma Center de l’EPFL à Lausanne.
Formé à fusionner
Étant donné que la libération de l’IA sur du matériel réel pendant le processus de formation pouvait être un désastre, l’équipe a commencé avec un simulateur de tokamak spécifique au matériel du Swiss Plasma Center. C’était en grande partie précis, et ils ont programmé des limites dans l’IA qui l’empêchaient de diriger le plasma dans une configuration où le simulateur produisait des résultats inexacts. DeepMind a ensuite formé un programme d’apprentissage par renforcement en profondeur pour atteindre une variété de configurations de plasma en le laissant contrôler le simulateur.
Pendant la formation, une couche intermédiaire de logiciel a fourni une fonction de récompense qui indiquait à quel point les propriétés du plasma étaient proches de l’état souhaité. Un autre algorithme, appelé « critique », a appris les récompenses attendues pour divers changements apportés aux aimants de contrôle du tokamak. Ceux-ci ont été utilisés par le réseau neuronal de contrôle réel pour savoir quelles actions il devait entreprendre.
Le critique était élaboré et coûteux en calcul, mais il n’était utilisé que pendant la partie formation. Une fois la formation terminée, l’algorithme de contrôle avait appris les actions à entreprendre pour atteindre une variété d’états, et la critique pouvait être rejetée.
Afin de permettre des performances en temps réel, le contrôleur formé a été regroupé en tant qu’exécutable. Le logiciel de contrôle standard serait utilisé pour activer le tokamak et amener un plasma à hautes énergies. Une fois le plasma stable, il a passé le contrôle à l’IA.
Ça marche!
Le logiciel résultant a fonctionné à peu près comme vous le voudriez lorsqu’il était lâche sur du matériel réel. Le logiciel pouvait contrôler des essais expérimentaux qui ciblaient différentes conditions au fil du temps – dans un cas de test, il augmentait l’énergie, maintenait le plasma stable, puis modifiait la géométrie du plasma, puis relocalisait le plasma dans le tokamak avant de faire redescendre l’énergie. Dans un autre, il contenait simultanément deux structures de plasma distinctes dans le même tokamak.
L’article décrivant ce travail contient une longue liste des éléments dont les auteurs avaient besoin. Cette liste comprend un simulateur de tokamak qui était à la fois suffisamment détaillé pour être précis mais suffisamment compact pour fournir une rétroaction assez rapidement pour rendre possible l’apprentissage par renforcement. L’ensemble de formation devait inclure à la fois des conditions courantes similaires à celles où le contrôle lui était confié et des conditions inhabituelles qui lui permettaient d’apprendre à faire la transition vers des configurations expérimentales. De plus, les chercheurs devaient développer un logiciel suffisamment détaillé pour évaluer une vaste gamme d’options de contrôle potentielles, mais également capable de former un contrôleur rapide pouvant être compilé dans un exécutable.
Les personnes derrière ce travail sont également enthousiasmées par ce qu’il pourrait présager pour les travaux futurs. Plutôt que de simplement limiter les choses à la modélisation du matériel existant, ils suggèrent qu’il devrait être possible de donner à une itération de ce logiciel une configuration plasma souhaitée et de le laisser identifier la géométrie matérielle qui lui permettra de créer cela. Alternativement, cela pourrait optimiser les performances du matériel existant.
Il ne nous reste plus qu’à attendre un réacteur à fusion digne de l’attention de l’IA.
Nature, 2022. DOI : 10.1038/s41586-021-04301-9 (À propos des DOI).