Jeudi, le célèbre chercheur en IA Andrej Karpathy, ancien d’OpenAI et Tesla, a tweeté une proposition légère selon laquelle les grands modèles de langage (LLM) comme celui qui exécute ChatGPT pourraient un jour être modifiés pour fonctionner ou être transmis dans l’espace, potentiellement pour communiquer avec vie extraterrestre. Il a déclaré que l’idée était « juste pour le plaisir », mais compte tenu de son profil influent dans le domaine, l’idée pourrait en inspirer d’autres à l’avenir.
La bonne foi de Karpathy en matière d’IA parle presque d’elle-même, ayant obtenu un doctorat de Stanford sous la direction de l’informaticien Dr Fei-Fei Li en 2015. Il est ensuite devenu l’un des membres fondateurs d’OpenAI en tant que chercheur scientifique, puis a été directeur principal de l’IA à Tesla entre 2017 et 2022. En 2023, Karpathy a rejoint OpenAI pour un an, qu’il a quitté en février dernier. Il a publié plusieurs didacticiels très appréciés couvrant les concepts de l’IA sur YouTube, et chaque fois qu’il parle d’IA, les gens l’écoutent.
Plus récemment, Karpathy a travaillé sur un projet appelé « llm.c » qui implémente le processus de formation pour le LLM GPT-2 2019 d’OpenAI en C pur, accélérant considérablement le processus et démontrant que travailler avec des LLM ne nécessite pas nécessairement un développement complexe. environnements. L’approche simplifiée du projet et la base de code concise ont éveillé l’imagination de Karpathy.
« Ma bibliothèque llm.c est écrite en C pur, un langage système de bas niveau très connu dans lequel vous avez un contrôle direct sur le programme », a déclaré Karpathy à Ars. « Cela contraste avec les bibliothèques d’apprentissage profond typiques pour la formation de ces modèles, qui sont écrites dans des bases de code volumineuses et complexes. C’est donc un avantage de llm.c qu’il est très petit et simple, et donc beaucoup plus facile à certifier en tant que Space. -sûr. »
Notre ambassadeur de l’IA
Dans son expérience de pensée ludique (intitulée « Clairement les LLM doivent un jour fonctionner dans l’espace »), Karpathy a suggéré un plan en deux étapes dans lequel, dans un premier temps, le code des LLM serait adapté pour répondre à des normes de sécurité rigoureuses, semblable à « Le pouvoir de 10 ». Règles » adoptées par la NASA pour les logiciels destinés à l’espace.
Il a jugé cette première partie sérieuse : « Nous durcissons llm.c pour qu’il respecte les normes de code et les guides de style de la NASA, certifiant que le code est super sûr, suffisamment sûr pour fonctionner dans l’espace », a-t-il écrit dans son post X. « En principe, la formation/inférence LLM devrait être extrêmement sûre – il s’agit simplement d’un tableau fixe de flotteurs et d’une boucle de dynamique unique, délimitée et bien définie. Il n’est pas nécessaire que la mémoire augmente ou diminue de manière indéfinie, pour la récursion, ou quelque chose comme ça. »
C’est important, car lorsqu’un logiciel est envoyé dans l’espace, il doit fonctionner selon des normes strictes de sécurité et de fiabilité. Karpathy suggère que son code, llm.c, répond probablement à ces exigences car il est conçu dans un souci de simplicité et de prévisibilité.
Dans l’étape 2, une fois que ce LLM aura été jugé sûr pour les conditions spatiales, il pourrait théoriquement être utilisé comme notre ambassadeur de l’IA dans l’espace, à l’instar d’initiatives historiques comme le message d’Arecibo (un message radio envoyé depuis la Terre vers l’amas globulaire Messier 13 en 1974). et Voyager’s Golden Record (deux disques d’or identiques envoyés sur les deux vaisseaux spatiaux Voyager en 1977). L’idée est de regrouper les « poids » d’un LLM – essentiellement les paramètres appris du modèle – dans un fichier binaire qui pourrait ensuite « se réveiller » et interagir avec toute technologie extraterrestre potentielle susceptible de le déchiffrer.
« Je l’envisage comme une possibilité de science-fiction et quelque chose d’intéressant à considérer », a-t-il déclaré à Ars. « L’idée que ce n’est pas nous qui pourrions voyager vers les étoiles mais nos représentants de l’IA. Ou que la même chose pourrait être vraie pour d’autres espèces. »