À l’été 2023, OpenAI a créé une équipe « Superalignment » dont l’objectif était de diriger et de contrôler les futurs systèmes d’IA qui pourraient être si puissants qu’ils pourraient conduire à l’extinction de l’humanité. Moins d’un an plus tard, cette équipe est morte.
OpenAI a dit Bloomberg que l’entreprise « intégrait plus profondément le groupe dans ses efforts de recherche pour aider l’entreprise à atteindre ses objectifs en matière de sécurité ». Mais une série de tweets de Jan Leike, l’un des dirigeants de l’équipe qui a récemment démissionné, a révélé des tensions internes entre l’équipe de sécurité et la plus grande entreprise.
Dans un rapport posté sur X Vendredi, Leike a déclaré que l’équipe de Superalignment s’était battue pour obtenir des ressources afin de mener à bien la recherche. « Construire des machines plus intelligentes que l’humain est une entreprise intrinsèquement dangereuse », a écrit Leike. « OpenAI assume une énorme responsabilité au nom de l’humanité toute entière. Mais au cours des dernières années, la culture et les processus de sécurité ont été relégués au second plan au profit de produits brillants. OpenAI n’a pas immédiatement répondu à une demande de commentaire d’Engadget.
Le départ de Leike plus tôt cette semaine est intervenu quelques heures après que Sutskevar, scientifique en chef d’OpenAI, a annoncé qu’il quittait l’entreprise. Sutskevar était non seulement l’un des responsables de l’équipe Superalignment, mais il a également contribué à la co-fondation de l’entreprise. La décision de Sutskevar intervient six mois après qu’il ait été impliqué dans la décision de licencier le PDG Sam Altman, craignant qu’Altman n’ait pas été « toujours franc » avec le conseil d’administration. L’éviction trop brève d’Altman a déclenché une révolte interne au sein de l’entreprise, près de 800 employés signant une lettre dans laquelle ils menaçaient de démissionner si Altman n’était pas réintégré. Cinq jours plus tard, Altman était de retour en tant que PDG d’OpenAI après que Sutskevar ait signé une lettre déclarant qu’il regrettait ses actes.
Lorsqu’elle a annoncé la création de l’équipe Superalignment, OpenAI a déclaré qu’elle consacrerait 20 % de sa puissance informatique au cours des quatre prochaines années à résoudre le problème du contrôle des puissants systèmes d’IA du futur. « [Getting] ce droit est essentiel pour réaliser notre mission », écrivait alors l’entreprise. Sur X, Leike a écrit que l’équipe Superalignment « luttait pour le calcul et qu’il devenait de plus en plus difficile » de mener à bien des recherches cruciales sur la sécurité de l’IA. « Au cours des derniers mois, mon équipe a navigué contre le vent », a-t-il écrit, ajoutant qu’il avait atteint « un point de rupture » avec la direction d’OpenAI en raison de désaccords sur les priorités fondamentales de l’entreprise.
Au cours des derniers mois, les départs se sont multipliés au sein de l’équipe Superalignment. En avril, OpenAI aurait licencié deux chercheurs, Leopold Aschenbrenner et Pavel Izmailov, pour avoir prétendument divulgué des informations.
OpenAI a dit Bloomberg que ses futurs efforts de sécurité seront dirigés par John Schulman, un autre co-fondateur, dont les recherches se concentrent sur les grands modèles de langage. Jakub Pachocki, un directeur qui a dirigé le développement de GPT-4 – l’un des grands modèles de langage phares d’OpenAI – remplacerait Sutskevar en tant que scientifique en chef.
Superalignment n’était pas la seule équipe d’OpenAI à se concentrer sur la sécurité de l’IA. En octobre, l’entreprise a lancé une toute nouvelle équipe de « préparation » pour endiguer les « risques catastrophiques » potentiels liés aux systèmes d’IA, notamment les problèmes de cybersécurité et les menaces chimiques, nucléaires et biologiques.
Mise à jour, 17 mai 2024, 15 h 28 HE : En réponse à une demande de commentaires sur les allégations de Leike, un responsable des relations publiques d’OpenAI a dirigé Engadget vers le tweet de Sam Altman en disant qu’il dirait quelque chose dans les prochains jours.
Cet article contient des liens d’affiliation ; si vous cliquez sur un tel lien et effectuez un achat, nous pouvons gagner une commission.