OpenAI offre 10 millions de dollars de subventions pour soutenir la recherche technique sur la façon dont nous pouvons contrôler des systèmes d’intelligence artificielle bien plus intelligents que l’humain moyen.
L’entreprise espère que les résultats de ses subventions sur l’alignement des futurs systèmes d’IA surhumains, ou Subventions rapides de superalignementcontribuera à faire la lumière sur la manière dont des modèles forts se généralisent à partir d’une supervision faible.
Le laboratoire d’IA espère également comprendre comment les systèmes d’IA peuvent être utilisés pour évaluer les résultats des systèmes d’IA les plus récents et comment construire un détecteur de mensonge IA.
Difficile d’évaluer correctement des millions de lignes de code
Nous annonçons, en collaboration avec @ericschmidt : Superalignment Fast Grants. 10 millions de dollars de subventions pour la recherche technique sur l’alignement des systèmes d’IA surhumains, y compris la généralisation faible à forte, l’interprétabilité, la surveillance évolutive, et plus encore. Postulez avant le 18 février ! https://t.co/eCKwZWLSZE14 décembre 2023
OpenAI affirme que les systèmes d’IA surhumains seront trop complexes pour que les humains puissent les comprendre pleinement. Si un modèle génère un million de lignes de code complexe, nous ne serons pas en mesure d’évaluer de manière fiable si le code est sûr ou dangereux à exécuter.
Dans un article sur X, OpenAI a écrit : « Trouver comment garantir que les futurs systèmes d’IA surhumains soient alignés et sûrs est l’un des problèmes techniques non résolus les plus importants au monde. -des fruits mûrs, et les nouveaux chercheurs peuvent apporter d’énormes contributions ! »
Ainsi, alors que les systèmes actuels reposent sur la supervision humaine, à l’avenir, notre puissance cérébrale pourrait ne plus suffire. Par conséquent, OpenAI souhaite prendre une longueur d’avance pour trouver des moyens permettant aux humains de continuer à diriger efficacement.
Qui peut prétendre aux subventions OpenAI ?
Les subventions sont principalement destinées aux laboratoires universitaires, aux organisations à but non lucratif et aux chercheurs individuels. OpenAI parraine également une bourse de recherche OpenAI Superalignment d’un an de 150 000 $ pour les étudiants diplômés.
Les recherches de l’entreprise ont identifié sept pratiques permettant de garantir la sécurité et la responsabilité des systèmes d’IA et souhaitent contribuer à financer des recherches supplémentaires susceptibles de répondre à certaines questions ouvertes issues de ces travaux.
Dans le cadre des subventions Superalignment, il vise à attribuer Subventions de recherche sur l’IA agentique entre 10 000 et 100 000 dollars dans ce domaine pour permettre aux chercheurs d’étudier les impacts des systèmes et des pratiques d’IA superintelligentes pour les rendre sûrs.
Qu’est-ce qu’un système d’IA agentique ?
OpenAI fait référence à cette IA superintelligente comme à des systèmes d’IA agentiques, capables d’un large éventail d’actions et suffisamment fiables pour que, dans certaines circonstances, un utilisateur puisse leur faire confiance pour agir de manière autonome sur des objectifs complexes en leur nom.
Vous pouvez par exemple demander à votre assistant personnel agent de vous aider à préparer un gâteau. Il imprimera une recette pour vous et veillera à ce que tous les ingrédients nécessaires soient commandés et livrés à votre domicile à temps.
Les chercheurs d’OpenAI ont déclaré que la société ne pourra exploiter tous les avantages des systèmes d’IA agentique que si elle parvient à les rendre sûrs en atténuant leurs échecs, leurs vulnérabilités et leurs abus.
Ici, l’entreprise s’intéresse particulièrement à la façon dont on peut évaluer si un système d’IA agentique est approprié pour un cas d’utilisation donné, quand les actions devraient nécessiter une approbation humaine explicite, et comment nous pouvons concevoir de tels systèmes intelligents de manière à nous permettre de visualiser leur environnement interne. raisonnement.
Ce que cela signifie pour l’avenir
Les outils d’IA actuellement disponibles au public sont certes impressionnants, mais ils n’ont pas encore atteint le niveau de superintelligence auquel fait référence OpenAI – une IA bien plus intelligente que les humains.
Cependant, grâce à son PDG Sam Altman, nous savons qu’ils sont travaille déjà sur leur nouveau modèle GPT-5 qui, selon lui, pourrait contenir des indices de superintelligence.
OpenAI prévoit que la superintelligence pourrait être développée au cours des dix prochaines années. La réponse à notre inquiétude pourrait dépendre des résultats des dernières subventions de recherche d’OpenAI.