OpenAI a annoncé des changements importants dans ses pratiques de sécurité et de sûreté, notamment la création d’un nouveau comité de surveillance indépendant du conseil d’administration. Cette décision s’accompagne d’un changement notable : le PDG Sam Altman ne fait plus partie du comité de sécurité, ce qui marque une rupture avec la structure précédente.
Le nouveau comité de sécurité et de sûreté (SSC) sera présidé par Zico Kolter, directeur du département d’apprentissage automatique de l’université Carnegie Mellon. Parmi les autres membres clés figurent Adam D’Angelo, PDG de Quora, Paul Nakasone, général de l’armée américaine à la retraite, et Nicole Seligman, ancienne vice-présidente exécutive et conseillère juridique de Sony Corporation.
Ce nouveau comité remplace le précédent comité de sécurité et de sûreté formé en juin 2024, dont Altman faisait partie. Le comité initial avait pour mission de formuler des recommandations sur les décisions critiques en matière de sécurité et de sûreté pour les projets et opérations d’OpenAI.
Les responsabilités du SSC vont désormais au-delà des recommandations. Il aura le pouvoir de superviser les évaluations de sécurité des principaux modèles et d’exercer une surveillance sur les lancements de modèles. Fait crucial, le comité aura le pouvoir de retarder une sortie jusqu’à ce que les problèmes de sécurité soient correctement résolus.
Cette restructuration fait suite à une période de surveillance concernant l’engagement d’OpenAI en matière de sécurité de l’IA. L’entreprise a été critiquée par le passé pour avoir dissous son équipe Superalignment et pour le départ de personnel clé axé sur la sécurité. Le retrait d’Altman du comité de sécurité semble être une tentative de répondre aux inquiétudes concernant les conflits d’intérêts potentiels dans la surveillance de la sécurité de l’entreprise.
La dernière initiative d’OpenAI en matière de sécurité comprend également des plans visant à améliorer les mesures de sécurité, à accroître la transparence de son travail et à collaborer avec des organisations externes. L’entreprise a déjà conclu des accords avec les instituts de sécurité de l’IA des États-Unis et du Royaume-Uni pour collaborer à la recherche sur les risques émergents en matière de sécurité de l’IA et sur les normes pour une IA digne de confiance.