Aurich/Getty
Le plan du président américain Joe Biden visant à contenir les dangers de l’intelligence artificielle risque déjà d’être déraillé par les compteurs du Congrès.
Un décret de la Maison Blanche sur l’IA annoncé en octobre appelle les États-Unis à élaborer de nouvelles normes pour tester les systèmes d’IA afin de découvrir leurs préjugés, leurs menaces cachées et leurs tendances malveillantes. Mais l’agence chargée d’établir ces normes, le National Institute of Standards and Technology (NIST), ne dispose pas du budget nécessaire pour terminer ce travail de manière indépendante avant la date limite du 26 juillet 2024, selon plusieurs personnes connaissant le travail.
S’exprimant lors de la conférence NeurIPS AI à la Nouvelle-Orléans la semaine dernière, Elham Tabassi, directeur associé pour les technologies émergentes au NIST, a décrit cela comme « un délai presque impossible » pour l’agence.
Certains membres du Congrès craignent de plus en plus que le NIST soit contraint de s’appuyer fortement sur l’expertise en IA d’entreprises privées qui, en raison de leurs propres projets d’IA, ont tout intérêt à élaborer des normes.
Le gouvernement américain a déjà fait appel au NIST pour l’aider à réglementer l’IA. En janvier 2023, l’agence a publié un cadre de gestion des risques liés à l’IA pour guider les entreprises et le gouvernement. Le NIST a également conçu des moyens de mesurer la confiance du public dans les nouveaux outils d’IA. Mais l’agence, qui normalise tout, depuis les ingrédients alimentaires jusqu’aux matières radioactives et aux horloges atomiques, dispose de ressources dérisoires comparées à celles des entreprises à la pointe de l’IA. OpenAI, Google et Meta ont probablement dépensé chacun plus de 100 millions de dollars pour former les puissants modèles de langage qui sous-tendent des applications telles que ChatGPT, Bard et Llama 2.
Le budget du NIST pour 2023 s’élevait à 1,6 milliard de dollars, et la Maison Blanche a demandé qu’il soit augmenté de 29 % en 2024 pour des initiatives non directement liées à l’IA. Plusieurs sources proches de la situation au NIST affirment que le budget actuel de l’agence ne permettra pas de déterminer par elle-même les tests de sécurité de l’IA.
Le 16 décembre, le jour même où Tabassi s’exprimait à NeurIPS, six membres du Congrès ont signé une lettre ouverte bipartite soulevant des inquiétudes quant à la perspective que le NIST recrute des entreprises privées avec peu de transparence. « Nous avons appris que le NIST avait l’intention d’accorder des subventions ou des récompenses à des organisations extérieures pour des recherches extra-muros », ont-ils écrit. La lettre prévient qu’il ne semble y avoir aucune information publiquement disponible sur la manière dont ces récompenses seront décidées.
La lettre des législateurs affirme également que le NIST est pressé de définir des normes, même si la recherche sur les tests des systèmes d’IA en est à ses débuts. En conséquence, il existe un « désaccord important » entre les experts en IA sur la manière de travailler, voire de mesurer et de définir les problèmes de sécurité liés à la technologie, indique-t-il. « L’état actuel du domaine de la recherche sur la sécurité de l’IA crée des défis pour le NIST alors qu’il joue son rôle de leader sur la question », affirme la lettre.
La porte-parole du NIST, Jennifer Huergo, a confirmé que l’agence avait reçu la lettre et a déclaré qu’elle « répondrait par les canaux appropriés ».
Le NIST prend des mesures pour accroître la transparence, notamment en lançant une demande d’informations le 19 décembre, sollicitant l’avis d’experts externes et d’entreprises sur les normes d’évaluation et de red-teaming des modèles d’IA. On ne sait pas s’il s’agissait d’une réponse à la lettre envoyée par les membres du Congrès.
Les préoccupations soulevées par les législateurs sont partagées par certains experts en IA qui ont passé des années à développer des moyens de sonder les systèmes d’IA. « En tant qu’organisme scientifique non partisan, le NIST est le meilleur espoir de mettre un terme au battage médiatique et aux spéculations autour des risques liés à l’IA », déclare Rumman Chowdhury, data scientist et PDG de Parity Consulting, spécialisé dans le test des modèles d’IA pour détecter les biais et autres problèmes. « Mais pour bien faire leur travail, ils ont besoin de plus que des mandats et des vœux. »
Yacine Jernite, responsable de l’apprentissage automatique et de la société chez Hugging Face, une entreprise qui soutient des projets d’IA open source, affirme que les grandes technologies disposent de bien plus de ressources que l’agence étant donné un rôle clé dans la mise en œuvre de l’ambitieux plan d’IA de la Maison Blanche. « Le NIST a accompli un travail remarquable pour aider à gérer les risques liés à l’IA, mais la pression exercée pour trouver des solutions immédiates aux problèmes à long terme rend leur mission extrêmement difficile », déclare Jernite. « Ils disposent de beaucoup moins de ressources que les entreprises qui développent le plus de ressources. systèmes d’IA visibles.
Margaret Mitchell, scientifique en chef de l’éthique chez Hugging Face, affirme que le secret croissant autour des modèles commerciaux d’IA rend la mesure plus difficile pour une organisation comme le NIST. « Nous ne pouvons pas améliorer ce que nous ne pouvons pas mesurer », dit-elle.
Le décret de la Maison Blanche appelle le NIST à accomplir plusieurs tâches, notamment la création d’un nouvel institut de sécurité de l’intelligence artificielle pour soutenir le développement d’une IA sûre. En avril, un groupe de travail britannique axé sur la sécurité de l’IA a été annoncé. Il recevra 126 millions de dollars de financement de démarrage.
Le décret a donné au NIST un délai serré pour élaborer, entre autres, des lignes directrices pour l’évaluation des modèles d’IA, des principes pour les modèles de « red-teaming » (tests contradictoires), et l’élaboration d’un plan pour amener les pays alliés des États-Unis à accepter les normes du NIST. , et élaborer un plan pour « faire progresser les normes techniques mondiales responsables pour le développement de l’IA ».
Bien qu’il ne soit pas clair comment le NIST s’engage avec les grandes entreprises technologiques, les discussions sur le cadre de gestion des risques du NIST, qui ont eu lieu avant l’annonce du décret, ont impliqué Microsoft ; Anthropic, une startup formée par d’anciens employés d’OpenAI qui construit des modèles d’IA de pointe ; Partenariat sur l’IA, qui représente les grandes entreprises technologiques ; et le Future of Life Institute, une organisation à but non lucratif dédiée, entre autres, au risque existentiel.
« En tant que spécialiste des sciences sociales quantitatives, j’aime et je déteste que les gens se rendent compte que le pouvoir réside dans la mesure », déclare Chowdhury.
Cette histoire a été initialement publiée sur wired.com.