Le National Institute of Standards and Technology (NIST), l’agence du Département américain du Commerce qui développe et teste des technologies pour le gouvernement américain, les entreprises et le grand public, a annoncé lundi le lancement de NIST GenAI, un nouveau programme dirigé par le NIST pour évaluer les technologies génératives. Technologies d’IA, y compris l’IA génératrice de texte et d’images.
NIST GenAI publiera des tests de référence, aidera à créer des systèmes de détection de « l’authenticité du contenu » (c’est-à-dire une vérification approfondie des contrefaçons) et encouragera le développement de logiciels pour repérer la source des informations fausses ou trompeuses générées par l’IA, explique le NIST sur le site Web NIST GenAI récemment lancé et dans un communiqué de presse.
«Le programme NIST GenAI proposera une série de problèmes de défi [intended] pour évaluer et mesurer les capacités et les limites des technologies d’IA générative », indique le communiqué de presse. « Ces évaluations serviront à identifier des stratégies visant à promouvoir l’intégrité de l’information et à guider l’utilisation sûre et responsable du contenu numérique. »
Le premier projet du NIST GenAI est une étude pilote visant à créer des systèmes capables de faire la différence de manière fiable entre les médias créés par l’homme et ceux générés par l’IA, en commençant par le texte. (Bien que de nombreux services prétendent détecter les deepfakes, des études et nos propres tests ont montré qu’ils sont au mieux fragiles, en particulier lorsqu’il s’agit de texte.) Le NIST GenAI invite les équipes du monde universitaire, de l’industrie et des laboratoires de recherche à soumettre soit des « générateurs » — Systèmes d’IA pour générer du contenu – ou « discriminateurs », qui sont des systèmes conçus pour identifier le contenu généré par l’IA.
Les générateurs de l’étude doivent générer des résumés de 250 mots ou moins à condition d’avoir un sujet et un ensemble de documents, tandis que les discriminateurs doivent détecter si un résumé donné est potentiellement rédigé par l’IA. Pour garantir l’équité, NIST GenAI fournira les données nécessaires pour tester les générateurs. Des systèmes formés sur des données accessibles au public et qui ne le font pas »[comply] avec les lois et réglementations applicables » ne sera pas accepté », déclare le NIST.
L’inscription au projet pilote débutera le 1er mai et la première série de deux devrait se terminer le 2 août. Les résultats finaux de l’étude devraient être publiés en février 2025.
Le lancement du NIST GenAI et l’étude axée sur les deepfakes surviennent alors que le volume d’informations erronées et de désinformation générées par l’IA augmente de façon exponentielle.
Selon les données de Clarity, une société de détection de deepfakes, 900 % de deepfakes supplémentaires ont été créés et publiés cette année par rapport à la même période l’année dernière. Cela suscite l’inquiétude, c’est compréhensible. UN récent sondage de YouGov a révélé que 85 % des Américains étaient préoccupés par la propagation de deepfakes trompeurs en ligne.
Le lancement de NIST GenAI fait partie de la réponse du NIST au décret du président Joe Biden sur l’IA, qui a établi des règles exigeant une plus grande transparence de la part des entreprises d’IA sur le fonctionnement de leurs modèles et a établi une série de nouvelles normes, notamment pour l’étiquetage du contenu généré par l’IA. .
Il s’agit également de la première annonce du NIST concernant l’IA après la nomination de Paul Christiano, ancien chercheur d’OpenAI, à l’AI Safety Institute de l’agence.
Christiano était un choix controversé en raison de ses opinions « catastrophées » ; il a un jour prédit qu’« il y a 50 % de chances que le développement de l’IA aboutisse [humanity’s destruction].» Les critiques, y compris des scientifiques du NIST, craignent que Cristiano n’encourage l’AI Safety Institute à se concentrer sur des « scénarios fantastiques » plutôt que sur des risques réalistes et plus immédiats liés à l’IA.
Le NIST affirme que le NIST GenAI éclairera les travaux de l’AI Safety Institute.