OpenAI affirme vouloir mettre en œuvre les idées du public sur la manière de garantir que ses futurs modèles d’IA « s’alignent sur les valeurs de l’humanité ».
À cette fin, la startup d’IA forme une nouvelle équipe d’alignement collectif composée de chercheurs et d’ingénieurs pour créer un système de collecte et de « codage » des commentaires du public sur les comportements de ses modèles dans les produits et services OpenAI, a annoncé aujourd’hui la société.
«Nous continuerons à travailler avec des conseillers externes et des équipes de subventions, notamment en organisant des projets pilotes pour intégrer… des prototypes dans le pilotage de nos modèles», écrit OpenAI.un article de blog. « Étaient recruter… des ingénieurs de recherche issus de divers horizons techniques pour nous aider à construire ce travail avec nous.
L’équipe d’alignement collectif est une conséquence du programme public d’OpenAI, lancé en mai dernier, visant à accorder des subventions pour financer des expériences visant à mettre en place un « processus démocratique » permettant de décider des règles que les systèmes d’IA doivent suivre. L’objectif du programme, a déclaré OpenAI à ses débuts, était de financer des individus, des équipes et des organisations pour développer des preuves de concept susceptibles de répondre aux questions sur les garde-fous et la gouvernance de l’IA.
Dans son article de blog d’aujourd’hui, OpenAI a récapitulé le travail des bénéficiaires de subventions, qui couvrait toute la gamme des interfaces de chat vidéo aux plates-formes d’audits participatifs des modèles d’IA et « des approches permettant de mapper les croyances sur des dimensions pouvant être utilisées pour affiner le comportement des modèles ». » L’ensemble du code utilisé dans le travail des bénéficiaires a été rendu public ce matin, accompagné de brefs résumés de chaque proposition et des points à retenir de haut niveau.
OpenAI a tenté de présenter le programme comme étant séparé de ses intérêts commerciaux. Mais c’est une pilule un peu difficile à avaler, compte tenu des critiques du PDG d’OpenAI, Sam Altman, à l’égard de la réglementation dans l’UE et ailleurs. Altman, ainsi que le président d’OpenAI Greg Brockman et le scientifique en chef Ilya Sutskever, ont soutenu à plusieurs reprises que le rythme de l’innovation dans l’IA est si rapide que nous ne pouvons pas nous attendre à ce que les autorités existantes maîtrisent adéquatement la technologie – d’où la nécessité de externaliser le travail.
Certains rivaux d’OpenAI, dont Meta, ont accusé OpenAI (entre autres) d’essayer d’obtenir une « capture réglementaire de l’industrie de l’IA » en faisant pression contre la R&D ouverte sur l’IA. Sans surprise, OpenAI nie cela – et citerait probablement le programme de subventions (et l’équipe d’alignement collectif) comme exemple de son « ouverture ».
Quoi qu’il en soit, OpenAI fait l’objet d’une surveillance croissante de la part des décideurs politiques, faisant face à une enquête au Royaume-Uni sur ses relations avec son partenaire et investisseur proche Microsoft. La startup a récemment cherché à réduire son risque réglementaire dans l’UE en matière de confidentialité des données, en s’appuyant sur une filiale basée à Dublin pour réduire la capacité de certains organismes de surveillance de la vie privée du bloc à agir unilatéralement en réponse à leurs préoccupations.
Hier – en partie pour apaiser les régulateurs, sans aucun doute – OpenAI a annoncé qu’elle travaillait avec des organisations pour tenter de limiter la manière dont sa technologie pourrait être utilisée pour influencer ou influencer les élections par des moyens malveillants. Les efforts de la startup consistent notamment à rendre plus évident le moment où les images sont générées par l’IA à l’aide de ses outils et à développer des approches pour identifier le contenu généré même après que les images ont été modifiées.