Mardi de cette semaine, le neuroscientifique, fondateur et auteur Gary Marcus s’est assis entre le PDG d’OpenAI Sam Altman et Christina Montgomery, qui est la responsable de la protection de la vie privée d’IBM, comme tous les trois ont témoigné devant le Comité judiciaire du Sénat pendant plus de trois heures. Les sénateurs se sont largement concentrés sur Altman parce qu’il dirige actuellement l’une des entreprises les plus puissantes de la planète et parce qu’Altman leur a demandé à plusieurs reprises de l’aider à réglementer son travail. (La plupart des PDG supplient le Congrès de laisser leur industrie tranquille.)
Bien que Marcus soit connu dans les cercles académiques depuis un certain temps, son étoile est à la hausse ces derniers temps grâce à sa newsletter (« The Road to AI We Can Trust »), un podcast (« Humans vs. Machines »), et son rapport malaise autour de la montée incontrôlée de l’IA. En plus de l’audience de cette semaine, par exemple, il est apparu ce mois-ci à la télévision Bloomberg et a été présenté dans le New York Times Sunday Magazine et Wired, entre autres.
Parce que l’audience de cette semaine semblait vraiment historique à bien des égards – le sénateur Josh Hawley a qualifié l’IA de « l’une des innovations les plus technologiques de l’histoire de l’humanité », tandis que le sénateur John Kennedy était tellement charmé par Altman qu’il a demandé à Altman de choisir ses propres régulateurs – nous voulions parlez également à Marcus pour discuter de l’expérience et voir ce qu’il sait de ce qui se passera ensuite.
Êtes-vous toujours à Washington ?
Je suis toujours à Washington. Je rencontre des législateurs et leur personnel et diverses autres personnes intéressantes et j’essaie de voir si nous pouvons transformer le genre de choses dont j’ai parlé en réalité.
Vous avez enseigné à NYU. Vous avez cofondé plusieurs sociétés d’intelligence artificielle, dont une avec le célèbre roboticien Rodney Brooks. J’ai interviewé Brooks sur scène en 2017 et il a dit qu’il ne pensait pas qu’Elon Musk comprenne vraiment l’IA et qu’il pensait que Musk avait tort de dire que l’IA était une menace existentielle.
Je pense que Rod et moi partageons le scepticisme quant à savoir si l’IA actuelle est quelque chose comme l’intelligence générale artificielle. Il y a plusieurs problèmes que vous devez résoudre. La première est : sommes-nous proches de l’IAG et l’autre est à quel point l’IA actuelle que nous avons est-elle dangereuse ? Je ne pense pas que l’IA actuelle que nous avons soit une menace existentielle mais qu’elle soit dangereuse. À bien des égards, je pense que c’est une menace pour la démocratie. Ce n’est pas une menace pour l’humanité. Cela ne va pas anéantir tous les humains. Mais c’est un risque assez sérieux.
Il n’y a pas si longtemps, vous débattiez Yann LeCun, scientifique en chef de l’IA chez Meta. je ne sais pas quoi ce volet était sur le point – la véritable signification des réseaux de neurones d’apprentissage en profondeur ?
Donc LeCun et moi avons en fait débattu de beaucoup de choses pendant de nombreuses années. Nous avons eu un débat public que David Chalmers, le philosophe, a animé en 2017. J’ai essayé d’obtenir [LeCun] d’avoir un autre vrai débat depuis et il ne le fera pas. Il préfère me sous-tweeter sur Twitter et des trucs comme ça, ce que je ne pense pas être la façon la plus adulte d’avoir des conversations, mais parce que c’est une figure importante, je réponds.
Une chose sur laquelle je pense que nous ne sommes pas d’accord [currently] est, LeCun pense que c’est bien d’utiliser ces [large language models] et qu’il n’y a aucun mal possible ici. Je pense qu’il a extrêmement tort à ce sujet. Il existe des menaces potentielles pour la démocratie, allant de la désinformation délibérément produite par de mauvais acteurs, à la désinformation accidentelle – comme le professeur de droit qui a été accusé de harcèlement sexuel alors qu’il ne l’a pas commis – [to the ability to] façonner subtilement les croyances politiques des gens sur la base de données de formation dont le public ne sait même rien. C’est comme les réseaux sociaux, mais en plus insidieux. Vous pouvez également utiliser ces outils pour manipuler d’autres personnes et probablement les piéger dans tout ce que vous voulez. Vous pouvez les mettre à l’échelle massivement. Il y a certainement des risques ici.
Vous avez dit quelque chose d’intéressant à propos de Sam Altman mardi, en disant aux sénateurs qu’il ne leur avait pas dit quelle était sa pire peur, que vous avez appelée «germane», et en les redirigeant vers lui. Ce qu’il n’a toujours pas dit, c’est quoi que ce soit qui concerne les armes autonomes, dont j’ai parlé avec lui il y a quelques années comme une préoccupation majeure. J’ai pensé que c’était intéressant que les armes ne soient pas apparues.
Nous avons couvert beaucoup de terrain, mais il y a beaucoup de choses que nous n’avons pas abordées, y compris l’application de la loi, qui est vraiment importante, et la sécurité nationale et les armes autonomes et des choses comme ça. Il y en aura plusieurs autres [these].
A-t-on parlé de systèmes open source versus systèmes fermés ?
C’est à peine venu. C’est évidemment une question très compliquée et intéressante. La bonne réponse n’est vraiment pas claire. Vous voulez que les gens fassent de la science indépendante. Peut-être voulez-vous avoir une sorte de licence pour des choses qui vont être déployées à très grande échelle, mais elles comportent des risques particuliers, y compris des risques de sécurité. Il n’est pas clair que nous voulons que chaque acteur malveillant ait accès à des outils arbitrairement puissants. Il y a donc des arguments pour et des arguments contre, et la bonne réponse consistera probablement à autoriser un degré raisonnable d’open source, mais aussi à limiter ce qui peut être fait et comment il peut être déployé.
Des réflexions spécifiques sur la stratégie de Meta consistant à laisser son modèle de langage dans le monde pour que les gens puissent le bricoler ?
Je ne pense pas que ce soit génial [Meta’s AI technology] LLaMA est là pour être honnête. Je pense que c’était un peu négligent. Et, vous savez, c’est littéralement l’un des génies qui sort de la bouteille. Il n’y avait pas d’infrastructure juridique en place; ils n’ont consulté personne sur ce qu’ils faisaient, à ma connaissance. Peut-être qu’ils l’ont fait, mais le processus de décision avec cela ou, disons, Bing, est fondamentalement juste : une entreprise décide que nous allons faire cela.
Mais certaines des décisions prises par les entreprises pourraient être préjudiciables, que ce soit dans un avenir proche ou à long terme. Je pense donc que les gouvernements et les scientifiques devraient de plus en plus jouer un rôle dans la décision de ce qui se passe [through a kind of] FDA pour l’IA où, si vous voulez faire un déploiement à grande échelle, vous faites d’abord un essai. Vous parlez des coûts-avantages. Vous faites un autre essai. Et finalement, si nous sommes convaincus que les avantages l’emportent sur les risques, [you do the] diffusion à grande échelle. Mais à l’heure actuelle, n’importe quelle entreprise, à tout moment, peut décider de déployer quelque chose auprès de 100 millions de clients et de le faire sans aucune sorte de supervision gouvernementale ou scientifique. Vous devez avoir un système dans lequel certaines autorités impartiales peuvent intervenir.
D’où viendraient ces autorités impartiales ? Est-ce que tous ceux qui savent comment ces choses fonctionnent ne travaillent pas déjà pour une entreprise ?
Je ne suis pas. [Canadian computer scientist] Yoshua Bengio ne l’est pas. Il y a beaucoup de scientifiques qui ne travaillent pas pour ces entreprises. C’est un vrai souci, comment obtenir suffisamment de ces vérificateurs et comment les inciter à le faire. Mais il y a 100 000 informaticiens avec une certaine facette d’expertise ici. Tous ne travaillent pas pour Google ou Microsoft sous contrat.
Voudriez-vous jouer un rôle dans cette agence d’IA ?
Je suis intéressé, je pense que tout ce que nous construisons devrait être mondial et neutre, probablement à but non lucratif, et je pense que j’ai ici une bonne voix neutre que j’aimerais partager et essayer de nous amener à un bon endroit.
Qu’est-ce que ça fait d’être assis devant le Comité judiciaire du Sénat ? Et pensez-vous que vous serez invité à nouveau?
Je ne serais pas choqué si j’étais réinvité mais je n’en ai aucune idée. J’en ai été vraiment profondément ému et j’ai été vraiment profondément ému d’être dans cette salle. C’est un peu plus petit qu’à la télévision, je suppose. Mais c’était comme si tout le monde était là pour essayer de faire de son mieux pour les États-Unis – pour l’humanité. Tout le monde connaissait le poids du moment et de toute évidence, les sénateurs ont apporté leur meilleur match. Nous savions que nous étions là pour une raison et nous avons fait de notre mieux.