Les femmes dans l’IA : Sarah Kreps, professeur de gouvernement à Cornell

Pour donner aux universitaires spécialisées dans l’IA et à d’autres leur temps bien mérité – et attendu – sous les projecteurs, TechCrunch lance une série d’entretiens axés sur des femmes remarquables qui ont contribué à la révolution de l’IA. Nous publierons plusieurs articles tout au long de l’année, à mesure que le boom de l’IA se poursuit, mettant en lumière des travaux clés qui restent souvent méconnus. Lisez plus de profils ici.

Sarah Kreps est une politologue, vétéran de l’US Air Force et analyste qui se concentre sur la politique étrangère et de défense des États-Unis. Elle est professeur de gouvernement à l’Université Cornell, professeur adjoint de droit à la Cornell Law School et chercheur adjoint au Modern War Institute de West Point.

Les recherches récentes de Kreps explorent à la fois le potentiel et les risques des technologies d’IA telles que le GPT-4 d’OpenAI, en particulier dans la sphère politique. Dans une chronique d’opinion pour The Guardian l’année dernière, elle a écrit qu’à mesure que davantage d’argent sera investi dans l’IA, la course aux armements en matière d’IA, non seulement entre les entreprises mais aussi entre les pays, s’intensifiera – tandis que le défi politique en matière d’IA deviendra plus difficile.

Questions et réponses

En bref, comment avez-vous débuté dans l’IA ? Qu’est-ce qui vous a attiré dans le domaine ?

J’ai fait mes débuts dans le domaine des technologies émergentes ayant des implications en matière de sécurité nationale. J’étais officier de l’Air Force au moment du déploiement du drone Predator et j’avais participé à des systèmes radar et satellite avancés. J’avais passé quatre ans à travailler dans ce domaine, il était donc naturel qu’en tant que doctorant, je sois intéressé à étudier les implications des technologies émergentes sur la sécurité nationale. J’ai d’abord écrit sur les drones, et le débat sur les drones s’orientait vers les questions d’autonomie, ce qui implique bien sûr l’intelligence artificielle.

En 2018, j’étais à un atelier sur l’intelligence artificielle dans un groupe de réflexion de DC et OpenAI a fait une présentation sur cette nouvelle capacité GPT-2 qu’ils avaient développée. Nous venions tout juste de vivre les élections de 2016 et les ingérences électorales étrangères, qui avaient été relativement faciles à repérer en raison de petites choses comme les erreurs grammaticales des anglophones non natifs – le genre d’erreurs qui n’étaient pas surprenantes étant donné que l’interférence provenait du gouvernement. Agence de recherche Internet soutenue par la Russie. Alors qu’OpenAI faisait cette présentation, j’ai immédiatement été préoccupé par la possibilité de générer une désinformation crédible à grande échelle puis, grâce au micro-ciblage, de manipuler la psychologie des électeurs américains de manière bien plus efficace que cela n’était possible lorsque ces individus essayaient d’écrire du contenu à la main. , où l’échelle allait toujours être un problème.

J’ai contacté OpenAI et je suis devenu l’un des premiers collaborateurs universitaires dans leur stratégie de publication par étapes. Mes recherches particulières visaient à enquêter sur un éventuel cas d’utilisation abusive – si GPT-2 et plus tard GPT-3 étaient crédibles en tant que générateurs de contenu politique. Dans une série d’expériences, j’ai évalué si le public considérerait ce contenu comme crédible, mais j’ai ensuite également mené une vaste expérience sur le terrain dans laquelle j’ai généré des « lettres de circonscription » que j’ai randomisées avec de véritables lettres de circonscription pour voir si les législateurs répondraient au même rythme aux savoir s’ils pourraient être trompés – si des acteurs malveillants pourraient façonner l’agenda législatif par une campagne de lettres à grande échelle.

Ces questions ont touché au cœur de ce que signifie être une démocratie souveraine et j’ai conclu sans équivoque que ces nouvelles technologies représentaient de nouvelles menaces pour notre démocratie.

De quel travail êtes-vous le plus fier (dans le domaine de l’IA) ?

Je suis très fier de l’expérience sur le terrain que j’ai menée. Personne n’avait fait quelque chose de similaire et nous avons été les premiers à démontrer le potentiel perturbateur dans le contexte d’un programme législatif.

Mais je suis également fier d’outils que je n’ai malheureusement jamais mis sur le marché. J’ai travaillé avec plusieurs étudiants en informatique à Cornell pour développer une application qui traiterait les courriels législatifs entrants et les aiderait à répondre aux électeurs de manière significative. Nous travaillions là-dessus avant ChatGPT et utilisions l’IA pour digérer le grand volume d’e-mails et fournir une assistance IA aux membres du personnel pressés par le temps qui communiquent avec les personnes de leur district ou de leur état. Je pensais que ces outils étaient importants en raison de la désaffection des électeurs à l’égard de la politique, mais aussi des exigences croissantes en matière de temps des législateurs. Développer l’IA selon ces voies d’intérêt public semblait être une contribution précieuse et un travail interdisciplinaire intéressant pour les politologues et les informaticiens. Nous avons mené un certain nombre d’expériences pour évaluer les questions comportementales sur ce que les gens ressentiraient face à une assistance IA qui y répondrait et avons conclu que la société n’était peut-être pas prête pour quelque chose comme ça. Mais quelques mois après que nous avons débranché, ChatGPT est entré en scène et l’IA est si omniprésente que je me demande presque comment nous avons pu nous inquiéter de savoir si cela était éthiquement douteux ou légitime. Mais j’ai toujours l’impression qu’il est juste que nous ayons posé des questions éthiques difficiles sur le cas d’utilisation légitime.

Comment relever les défis d’un secteur technologique à prédominance masculine et, par extension, de celui de l’IA, à prédominance masculine ?

En tant que chercheur, je n’ai pas ressenti ces défis de manière très aiguë. J’étais juste dans la Bay Area et c’étaient tous des mecs qui faisaient littéralement leurs arguments dans l’ascenseur de l’hôtel, un cliché que je pouvais voir comme intimidant. Je leur recommanderais de trouver des mentors (hommes et femmes), de développer des compétences et de laisser ces compétences parler d’elles-mêmes, de relever des défis et de rester résilients.

Quels conseils donneriez-vous aux femmes souhaitant se lancer dans le domaine de l’IA ?

Je pense qu’il existe de nombreuses opportunités pour les femmes : elles doivent développer leurs compétences et avoir confiance en elles pour réussir.

Quels sont les problèmes les plus urgents auxquels l’IA est confrontée à mesure qu’elle évolue ?

Je crains que la communauté de l’IA ait développé autant d’initiatives de recherche axées sur des choses comme le « superalignement » qui obscurcissent les questions les plus profondes – ou en fait les bonnes – sur les valeurs ou les valeurs sur lesquelles nous essayons d’aligner l’IA. Le déploiement problématique de Google Gemini a montré la caricature qui peut résulter d’un alignement sur un ensemble restreint de valeurs des développeurs d’une manière qui a en fait conduit à des inexactitudes historiques (presque) risibles dans leurs résultats. Je pense que les valeurs de ces développeurs étaient de bonne foi, mais elles ont révélé le fait que ces grands modèles de langage sont programmés avec un ensemble particulier de valeurs qui façonneront la façon dont les gens pensent à la politique, aux relations sociales et à une variété de sujets sensibles. Ces problèmes ne relèvent pas du risque existentiel, mais créent le tissu social et confèrent un pouvoir considérable aux grandes entreprises (par exemple OpenAI, Google, Meta, etc.) qui sont responsables de ces modèles.

Quels sont les problèmes dont les utilisateurs d’IA devraient être conscients ?

À mesure que l’IA devient omniprésente, je pense que nous sommes entrés dans un monde « faire confiance mais vérifier ». C’est nihiliste de ne rien croire, mais il y a beaucoup de contenu généré par l’IA et les utilisateurs doivent vraiment être prudents quant à ce à quoi ils font instinctivement confiance. Il est bon de rechercher des sources alternatives pour vérifier l’authenticité avant de simplement supposer que tout est exact. Mais je pense que nous l’avons déjà appris avec les médias sociaux et la désinformation.

Quelle est la meilleure façon de développer l’IA de manière responsable ?

J’ai récemment écrit un article pour le Bulletin of the Atomic Scientists, qui a commencé à couvrir les armes nucléaires mais s’est adapté pour aborder les technologies perturbatrices comme l’IA. J’avais réfléchi à la façon dont les scientifiques pourraient être de meilleurs gestionnaires publics et je voulais relier certains des cas historiques que j’avais examinés dans le cadre d’un projet de livre. Non seulement je décris un ensemble d’étapes que je soutiendrais pour un développement responsable, mais j’explique également pourquoi certaines des questions posées par les développeurs d’IA sont fausses, incomplètes ou peu judicieuses.

Source-146