En juin 2021, GitHub a annoncé Copilot, une sorte de saisie semi-automatique pour le code informatique alimenté par la technologie de génération de texte d’OpenAI. Il a fourni un premier aperçu du potentiel impressionnant de l’intelligence artificielle générative pour automatiser un travail précieux. Deux ans plus tard, Copilot est l’un des exemples les plus matures de la façon dont la technologie peut prendre en charge des tâches qui devaient auparavant être effectuées à la main.
Cette semaine, GitHub a publié un rapport, basé sur les données de près d’un million de programmeurs payant pour utiliser Copilot, qui montre à quel point le codage génératif de l’IA est devenu transformationnel. En moyenne, ils ont accepté les suggestions de l’assistant IA environ 30 % du temps, ce qui suggère que le système est remarquablement efficace pour prédire le code utile.
GitHub
Le graphique frappant ci-dessus montre comment les utilisateurs ont tendance à accepter davantage les suggestions de Copilot à mesure qu’ils passent plus de mois à utiliser l’outil. Le rapport conclut également que les codeurs améliorés par l’IA voient leur productivité augmenter au fil du temps, sur la base du fait qu’une précédente étude Copilot a fait état d’un lien entre le nombre de suggestions acceptées et la productivité d’un programmeur. Le nouveau rapport de GitHub indique que les plus grands gains de productivité ont été observés chez les développeurs moins expérimentés.
À première vue, c’est une image impressionnante d’une nouvelle technologie qui prouve rapidement sa valeur. Toute technologie qui améliore la productivité et renforce les capacités des travailleurs moins qualifiés pourrait être une aubaine pour les individus et l’économie au sens large. GitHub poursuit en proposant des spéculations au fond de l’enveloppe, estimant que le codage de l’IA pourrait augmenter le PIB mondial de 1,5 billion de dollars d’ici 2030.
Mais le graphique de GitHub montrant les programmeurs se liant à Copilot m’a rappelé une autre étude dont j’ai entendu parler récemment en discutant avec Talia Ringer, professeur à l’Université de l’Illinois à Urbana-Champaign, sur la relation des codeurs avec des outils comme Copilot.
À la fin de l’année dernière, une équipe de l’Université de Stanford a publié un article de recherche qui examinait comment l’utilisation d’un assistant IA générateur de code qu’ils ont construit affecte la qualité du code que les gens produisent. Les chercheurs ont constaté que les programmeurs recevant des suggestions d’IA avaient tendance à inclure plus de bogues dans leur code final, mais ceux qui avaient accès à l’outil avaient tendance à croire que leur code était plus sécurisé. « Il y a probablement à la fois des avantages et des risques » avec le codage en tandem avec l’IA, déclare Ringer. « Plus de code n’est pas meilleur code. »
Lorsque vous considérez la nature de la programmation, cette découverte n’est guère surprenante. Comme Clive Thompson l’a écrit dans une fonctionnalité WIRED de 2022, Copilot peut sembler miraculeux, mais ses suggestions sont basées sur des modèles dans le travail d’autres programmeurs, qui peuvent être défectueux. Ces suppositions peuvent créer des bogues diaboliquement difficiles à repérer, surtout lorsque vous êtes envoûté par la qualité de l’outil.
Nous savons par d’autres domaines de l’ingénierie que les humains peuvent être bercé par une dépendance excessive à l’automatisation. La Federal Aviation Authority des États-Unis a averti à plusieurs reprises que certains pilotes deviennent si dépendants du pilote automatique que leurs compétences en vol s’atrophient. Un phénomène similaire est bien connu des voitures autonomes, où une vigilance extraordinaire est requise pour se prémunir contre des problèmes rares mais potentiellement mortels.
Ce paradoxe peut être au cœur de l’histoire en développement de l’IA générative – et où cela nous mènera. La technologie semble déjà entraîner une spirale descendante dans la qualité du contenu Web, car les sites réputés sont inondés de scories générées par l’IA, les sites Web de spam prolifèrent et les chatbots tentent de stimuler artificiellement l’engagement.
Rien de tout cela ne veut dire que l’IA générative est un échec. De plus en plus de recherches montrent comment les outils d’IA générative peuvent améliorer les performances et le bonheur de certains travailleurs, tels que ceux qui traitent les appels d’assistance client. Certaines autres études n’ont également trouvé aucune augmentation des bogues de sécurité lorsque les développeurs utilisent un assistant IA. Et à son crédit, GitHub étudie la question de savoir comment coder en toute sécurité avec l’aide de l’IA. En février, il a annoncé une nouvelle fonctionnalité Copilot qui tente de détecter les vulnérabilités générées par le modèle sous-jacent.
Mais les effets complexes de la génération de code constituent une mise en garde pour les entreprises qui s’efforcent de déployer des algorithmes génératifs pour d’autres cas d’utilisation.
Les régulateurs et les législateurs qui se préoccupent davantage de l’IA devraient également en prendre note. Avec tant d’enthousiasme pour le potentiel de la technologie – et des spéculations folles sur la façon dont elle pourrait conquérir le monde – des preuves plus subtiles et encore plus substantielles de la façon dont les déploiements d’IA fonctionnent pourraient être négligées. À peu près tout dans notre avenir sera étayé par des logiciels – et si nous ne faisons pas attention, il pourrait également être criblé de bogues générés par l’IA.
Cette histoire est apparue à l’origine sur filaire.com.