Récapitulatif d’Ars à San Jose : infrastructure, durabilité, IA, cocktails

La semaine dernière, Ken Fisher, rédacteur en chef d’Ars Technica, et moi-même avons fait un voyage vers l’ouest sous le soleil de San Jose, en Californie, pour lancer un événement intitulé « Au-delà du buzz : un avenir d’infrastructure avec GenAI et ce qui vient ensuite », organisé en partenariat. avec IBM. C’était génial de monter sur scène et de parler à une salle remplie de lecteurs d’Ars intéressés, et à tous ceux qui ont pu venir, merci d’être là ! (Pour tous ceux qui n’ont pas pu venir, ce n’est pas grave : nous organisons un autre événement le mois prochain à Washington, DC. J’aurai plus d’informations à ce sujet à la fin de cet article.)

L’événement de San Jose a eu lieu au Computer History Museum, qui, en ce qui concerne les lieux, était tout à fait conforme à la marque et approprié – et Ars aimerait remercier les gens du CHM pour avoir été si gentils et accommodants envers notre rassemblement de geeks. .

« Notre gamme de conférenciers et de sujets aujourd’hui reflète la complexité et l’évolution rapide du paysage technologique dans lequel nous opérons tous », a noté Fisher dans son discours d’ouverture du programme. « Nous discuterons non seulement des promesses de l’IA générative, mais également des défis qu’elle apporte en termes de demandes d’infrastructures, de vulnérabilités en matière de sécurité et d’impacts environnementaux. »

Les panneaux

Pour en revenir à Ken, notre premier panel portait sur l’impact environnemental des centres de données en constante expansion (et, souvent en même temps, des services d’IA qu’ils fournissent). Nous avons discuté avec Jeff Ball, chercheur en résidence au Steyer-Taylor Center for Energy Policy & Finance de l’Université de Stanford ; Joanna Wong, architecte de solutions pour l’IA et le stockage chez IBM ; et le rédacteur scientifique principal d’Ars, le Dr John Timmer.

L’un des principaux points du panel que je n’avais pas entièrement compris auparavant, mais qui était tout à fait logique après l’avoir expliqué, était l’affirmation de Ball selon laquelle « tout le pouvoir n’est pas créé de manière égale », c’est-à-dire lorsque l’on considère les ressources cloud comme un moyen de Si les coûts environnementaux sont transférés à un tiers, l’emplacement physique réel de ces ressources cloud peut avoir un effet considérable sur l’empreinte carbone. Le coût d’utilisation d’un centre de données en Islande et d’un centre de données en Chine peut être à peu près similaire, mais il y a de fortes chances que le centre de données en Chine utilise de l’énergie au charbon, tandis que le centre de données islandais utilise probablement l’énergie géothermique.

Joanna Wong d’IBM a également noté que l’infrastructure est souvent en proie à des points de défaillance inconnus, c’est-à-dire des problèmes qui ne sont pas suffisamment critiques pour provoquer une panne, mais qui consomment néanmoins davantage de calcul (et donc d’énergie). Wong a déclaré que nous devrions toujours être à l’affût de ces points d’échec. Même si nous pouvons nous inquiéter des coûts énergétiques des nouvelles technologies, nous devons être conscients que nous gaspillons probablement déjà des ressources et nuisons aux performances en ne comprenant pas nos points de défaillance, voire nos goulots d’étranglement.

Nous sommes ensuite passés au pays en constante évolution des vulnérabilités de sécurité et du code généré par l’IA (ou du moins audité par l’IA). Pour celui-ci, j’ai été rejoint par Stephen Goldschmidt, architecte mondial de sécurité de la plateforme chez Box ; Patrick Gould, directeur du portefeuille Cyber ​​& Telecom de l’Unité d’innovation de défense du ministère de la Défense ; et Ram Parasuraman, directeur exécutif pour les données et la résilience chez IBM.

Cela a déjà été un sujet controversé, et pas plus tard que lors de notre conférence virtuelle Ars Frontiers en 2023, les experts en sécurité ont exprimé leur malaise face à l’idée d’un code généré par l’IA, étant donné l’habitude de la plupart des LLM de fabuler les choses en un clin d’œil. Mais selon nos panélistes, le rôle le plus approprié de l’IA générative dans le codage sera probablement d’augmenter le codage humain plutôt que de le remplacer – l’IA aidant à repérer les fautes de frappe induisant des vulnérabilités dans le code, poussant le balai métaphorique derrière un codeur humain et nettoyant erreurs. Nous sommes encore loin de faire confiance au code entièrement généré par l’IA en production (sauf si vous êtes fou ou imprudent), mais le code vérifié par l’IA ? Cet avenir est là. Parasuraman l’a bien exprimé : « La question de savoir comment faire confiance aux résultats de l’IA ne disparaîtra jamais. Ce qui changera, ce sont la manière dont nous vérifions et surveillons ces résultats. »

Enfin, notre panel de clôture portait sur « le jeu de l’infrastructure à long terme », c’est-à-dire la planification de son infrastructure pour anticiper les problèmes imprévus. Avec moi se trouvait Ashwin Ballal, directeur de l’information chez Freshworks ; Karun Channa, directrice de Product AI chez Roblox ; et Pete Bray, responsable mondial des produits chez IBM. Il est difficile de répondre à la question « Comment anticiper les problèmes imprévus », mais avec des panélistes couvrant toute la gamme du cloud natif à l’hybride avec une forte présence dans le centre de données sur site, ils ont tenté le coup.

Sans surprise, la réponse réside dans une combinaison de collecte intelligente des exigences, de résilience et de flexibilité. Maîtriser fermement vos exigences est la première étape inévitable ; si la planification de vos besoins se déroule bien, la construction d’une infrastructure résiliente en découle. Si votre infrastructure est résiliente – et, plus important encore, si vous disposez de fonds opérationnels d’urgence en réserve – vous devez disposer de la flexibilité de votre infrastructure pour répondre aux pics de demande inattendus (ou au moins avoir la possibilité de consacrer temporairement de l’argent à la charge jusqu’à ce que votre infrastructure soit résiliente). le problème disparaît). Ce n’est pas compliqué – et bon sang, même dans les entreprises qui sont En faisant de la science-fusée, une bonne planification des exigences l’emporte toujours.