Il s’avère que le paysage actuel de l’IA trouve son origine – que savez-vous – dans la peur, la jalousie et l’intense ambition capitaliste. E-mails révélés dans l’affaire antitrust du ministère de la Justice contre Google, rapportés pour la première fois par Interne du milieu des affaires, montrent des dirigeants de Microsoft exprimant leur inquiétude et leur envie face à l’avance de Google en matière d’IA. Cela a suscité une urgence qui a conduit le fabricant de Windows à investir initialement un milliard de dollars dans son partenaire désormais indispensable, OpenAI.
Dans un fil de discussion de 2019 fortement rédigé intitulé « Réflexions sur OpenAI », le PDG de Microsoft, Satya Nadella, transmet un long message du CTO Kevin Scott à la CFO Amy Hood. « Très bon e-mail qui explique pourquoi je veux que nous fassions cela… et aussi pourquoi nous veillerons ensuite à ce que nos responsables de l’infra exécutent », a écrit Nadella.
Scott a écrit qu’il était « très, très inquiet » de la croissance rapide des capacités d’IA de Google. Il dit qu’il a d’abord rejeté les « cascades de jeu » de l’entreprise, faisant probablement référence aux modèles AlphaGo de Google. L’un d’eux a battu le champion du monde de Go Ke Jie en 2017, un exploit remarquable à l’époque. (Les modèles ultérieurs de Google ont surpassé celui-ci, supprimant complètement le besoin de formation humaine.)
Mais Scott dit que négliger les progrès de Google en matière de jeu « était une erreur ». « Quand ils ont pris toutes les infrastructures qu’ils avaient construites pour construire [natural language] modèles que nous ne pouvions pas facilement reproduire, j’ai commencé à prendre les choses plus au sérieux », a écrit Scott. « Et alors que je creusais pour essayer de comprendre où se trouvaient tous les écarts de capacités entre Google et nous en matière de formation de modèles, je suis devenu très, très inquiet. »
Scott raconte comment Microsoft a eu du mal à copier le BERT-large de Google, un modèle d’IA qui déchiffre le sens et le contexte des mots dans une phrase. Scott a imputé la responsabilité aux progrès infrastructurels réalisés par son rival – et non à Microsoft.
« Il s’avère que la simple réplication de BERT à grande échelle n’était pas facile à réaliser pour nous. Même si nous avions le modèle pour le modèle, il nous a fallu environ 6 mois pour former le modèle car notre infrastructure n’était pas à la hauteur de la tâche », a écrit le CTO de Microsoft. « Google avait BERT depuis au moins six mois avant cela, donc pendant le temps qu’il nous a fallu pour mettre en place la capacité de former un modèle de 340 millions de paramètres, ils ont eu un an pour comprendre comment le mettre en production et passer à autre chose. à des modèles à plus grande échelle et plus intéressants.
Il admirait et enviait également les capacités de saisie semi-automatique de Gmail de Google, affirmant qu’elles « devenaient terriblement bonnes ». Il a commenté que Microsoft avait « plusieurs années de retard sur la concurrence en termes de [machine learning] échelle. » Il a commenté la croissance « intéressante » d’OpenAI, DeepMind et Google Brain.
Scott a vanté les gens « très intelligents » de Microsoft au sein de ses équipes d’apprentissage automatique, mais a déclaré que leurs ambitions étaient freinées. « Mais les équipes de base d’apprentissage profond au sein de chacune de ces plus grandes équipes sont très petites et leurs ambitions ont également été limitées, ce qui signifie que même si nous commençons à leur fournir des ressources, elles doivent encore passer par un processus d’apprentissage pour évoluer. « , a écrit Scott. « Et nous avons plusieurs années de retard sur la concurrence en termes d’échelle de ML. »
Après avoir expliqué à Hood que les préoccupations de Scott étaient « la raison pour laquelle je veux que nous fassions cela », c’est-à-dire investir dans OpenAI, la société a répondu aux souhaits de son PDG. Microsoft a investi un milliard de dollars dans la startup dirigée par Sam Altman en 2019, et le reste est une histoire en évolution rapide. (Il a maintenant investi 13 milliards de dollars.) C’est une technologie qui fait des choses incroyables mais qui menace de vider le marché du travail et de donner aux propagandistes leurs outils les plus puissants à ce jour dans ce qui était déjà une époque de désinformation généralisée.