OpenAI est peut-être synonyme d’apprentissage automatique maintenant et Google fait de son mieux pour se relever, mais les deux pourraient bientôt faire face à une nouvelle menace : multiplier rapidement les projets open source qui poussent l’état de l’art et laissent les riches mais des corporations lourdes dans leur poussière. Cette menace de type Zerg n’est peut-être pas existentielle, mais elle maintiendra certainement les joueurs dominants sur la défensive.
La notion n’est pas nouvelle de loin – dans la communauté de l’IA en évolution rapide, on s’attend à voir ce type de perturbation sur une base hebdomadaire – mais la situation a été mise en perspective par un document largement partagé censé provenir de Google. « Nous n’avons pas de fossé, et OpenAI non plus », indique le mémo.
Je n’encombrerai pas le lecteur avec un long résumé de cet article parfaitement lisible et intéressant, mais l’essentiel est que si le GPT-4 et d’autres modèles propriétaires ont obtenu la part du lion de l’attention et même des revenus, l’avance qu’ils ont gagnée avec le financement et l’infrastructure semble plus mince de jour en jour.
Alors que le rythme des versions d’OpenAI peut sembler effréné par rapport aux normes des versions logicielles majeures ordinaires, GPT-3, ChatGPT et GPT-4 étaient certainement sur les talons les uns des autres si vous les comparez aux versions d’iOS ou de Photoshop. Mais ils se produisent encore à l’échelle des mois et des années.
Ce que le mémo souligne, c’est qu’en mars, un modèle de langage de base divulgué de Meta, appelé LLaMA, a été divulgué sous une forme assez grossière. Dans semaines, les gens qui bricolent sur des ordinateurs portables et des serveurs à un sou la minute ont ajouté des fonctionnalités de base telles que le réglage des instructions, plusieurs modalités et l’apprentissage par renforcement à partir des commentaires humains. OpenAI et Google fouinaient probablement aussi dans le code, mais ils n’ont pas – ne pouvaient pas – reproduire le niveau de collaboration et d’expérimentation se produisant dans les subreddits et Discords.
Se pourrait-il vraiment que le problème de calcul titanesque qui semblait poser un obstacle insurmontable – un fossé – aux challengers soit déjà une relique d’une autre ère du développement de l’IA ?
Sam Altman a déjà noté que nous devrions nous attendre à des rendements décroissants lorsque nous lançons des paramètres au problème. Bien sûr, plus gros n’est pas toujours meilleur, mais peu auraient deviné que plus petit l’était plutôt.
GPT-4 est un Walmart, et personne n’aime vraiment Walmart
Le paradigme commercial poursuivi par OpenAI et d’autres en ce moment est un descendant direct du modèle SaaS. Vous disposez d’un logiciel ou d’un service de grande valeur et vous en offrez un accès soigneusement sécurisé via une API ou quelque chose du genre. C’est une approche simple et éprouvée qui prend tout son sens lorsque vous avez investi des centaines de millions dans le développement d’un seul produit monolithique mais polyvalent comme un grand modèle de langage.
Si GPT-4 se généralise bien pour répondre aux questions sur les précédents en droit des contrats, tant mieux – peu importe qu’une grande partie de son « intellect » se consacre à pouvoir répéter le style de chaque auteur qui a déjà publié un ouvrage en anglais. langue. GPT-4 est comme un Walmart. Personne en fait veut pour y aller, alors l’entreprise s’assure qu’il n’y a pas d’autre option.
Mais les clients commencent à se demander pourquoi je marche dans 50 allées de bric-à-brac pour acheter quelques pommes ? Pourquoi est-ce que je fais appel aux services du modèle d’IA le plus vaste et le plus polyvalent jamais créé si tout ce que je veux faire, c’est faire preuve d’intelligence en comparant le langage de ce contrat à quelques centaines d’autres ? Au risque de torturer la métaphore (pour ne rien dire du lecteur), si GPT-4 est le Walmart où l’on va chercher des pommes, que se passe-t-il lorsqu’un stand de fruits s’ouvre sur le parking ?
Il n’a pas fallu longtemps dans le monde de l’IA pour qu’un grand modèle de langage soit exécuté, sous une forme très tronquée bien sûr, sur (à juste titre) un Raspberry Pi. Pour une entreprise comme OpenAI, son jockey Microsoft, Google ou n’importe qui d’autre dans le monde de l’IA en tant que service, cela va à l’encontre de toute la prémisse de leur entreprise : que ces systèmes sont si difficiles à construire et à exécuter qu’ils doivent faire Pour toi. En fait, il semble que ces entreprises aient choisi et conçu une version de l’IA qui corresponde à leur modèle commercial existant, et non l’inverse !
Il était une fois que vous deviez décharger le calcul impliqué dans le traitement de texte sur un ordinateur central – votre terminal n’était qu’un écran. Bien sûr, c’était une autre époque, et nous avons depuis longtemps pu installer l’ensemble de l’application sur un ordinateur personnel. Ce processus s’est produit à plusieurs reprises depuis, car nos appareils ont augmenté de manière répétée et exponentielle leur capacité de calcul. De nos jours où il faut faire quelque chose sur un supercalculateur, tout le monde comprend que ce n’est qu’une question de temps et d’optimisation.
Pour Google et OpenAI, le temps est venu beaucoup plus vite que prévu. Et ce n’étaient pas eux qui s’occupaient de l’optimisation — et ils ne le seront peut-être jamais à ce rythme.
Maintenant, cela ne signifie pas qu’ils n’ont tout simplement pas de chance. Google n’est pas arrivé là où il est en étant le meilleur – pas pendant longtemps, en tout cas. Être un Walmart a ses avantages. Les entreprises ne veulent pas avoir à trouver la solution sur mesure qui exécute la tâche qu’elles souhaitent 30 % plus rapidement si elles peuvent obtenir un prix décent auprès de leur fournisseur existant et ne pas trop secouer le bateau. Ne sous-estimez jamais la valeur de l’inertie dans les affaires !
Bien sûr, les gens itèrent sur LLaMA si vite qu’ils manquent de camélidés pour leur donner un nom. Incidemment, je voudrais remercier les développeurs pour une excuse pour faire défiler des centaines de photos de vigognes mignonnes et fauves au lieu de travailler. Mais peu de services informatiques d’entreprise vont bricoler une implémentation du dérivé open source en cours de Stability d’un modèle Meta quasi-légal divulgué sur l’API simple et efficace d’OpenAI. Ils ont une entreprise à gérer !
Mais en même temps, j’ai arrêté d’utiliser Photoshop il y a des années pour l’édition et la création d’images parce que les options open source comme Gimp et Paint.net sont devenues incroyablement bonnes. À ce stade, l’argument va dans l’autre sens. Payer combien pour Photoshop ? Pas question, nous avons une entreprise à gérer !
Ce qui inquiète clairement les auteurs anonymes de Google, c’est que la distance entre la première situation et la seconde sera beaucoup plus courte qu’on ne le pensait, et il semble que personne ne puisse rien y faire.
Sauf, le mémo soutient: embrassez-le. Ouvrez, publiez, collaborez, partagez, faites des compromis. Comme ils concluent :
Google devrait s’établir comme un leader dans la communauté open source, en prenant les devants en coopérant avec, plutôt qu’en ignorant, la conversation plus large. Cela signifie probablement prendre des mesures inconfortables, comme publier les poids des modèles pour les petites variantes d’ULM. Cela signifie nécessairement renoncer à un certain contrôle sur nos modèles. Mais ce compromis est inévitable. Nous ne pouvons espérer à la fois stimuler l’innovation et la contrôler.