xAI d’Elon Musk a publié ce week-end son grand modèle de langage Grok en tant que « open source ». Le milliardaire espère clairement opposer son entreprise à son rival OpenAI, qui, malgré son nom, n’est pas particulièrement ouvert. Mais la publication du code de quelque chose comme Grok contribue-t-elle réellement à la communauté de développement de l’IA ? Oui et non.
Grok est un chatbot formé par xAI pour remplir le même rôle vaguement défini que quelque chose comme ChatGPT ou Claude : vous lui demandez, il répond. Ce LLM, cependant, a reçu un ton impertinent et un accès supplémentaire aux données Twitter afin de le différencier des autres.
Comme toujours, ces systèmes sont presque impossibles à évaluer, mais le consensus général semble être qu’ils sont compétitifs avec les modèles de dernière génération de taille moyenne comme le GPT-3.5. (Que vous décidiez que cela est impressionnant compte tenu du court délai de développement ou décevant compte tenu du budget et de l’éclat entourant xAI, cela dépend entièrement de vous.)
Quoi qu’il en soit, Grok est un LLM moderne et fonctionnel, de taille et de capacités importantes, et plus la communauté des développeurs a accès aux entrailles de telles choses, mieux c’est. Le problème est de définir le terme « ouvert » d’une manière qui fait plus que laisser une entreprise (ou un milliardaire) revendiquer une position morale élevée.
Ce n’est pas la première fois que les termes « open » et « open source » sont remis en question ou abusés dans le monde de l’IA. Et nous ne parlons pas seulement d’un problème technique, comme le choix d’une licence d’utilisation qui n’est pas aussi ouverte qu’une autre (Grok est Apache 2.0, si vous vous demandez).
Pour commencer, les modèles d’IA sont différents des autres logiciels lorsqu’il s’agit de les rendre « open source ».
Si vous créez, par exemple, un traitement de texte, il est relativement simple de le rendre open source : vous publiez tout votre code publiquement et laissez la communauté proposer des améliorations ou créer sa propre version. Une partie de ce qui rend l’open source précieux en tant que concept réside dans le fait que chaque aspect de l’application est original ou attribué à son créateur d’origine. Cette transparence et le respect de l’attribution correcte ne sont pas seulement un sous-produit, mais sont au cœur du concept même d’ouverture.
Avec l’IA, cela n’est sans doute pas possible du tout, car la manière dont les modèles d’apprentissage automatique sont créés implique un processus largement inconnaissable par lequel une énorme quantité de données d’entraînement est distillée en une représentation statistique complexe dont aucun humain ne dirige réellement, ni même ne comprend. . Ce processus ne peut pas être inspecté, audité et amélioré de la même manière que le code traditionnel. Ainsi, même s’il a encore une immense valeur dans un sens, il ne peut jamais être vraiment ouvert. (La communauté des standards n’a même pas défini ce que sera l’ouverture dans ce contexte, mais en discute activement.)
Cela n’a pas empêché les développeurs et les entreprises d’IA de concevoir et de revendiquer leurs modèles comme étant « ouverts », un terme qui a perdu une grande partie de son sens dans ce contexte. Certains appellent leur modèle « ouvert » s’il existe une interface ou une API publique. Certains le qualifient d’« ouvert » s’ils publient un article décrivant le processus de développement.
Le modèle d’IA le plus proche de « l’open source » peut sans doute être lorsque ses développeurs publient son poids, c’est-à-dire les attributs exacts des innombrables nœuds de ses réseaux de neurones, qui effectuent des opérations mathématiques vectorielles dans un ordre précis pour compléter le modèle lancé par la saisie d’un utilisateur. Mais même les modèles « à pondération ouverte » comme LLaMa-2 excluent d’autres données importantes, comme l’ensemble de données et le processus de formation, qui seraient nécessaires pour les recréer à partir de zéro. (Certains projets vont bien sûr plus loin.)
Tout cela sans même mentionner le fait qu’il faut des millions de dollars en ressources informatiques et d’ingénierie pour créer ou reproduire ces modèles, ce qui limite effectivement ceux qui peuvent les créer et les reproduire aux entreprises disposant de ressources considérables.
Alors, où se situe la version Grok de xAI dans ce spectre ?
En tant que modèle à poids ouverts, tout le monde peut le télécharger, l’utiliser, le modifier, l’affiner ou le distiller. C’est bien! Il semble être l’un des plus grands modèles auxquels chacun peut accéder librement de cette manière, en termes de paramètres – 314 milliards – ce qui donne aux ingénieurs curieux de nombreuses possibilités de travail s’ils souhaitent tester son fonctionnement après diverses modifications.
La taille du modèle présente cependant de sérieux inconvénients. Vous aurez besoin de centaines de gigaoctets de RAM à haute vitesse pour l’utiliser sous cette forme brute. Si vous n’êtes pas déjà en possession, disons, d’une douzaine de Nvidia H100 dans une plate-forme d’inférence d’IA à six chiffres, ne vous embêtez pas à cliquer sur ce lien de téléchargement.
Et bien que Grok soit sans doute compétitif par rapport à certains autres modèles modernes, il est également beaucoup plus grand qu’eux, ce qui signifie qu’il nécessite plus de ressources pour accomplir la même chose. Il existe toujours une hiérarchie de taille, d’efficacité et d’autres paramètres, et cela reste précieux, mais il s’agit plus de matière première que de produit final. Il n’est pas non plus clair s’il s’agit de la dernière et de la meilleure version de Grok, comme la version clairement optimisée à laquelle certains ont accès via X.
Dans l’ensemble, c’est une bonne chose de publier ces données, mais cela ne change pas la donne comme certains l’espéraient.
Il est également difficile de ne pas se demander pourquoi Musk fait cela. Sa société d’IA naissante est-elle vraiment dédiée au développement open source ? Ou s’agit-il simplement de boue aux yeux d’OpenAI, avec lequel Musk poursuit actuellement une bataille de niveau milliardaire ?
S’ils se consacrent réellement au développement open source, ce sera la première d’une longue série et, espérons-le, ils prendront en compte les commentaires de la communauté, publieront d’autres informations cruciales, caractériseront le processus de formation des données et expliqueront davantage leur approche. S’ils ne le sont pas, et cela n’est fait que pour que Musk puisse le souligner dans des arguments en ligne, cela reste précieux – mais ce n’est pas quelque chose sur lequel quiconque dans le monde de l’IA s’appuiera ou auquel il accordera beaucoup d’attention après les prochains mois en jouant avec. le modèle.