Lorsque le co-fondateur et PDG d’OpenAI, Sam Altman, parle ces jours-ci, il est logique d’écouter. Sa dernière aventure est sur toutes les lèvres depuis la sortie de GPT-4 et de ChatGPT, l’une des interfaces basées sur des modèles de grande langue les plus sophistiquées créées à ce jour. Mais Altman adopte une approche délibérée et humble, et ne croit pas nécessairement que lorsqu’il s’agit de grands modèles de langage (LLM), plus gros sera toujours meilleur.
Altman, qui a été interviewé sur Zoom lors de l’événement Imagination in Action au MIT hier, pense que nous approchons des limites de la taille du LLM pour la taille. « Je pense que nous sommes à la fin de l’ère où ce seront ces modèles géants, et nous les améliorerons d’autres manières », a déclaré Altman.
Il considère la taille comme une fausse mesure de la qualité du modèle et la compare aux courses de vitesse de puce que nous avions l’habitude de voir. « Je pense qu’on s’est beaucoup trop concentré sur le nombre de paramètres, peut-être que le nombre de paramètres augmentera à coup sûr. Mais cela me rappelle beaucoup la course aux gigahertz dans les puces dans les années 1990 et 2000, où tout le monde essayait de pointer vers un grand nombre », a déclaré Altman.
Comme il le fait remarquer, nous avons aujourd’hui des puces beaucoup plus puissantes sur nos iPhones, mais nous n’avons aucune idée de leur rapidité, seulement qu’elles font bien le travail. « Je pense qu’il est important que nous restions concentrés sur l’augmentation rapide des capacités. Et s’il y a une raison pour laquelle le nombre de paramètres devrait diminuer avec le temps, ou si nous devrions avoir plusieurs modèles fonctionnant ensemble, chacun étant plus petit, nous le ferions. Ce que nous voulons offrir au monde, ce sont les modèles les plus performants, les plus utiles et les plus sûrs. Nous ne sommes pas ici pour nous branler sur le nombre de paramètres », a-t-il déclaré.
Altman a été un technologue si performant en partie parce qu’il fait de gros paris, puis qu’il bouge délibérément et réfléchit profondément à ses entreprises et aux produits qu’elles fabriquent – et OpenAI n’est pas différent.
« Nous y travaillons depuis si longtemps, mais c’est avec une confiance progressivement croissante que cela va vraiment fonctionner. Nous avons été [building] l’entreprise pendant sept ans. Ces choses prennent beaucoup de temps. Je dirais en gros en termes de pourquoi cela a fonctionné alors que d’autres ne l’ont pas fait : c’est simplement parce que nous avons été en train de transpirer chaque détail pendant longtemps. Et la plupart des gens ne sont pas disposés à le faire », a-t-il déclaré.
Interrogé sur la lettre demandant qu’OpenAI fasse une pause de six mois, il a défendu l’approche de son entreprise, tout en étant d’accord avec certaines parties de la lettre.
« Il y a des parties de la poussée [of the letter] avec laquelle je suis vraiment d’accord. Nous avons passé plus de six mois après avoir fini de former GPT-4 avant de le publier. Donc, prendre le temps de vraiment étudier le modèle de sécurité, d’obtenir des audits externes, des équipes rouges externes pour vraiment essayer de comprendre ce qui se passe et d’atténuer autant que possible, c’est important », a-t-il déclaré.
Mais il croit qu’il y a des façons substantielles dont la lettre a raté la cible.
« J’ai également convenu qu’à mesure que les capacités deviennent de plus en plus sérieuses, la barre de sécurité doit augmenter. Mais malheureusement, je pense que la lettre manque la nuance la plus technique sur l’endroit où nous devons faire une pause – une version antérieure de la lettre affirmait que nous entraînions GPT-5. Nous ne le sommes pas et nous ne le serons pas avant un certain temps, donc dans ce sens, c’était un peu idiot – mais nous faisons d’autres choses en plus du GPT-4 qui, je pense, ont toutes sortes de problèmes de sécurité qu’il est important de résoudre et ont été totalement omis de la lettre. Je pense donc qu’il est très important d’agir avec prudence et d’augmenter la rigueur pour les questions de sécurité. je ne pense pas que [suggestions in the] lettre est le moyen ultime d’y remédier », a-t-il déclaré.
Altman dit qu’il est ouvert sur les problèmes de sécurité et les limites du modèle actuel, car il pense que c’est la bonne chose à faire. Il reconnaît que parfois lui et d’autres représentants de l’entreprise disent des « trucs stupides », ce qui s’avère être faux, mais il est prêt à prendre ce risque parce qu’il est important d’avoir un dialogue sur cette technologie.
« Une grande partie de notre objectif chez OpenAI est d’amener le monde à s’engager avec nous et à réfléchir à [this technology], et progressivement mettre à jour et construire de nouvelles institutions, ou adapter nos institutions existantes pour pouvoir déterminer quel est l’avenir que nous voulons tous. C’est en quelque sorte la raison pour laquelle nous sommes ici.