La réponse d’Elon Musk à ChatGPT fait l’objet d’une mise à jour pour l’améliorer en mathématiques, en codage et bien plus encore. xAI de Musk a lancé Grok-1.5 aux premiers testeurs avec « des capacités et un raisonnement améliorés » et la capacité de traiter des contextes plus longs. La société affirme qu’elle se compare désormais à GPT-4, Gemini Pro 1.5 et Claude 3 Opus dans plusieurs domaines.
D’après les chiffres de xAI, Grok-1.5 semble être une grande amélioration par rapport à Grok-1. Il a grimpé à 50,6 pour cent dans le benchmark MATH, soit plus du double du score précédent. Il a également grimpé à 90 pour cent et 74,1 pour cent en GSM8K (problèmes de mots mathématiques) et HumanEval (codage), respectivement, contre 62,9 pour cent et 63,2 pour cent auparavant. Ces chiffres sont à portée de voix de Gemini Pro 1.5, GPT-4 et Claude 3 Opus – en fait, le score de codage HumanEval bat tous ses rivaux sauf Claude 3 Opus.
Il peut également traiter de longs contextes allant jusqu’à 128 000 jetons dans sa fenêtre contextuelle, ce qui signifie qu’il peut fusionner des données provenant de plusieurs sources pour comprendre une situation. « Cela permet à Grok de disposer d’une capacité de mémoire accrue, jusqu’à 16 fois supérieure à la longueur du contexte précédent, ce qui lui permet d’utiliser des informations provenant de documents beaucoup plus longs », a déclaré la société.
xAI n’a cependant pas détaillé les progrès de Grok dans d’autres domaines, où il peut encore être à la traîne (scores académiques, multimodaux et autres). Et Grok-1.5 pourrait ne pas conserver sa position longtemps. ChatGPT 5 devrait arriver cet été, promettant un ensemble de fonctionnalités qui « donneront l’impression que vous communiquez avec une personne plutôt qu’avec une machine », selon OpenAI.
Actuellement, Grok n’est disponible que pour les utilisateurs du niveau Premium+ sur X (anciennement Twitter), bien qu’Elon Musk ait récemment promis de l’ouvrir aux utilisateurs Premium réguliers de X. La société a également récemment rendu open source son chatbot Grok, après que Musk ait poursuivi OpenAI et Sam Altman pour avoir prétendument abandonné sa mission à but non lucratif.