Le Gemini de Google est-il vraiment plus intelligent que le GPT-4 d’OpenAI ? Les détectives de la communauté le découvrent

0

Google a lancé son dernier modèle d’intelligence artificielle (IA) Gemini le 6 décembre, l’annonçant comme le modèle d’IA le plus avancé actuellement disponible sur le marché, surpassant le GPT-4 d’OpenAI.

Gemini est multimodal, ce qui signifie qu’il a été conçu pour comprendre et combiner différents types d’informations. Il est disponible en trois versions (Ultra, Pro, Nano) pour répondre à différents cas d’utilisation, et l’un des domaines dans lesquels il semble battre GPT-4 est sa capacité à effectuer des mathématiques avancées et un codage spécialisé.

À ses débuts, Google a publié plusieurs tests de référence comparant Gemini à GPT-4. La version Gemini Ultra a atteint des « performances de pointe » dans 30 des 32 tests de référence académiques utilisés dans le développement de grands modèles de langage (LLM).

Comparaison des performances Gemini et ChatGPT. Source : Google

Cependant, c’est là que les critiques sur Internet ont critiqué Gemini et remis en question les méthodes utilisées dans le test de référence qui suggèrent la supériorité de Gemini, ainsi que la commercialisation du produit par Google.

Promotion Gémeaux « trompeuse »

Un utilisateur de la plateforme de médias sociaux X qui travaille dans le domaine du développement de l’apprentissage automatique s’est demandé si l’affirmation de Gemini selon laquelle il était supérieur à GPT-4 était vraie ou non.

Il a souligné que Google pourrait faire la promotion de Gemini ou « sélectionner » des exemples de sa supériorité. Néanmoins, a-t-il conclu, « je parie que Gemini est très compétitif et donnera du fil à retordre à GPT-4 » et que la concurrence dans l’espace est bonne.

Cependant, peu de temps après, il a publié un deuxième message affirmant que Google devrait être « embarrassé » pour sa promotion « trompeuse » du produit dans une vidéo promotionnelle créée pour la sortie de Gemini.

En réponse à son tweet, d’autres utilisateurs de X ont exprimé leur sentiment d’être trompés par la représentation de Gemini par Google. Un utilisateur dit les affirmations selon lesquelles Gemini mettrait fin à l’ère du GPT-4 sont « annulées ».

Un autre utilisateur, un informaticien, a accepté et a qualifié la représentation de la supériorité de Gemini par Google de « trompeuse ».

Des benchmarks bâclés

Les utilisateurs ont souligné que Google avait inclus des tests de référence utilisant une version obsolète de GPT-4, plutôt que sa capacité actuelle, et que les comparaisons étaient donc redondantes.

Un autre sujet de préoccupation pour les détectives des médias sociaux concernait les paramètres utilisés par Google pour comparer son modèle Gemini avec GPT-4. De plus, les invites données aux deux modèles n’étaient pas identiques, ce qui pourrait avoir des implications majeures sur les résultats.

L’utilisateur a également souligné que les résultats ont été obtenus grâce à des tests effectués sur un modèle qui « n’est pas accessible au public » pour le moment. Un autre utilisateur pointu que les scores pourraient être différents si le modèle avancé de Gemini était testé par rapport à la version avancée de GPT-4 connue sous le nom de « turbo ».

En rapport: XAI d’Elon Musk dépose auprès de la SEC une vente privée de 1 milliard de dollars de titres non enregistrés

A l’épreuve

D’autres utilisateurs de médias sociaux ont décidé de rejeter les références publiées par Google et ont plutôt décrit leurs propres expériences avec Gemini par rapport à GPT-4.

Anne Moss, qui travaille dans les services de publication Web et prétend être une utilisatrice régulière de l’IA, en particulier de GPT-4, a déclaré qu’elle avait utilisé Gemini via l’outil Bard de Google et qu’elle se sentait « déçue par l’expérience ».

Elle a conclu qu’elle s’en tiendrait au GPT-4 pour l’instant, expliquant que les différences qu’elle a notées incluaient le refus de Gemini/Bard de répondre aux questions politiques et le « mensonge » sur la connaissance d’informations personnelles.

Un autre utilisateur travaillant dans le développement d’applications a publié des captures d’écran dans lesquelles il a demandé aux deux modèles, via la même invite, de générer un code basé sur une photo. Il a souligné la réponse décevante de Gemini/Bard par rapport à GPT-4.

Selon Google, il prévoit de déployer Gemini plus largement auprès du public début 2024. Le modèle sera également intégré à la suite d’applications et de services de Google.

Revue: Cas d’utilisation réels de l’IA dans la cryptographie : marchés de l’IA basés sur la cryptographie et analyse financière de l’IA