Le nouveau chatbot Claude d’Anthropic bat le GPT-4o d’OpenAI dans certains tests

Anthropic a déployé jeudi son nouveau modèle de langage d’IA, Claude 3.5 Sonnet. Le chatbot mis à jour surpasse le précédent modèle haut de gamme de l’entreprise, Claude 3 Opus, tout en fonctionnant deux fois plus vite. Les utilisateurs de Claude (y compris ceux disposant de comptes gratuits) peuvent le consulter à partir d’aujourd’hui.

Sonnet, qui tend à être le modèle le plus équilibré d’Anthropic, est la première version de la famille Claude 3.5. La société affirme que Claude 3.5 Haiku (le plus rapide de chaque génération) et Claude 3.5 Opus (le plus puissant) arriveront plus tard cette année. (Ces modèles resteront sur la version 3 entre-temps.) La mise à jour Sonnet arrive quelques mois seulement après l’arrivée de la famille Claude 3, démontrant la vitesse vertigineuse à laquelle les entreprises d’IA s’efforcent de cracher leurs dernières et meilleures nouveautés.

Graphique montrant des comparaisons de benchmarks entre les modèles récents de chatbot IA : Claude 3.5 Sonnet, Claude 3 Opus, GPT-4o, Gemini 1.5 Pro et Llama-400b.

Anthropique

Anthropic affirme que Claude 3.5 Sonnet marque un pas en avant dans la compréhension des nuances, de l’humour et des invites compliquées, et peut écrire sur un ton plus naturel. Les références (ci-dessus) montrent que le nouveau modèle bat les records de l’industrie en matière de raisonnement au niveau des cycles supérieurs, de connaissances au niveau du premier cycle et de maîtrise du codage. Il bat le GPT-4o d’OpenAI sur de nombreux benchmarks publiés par Anthropic. Cependant, les derniers modèles Claude, ChatGPT, Gemini et Llama ont tendance à obtenir des scores à quelques points de pourcentage les uns des autres dans la plupart des tests, soulignant la concurrence serrée.

La société affirme que Claude 3.5 Sonnet est également meilleur dans l’interprétation des entrées visuelles que Claude 3.0 Opus. Anthropic affirme que le nouveau modèle peut « transcrire avec précision du texte à partir d’images imparfaites », une compétence qui, espère-t-elle, attirera les clients des secteurs de la vente au détail, de la logistique et des services financiers qui ont besoin d’extraire des données à partir de tableaux, de graphiques et d’autres indices visuels.

La mise à jour de Claude apporte également un nouvel espace de travail que la société appelle Artifacts (ci-dessus). Lorsque vous invitez le chatbot à générer du contenu comme du code, des documents texte ou des conceptions Web, une fenêtre dédiée apparaît à droite du chat. À partir de là, vous pouvez inviter Claude à apporter des modifications, et la fenêtre Artefacts sera mise à jour avec sa dernière sortie.

L’entreprise considère Artifacts comme une première étape pour faire de Claude un espace de collaboration d’équipe plus large. « Dans un avenir proche, des équipes – et éventuellement des organisations entières – pourront centraliser en toute sécurité leurs connaissances, leurs documents et leur travail en cours dans un seul espace partagé, avec Claude faisant office de coéquipier à la demande », a écrit l’entreprise dans un communiqué de presse. .

Claude 3.5 Sonnet est disponible dès maintenant pour toute personne disposant d’un compte sur son site Internet, ainsi que dans l’application Claude iOS. (Sur ces deux plates-formes, les abonnés Claude Pro et Team obtiennent un nombre de jetons plus élevé.) Vous pouvez également y accéder via l’API Anthropic, Amazon Bedrock et Vertex AI de Google Cloud. Il coûte 3 $ par million de jetons d’entrée et 15 $ par million de jetons de sortie, soit le même que le modèle précédent.

Source-145