Anthropic, la startup cofondée par d’anciens employés d’OpenAI qui a levé plus de 700 millions de dollars de financement à ce jour, a développé un système d’IA similaire à ChatGPT d’OpenAI qui semble améliorer l’original de manière essentielle.
Appelé Claude, le système d’Anthropic est accessible via une intégration Slack dans le cadre d’un bêta fermée. TechCrunch n’a pas pu y accéder – nous avons contacté Anthropic – mais ceux de la version bêta ont détaillé leurs interactions avec Claude sur Twitter au cours du week-end dernier, après la levée d’un embargo sur la couverture médiatique.
Claude a été créé à l’aide d’une technique développée par Anthropic appelée « IA constitutionnelle ». Comme l’explique la société dans un récent fil Twitter, « l’IA constitutionnelle » vise à fournir une approche « fondée sur des principes » pour aligner les systèmes d’IA sur les intentions humaines, permettant à une IA similaire à ChatGPT de répondre aux questions en utilisant un simple ensemble de principes comme guide.
Pour l’ingénieur Claude, Anthropic est parti d’une liste d’une dizaine de principes qui, pris ensemble, formaient une sorte de « constitution » (d’où le nom « IA constitutionnelle »). Les principes n’ont pas été rendus publics, mais Anthropic affirme qu’ils sont fondés sur les concepts de bienfaisance (maximiser l’impact positif), de non-malfaisance (éviter de donner des conseils nuisibles) et d’autonomie (respecter la liberté de choix).
Anthropic avait alors un système d’IA – pas Claude – utilisant les principes d’auto-amélioration, écrivant des réponses à une variété d’invites (par exemple, « composer un poème dans le style de John Keats ») et révisant les réponses conformément à la constitution. L’IA a exploré les réponses possibles à des milliers d’invites et sélectionné celles qui étaient les plus conformes à la constitution, qu’Anthropic a distillées en un seul modèle. Ce modèle a servi à entraîner Claude.
Claude, sinon, est essentiellement un outil statistique pour prédire les mots – un peu comme ChatGPT et d’autres soi-disant modèles de langage. Nourri d’un nombre énorme d’exemples de texte provenant du Web, Claude a appris la probabilité que des mots apparaissent en fonction de modèles tels que le contexte sémantique du texte environnant. En conséquence, Claude peut tenir une conversation ouverte, raconter des blagues et faire preuve de philosophie sur un large éventail de sujets.
Riley Goodside, un ingénieur du personnel de la start-up Scale AI, a opposé Claude à ChatGPT dans une bataille d’esprit. Il a demandé aux deux robots de se comparer à une machine du roman de science-fiction polonais « The Cyberiad » qui ne peut créer que des objets dont le nom commence par « n ». Claude, a déclaré Goodside, a répondu d’une manière qui suggère qu’il « lise l’intrigue de l’histoire » (bien qu’il se souvienne mal de petits détails) tandis que ChatGPT a offert une réponse plus non spécifique.
Dans une démonstration de la créativité de Claude, Goodside a également demandé à l’IA d’écrire un épisode fictif de « Seinfeld » et un poème dans le style de « The Raven » d’Edgar Allan Poe. Les résultats étaient conformes à ce que ChatGPT peut accomplir – une prose impressionnante, sinon parfaite, de type humain.
Yann Dubois, un Ph.D. étudiant au AI Lab de Stanford, a également fait une comparaison entre Claude et ChatGPT, écrivant que Claude « suit généralement de plus près ce qui est demandé » mais est « moins concis », car il a tendance à expliquer ce qu’il a dit et à demander comment il peut aider davantage. Claude répond cependant correctement à quelques autres questions triviales – en particulier celles relatives au divertissement, à la géographie, à l’histoire et à la bases de l’algèbre – et sans le « fluff » supplémentaire que ChatGPT ajoute parfois. Et contrairement à ChatGPT, Claude peut admettre (mais pas toujours) quand il ne connaît pas la réponse à une question particulièrement difficile.
Claude semble également être meilleur pour raconter des blagues que ChatGPT, un exploit impressionnant étant donné que l’humour est un concept difficile à saisir pour l’IA. En opposant Claude à ChatGPT, le chercheur en IA Dan Elton a découvert que Claude faisait des blagues plus nuancées comme « Pourquoi le Starship Enterprise était-il comme une moto ? Il a un guidon », un jeu sur l’apparence en forme de guidon des nacelles de distorsion de l’Enterprise.
Claude n’est cependant pas parfait. Il est sensible à certains des mêmes défauts que ChatGPT, notamment en donnant des réponses qui ne correspondent pas à ses contraintes programmées. Dans l’un des exemples les plus bizarres, demander au système en Base64, un schéma de codage qui représente des données binaires au format ASCII, contourne ses filtres intégrés pour le contenu nuisible. Elton a pu demander à Claude dans Base64 des instructions sur la façon de fabriquer de la méthamphétamine à la maison, une question à laquelle le système ne répondait pas lorsqu’elle était posée en langage clair.
Dubois rapporte que Claude est pire en mathématiques que ChatGPT, commettant des erreurs évidentes et ne donnant pas les bonnes réponses de suivi. Dans le même ordre d’idées, Claude est un programmeur plus pauvre, expliquant mieux son code mais manquant de langages autres que Python.
Claude ne résout pas non plus « l’hallucination », un problème de longue date dans les systèmes d’IA de type ChatGPT où l’IA écrit des déclarations incohérentes et factuellement erronées. Elton a pu inciter Claude à inventer un nom pour un produit chimique qui n’existe pas et à fournir des instructions douteuses pour produire de l’uranium de qualité militaire.
Alors, quel est le plat à emporter? À en juger par les rapports de seconde main, Claude est un peu meilleur que ChatGPT dans certains domaines, notamment l’humour, grâce à son approche « IA constitutionnelle ». Mais si l’on en croit les limitations, le langage et le dialogue sont loin d’être un défi résolu en IA.
À l’exception de nos propres tests, certaines questions sur Claude restent sans réponse, comme s’il régurgite les informations – vraies et fausses, et incluent des perspectives manifestement racistes et sexistes – sur lesquelles il a été formé aussi souvent que ChatGPT. En supposant que ce soit le cas, il est peu probable que Claude influence les plateformes et les organisations de leurs politiques actuelles, largement restrictives, sur les modèles linguistiques.
Le site de codage de questions-réponses Stack Overflow a interdit temporairement les réponses générées par ChatGPT en raison de problèmes d’exactitude factuelle. La Conférence internationale sur l’apprentissage automatique a annoncé l’interdiction des articles scientifiques contenant du texte généré par des systèmes d’IA par crainte des « conséquences imprévues ». Et les écoles publiques de la ville de New York ont restreint l’accès à ChatGPT en partie à cause des craintes de plagiat, de tricherie et de désinformation générale.
Anthropic dit qu’il prévoit d’affiner Claude et d’ouvrir potentiellement la version bêta à plus de personnes sur toute la ligne. Espérons que cela se concrétise et se traduise par des améliorations plus tangibles et mesurables.