Lors d’un événement à Londres mardi, Meta a confirmé qu’elle prévoyait une première version de Llama 3 – la prochaine génération de son grand modèle de langage utilisé pour alimenter les assistants d’IA génératifs – au cours du mois prochain.
Cela confirme un rapport publié lundi par The Information selon lequel Meta était sur le point d’être lancé.
« Au cours du mois prochain, voire moins, et espérons-le dans un laps de temps très court, nous espérons commencer à déployer notre nouvelle suite de modèles de fondations de nouvelle génération, Llama 3 », a déclaré Nick Clegg, président des affaires mondiales de Meta. Il a décrit ce qui ressemble à la sortie de plusieurs itérations ou versions différentes du produit. « Il y aura un certain nombre de modèles différents avec des capacités et des polyvalences différentes. [released] au cours de cette année, et cela commence vraiment très bientôt.
Le plan, a ajouté Chris Cox, directeur des produits de Meta, consistera à alimenter plusieurs produits à travers Meta avec Llama 3.
Meta s’est efforcé de rattraper OpenAI, qui l’a pris par surprise, ainsi que d’autres grandes entreprises technologiques comme Google, lorsqu’elle a lancé ChatGPT il y a plus d’un an et que l’application est devenue virale, transformant les questions et réponses génératives de l’IA en expériences quotidiennes grand public.
Meta a largement adopté une approche très prudente en matière d’IA, mais cela n’a pas été bien accueilli par le public, les versions précédentes de Llama étant critiquées comme étant trop limitées. (Llama 2 a été rendu public en juillet 2023. La première version de Llama n’a pas été rendue publique, mais elle a quand même été divulguée en ligne.)
Llama 3, dont la portée est plus grande que ses prédécesseurs, devrait résoudre ce problème, avec des capacités non seulement à répondre aux questions avec plus de précision, mais également à répondre à un plus large éventail de questions pouvant inclure des sujets plus controversés. Il espère que cela permettra au produit de séduire les utilisateurs.
« Notre objectif au fil du temps est de faire d’une méta-IA alimentée par Llama l’assistant le plus utile au monde », a déclaré Joelle Pineau, vice-présidente de la recherche en IA. « Il reste encore beaucoup de travail pour y arriver. » La société n’a pas parlé de la taille des paramètres qu’elle utilise dans Llama 3, et n’a pas non plus proposé de démonstration de son fonctionnement. Il devrait contenir environ 140 milliards de paramètres, contre 70 milliards pour le plus grand modèle Llama 2.
Plus particulièrement, les familles Llama de Meta, conçues comme des produits open source, représentent une approche philosophique différente de la manière dont l’IA devrait se développer en tant que technologie plus large. Ce faisant, Meta espère gagner la faveur des développeurs par rapport aux modèles plus propriétaires.
Mais Meta semble également jouer avec plus de prudence, en particulier lorsqu’il s’agit d’autres IA génératives au-delà de la génération de texte. La société n’a pas encore lancé Emu, son outil de génération d’images, a déclaré Pineau.
« La latence est très importante, tout comme la sécurité et la facilité d’utilisation, pour générer des images dont vous êtes fier et qui représentent quel que soit votre contexte créatif », a déclaré Cox.
Ironiquement – ou peut-être de manière prévisible (heh) – même si Meta travaille au lancement de Llama 3, il y a d’importants sceptiques en matière d’IA générative dans la maison.
Yann LeCun, célèbre universitaire en IA et également scientifique en chef de Meta, s’est penché sur les limites de l’IA générative dans son ensemble et a déclaré que son pari était sur ce qui suivrait. Il prédit qu’il s’agira d’une architecture de prédiction d’intégration conjointe (JEPA), une approche différente à la fois de la formation de modèles et de la production de résultats, que Meta a utilisée pour créer une IA prédictive plus précise dans le domaine de la génération d’images.
« L’avenir de l’IA, c’est JEPA. Ce n’est pas une IA générative », a-t-il déclaré. « Nous allons devoir changer le nom de la division produits de Chris. »