À peine une semaine après le lancement de la dernière itération de ses modèles Gemini, Google a annoncé aujourd’hui le lancement de Gemma, une nouvelle famille de modèles légers et ouverts. À commencer par Gemma 2B et Gemma 7B, ces nouveaux modèles ont été « inspirés par Gemini » et sont disponibles pour un usage commercial et de recherche.
Google ne nous a pas fourni d’article détaillé sur la façon dont ces modèles fonctionnent par rapport à des modèles similaires de Meta et Mistral, par exemple, et a seulement noté qu’ils étaient « à la pointe de la technologie ». La société a cependant noté qu’il s’agit de modèles denses uniquement à décodeur, qui sont la même architecture qu’elle a utilisée pour ses modèles Gemini (et ses modèles PaLM antérieurs), et que nous verrons les références plus tard dans la journée dans le classement de Hugging Face.
Pour démarrer avec Gemma, les développeurs peuvent accéder à des blocs-notes Colab et Kaggle prêts à l’emploi, ainsi qu’à des intégrations avec Hugging Face, MaxText et NeMo de Nvidia. Une fois pré-entraînés et réglés, ces modèles peuvent ensuite fonctionner partout.
Bien que Google souligne qu’il s’agit de modèles ouverts, il convient de noter qu’ils ne sont pas open source. En effet, lors d’un point de presse précédant l’annonce d’aujourd’hui, Jeanine Banks de Google a souligné l’engagement de l’entreprise en faveur de l’open source, mais a également noté que Google était très intentionnel dans la manière dont il faisait référence aux modèles Gemma.
« [Open models] est devenu assez répandu désormais dans l’industrie », a déclaré Banks. « Et cela fait souvent référence à des modèles de pondération ouverts, où les développeurs et les chercheurs ont un large accès pour personnaliser et affiner les modèles, mais, en même temps, les conditions d’utilisation – des choses comme la redistribution, ainsi que la propriété des variantes qui sont développés – varient en fonction des conditions d’utilisation spécifiques du modèle. Nous constatons donc une certaine différence entre ce que nous appelons traditionnellement open source et nous avons décidé qu’il était plus logique de qualifier nos modèles Gemma de modèles ouverts.
Cela signifie que les développeurs peuvent utiliser le modèle pour inférer et les affiner à volonté. L’équipe de Google affirme que ces tailles de modèle conviennent bien à de nombreux cas d’utilisation.
« La qualité de la génération s’est considérablement améliorée au cours de l’année dernière », a déclaré Tris Warkentin, directeur de la gestion des produits de Google DeepMind. « Des choses qui auraient été auparavant réservées à des modèles extrêmement grands sont désormais possibles grâce à des modèles plus petits de pointe. Cela ouvre de toutes nouvelles façons de développer des applications d’IA qui nous enthousiasment, notamment la possibilité d’exécuter des inférences et d’effectuer des réglages sur votre ordinateur de bureau ou ordinateur portable de développeur local avec votre GPU RTX ou sur un seul hôte dans GCP avec Cloud TPU, également. .»
Cela est également vrai pour les modèles ouverts des concurrents de Google dans ce domaine. Nous devrons donc voir comment les modèles Gemma fonctionnent dans des scénarios du monde réel.
En plus des nouveaux modèles, Google publie également une nouvelle boîte à outils d’IA générative responsable pour fournir « des conseils et des outils essentiels pour créer des applications d’IA plus sûres avec Gemma », ainsi qu’un outil de débogage.