Alors que l’IA passe de plus en plus du cloud vers l’appareil, comment, exactement, est-on censé savoir si tel ou tel nouvel ordinateur portable exécutera une application alimentée par l’IA générative plus rapidement que les ordinateurs portables concurrents du commerce – ou les ordinateurs de bureau ou tous ? -en-un, d’ailleurs ? Savoir pourrait faire la différence entre attendre quelques secondes pour qu’une image soit générée ou quelques minutes – et comme on dit, le temps, c’est de l’argent.
MLCommons, le groupe industriel à l’origine d’un certain nombre de normes d’analyse comparative matérielle liées à l’IA, souhaite faciliter les comparaisons avec le lancement de tests de performances ciblés sur les « systèmes clients », c’est-à-dire les PC grand public.
Aujourd’hui, MLCommons a annoncé la formation d’un nouveau groupe de travail, MLPerf Client, dont l’objectif est d’établir des références en matière d’IA pour les ordinateurs de bureau, les ordinateurs portables et les postes de travail exécutant Windows, Linux et d’autres systèmes d’exploitation. MLCommons promet que les tests seront « axés sur des scénarios », se concentrant sur des cas d’utilisation réels d’utilisateurs finaux et « fondés sur les commentaires de la communauté ».
À cette fin, le premier benchmark de MLPerf Client se concentrera sur les modèles de génération de texte, en particulier Llama 2 de Meta, qui, selon le directeur exécutif de MLCommons, David Kanter, a déjà été intégré aux autres suites d’analyse comparative de MLCommons pour le matériel des centres de données. Meta a également effectué un travail approfondi sur Llama 2 avec Qualcomm et Microsoft pour optimiser Llama 2 pour Windows, au grand bénéfice des appareils exécutant Windows.
« Le moment est venu d’intégrer MLPerf aux systèmes clients, car l’IA devient un élément attendu de l’informatique partout dans le monde », a déclaré Kanter dans un communiqué de presse. «Nous sommes impatients de faire équipe avec nos membres pour apporter l’excellence de MLPerf dans les systèmes clients et générer de nouvelles capacités pour la communauté au sens large.»
Les membres du groupe de travail MLPerf Client comprennent AMD, Arm, Asus, Dell, Intel, Lenovo, Microsoft, Nvidia et Qualcomm, mais notamment pas Apple.
Apple n’est pas non plus membre de MLCommons et un directeur de l’ingénierie de Microsoft (Yannis Minadakis) co-préside le groupe MLPerf Client, ce qui rend l’absence de l’entreprise peu surprenante. Le résultat décevant, cependant, est que quels que soient les tests d’IA évoqués par MLPerf Client, ils ne seront pas testés sur les appareils Apple – du moins pas à court terme.
Néanmoins, cet écrivain est curieux de voir quels types de tests et d’outils émergent du client MLPerf, compatible avec macOS ou non. En supposant que GenAI soit là pour rester – et rien n’indique que la bulle est sur le point d’éclater de sitôt – je ne serais pas surpris de voir ces types de mesures jouer un rôle croissant dans les décisions d’achat d’appareils.
Dans mon meilleur des cas, les benchmarks du client MLPerf s’apparentent aux nombreux outils de comparaison de versions de PC en ligne, donnant une indication sur les performances d’IA que l’on peut attendre d’une machine particulière. Peut-être qu’ils s’étendront même aux téléphones et aux tablettes à l’avenir, compte tenu de la participation de Qualcomm et d’Arm (tous deux sont fortement investis dans l’écosystème des appareils mobiles). Ce n’est clairement que le début – mais il y a de l’espoir.