Meta a fait une déclaration remarquable dans une annonce publiée aujourd’hui destinée à donner plus de clarté sur ses algorithmes de recommandation de contenu. Il se prépare pour des systèmes d’analyse comportementale « d’ordres de grandeur » plus grands que les plus grands grands modèles de langage, y compris ChatGPT et GPT-4. Est-ce vraiment nécessaire?
De temps en temps, Meta décide de renouveler son engagement envers la transparence en expliquant le fonctionnement de quelques-uns de ses algorithmes. Parfois, cela est révélateur ou informatif, et parfois cela ne mène qu’à plus de questions. Cette occasion est un peu des deux.
En plus des « fiches système » expliquant comment l’IA est utilisée dans un contexte ou une application donnée, le réseau social et publicitaire a publié un aperçu des modèles d’IA qu’il utilise. Par exemple, il peut être utile de savoir si une vidéo représente le roller hockey ou le roller derby, même s’il y a un certain chevauchement visuel, afin de pouvoir la recommander correctement.
En effet, Meta a été parmi les organismes de recherche les plus prolifiques dans le domaine de l’IA multimodale, qui combine des données de plusieurs modalités (visuelles et auditives, par exemple) pour mieux comprendre un contenu.
Peu de ces modèles sont rendus publics, même si nous entendons souvent parler de la façon dont ils sont utilisés en interne pour améliorer des choses comme la « pertinence », qui est un euphémisme pour le ciblage. (Ils permettent à certains chercheurs d’y accéder.)
Vient ensuite cette petite friandise intéressante car elle décrit comment elle construit ses ressources de calcul :
Afin de comprendre en profondeur et de modéliser les préférences des gens, nos modèles de recommandation peuvent avoir des dizaines de billions de paramètres – des ordres de grandeur plus grands que même les plus grands modèles de langage utilisés aujourd’hui.
J’ai pressé Meta d’être un peu plus précis sur ces modèles théoriques de dizaines de billions, et c’est exactement ce qu’ils sont : théoriques. Dans une déclaration de clarification, la société a déclaré: « Nous pensons que nos modèles de recommandation ont le potentiel d’atteindre des dizaines de billions de paramètres. » Cette formulation revient un peu à dire que vos hamburgers « peuvent » avoir des galettes de 16 onces, mais à admettre ensuite qu’ils sont encore au stade d’un quart de livre. Néanmoins, l’entreprise déclare clairement qu’elle vise à « s’assurer que ces très grands modèles peuvent être entraînés et déployés efficacement à grande échelle ».
Une entreprise construirait-elle une infrastructure coûteuse pour des logiciels qu’elle n’a pas l’intention de créer ou d’utiliser ? Cela semble peu probable, mais Meta a refusé de confirmer (mais ils n’ont pas non plus nié) qu’ils poursuivaient activement des modèles de cette taille. Les implications sont claires, donc même si nous ne pouvons pas traiter ce modèle à l’échelle des dizaines de billions comme existant, nous peut traitez-le comme véritablement ambitieux et probable dans les travaux.
« Comprendre et modéliser les préférences des gens », d’ailleurs, doit être compris comme une analyse du comportement des utilisateurs. Vos préférences réelles pourraient probablement être représentées par une liste en clair d’une centaine de mots. Il peut être difficile de comprendre, à un niveau fondamental, pourquoi vous auriez besoin d’un modèle aussi vaste et complexe pour gérer les recommandations, même pour quelques milliards d’utilisateurs.
La vérité est que l’espace problématique est en effet énorme : il existe des milliards et des milliards de contenus, tous accompagnés de métadonnées, et sans aucun doute toutes sortes de vecteurs complexes montrant que les personnes qui suivent la Patagonie ont également tendance à faire des dons à la World Wildlife Federation, achètent de plus en plus mangeoires d’oiseaux coûteuses et ainsi de suite. Il n’est donc peut-être pas si surprenant qu’un modèle entraîné sur toutes ces données soit assez volumineux. Mais « des ordres de grandeur plus grands » que même le plus grand là-bas, quelque chose de formé sur pratiquement tous les travaux écrits accessibles ?
Il n’y a pas de paramètre fiable sur GPT-4, et les leaders du monde de l’IA ont également constaté qu’il s’agit d’une mesure réductrice des performances, mais ChatGPT est d’environ 175 milliards et GPT-4 est censé être supérieur à cela mais inférieur. que les 100 trillions sauvages de revendications. Même si Meta exagère un peu, c’est quand même effrayant.
Pensez-y : un modèle d’IA aussi grand ou plus grand que tous ceux qui ont été créés… ce qui se passe d’un côté est chaque action que vous entreprenez sur les plates-formes de Meta, ce qui ressort de l’autre est une prédiction de ce que vous ferez ou aimerez ensuite. Un peu effrayant, n’est-ce pas?
Bien sûr, ils ne sont pas les seuls à le faire. TikTok a mené la charge en matière de suivi et de recommandation algorithmiques, et a construit son empire des médias sociaux sur son flux addictif de contenu «pertinent» destiné à vous faire défiler jusqu’à ce que vos yeux vous fassent mal. Ses concurrents sont ouvertement envieux.
Meta vise clairement à aveugler les annonceurs avec la science, à la fois avec l’ambition déclarée de créer le plus grand modèle du marché, et avec des passages comme ceux-ci :
Ces systèmes comprennent les préférences de comportement des gens en utilisant des modèles d’attention à très grande échelle, des réseaux de neurones graphiques, un apprentissage en quelques coups et d’autres techniques. Les innovations clés récentes incluent une nouvelle architecture de récupération neuronale profonde hiérarchique, qui nous a permis de surpasser de manière significative diverses lignes de base de pointe sans régresser la latence d’inférence ; et une nouvelle architecture d’ensemble qui exploite des modules d’interaction hétérogènes pour mieux modéliser les facteurs pertinents pour les intérêts des gens.
Le paragraphe ci-dessus n’est pas destiné à impressionner les chercheurs (ils connaissent tout cela) ou les utilisateurs (ils ne comprennent pas ou ne s’en soucient pas). Mais mettez-vous à la place d’un annonceur qui commence à se demander si son argent est bien dépensé dans les publicités Instagram plutôt que dans d’autres options. Cette palabre technique est destinée à les éblouir, à les convaincre que non seulement Meta est un chef de file dans la recherche sur l’IA, mais que l’IA excelle véritablement à «comprendre» les intérêts et les préférences des gens.
Au cas où vous en douteriez : « plus de 20 % du contenu des flux Facebook et Instagram d’une personne est désormais recommandé par l’IA à partir de personnes, de groupes ou de comptes qu’elle ne suit pas. » Juste ce que nous avons demandé! Alors c’est ça. L’IA fonctionne très bien.
Mais tout cela rappelle aussi l’appareil caché au cœur de Meta, Google et d’autres entreprises dont le premier principe motivant est de vendre des publicités avec un ciblage de plus en plus granulaire et précis. La valeur et la légitimité de ce ciblage doivent être constamment réitérées alors même que les utilisateurs se révoltent et que la publicité se multiplie et insinue plutôt qu’elle ne s’améliore.
Jamais Meta n’a fait quelque chose de sensé comme me présenter une liste de 10 marques ou passe-temps et me demander lequel j’aime. Ils préfèrent surveiller mon épaule pendant que je parcoure le Web à la recherche d’un nouvel imperméable et agir comme si c’était un exploit d’intelligence artificielle avancée lorsqu’ils me servent des annonces d’imperméables le lendemain. Il n’est pas tout à fait clair que cette dernière approche est supérieure à la première, ou si oui, à quel point ? L’ensemble du Web a été construit autour d’une croyance collective dans le ciblage publicitaire de précision et maintenant la dernière technologie est déployée pour le soutenir pour une nouvelle vague de dépenses marketing plus sceptique.
Bien sûr, vous avez besoin d’un modèle avec dix billions de paramètres pour vous dire ce que les gens aiment. Sinon, comment pourriez-vous justifier le milliard de dollars que vous avez dépensé pour le former !