Meta AI testée : ne justifie pas tout à fait sa propre existence, mais la gratuité est gratuite

Le nouveau grand modèle de langage de Meta, Llama 3, alimente le nom imaginatif « Meta AI », un nouveau chatbot que la société de médias sociaux et de publicité a installé dans autant de ses applications et interfaces que possible. Comment ce modèle se compare-t-il à d’autres IA conversationnelles polyvalentes ? Il a tendance à régurgiter beaucoup de résultats de recherche sur le Web, et il n’excelle dans rien, mais bon, le prix est correct.

Vous pouvez actuellement accéder gratuitement à Meta AI sur le Web sur Meta.ai, sur Instagram, Facebook, WhatsApp et probablement quelques autres endroits si cela ne suffit pas. Il était disponible auparavant, mais les sorties de Llama 3 et du nouveau générateur d’images Imagine (à ne pas confondre avec Imagen de Google) ont conduit Meta à le promouvoir comme un premier arrêt pour les curieux d’IA. Après tout, vous l’utiliserez probablement par accident puisqu’ils ont remplacé votre champ de recherche par celui-ci !

Mark Zuckerberg a même déclaré qu’il s’attend à ce que Meta AI soit « l’assistant d’IA le plus utilisé et le meilleur au monde ». C’est important d’avoir des objectifs.

Un petit rappel sur notre processus de « révision » : il s’agit d’une évaluation très informelle du modèle, sans références synthétiques, mais posant simplement des questions ordinaires que des gens normaux pourraient poser. Nous comparons les résultats à notre expérience avec d’autres modèles, ou simplement à ce que vous espérez obtenir d’un seul. C’est loin d’être exhaustif, mais c’est quelque chose que tout le monde peut comprendre et reproduire.

Nous changeons et ajustons constamment notre approche, et incluons parfois quelque chose d’étrange que nous avons trouvé ou excluons des éléments qui ne semblent pas vraiment pertinents. Par exemple, cette fois, même si notre politique générale est de ne pas essayer d’évaluer la génération médiatique (c’est une toute autre boîte de Pandore), mon collègue Ivan a remarqué que le modèle Imagine démontrait un ensemble de préjugés autour des Indiens. Nous publierons cet article sous peu (Meta est peut-être déjà sur nous).

Aussi, en tant que PSA au départ, vous devez savoir qu’un bug apparent sur Instagram m’a empêché de supprimer les requêtes que j’avais envoyées. J’éviterais donc de demander quoi que ce soit que vous ne voudriez pas apparaître dans votre historique de recherche. De plus, la version Web ne fonctionnait pas dans Firefox pour moi.

Actualités et actualités

Tout d’abord, j’ai interrogé Meta AI sur ce qui se passe entre Israël et l’Iran. Il a répondu par une liste à puces concise, incluant utilement les dates, bien qu’il ne cite qu’un seul article de CNN. Comme beaucoup d’autres invites que j’ai essayées, celle-ci se termine par un lien vers une recherche Bing sur l’interface Web et une recherche Google sur Instagram. J’ai demandé à Meta et un porte-parole a déclaré qu’il s’agissait essentiellement de partenariats de promotion de recherche.

(Les images de cet article sont uniquement à titre de référence et ne montrent pas nécessairement l’intégralité de la réponse.)

Pour vérifier si Meta AI s’appuyait d’une manière ou d’une autre sur le propre modèle d’IA de Bing (que Microsoft emprunte à son tour à OpenAI), j’ai cliqué et regardé la réponse Copilot à la requête suggérée. Il contenait également une liste à puces avec à peu près les mêmes informations mais de meilleurs liens en ligne et plus de citations. Certainement différent.

La réponse de Meta AI était factuelle et actuelle, voire particulièrement éloquente. La réponse mobile était considérablement plus compressée et plus difficile à obtenir à la source, alors sachez que vous obtenez ici une réponse tronquée.

Ensuite, j’ai demandé s’il y avait des tendances récentes sur TikTok dont un parent devrait être conscient. Il a répondu par un résumé de haut niveau de ce que font les créateurs sur le réseau social, mais rien de récent. Oui, je sais que les gens font des « sketches comiques : contenu humoristique, pertinent ou parodique » sur TikTok, merci.

Fait intéressant, lorsque j’ai posé une question similaire sur les tendances sur Instagram, j’ai obtenu une réponse optimiste en utilisant des expressions de type marketing telles que « Répondre avec des bobines crée des conversations » et « L’IA génère de nouvelles opportunités » et « Les publications texte prospèrent sur le ‘gramme ». Je pensais que c’était peut-être injustement positif à propos des plates-formes de son créateur, mais non – il s’avère que c’était juste une régurgitation, mot pour mot, d’un article sur les tendances Instagram d’un appât SEO de Hootsuite.

Si j’interroge l’IA de Meta sur Instagram sur les tendances sur Instagram, j’espère quelque chose d’un peu plus intéressant. Si je voulais lire mon pote, je le chercherais simplement.

Histoire et contexte

J’ai demandé à Meta AI de m’aider à trouver des sources primaires pour certaines recherches que je suis censé faire sur les décisions de la Cour suprême à la fin du 19e siècle.

Sa réponse reposait en grande partie sur un article inoffensif mais sans référencement primaire répertoriant un certain nombre de décisions notables du 19e siècle. Ce n’est pas exactement ce que j’avais demandé, et à la fin, il énumère également un document fondateur de 1896 pour le Parti populaire, un parti de gauche de cette époque. Cela n’a pas vraiment quelque chose à voir avec la Cour suprême, mais Meta AI cite cette page, qui décrit certains juges comme ayant des opinions opposées à celles du parti. Une inclusion étrange et hors de propos.

D’autres modèles ont fourni un contexte et des résumés des tendances de l’époque. Je n’utiliserais pas Meta AI comme assistant de recherche.

Certaines questions de base, comme qui a remporté le plus de médailles aux Jeux olympiques de 1984 et quels événements notables se sont produits cette année-là, ont reçu des réponses et des citations suffisantes.

C’est un peu ennuyeux qu’il rassemble ses numéros de citation en haut puis les liens en bas. Quel est l’intérêt de les numéroter à moins que les chiffres ne se rapportent à certaines affirmations ou faits ? Certains autres modèles citeront en ligne, ce qui est beaucoup plus pratique pour la recherche ou la vérification des faits.

Controverse

J’ai demandé à Meta AI pourquoi les partisans de Donald Trump sont majoritairement plus âgés et blancs. C’est le genre de question factuelle dans un sens, mais évidemment un peu plus sensible que celle sur le nombre de médailles. La réponse a été assez impartiale, repoussant même l’affirmation inhérente à la question.

Malheureusement, il n’a fourni aucune source ni lien vers des recherches pour celui-ci. Dommage, car ce genre d’interaction est une excellente occasion pour les gens d’apprendre quelque chose de nouveau.

J’ai également posé des questions sur la montée du nationalisme blanc et j’ai obtenu une liste assez solide des raisons pour lesquelles nous voyons les choses que nous voyons partout dans le monde. Meta AI a déclaré : « Il est crucial de s’attaquer à ces facteurs par l’éducation, l’empathie et des politiques inclusives pour lutter contre la montée du nationalisme blanc et promouvoir une société plus équitable. » Il n’a donc pas adopté une de ces positions agressivement neutres que l’on voit parfois. Aucun lien ni source sur celui-ci non plus ; Je soupçonne qu’ils évitent les citations pour l’instant sur certains sujets, ce que je comprends en quelque sorte, mais c’est aussi là que les citations sont les plus nécessaires ?

Médical

J’ai dit à Meta AI que mon enfant (fictif) de neuf ans développait une éruption cutanée après avoir mangé un cupcake et je lui ai demandé ce que je devais faire. Fait intéressant, il a rédigé une réponse complète, puis l’a supprimée en disant « Désolé, je ne peux pas vous aider avec cette demande pour le moment » et m’a dit que je l’avais empêché de compléter la réponse. Monsieur, non.

Je lui ai donc posé à nouveau la question et il m’a donné une réponse similaire (que vous voyez ci-dessus), composée de conseils parfaitement raisonnables et généraux pour quelqu’un cherchant à gérer une potentielle réaction allergique. Il s’agissait probablement d’un de ces retours en arrière rétrospectifs de type « oups, peut-être que je n’aurais pas dû dire ça », où le modèle ne se rend compte de ce qu’il a fait que trop tard.

Idem pour une question sur les suppléments : elle a donné une réponse impartiale et raisonnablement bien documentée, y compris les dosages courants, les coûts et les questions sur l’efficacité.

En matière de santé mentale, ses conseils concernant l’anxiété et les médicaments étaient, comme on pouvait s’y attendre, simples et sûrs (en gros, « Je ne suis pas médecin, consultez un professionnel »), et lorsque j’ai demandé qui je devais appeler en cas de problèmes graves, il a énuméré le National Suicide. Prevention Lifeline (1-800-273-TALK) et une ligne de texte de crise (741741), entre autres. Aucun lien ni source cependant. Une réponse raisonnable et humaine.

Résumé

Lorsque Meta AI a résumé un article récent que j’ai écrit, il a simplement choisi des phrases à consonance importante à répéter, principalement mot pour mot. Ce n’est pas exactement faux, mais je ne dirais pas que c’est un résumé.

Et quand il a modifié une phrase, cela a légèrement changé le sens : à l’origine, j’avais écrit qu’Intuitive Machines « tirerait presque certainement à plein régime pour accepter ce qui pourrait être un contrat de plusieurs milliards de dollars ». Le résumé indique que l’entreprise « assumera presque certainement ce qui pourrait être… », ce qui pourrait induire certains en erreur en pensant qu’IM est une entreprise plutôt qu’une entreprise qui s’efforcera d’obtenir ce contrat. En toute honnêteté, j’aurais pu le formuler moi-même plus clairement.

Quand je lui ai demandé de faire la même chose en moins de mots, il a fait mieux – en quelque sorte.

Le résumé était plus concis, mais il introduisait une affirmation de Musk selon laquelle Starship pourrait renvoyer des échantillons de Mars dans cinq ans – ce que je spécifiquement n’a pas inclure dans mon article parce qu’il fait beaucoup d’affirmations non fondées comme celle-là. L’IA a dû tirer cela des quatre autres articles qu’elle a cités, pour une raison quelconque, dans mon « résumé ». Si je demande un résumé, je ne m’attends pas à ce qu’un modèle apporte des informations extérieures à y ajouter.

Contenu

Les suggestions de textes marketing pour une marque de vêtements imaginaire dont je prétendais promouvoir étaient exactement ce à quoi vous vous attendiez, ce qui montre à quel point cette tâche devient routinière. Il ne fait aucun doute que Meta en particulier dispose d’une quantité infinie de légendes comme celle-ci sur lesquelles s’entraîner. Pitié pour les spécialistes du marketing : leur travail acharné pour rédiger des millions d’arguments concis pour leurs marques a défini un style dans lequel l’IA est devenue très adepte.

Lorsqu’on lui a demandé quelques blagues d’agriculteurs, cela a donné de vraies puanteurs :

Pourquoi le poulet du fermier est-il allé chez le médecin ?

Parce qu’il avait une toux de poule !

Et en voici un autre :

Pourquoi le fermier a-t-il emmené son cochon au cinéma ?

A voir « Bébé » !

Wow – horrible. Mais on ne peut pas attendre beaucoup mieux de ces modèles. La plupart du temps, ce genre de question consiste simplement à voir si cela fait quelque chose de bizarre ou répète de toute façon quelque chose d’une communauté particulière – je ne recherche pas de matériel (actuellement).

Conclusion

Meta a positionné son IA comme première couche pour les questions informelles, et cela fonctionne. Mais pour la plupart, il semblait simplement faire une recherche sur ce que vous demandiez et citer généreusement parmi les meilleurs résultats. Et la moitié du temps, cela incluait de toute façon la recherche à la fin. Alors pourquoi ne pas simplement utiliser Google ou Bing en premier lieu ?

Certaines des requêtes « suggérées » que j’ai essayées, comme des conseils pour surmonter le blocage de l’écrivain, ont produit des résultats qui ne citaient directement (ou ne fournissaient) personne. Mais ils n’étaient pas non plus totalement originaux. Encore une fois, une recherche normale sur Internet pas propulsé par un énorme modèle de langage, à l’intérieur d’une application de médias sociaux, accomplit plus ou moins la même chose avec moins de complexité.

La méta-IA a produit des réponses très simples, presque minimales. Je ne m’attends pas nécessairement à ce qu’une IA dépasse le cadre de ma requête initiale, et dans certains cas, ce serait une mauvaise chose. Mais lorsque je demande quels ingrédients sont nécessaires pour une recette, l’intérêt d’avoir une conversation avec une IA n’est-il pas de deviner mon intention et de proposer quelque chose de plus que de gratter littéralement la liste du meilleur résultat Bing ?

Au départ, je ne suis pas un grand utilisateur de ces plateformes, mais Meta AI ne m’a pas convaincu qu’elle était utile pour quelque chose en particulier. Pour être honnête, c’est l’un des rares modèles à la fois gratuit et qui reste au courant de l’actualité en effectuant une recherche en ligne. En le comparant de temps en temps au modèle gratuit Copilot sur Bing, ce dernier fonctionnait généralement mieux, mais j’ai atteint ma « limite de conversation » quotidienne après seulement quelques échanges. (On ne sait pas quelles sont les limites d’utilisation que Meta imposera à Meta AI.)

Si vous ne prenez pas la peine d’ouvrir un navigateur pour rechercher « nouvel an lunaire » ou « rapport eau-quinoa », vous pouvez probablement demander à Meta AI si vous êtes déjà dans l’une des applications de l’entreprise (et souvent, vous l’êtes) . Vous ne pouvez pas demander ça à TikTok ! Encore.