Il y a deux semaines, Meta a annoncé son dernier modèle de langage d’IA : LLaMA. Bien que non accessible au public comme OpenAI ChatGPT ou Bing de Microsoft, LLaMA est la contribution de Meta à une montée en puissance de la technologie du langage de l’IA qui promet de nouvelles façons d’interagir avec nos ordinateurs ainsi que de nouveaux dangers.
Meta n’a pas publié LLaMA en tant que chatbot public (bien que le propriétaire de Facebook est les construisant aussi) mais comme un package open-source auquel n’importe qui dans la communauté de l’IA peut demander l’accès. L’intention, a déclaré l’entreprise, est de « démocratiser davantage l’accès » à l’IA pour stimuler la recherche sur ses problèmes. Les méta avantages si ces systèmes sont moins bogués, ils dépenseront donc volontiers l’argent pour créer le modèle et le distribuer pour que d’autres puissent le dépanner.
« Même avec toutes les avancées récentes dans les grands modèles de langage, l’accès complet à la recherche reste limité en raison des ressources nécessaires pour former et exécuter de si grands modèles », a déclaré la société dans un communiqué. article de blog. « Cet accès restreint a limité la capacité des chercheurs à comprendre comment et pourquoi ces grands modèles de langage fonctionnent, entravant les progrès des efforts visant à améliorer leur robustesse et à atténuer les problèmes connus, tels que les biais, la toxicité et le potentiel de génération de fausses informations. »
Le modèle de langage d’IA à la pointe de la technologie de Meta a été divulgué sur 4chan une semaine après sa sortie
Cependant, une semaine seulement après que Meta a commencé à répondre aux demandes d’accès à LLaMA, le modèle a été divulgué en ligne. Le 3 mars, un torrent téléchargeable du système a été publié sur 4chan et s’est depuis répandu dans diverses communautés d’IA, suscitant un débat sur la bonne façon de partager la recherche de pointe à une époque de changement technologique rapide.
Certains disent que la fuite aura des conséquences troublantes et reprochent à Meta d’avoir distribué la technologie trop librement. « Préparez-vous à de nombreuses tentatives de spam et de phishing personnalisées », tweeté le chercheur en cybersécurité Jeffrey Ladish après l’annonce de la nouvelle. « L’open sourcing de ces modèles était une très mauvaise idée. »
D’autres sont plus optimistes, affirmant que l’accès ouvert est nécessaire pour développer des garanties pour les systèmes d’IA et que des modèles de langage tout aussi complexes ont déjà été rendus publics sans causer de préjudice significatif.
« On nous dit depuis un moment qu’une vague d’utilisations malveillantes [of AI language models] arrive », ont écrit les chercheurs Sayash Kapoor et Arvind Narayanan dans un article de blog. « Pourtant, il ne semble pas y avoir de cas documentés. » (Rapports de remise Kapoor et Narayanan des étudiants tricher avec ChatGPT ou des sites envahis par du spam IA ou la publication de journalisme IA rempli d’erreurs, car ces applications ne sont pas destinées à causer du tort et ne sont, par définition, pas malveillantes.)
Le bord a parlé à un certain nombre de chercheurs en intelligence artificielle qui ont téléchargé le système divulgué et ont déclaré qu’il était légitime, dont un – Matthew Di Ferrante – qui a pu comparer la version divulguée au modèle officiel LLaMA distribué par Meta et a confirmé qu’ils correspondaient. Meta a refusé de répondre aux questions de Le bord sur l’authenticité ou l’origine de la fuite, bien que Joelle Pineau, directrice générale de Meta AI, confirmé dans un communiqué de presse que « Alors que le [LLaMA] modèle n’est pas accessible à tous… certains ont essayé de contourner le processus d’approbation.
LLaMA est une IA puissante – si vous avez le temps, l’expertise et le bon matériel
Alors, quel est le danger d’un LLaMA en liberté ? Et comment le modèle de Meta se compare-t-il aux chatbots accessibles au public comme ChatGPT et le nouveau Bing ?
Eh bien, le point le plus important est que le téléchargement de LLaMA ne fera que très peu pour l’internaute moyen. Il ne s’agit pas d’un chatbot prêt à parler, mais d’un système d’IA « brut » qui nécessite une quantité décente d’expertise technique pour être opérationnel. (Un petit aparté: LLaMA n’est pas non plus un seul système mais quatre des modèles de tailles et d’exigences de calcul différentes. Plus à ce sujet plus tard.)
Di Ferrante raconte Le bord que « toute personne familiarisée avec la configuration de serveurs et d’environnements de développement pour des projets complexes » devrait être en mesure de rendre LLaMA opérationnel « avec suffisamment de temps et des instructions appropriées ». (Bien qu’il soit intéressant de noter que Di Ferrante est également un ingénieur expérimenté en apprentissage automatique ayant accès à un « poste de travail d’apprentissage automatique doté de 4 GPU de 24 Go » et donc non représentatif de la population en général.)
LLaMA est un modèle « brut » qui nécessite beaucoup de travail pour devenir opérationnel
En plus des barrières matérielles et de connaissances, LLaMA n’a pas non plus été «ajusté» pour des conversations comme ChatGPT ou Bing. Le réglage fin est le processus par lequel les capacités de génération de texte polyvalentes d’un modèle de langage sont concentrées sur une tâche plus spécifique. Cette tâche peut être assez vaste — par exemple, dire à un système de « répondre aux requêtes des utilisateurs aussi précisément et clairement que possible » — mais un tel réglage fin est une étape nécessaire et souvent difficile dans la création d’un produit convivial.
Compte tenu de ces limitations, il est peut-être utile de considérer LLaMA comme un immeuble d’appartements non meublé. Une grande partie du travail lourd a été fait – le cadre a été construit et il y a de l’électricité et de la plomberie en place – mais il n’y a pas de portes, de sols ou de meubles. Vous ne pouvez pas simplement emménager et l’appeler chez vous.
Stella Biderman, directrice du laboratoire de recherche sur l’IA à but non lucratif EleutherAI et chercheuse en apprentissage automatique chez Booz Allen Hamilton, a déclaré que les exigences de calcul du modèle seraient la « contrainte numéro un » à son utilisation efficace. « La plupart des gens ne possèdent pas le matériel nécessaire pour exécuter [the largest version of LLaMA] du tout, encore moins efficacement », a déclaré Biderman Le bord.
Ces mises en garde mises à part, LLaMA reste un outil extrêmement puissant. Le modèle est disponible en quatre tailles, qui sont mesurées en milliards de paramètres (une métrique qui se traduit approximativement par le nombre de connexions au sein de chaque système). Il y a un LLaMA-7B, 13B, 30B et 65B. Meta dit que la version 13 milliards – qui peut être exécutée sur un seul GPU A100, un système de niveau entreprise qui est relativement accessible, coûte quelques dollars de l’heure à louer sur des plates-formes cloud – surpasse le modèle GPT-3 à 175 milliards de paramètres d’OpenAI sur de nombreux benchmarks pour les modèles de langage d’IA.
« Je pense qu’il est très probable que cette version du modèle soit une étape importante. »
Il y a bien sûr beaucoup de débats sur la validité de ces comparaisons. Les repères d’IA sont connus pour ne pas se traduire par une utilisation dans le monde réel, et certains utilisateurs de LLaMA ont eu du mal à obtenir une sortie décente du système (alors que d’autres ont suggéré qu’il s’agissait simplement d’un problème de compétence). Mais pris ensemble, ces paramètres suggèrent que, s’ils sont affinés, LLaMA offrira des fonctionnalités similaires à ChatGPT. Et de nombreux observateurs pensent que la nature compacte de LLaMA aura un effet significatif sur la stimulation du développement.
« Je pense qu’il est très probable que cette version du modèle soit une étape importante », a déclaré Shawn Presser, un chercheur indépendant en IA qui a aidé à distribuer le modèle divulgué. Le bord. Dit Presser: la possibilité d’exécuter LLaMA sur un seul GPU A100 – auquel «la plupart d’entre nous ont accès… ou connaissent quelqu’un qui peut nous en utiliser un pendant un moment» – est un «énorme bond en avant».
L’avenir de la recherche en IA : ouverte ou fermée ?
La fuite LLaMA est également intéressante car elle s’inscrit dans une lutte idéologique en cours dans le monde plus large de l’IA : la bataille entre les systèmes « fermés » et « ouverts ».
Définir ce débat nécessite un peu de simplification, et toutes les entreprises, chercheurs et modèles existent quelque part sur un spectre entre ces deux pôles. Mais essentiellement, il y a des ouvreurs, qui plaident pour un meilleur accès à la recherche et aux modèles d’IA, et des fermants, qui pensent que ces informations et cette technologie doivent être distribuées avec plus de prudence.
La motivation de ces camps est alignée (les deux veulent moins de mauvais trucs d’IA et plus de bons trucs d’IA dans le monde), mais leurs approches diffèrent. Les ouvreurs affirment que ce n’est qu’en testant largement les systèmes d’IA que des vulnérabilités peuvent être trouvées et des garanties développées et que le fait de ne pas ouvrir cette technologie concentrera le pouvoir entre les mains d’entreprises indifférentes. Les plus proches répondent qu’une telle mêlée générale est dangereuse et qu’à mesure que l’IA devient de plus en plus sophistiquée, les enjeux des tests en public deviennent de plus en plus élevés. Seules des institutions fermées peuvent contrôler et atténuer correctement ces menaces.
Pour ceux qui veulent plus d’ouverture, la fuite LLaMA est une bénédiction. Di Ferrante dit qu’il pense généralement que le fait d’avoir des systèmes open source « est un bien net car cela nous empêche d’entrer dans une situation de monopole où OpenAI et al. sont les seules entités capables de servir des [AI models].” Presser est d’accord et dit que l’état «brut» de LLaMA est particulièrement attrayant à cet égard. Cela signifie que des chercheurs indépendants peuvent affiner les systèmes de Meta en fonction de leurs propres objectifs ; aménager son cadre vide en boutiques, bureaux ou ce qu’ils veulent.
Presser imagine que les futures versions de LLaMA pourraient être hébergées sur votre ordinateur et formées sur vos e-mails ; capable de répondre à des questions sur vos horaires de travail, vos idées passées, vos listes de tâches, etc. C’est une fonctionnalité que les startups et les entreprises technologiques développent, mais pour de nombreux chercheurs en IA, l’idée d’un contrôle local est beaucoup plus attrayante. (Pour les utilisateurs typiques, les compromis en matière de coût et de confidentialité pour la facilité d’utilisation feront probablement basculer les choses dans l’autre sens.)
« Si nous ne respectons pas les tentatives de bonne foi des gens de diffuser la technologie [it makes it] plus difficile pour les gens de libérer des choses.
Indépendamment de la force des modèles ouverts ou fermés de diffusion de l’IA, Biderman note que la fuite est probablement préjudiciable en termes de réduction de la confiance entre des entreprises comme Meta et les universitaires avec lesquels elles partagent leurs recherches. « Si nous ne respectons pas les tentatives de bonne foi des gens de diffuser la technologie d’une manière qui soit conforme à leurs obligations légales et éthiques, cela ne fera que créer une relation plus conflictuelle entre le public et les chercheurs et rendre plus difficile pour les gens de publier des choses, » note-t-elle.
Cependant, nous avons déjà vu des événements comme celui-ci. Bien que ce soit OpenAI qui ait introduit pour la première fois les systèmes de conversion de texte en image dans le courant dominant avec DALL-E 2 (qu’il a publié avec une ironie d’entreprise sans faille en tant qu’API fermée), la société a été prise à contre-pied par le lancement de Stable Diffusion, un open- source alternative. L’arrivée de Stable Diffusion a déclenché d’innombrables applications et améliorations dans l’espace artistique de l’IA et a conduit – pour reprendre mes termes précédents – à la fois à plus de bonnes choses et plus de mauvaises choses se produisent. Avec le LLaMA de Meta en liberté, nous verrons probablement une dynamique similaire se jouer une fois de plus avec la génération de texte par IA : plus de choses, plus souvent.