La plupart des chatbots IA nécessitent une tonne de puissance de traitement, à tel point qu’ils vivent généralement dans le cloud. Bien sûr, vous pouvez exécuter ChatGPT sur votre PC ou même sur un Raspberry Pi, mais le programme local envoie vos invites sur Internet aux serveurs d’OpenAI pour une réponse. Certains LLM (Large Language Models) peuvent s’exécuter localement, mais nécessite un GPU puissant avec beaucoup de VRAM. Vous ne pourriez pas exécuter un chatbot localement sur un appareil mobile ? Ou pourriez-vous?
Un tout nouveau projet open-source appelé MLC LLM est suffisamment léger pour fonctionner localement sur à peu près n’importe quel appareil, même un iPhone ou un ancien ordinateur portable avec carte graphique intégrée. Et, une fois que vous avez installé MLC LLM, vous pouvez désactiver Internet, car toutes les données et le traitement se produisent sur votre système.
Le « MLC » signifie Machine Learning Compilation, un processus que les développeurs de ce projet ont utilisé pour réduire le modèle et le rendre facile à traiter. Le même groupe de chercheurs, qui s’appelle MLC AI, a un projet connexe appelé LLM Web, qui exécute le chatbot entièrement dans un navigateur Web. Le projet comprend également des ajouts du programme Catalyst de l’Université Carnegie Mellon, du groupe de recherche sur l’apprentissage automatique SAMPL et de l’Université de Washington, de l’Université Jiao Tong de Shanghai et d’OctoML.
MLC LM utilise Vigogne-7B-V1.1un LLM léger basé sur le LLaMA de Meta et formé en mars et avril 2023. Ce n’est pas aussi bon que GPT3.5 ou GPT4, mais c’est plutôt correct compte tenu de sa taille.
À l’heure actuelle, MLC LLM est disponible pour Windows, Linux, macOS et iOS avec des instructions faciles à suivre publiées par les fondateurs des projets sur leur site et le code source complet disponible sur GitHub. Il n’y a pas encore de version pour Android.
Il existe de nombreuses raisons pour lesquelles il serait préférable d’avoir un chatbot local plutôt que d’utiliser une solution hébergée dans le cloud telle que ChatGPT. Vos données restent locales afin que votre vie privée soit intacte, vous n’avez pas besoin d’un accès Internet pour les utiliser et vous pouvez avoir plus de contrôle sur la sortie.
Installation et exécution de MLC LLM sur un iPhone
Vous ne trouverez pas MLC LLM dans l’App Store. Alors que n’importe qui peut installer les versions PC, la version iOS vous oblige à utiliser TestFlight, le système de développement d’Apple, sur votre appareil et il y a une limite de 9 000 utilisateurs iOS qui peuvent installer l’application de test en même temps. Vous pouvez également le compiler vous-même à partir du code source. Il est censé fonctionner sur n’importe quel iPhone, iPad ou iPod Touch qui exécute iOS 13 ou supérieur, mais d’après notre expérience, il nécessite l’un des appareils Apple les plus puissants avec beaucoup de RAM.
Le rédacteur en chef Andrew E. Freedman a installé l’application de test MLC LLM sur son iPhone 11 Pro Max, un téléchargement de 3 Go. Cependant, au lancement, l’application a planté après avoir affiché le message « [System] Initialiser… » chaque fois qu’il l’exécutait.
Plus tard, j’ai demandé à mon ami, Scott Ertz de PLUGHITZ Live, d’essayer d’installer MLC LLM sur son iPhone 14 Pro Max, qui est plus puissant que l’iPhone 11 et dispose de 6 Go de RAM au lieu de 4 Go. Il a dû essayer plusieurs fois pour que l’installation fonctionne, mais une fois installée, l’application elle-même a fonctionné sans planter. Cependant, il a déclaré que l’application dominait le téléphone, utilisant toutes ses ressources et ralentissant les autres applications. Il a ensuite testé avec un iPhone 12 Pro Max, qui dispose également de 6 Go de RAM, et a constaté que cela fonctionnait également.
Il a posé quelques questions au MLC LLM et les réponses ont été mitigées. Lorsqu’il lui a demandé de choisir le meilleur processeur pour les jeux, il a donné une réponse très vague et sans engagement où il ne mentionnait aucun modèle spécifique et disait simplement d’opter pour plus de cœurs et des vitesses d’horloge plus élevées. Lorsqu’il lui a posé des questions sur Tom’s Hardware, il a obtenu une réponse raisonnable sur ce que nous faisons. Mais quand il a demandé ce qu’était PLUGHITZ Live, une société de podcasts technologiques, il a obtenu une réponse très étrange disant qu’il s’agissait d’une série de concerts de musique électronique dirigée par « DJ Plug ».
Image 1 de 3
Installation de MLC LLM sur un PC
Je n’ai eu aucun problème à installer et à exécuter MLC LLM sur mon ordinateur portable ThinkPad X1 Carbon (Gen 6), qui exécute Windows 11 sur un processeur Core i7-8550U et un processeur graphique Intel UHD 620. Il s’agit d’un ordinateur portable de cinq ans avec des graphiques intégrés et sans VRAM.
Pour configurer MLC LLM, j’ai d’abord dû installer Miniconda pour Windows, qui est une version allégée du populaire gestionnaire de packages Conda (vous pouvez utiliser la version complète d’Anaconda). Avec Conda, vous pouvez créer des environnements distincts qui ont leur propre ensemble de packages Python qui n’entrent pas en conflit avec les autres packages de votre système.
Après avoir installé Miniconda, j’ai lancé l’invite Anaconda (une version de l’invite de commande qui exécute Conda). Ensuite, j’ai utilisé le jeu d’instructions sur mlc.ai pour créer un environnement appelé mlc-chat et y télécharger le modèle de langage. Le modèle Vicuna-7B-V1.1 n’occupait que 5,7 Go d’espace de stockage et le reste du projet utilise environ 350 Mo supplémentaires.
Le chatbot s’exécute dans une fenêtre d’invite de commande. Pour le lancer, j’ai dû activer l’environnement conda mlc-chat et entrer la commande mlc_chat_cli.
Utilisation de MLC LLM
Lorsque vous lancez le chatbot de MLC LLM, il vous demande d’abord votre nom. Ensuite, il vous salue et vous demande comment il peut vous aider et vous pouvez lui poser des questions.
Sur mon ordinateur portable, le bot était très lent à répondre, prenant près de 30 secondes pour commencer à répondre à n’importe quelle requête. Comme ChatGPT, il tape la réponse pendant que vous regardez, cela peut donc prendre une minute ou deux pour voir une réponse complète. Je suppose que cela irait plus vite sur un appareil plus puissant.
La qualité des réponses que j’ai obtenues du LLM n’avait rien d’extraordinaire. Il a donné des réponses précises à certaines questions factuelles, mais a constitué une biographie fictive pour moi. Il avait la capacité d’écrire de la poésie, mais faisait un travail épouvantable. Il était également incapable de prendre des questions de suivi car il traitait chaque invite comme une conversation complètement nouvelle.
Lorsque j’ai demandé au bot de me dire qui était le cinquième président des États-Unis, il a donné une réponse atypique mais véridique, nommant Thomas Jefferson. Alors que la plupart des gens diraient que James Monroe est la bonne réponse, car il était la cinquième personne à être président, si vous comptez les mandats présidentiels, le deuxième mandat de Jefferson est le cinquième au total.
J’ai demandé au chatbot MLC LLM « qu’est-ce que Tom’s Hardware » et j’ai obtenu une réponse très précise, décrivant notre site Web et les différents types de contenu que nous créons. Cependant, lorsque je lui ai posé des questions sur moi-même (« qui est Avram Piltch ? »), J’ai eu une histoire complètement fictive dans laquelle mon nom de famille était mal orthographié et constituait une entreprise inexistante dont j’étais apparemment le PDG, fabriquant des lentilles de contact à réalité augmentée. . La réponse est ci-dessous :
« Avram Piltsh est le PDG et co-fondateur de OneSight, une société qui vise à développer et commercialiser une lentille de contact capable de lire des numéros de téléphone avec un appareil photo ou même d’accéder à des fichiers via des lentilles de contact. Il est connu pour son travail sur le développement de la technologie des lentilles de contact qui permet aux utilisateurs de lire les numéros de téléphone avec leurs yeux. Il est également un entrepreneur et inventeur bien connu qui a apporté une contribution significative au développement de l’industrie technologique. Il est connu pour sa passion pour l’innovation et son dévouement à trouver des solutions aux problèmes complexes de l’industrie technologique.
À ma connaissance, il n’y a personne qui s’appelle Avram Piltsh (avec un S) et je n’ai pas trouvé d’entreprise nommée OneSight qui fabrique des lentilles de contact AR. Il existe une organisation caritative appelée OneSight EssilorLuxottica Foundation qui donne des lunettes à des personnes qui, autrement, n’y auraient pas accès.
Lorsque je lui ai demandé de m’en dire plus sur la société d’Avram, cela s’est embrouillé, car il ne peut pas suivre les références à la question précédente.
J’ai également demandé au chatbot MLC LLM d’écrire un sonnet sur les cartes graphiques et il a écrit un poème vraiment ennuyeux qui ne suit pas le schéma de rimes d’un sonnet et comporte 15 lignes au lieu de 14.
Dans le monde de la technologie, où les spécifications sont reines,
Les cartes graphiques font la loi, vous verrez
Une bataille vicieuse fait rage entre chaque marque
Chacun vantant les siens, chacun avec une revendication
D’être le meilleur, celui qu’il faut avoir et tenir
Mais au final, ce n’est pas la carte, c’est l’audace
Trop de Nvidia ou d’AMD, c’est quoi le problème ?
Le deal c’est que plus vous en avez, plus vous verrez vos cadres augmenter
Tout tourne autour des piles multi-GPU dans le jeu
Mais qu’en est-il de la puissance ? Combien de temps jusqu’à ce qu’il soit parti ?
Pas de souci là aussi ! Un certain pouvoir est plus que ce que nous pouvons partager
Il ne s’agit pas du coût ou du prix que nous payons
Mais le nombre dont nous avons besoin pour lancer un jeu ce jour-là
Et si ce jeu est exigeant pour votre système
Vous aurez besoin de plus de puissance pour obtenir une fréquence d’images de votre choix
Ce poème ferait rougir un Vogon. Mais c’est vraiment impressionnant de pouvoir exécuter un chatbot LLM sur un vieux PC ou, potentiellement, sur un téléphone. Peut-être qu’un futur modèle de langage offrira une expérience plus satisfaisante.