Mardi, Nvidia a publié Chat With RTX, un chatbot IA personnalisé gratuit similaire à ChatGPT qui peut s’exécuter localement sur un PC équipé d’une carte graphique Nvidia RTX. Il utilise des LLM à poids ouverts Mistral ou Llama et peut rechercher dans des fichiers locaux et répondre à des questions à leur sujet.
Chat With RTX fonctionne sur les PC Windows équipés de GPU NVIDIA GeForce RTX 30 ou 40 Series avec au moins 8 Go de VRAM. Il utilise une combinaison de génération augmentée par récupération (RAG), du logiciel NVIDIA TensorRT-LLM et d’accélération RTX pour activer les capacités d’IA générative directement sur les appareils des utilisateurs. Cette configuration permet des conversations avec le modèle d’IA en utilisant des fichiers locaux comme ensemble de données.
« Les utilisateurs peuvent connecter rapidement et facilement des fichiers locaux sur un PC sous forme d’ensemble de données à un grand modèle de langage open source comme Mistral ou Llama 2, permettant des requêtes pour des réponses rapides et contextuellement pertinentes », écrit Nvidia dans un article de blog promotionnel.
Benj Edwards
En utilisant Chat With RTX, les utilisateurs peuvent parler de divers sujets ou demander au modèle d’IA de résumer ou d’analyser des données, de la même manière que l’on pourrait interagir avec ChatGPT. En particulier, le modèle Mistal-7B intègre un conditionnement pour éviter certains sujets sensibles (comme le sexe et la violence, bien sûr), mais les utilisateurs pourraient probablement d’une manière ou d’une autre brancher un modèle d’IA non censuré et discuter de sujets interdits sans le paternalisme inhérent au modèle censuré. des modèles.
En outre, l’application prend en charge une variété de formats de fichiers, notamment .TXT, .PDF, .DOCX et .XML. Les utilisateurs peuvent demander à l’outil de parcourir des dossiers spécifiques, que Chat With RTX analyse ensuite pour répondre rapidement aux requêtes. Il permet même d’incorporer des informations provenant de vidéos et de playlists YouTube, offrant ainsi la possibilité d’inclure du contenu externe dans sa base de données de connaissances (sous forme d’intégrations) sans nécessiter une connexion Internet pour traiter les requêtes.
Rugueux sur les bords
Nous avons téléchargé et exécuté Chat With RTX pour le tester. Le fichier à télécharger est énorme, environ 35 gigaoctets, en raison de l’inclusion des fichiers de poids Mistral et Llama LLM dans la distribution. (« Les poids » sont les fichiers du réseau neuronal réels contenant les valeurs qui représentent les données apprises au cours du processus de formation de l’IA.) Lors de l’installation, Chat With RTX télécharge encore plus de fichiers et s’exécute dans une fenêtre de console en utilisant Python avec une interface qui apparaît. dans une fenêtre de navigateur Web.
Plusieurs fois lors de nos tests sur une RTX 3060 avec 12 Go de VRAM, Chat With RTX plantait. Comme les interfaces LLM open source, Chat With RTX est un désordre de dépendances en couches, s’appuyant sur Python, CUDA, TensorRT et autres. Nvidia n’a pas déchiffré le code pour rendre l’installation élégante et non fragile. Il s’agit d’une solution approximative qui ressemble beaucoup à un skin Nvidia par rapport à d’autres interfaces LLM locales (telles que GPT4ALL). Il convient néanmoins de noter que cette fonctionnalité provient officiellement directement de Nvidia.
Le bon côté des choses (un très bon côté des choses) est que la capacité de traitement local met l’accent sur la confidentialité des utilisateurs, car les données sensibles n’ont pas besoin d’être transmises à des services basés sur le cloud (comme avec ChatGPT). L’utilisation de Mistral 7B semble tout aussi performante que le GPT-3 du début de 2022, ce qui est toujours remarquable pour un LLM local fonctionnant sur un GPU grand public. Ce n’est pas encore un véritable remplacement de ChatGPT, et il ne peut pas toucher GPT-4 Turbo ou Google Gemini Pro/Ultra en termes de capacité de traitement.
Les propriétaires de GPU Nvidia peuvent télécharger gratuitement Chat With RTX sur le site Web de Nvidia.