L’IA fait fureur, en particulier l’IA génératrice de texte, également connue sous le nom de grands modèles de langage (pensez aux modèles du type ChatGPT). Dans une enquête récente menée auprès d’environ 1 000 entreprises, 67,2 % déclarent considérer l’adoption de grands modèles linguistiques (LLM) comme une priorité absolue d’ici début 2024.
Mais des obstacles s’y opposent. Selon la même enquête, le manque de personnalisation et de flexibilité, associé à l’incapacité de préserver les connaissances et la propriété intellectuelle de l’entreprise, ont empêché – et continuent – de nombreuses entreprises de déployer des LLM en production.
Cela a amené Varun Vummadi et Esha Manideep Dinne à réfléchir : à quoi pourrait ressembler une solution au défi de l’adoption du LLM en entreprise ? À la recherche d’un LLM, ils ont fondé Giga ML, une startup qui crée une plate-forme qui permet aux entreprises de déployer des LLM sur site, réduisant ainsi les coûts et préservant la confidentialité.
« La confidentialité des données et la personnalisation des LLM font partie des plus grands défis auxquels sont confrontées les entreprises lorsqu’elles adoptent des LLM pour résoudre des problèmes », a déclaré Vummadi à TechCrunch dans une interview par courrier électronique. « Giga ML répond à ces deux défis. »
Giga ML propose son propre ensemble de LLM, la « série X1 », pour des tâches telles que générer du code et répondre aux questions courantes des clients (par exemple « Quand puis-je m’attendre à ce que ma commande arrive ? »). La startup affirme que les modèles, construits sur Llama 2 de Meta, surpassent les LLM populaires sur certains benchmarks, en particulier l’ensemble de tests MT-Bench pour les dialogues. Mais il est difficile de dire comment X1 se compare qualitativement ; ce journaliste a essayé la démo en ligne de Giga ML mais a rencontré des problèmes techniques. (L’application a expiré, quelle que soit l’invite que j’ai tapée.)
Même si les modèles de Giga ML sont supérieurs à certains égards, cependant, peuvent-ils vraiment faire sensation dans l’océan des LLM open source et hors ligne ?
En discutant avec Vummadi, j’ai eu l’impression que Giga ML n’essayait pas tant de créer les LLM les plus performants du marché, mais plutôt de créer des outils pour permettre aux entreprises d’affiner les LLM localement sans avoir à s’appuyer sur des ressources tierces et plates-formes.
« La mission de Giga ML est d’aider les entreprises à déployer des LLM de manière sûre et efficace sur leur propre infrastructure sur site ou sur un cloud privé virtuel », a déclaré Vummadi. « Giga ML simplifie le processus de formation, de réglage fin et d’exécution des LLM en s’en occupant via une API facile à utiliser, éliminant ainsi tous les tracas associés. »
Vummadi a souligné les avantages en termes de confidentialité de l’exécution de modèles hors ligne – avantages susceptibles d’être convaincants pour certaines entreprises.
Predibase, la plateforme de développement d’IA low-code, a constaté que moins d’un quart des entreprises sont à l’aise avec l’utilisation de LLM commerciaux en raison de préoccupations liées au partage de données sensibles ou propriétaires avec les fournisseurs. Près de 77 % des répondants à l’enquête ont déclaré qu’ils n’utilisaient pas ou ne prévoyaient pas d’utiliser de LLM commerciaux au-delà des prototypes en production, citant des problèmes liés à la confidentialité, au coût et au manque de personnalisation.
« Les responsables informatiques au niveau C-suite trouvent les offres de Giga ML précieuses en raison du déploiement sécurisé sur site des LLM, des modèles personnalisables adaptés à leur cas d’utilisation spécifique et de l’inférence rapide, qui garantit la conformité des données et une efficacité maximale. » » dit Vummadi.
Giga ML, qui a levé à ce jour environ 3,74 millions de dollars en financement de capital-risque auprès de Nexus Venture Partners, Y Combinator, Liquid 2 Ventures, 8vdx et plusieurs autres, prévoit à court terme d’agrandir son équipe de deux personnes et d’accélérer la R&D de produits. Une partie du capital sert également à soutenir la clientèle de Giga ML, Vummadi a déclaré, qui comprend actuellement des sociétés « d’entreprise » anonymes dans les domaines de la finance et de la santé.