OctoAI (anciennement OctoML), a annoncé aujourd’hui le lancement d’OctoStack, sa nouvelle solution de bout en bout pour déployer des modèles d’IA génératifs dans le cloud privé d’une entreprise, que ce soit sur site ou dans un cloud privé virtuel d’un des principaux fournisseurs, notamment AWS, Google, Microsoft et Azure, ainsi que Coreweave, Lambda Labs, Snowflake et autres.
À ses débuts, OctoAI se concentrait presque exclusivement sur l’optimisation des modèles pour qu’ils fonctionnent plus efficacement. Sur la base du framework de compilateur d’apprentissage automatique Apache TVM, la société a ensuite lancé sa plate-forme TVM-as-a-Service et, au fil du temps, l’a étendue en une offre de service de modèles à part entière combinant ses outils d’optimisation avec une plate-forme DevOps. Avec l’essor de l’IA générative, l’équipe a ensuite lancé la plateforme OctoAI entièrement gérée pour aider ses utilisateurs à gérer et à affiner les modèles existants. OctoStack, à la base, est cette plate-forme OctoAI, mais pour les déploiements privés.
Crédits images : OctoAI
Aujourd’hui, Luis Ceze, PDG et co-fondateur d’OctoAI, m’a dit que la société compte plus de 25 000 développeurs sur la plate-forme et des centaines de clients payants en production. Beaucoup de ces entreprises, a déclaré Ceze, sont des entreprises natives de GenAI. Le marché des entreprises traditionnelles souhaitant adopter l’IA générative est cependant nettement plus vaste, il n’est donc peut-être pas surprenant qu’OctoAI s’en prenne désormais également à elles avec OctoStack.
« Une chose qui est devenue claire est que, alors que le marché des entreprises passe de l’expérimentation à l’année dernière aux déploiements, tout d’abord, elles regardent autour d’elles parce qu’elles sont nerveuses à l’idée d’envoyer des données via une API », a déclaré Ceze. « Deuxièmement : beaucoup d’entre eux ont également engagé leur propre calcul, alors pourquoi vais-je acheter une API alors que j’ai déjà mon propre calcul ? Et troisièmement, quelles que soient les certifications que vous obtenez et la taille de votre nom, ils ont l’impression que leur IA est précieuse comme leurs données et ils ne veulent pas les envoyer. Il existe donc un besoin très clair au sein de l’entreprise de contrôler le déploiement.
Ceze a noté que l’équipe construisait depuis un certain temps déjà l’architecture pour offrir à la fois sa plate-forme SaaS et hébergée. Et bien que la plate-forme SaaS soit optimisée pour le matériel Nvidia, OctoStack peut prendre en charge une gamme beaucoup plus large de matériel, y compris les GPU AMD et l’accélérateur Inferentia d’AWS, ce qui rend le défi d’optimisation assez difficile (tout en tirant parti des atouts d’OctoAI).
Le déploiement d’OctoStack devrait être simple pour la plupart des entreprises, car OctoAI fournit la plate-forme avec des conteneurs prêts à l’emploi et leurs graphiques Helm associés pour les déploiements. Pour les développeurs, l’API reste la même, qu’ils ciblent le produit SaaS ou OctoAI dans leur cloud privé.
Le cas d’utilisation canonique de l’entreprise continue d’utiliser le résumé de texte et RAG pour permettre aux utilisateurs de discuter avec leurs documents internes, mais certaines entreprises affinent également ces modèles sur leurs bases de code interne pour exécuter leurs propres modèles de génération de code (similaires à ce que GitHub propose désormais). aux utilisateurs de Copilot Enterprise).
Pour de nombreuses entreprises, pouvoir le faire dans un environnement sécurisé et strictement sous leur contrôle est ce qui leur permet désormais de mettre ces technologies en production pour leurs employés et leurs clients.
« Pour notre cas d’utilisation sensible aux performances et à la sécurité, il est impératif que les modèles qui traitent les données des appels s’exécutent dans un environnement offrant flexibilité, évolutivité et sécurité », a déclaré Dali Kaafar, fondateur et PDG d’Apate AI. « OctoStack nous permet d’exécuter facilement et efficacement les modèles personnalisés dont nous avons besoin, dans les environnements que nous choisissons, et de fournir l’échelle dont nos clients ont besoin.