Lors du lancement d’OctoML en 2019, son objectif principal était d’optimiser les modèles d’apprentissage automatique (ML). Depuis lors, la société a ajouté des fonctionnalités qui facilitent le déploiement de modèles ML (et a levé 132 millions de dollars). Aujourd’hui, la société lance la dernière itération de son service – et bien qu’il ne s’agisse pas tout à fait d’un pivot, elle déplace l’accent de la société de l’optimisation des modèles vers l’aide aux entreprises à utiliser les modèles open source existants et à les affiner avec leurs propres données ou à utiliser le service pour héberger leurs propres modèles personnalisés.
La nouvelle plate-forme OctoML – surnommée OctoAI – est un service de calcul auto-optimisant pour l’IA, avec un accent particulier sur l’IA générative, qui aide les entreprises à créer des applications basées sur ML et à les mettre en production sans avoir à se soucier de l’infrastructure sous-jacente.
« La plate-forme précédente était axée sur les ingénieurs ML et optimisait et emballait les modèles dans des conteneurs pouvant être déployés sur différents ensembles de matériel », a expliqué le co-fondateur et PDG d’OctoML, Luis Ceze. « Nous avons beaucoup appris de cela, mais la prochaine évolution naturelle est d’avoir un service de calcul entièrement géré qui résume tout cela [ML infrastructure] loin. »
Crédits image : OctoML
Avec OctoAI, les utilisateurs décident simplement de ce qu’ils veulent prioriser (pensez à la latence par rapport au coût) et OctoAI choisira automatiquement le bon matériel pour eux. Le service optimisera également automatiquement ces modèles (ce qui entraînera des économies de coûts et des gains de performances supplémentaires) et décidera s’il est préférable de les exécuter sur des GPU Nvidia ou sur les machines Inferentia d’AWS. Cela enlève une grande partie de la complexité de la mise en production des modèles, ce qui est encore souvent un obstacle pour de nombreux projets ML. Les utilisateurs qui souhaitent avoir un contrôle total sur le fonctionnement de leurs modèles peuvent, bien sûr, également définir leurs propres paramètres et décider sur quel matériel ils doivent fonctionner. Ceze, cependant, pense que la plupart des utilisateurs choisiront de laisser OctoAI gérer tout cela pour eux.
Crédits image : OctoML
Il est également utile qu’OctoML propose des versions accélérées de modèles de fond de teint populaires tels que Dolly 2, Whisper, FILM, FLAN-UL2 et Stable Diffusion prêts à l’emploi, avec plus de modèles en cours de route. OctoML a réussi à faire fonctionner Stable Diffusion trois fois plus vite et à réduire le coût de 5 fois par rapport à l’exécution du modèle vanille.
Il convient de noter que même si OctoML continuera à travailler avec les clients existants qui souhaitent uniquement utiliser le service pour optimiser leurs modèles, l’entreprise se concentrera à l’avenir sur cette nouvelle plate-forme de calcul.