OctoML, la start-up d’apprentissage automatique bien financée qui aide les entreprises à optimiser et à déployer leurs modèles, a lancé aujourd’hui une mise à jour majeure de son produit qui permettra aux développeurs d’intégrer beaucoup plus facilement les modèles ML dans leurs applications. Avec cette nouvelle version, OctoML peut désormais transformer les modèles ML en fonctions logicielles portables avec lesquelles les développeurs peuvent interagir via une API cohérente. Grâce à cela, il sera également plus facile d’intégrer ces modèles dans les workflows DevOps existants.
Comme me l’a dit le fondateur et PDG d’OctoML, Luis Ceze, il pense qu’il s’agit d’un moment majeur pour l’entreprise. Ceze, en collaboration avec le technologue en chef de la société, Tianqi Chen, le CPO Jason Knight, le CTO Jared Roesch et le vice-président des partenariats technologiques Thierry Moreau, ont fondé la société pour produire TVM, un framework de compilateur d’apprentissage automatique open source qui aide les ingénieurs ML à optimiser leurs modèles pour un matériel spécifique. .
Crédits image : OctoML
« Wpoule nous a débuté OctoML, nous a dit : Let c’est Fabriquer TVM comme un sservice », a déclaré Cèze. « We appris un parcelle de ce mais alors c’est devenu effacer uns nous travaillé avec Suite clients ce IA/ML déploiement est encore aussi dur. »
Il a noté qu’à mesure que les outils pour ingérer des données et créer des modèles se sont améliorés au cours des dernières années, l’écart entre ce que ces modèles peuvent faire et leur intégration réelle dans des applications n’a fait que croître. Donc, en transformant essentiellement les modèles en fonctions, cet écart disparaît en grande partie. Ce nouveau système élimine une grande partie de cette complexité pour les développeurs, ce qui aidera sûrement à mettre plus de modèles en production. Actuellement, selon les chiffres auxquels vous faites confiance, plus de la moitié des modèles ML formés ne parviennent jamais à la production, après tout.
Étant donné qu’OctoML propose déjà des outils pour que ces modèles s’exécutent essentiellement n’importe où, bon nombre de ces choix concernant l’endroit où déployer un modèle peuvent désormais également être automatisés. « Wchapeau nous distingue de toute autre solution est la aptitude à obtenir la maquette pour déploiement, intégrez-le dans la application – et alors Cours sur n’importe quel endpoint », a déclaré Ceze et a noté que cela change également la donne pour l’autoscaling, car cela permet aux ingénieurs de créer des systèmes d’autoscaling qui peuvent déplacer le modèle vers des processeurs et des accélérateurs avec différentes caractéristiques de performance selon les besoins.
Cependant, la capacité des modèles en tant que fonctions n’est qu’une partie des annonces de la société aujourd’hui. Une autre nouveauté de la plate-forme est un nouvel outil qui aide OctoML à utiliser l’apprentissage automatique pour optimiser les modèles d’apprentissage automatique. Le service peut détecter et résoudre automatiquement les dépendances et nettoyer et optimiser le code du modèle. Il existe également une nouvelle interface de ligne de commande OctoML locale et une prise en charge du serveur d’inférence Triton de Nvidia qui peut désormais être utilisée avec le nouveau service de modèle en tant que fonction.
« Nvidia Triton est une abstraction puissante qui permet aux utilisateurs de tirer parti de plusieurs cadres d’apprentissage en profondeur et de technologies d’accélération à la fois sur le processeur et le GPU Nvidia », a déclaré Jared Roesch, CTO d’OctoMl. « De plus, en combinant Nvidia Triton avec OctoML, nous permettons aux utilisateurs de choisir, d’intégrer et de déployer plus facilement les fonctionnalités alimentées par Triton. Le flux de travail OctoML augmente encore la valeur utilisateur des déploiements basés sur Triton en intégrant de manière transparente la technologie d’accélération OctoML, vous permettant de tirer le meilleur parti des couches de service et de modèle.
Pour l’avenir, Ceze a noté que l’entreprise, qui est passée de 20 employés à plus de 140 depuis 2020, se concentrera sur l’offre de son service à davantage d’appareils de pointe, y compris les smartphones et, grâce à son partenariat avec Qualcomm, d’autres appareils alimentés par Snapdragon.
« Til Horaire semble droit car comme nous parler à gens ce sommes déploiement à la nuage, à présent elles ou ils tout disent qu’ils ont des plans à déployer sur la bord, aussi », a-t-il déclaré.