Union AI, une startup open source basée à Bellevue, Washington, qui aide les entreprises à créer et à orchestrer leurs flux de travail d’IA et de données à l’aide d’une plate-forme d’automatisation native du cloud, a annoncé aujourd’hui qu’elle avait levé une ronde de série A de 19,1 millions de dollars auprès de NEA et Nava Entreprises. La société a également annoncé la disponibilité générale de son service Union Cloud entièrement géré.
Au cœur d’Union se trouve Flyte, un outil open source permettant de créer des plates-formes d’automatisation des flux de travail de niveau production en mettant l’accent sur les piles de données, d’apprentissage automatique et d’analyse. L’idée derrière la plate-forme était de créer une plate-forme unique que les équipes peuvent ensuite utiliser pour créer leurs pipelines ETL et leurs workflows d’analyse, ainsi que leurs pipelines d’apprentissage automatique. Et bien qu’il existe d’autres projets sur le marché qui offrent des capacités d’orchestration similaires, l’idée ici est de créer un outil spécialement conçu pour les besoins des équipes d’apprentissage automatique.
Flyte a été développé à l’origine au sein de Lyft, où le PDG et co-fondateur d’Union AI, Ketan Umare, a développé certains des premiers modèles d’ETA et de trafic basés sur l’apprentissage automatique de l’entreprise en 2016. À l’époque, Lyft devait assembler divers systèmes open source pour mettre ces modèles en production.
« Nous avons quelque chose qui tourne, mais dans les coulisses, c’était un homme derrière le rideau. Cela se passait, mais c’était beaucoup de travail », a déclaré Umare. « Ce que nous avons appris, c’est que d’autres équipes de l’entreprise étaient également en difficulté – et il s’agissait d’équipes massives. Et ce qui se passe lorsque les équipes luttent, c’est qu’elles ne peuvent pas garder le talent. C’est un gros problème, mais quelle en était la racine? Ils n’étaient pas en mesure de livrer leurs affaires et ils n’étaient pas en mesure d’expliquer pourquoi ils n’étaient pas en mesure de livrer. Il s’agit d’un problème d’infrastructure.
Crédits image : Union.ai
Il a donc entrepris avec une petite équipe de construire l’outillage d’infrastructure pour permettre à ces équipes de construire plus facilement leurs modèles et de les mettre en production. Mais il y avait toujours des frictions entre les ingénieurs en logiciel et les spécialistes de l’apprentissage automatique. « La raison en était que – du moins de la manière dont je l’ai distillé – je pense que les logiciels et les systèmes d’apprentissage automatique ou les produits d’IA sont des bêtes intrinsèquement différentes », a expliqué Umare. Selon lui, les logiciels mûrissent généralement avec le temps, tandis que les modèles d’IA ont tendance à se détériorer. Ces modèles, a-t-il noté, changent également souvent en fonction de facteurs externes sur lesquels les utilisateurs ont peu de contrôle. « Vous ne pouvez donc pas utiliser la même infrastructure que celle que vous utilisez pour [software deployments], » il a dit.
À ce stade, l’équipe a décidé d’ouvrir son travail sous la forme de Flyte et de travailler avec d’autres pour créer une plate-forme plus native d’apprentissage automatique.
Comme c’est souvent le cas, Umare et quatre autres membres de l’équipe originale de Flyte ont alors décidé de créer une startup autour de ces idées fondamentales et du projet open source Flyte, avec le lancement d’Union AI fin 2020.
Actuellement, Flyte est utilisé par des entreprises comme blackshark.ai, HBO, Intel, LinkedIn, Spotify, Stripe, Wolt et ZipRecruiter.
« Ce qui est amusant dans le fait de travailler avec ces grandes entreprises – ce que nous faisons dans l’open source – c’est que nous travaillons sur certains des plus grands modèles de notre plate-forme. Nous savons donc que cela fonctionne et nous n’avons pas eu à construire quoi que ce soit spécifiquement parce que nous le faisons depuis des années. Nous avons juste dû prolonger quelques choses », a déclaré Umare.
« Sur la base d’une seule équipe, nous voyons 10 fois plus de tâches de formation hors ligne envoyées par Flyte, ce qui se traduit par des versions de modèles 5 fois plus fréquentes avec des gains commerciaux considérables », a déclaré Mick Jermsurawong, ingénieur en infrastructure d’apprentissage automatique chez Stripe. « Je pense que la réalisation ici est que la productivité ML n’est pas une bonne chose mais en fait une exigence commerciale. »
Mais la plate-forme Union AI ne se contente pas de construire Flyte-as-a-service. L’équipe a également construit Pandera (un cadre pour les tests de données) et Union ML (un cadre qui repose sur Flyte et aide les équipes à créer et à déployer leurs modèles à l’aide de leur ensemble d’outils existant). Union Cloud combine tous ces éléments et superpose un ensemble d’outils d’entreprise, tels que l’authentification unique.
« L’apprentissage automatique, et en particulier les grands modèles de langage, soulèvent de gros problèmes de confidentialité et de sécurité des informations. Les entreprises sont de plus en plus réticentes à utiliser des services où elles perdent le contrôle de ce qui se passe précisément avec leurs données », a déclaré Greg Papadopoulos, partenaire de capital-risque, NEA. « Combiner la puissance des grands modèles avec des données d’entreprise riches doit être manipulé avec soin – c’est l’une des raisons pour lesquelles nous sommes si enthousiasmés par les progrès réalisés par l’équipe Union.AI, d’abord avec Flyte et maintenant avec Union Cloud. C’est exactement ce que les gens demandent et un véritable différenciateur : laissez-moi exploiter la puissance des grands modèles de langage tout en gardant le contrôle et la propriété de mes données. »