Le succès de grands modèles de langage comme GPT a déclenché une frénésie de développeurs désireux de créer des applications alimentées par l’IA. Mais la création de services d’IA peut être délicate, notamment en raison de la pénurie de développeurs qualifiés pour répondre à la demande croissante de nos jours.
C’est là qu’intervient Chaoyu Yang, l’un des premiers ingénieurs en logiciel de la méga-licorne de données Databricks. Avec ses co-fondateurs, il a construit le framework de développement d’IA BentoML, qui vient d’annoncer un tour de financement de démarrage.
Yang, dans une interview avec TechCrunch, a expliqué que les services d’IA d’aujourd’hui sont souvent construits sur plusieurs modèles d’apprentissage automatique, ce qui complique leur gestion et leur fonctionnement. De nombreux programmeurs entrant dans la mêlée viennent d’une formation complète ou de développement d’applications, ce qui signifie qu’ils n’ont souvent pas les compétences nécessaires pour créer l’infrastructure d’IA requise, ce qui entraîne un processus de développement prolongé.
Une application de démonstration d’IA comme Visual ChatGPT de Microsoft, une mise à niveau du chatbot qui lui permet de produire des réponses à partir d’invites de texte et d’image, par exemple, peut prendre au moins trois à six mois pour la rendre prête pour la production, a déclaré Yang.
Alors que les géants de la technologie comme Microsoft profitent des prouesses financières et du capital humain pour former des modèles d’IA et les utiliser dans le monde réel, les petites entreprises, selon les mots de Yang, collectent « des données précieuses qui peuvent bénéficier énormément de l’IA » mais « manquent de ressources ». pour construire l’infrastructure du développement.
BentoML, qui fournit une API de haut niveau qui résume les détails de l’infrastructure nécessaire pour exécuter des modèles d’IA sur le cloud, appartient à un camp d’outils comme SageMaker qui veut faciliter le développement de services d’IA. Il s’agit d’un soi-disant cadre d’application d’IA, un ensemble d’outils qui facilitent la création, l’expédition et la mise à l’échelle d’applications d’IA, comme un kit d’outils de construction que l’on utilise pour construire une maison.
Plus précisément, BentoML cible les scientifiques des données qui forment des modèles d’IA, les ingénieurs DevOp qui gèrent leur cycle de vie et les développeurs qui créent réellement des applications au-dessus des modèles.
Avec BentoML, les développeurs peuvent rendre Visual ChatGPT évolutif et rentable pour une utilisation en production en aussi peu que deux jours, a déclaré Yang. Les utilisateurs ont également utilisé le framework pour exécuter le générateur d’art Stable Diffusion et des LLM open source sur le cloud.
Yang a comparé son entreprise à Vercel, qui se concentre sur les développeurs front-end et a été évaluée pour la dernière fois à plus d’un milliard de dollars. BentoML vise à être le Vercel de l’IA, a-t-il déclaré.
Alors que Yang a prédit que l’IA finirait par devenir plus prête pour la production, il a admis qu’il ne pensait pas que la vague d’applications d’IA arriverait si tôt. Le fondateur s’attend à ce que les développeurs d’applications d’IA représentent plus de 90 % des utilisateurs de la plate-forme à l’avenir.
« Si vous me posiez la question il y a un an, je dirais que probablement 90 % des entreprises formeraient leurs propres modèles, mais les modèles de base qui ont récemment émergé sont si puissants qu’ils peuvent bien fonctionner même avec un ensemble de données qu’il n’a jamais vu auparavant », a-t-il déclaré.
« Plutôt que de se concentrer sur la formation de modèles, les développeurs n’ont plus qu’à travailler sur le réglage fin et l’ingénierie des produits, qui en eux-mêmes présentent un goulot d’étranglement en raison de la pénurie de développeurs axés sur l’IA. »
BentoML était open source en 2019 et a ensuite introduit une version SaaS auto-hébergée pour les entreprises clientes. Il a acquis des utilisateurs de manière organique grâce à sa communauté open source, qui a quadruplé le nombre de ses membres à plus de 3 000 au cours de l’année écoulée, les géants sud-coréens des réseaux sociaux Line et Naver étant parmi ses premiers utilisateurs.
Yang a refusé de divulguer le chiffre d’affaires de l’entreprise.
Les investisseurs prennent note de la traction de BentoML dans la communauté des développeurs. La startup a récemment levé 9 millions de dollars grâce à son cycle de financement de démarrage dirigé par DCM Ventures, avec Bow Capital également participant. Le commandité de DCM, Hurst Lin, a rejoint le conseil d’administration de BentoML après la ronde.
Le marché exubérant de l’IA a été une aubaine pour BentoML, mais l’évolution rapide de l’industrie rend également difficile pour l’équipe de jongler avec les objectifs à court et à long terme, a admis Yang.
« Vous devrez peut-être construire des choses qui suivent la tendance actuelle, mais à long terme, nous voulons bien sûr avoir notre propre douve. La question est de savoir comment équilibrer notre temps et nos ressources humaines entre les deux.