L’essor des architectures de diffusion en continu (frameworks de composants logiciels conçus pour ingérer et traiter de gros volumes de données provenant de sources multiples) stimule la demande d’amélioration de la fiabilité et des performances. Les équipes d’ingénierie codent souvent les données pour améliorer les performances des applications en utilisant ce que l’on appelle des « enveloppes de message ». Mais ceux-ci ajoutent de la complexité – et ont tendance à être difficiles et coûteux à déboguer.
Daniel Selans et Ustin Zarubin – ingénieurs de métier, ayant travaillé chez New Relic, InVision, DigitalOcean et Community.com – ont pensé qu’il fallait trouver un moyen de détecter les comportements anormaux dans les flux de données codés. Après avoir rencontré des problèmes avec les frameworks de données en streaming, ils ont cofondé Streamdal, qui non seulement alerte les utilisateurs sur les problèmes de streaming, mais peut également transformer les données en vol et retraiter les données endommagées à la volée.
« Nous avons constaté le besoin d’informations plus exploitables pour diffuser des données dans des systèmes distribués », a déclaré Selans à TechCrunch dans une interview par e-mail. « Les approches alternatives ne peuvent pas introspecter les données de streaming et s’appuient plutôt sur des métriques basées sur les métadonnées. De plus, étant donné que la plupart des entreprises utilisant le streaming utilisent également une forme d’encodage de données, il n’existe aucun outil capable de lire ces données encodées.
Au-delà de la surveillance des problèmes de données critiques, Streamdal utilise l’IA, y compris des algorithmes de traitement du langage naturel, pour détecter les informations personnellement identifiables dans les flux et prendre des mesures (par exemple, les expurger). La société gère également un package open source, Plumber, qui peut être utilisé pour creuser dans les flux de données et connecter ensemble des systèmes de streaming disparates.
Crédits image : Streamdal
Les fonctionnalités futures pourraient inclure la fourniture d’une lignée plus détaillée entre les flux de données et l’analyse des données en cours pour les modifications de schéma, déclare Selans.
Selans voit Streamdal rivaliser principalement avec des équipes d’ingénieurs internes qui ont mis en place des solutions personnalisées spécialement conçues pour leurs employeurs. Il n’était pas libre de nommer de nombreux clients pour des « raisons contractuelles », mais a révélé que Recharge et ParkMobile font partie des clients payants les plus en vue de Streamdal. Pendant ce temps, Plumber a été téléchargé plus de 150 000 fois, affirme Selans.
« Nous aidons les entreprises à surveiller et à analyser sémantiquement des milliards d’événements dans leurs architectures pilotées par les événements pour les problèmes de données tels que les modifications de schéma en temps réel qui, autrement, pourraient entraîner des pannes potentielles des clients », a déclaré Selans.
Quant aux vents contraires économiques actuels et s’ils pourraient avoir un impact sur les affaires, Selans ne pense pas qu’ils le feront. « Nous pensons que même avec des licenciements généralisés, les entreprises doivent toujours maintenir leur architecture pilotée par les événements qui alimente leurs systèmes distribués, et peuvent même avoir besoin d’un support supplémentaire pour gérer ces systèmes complexes », a-t-il ajouté.
Streamdal lui-même – un diplômé de Y Combinator – semble être bien placé pour affronter la tempête, après avoir levé 5,4 millions de dollars lors d’un tour de table dirigé par Work-Bench avec la participation de Crosscut, Verissimo, Data Council et des investisseurs providentiels anonymes. À ce jour, la société a levé 7,2 millions de dollars en financement de capital-risque, qui, selon Selans, est consacré à des embauches stratégiques (Streamdal a une équipe de dix personnes), à des initiatives de produits et de mise sur le marché.
Kelley Mak, partenaire de Work-Bench, a ajouté dans une déclaration envoyée par e-mail : « Grâce à la prolifération des architectures de données modernes et au volume considérable de données traitées sur les systèmes distribués, la mise en œuvre des bons garde-fous de performance des données pour les systèmes distribués est un défi pour beaucoup. Des services financiers aux industries hautement réglementées, il est essentiel pour les organisations de réagir de manière proactive aux « mauvaises données » afin d’éviter toute panne chez le client. Les fondateurs ont vécu cette douleur dans leurs vies passées en tant qu’ingénieurs… nous sommes tout à fait d’accord avec leur mission d’être la norme de performance des données pour les systèmes événementiels pour les équipes d’ingénierie.