Les entreprises sont de plus en plus curieuses de l’IA et de la manière dont elle peut être utilisée pour (potentiellement) augmenter la productivité. Mais ils se méfient également des risques. Dans une récente enquête Workday, les entreprises citent l’actualité et la fiabilité des données sous-jacentes, les biais potentiels, ainsi que la sécurité et la confidentialité comme les principaux obstacles à la mise en œuvre de l’IA.
Sentant une opportunité commerciale, Scott Clark, qui a précédemment cofondé la plateforme de formation et d’expérimentation en IA SigOpt (acquise par Intel en 2020), a décidé de créer ce qu’il décrit comme « un logiciel qui rend l’IA sûre, fiable et sécurisée ». Clark a lancé une société, Distributional, pour lancer la version initiale de ce logiciel, dans le but d’étendre et de standardiser les tests pour différents cas d’utilisation de l’IA.
« Distributional construit la plate-forme d’entreprise moderne pour les tests et l’évaluation de l’IA », a déclaré Clark à TechCrunch dans une interview par courrier électronique. « À mesure que la puissance des applications d’IA augmente, le risque de préjudice augmente également. Notre plateforme est conçue pour permettre aux équipes de produits d’IA d’identifier, de comprendre et de traiter de manière proactive et continue les risques liés à l’IA avant qu’ils ne nuisent à leurs clients en production.
Clark a eu l’idée de lancer Distributional après avoir rencontré des défis liés à l’IA liés à la technologie lors de l’acquisition d’Intel après l’acquisition de SigOpt. Alors qu’il supervisait une équipe en tant que vice-président et directeur général de l’IA et du calcul haute performance chez Intel, il a trouvé presque impossible de garantir que des tests d’IA de haute qualité se déroulaient à une cadence régulière.
« Les leçons que j’ai tirées de ma convergence d’expériences ont souligné la nécessité de tester et d’évaluer l’IA », a poursuivi Clark. « Qu’il s’agisse d’hallucinations, d’instabilité, d’inexactitude, d’intégration ou de dizaines d’autres défis potentiels, les équipes ont souvent du mal à identifier, comprendre et gérer les risques liés à l’IA grâce aux tests. Des tests d’IA appropriés nécessitent une compréhension approfondie et distributionnelle, ce qui est un problème difficile à résoudre.
Le produit principal de Distributional vise à détecter et à diagnostiquer les « dommages » causés par l’IA à partir de grands modèles de langage (à la ChatGPT d’OpenAI) et d’autres types de modèles d’IA, en essayant de déterminer de manière semi-automatique quoi, comment et où tester les modèles. Le logiciel offre aux organisations une vue « complète » des risques liés à l’IA, explique Clark, dans un environnement de pré-production qui s’apparente à un bac à sable.
« La plupart des équipes choisissent d’assumer le risque lié au comportement des modèles et acceptent que les modèles auront des problèmes. » dit Clark. « Certains peuvent essayer des tests manuels ad hoc pour détecter ces problèmes, ce qui nécessite beaucoup de ressources, est désorganisé et est intrinsèquement incomplet. D’autres peuvent essayer de détecter passivement ces problèmes avec des outils de surveillance passive une fois l’IA en production… [That’s why] notre plateforme comprend un cadre de test extensible pour tester et analyser en continu la stabilité et la robustesse, un tableau de bord de test configurable pour visualiser et comprendre les résultats des tests, et une suite de tests intelligente pour concevoir, hiérarchiser et générer la bonne combinaison de tests.
Maintenant, Clark était vague sur les détails de la façon dont tout cela fonctionne – et sur les grandes lignes de la plate-forme de Distributional d’ailleurs. Il est très tôt, a-t-il déclaré pour sa défense ; Distributional est toujours en train de co-concevoir le produit avec des entreprises partenaires.
Donc, étant donné que Distributional est en pré-revenu, en pré-lancement et sans clients payants, comment peut-il espérer rivaliser avec les plateformes de test et d’évaluation d’IA déjà sur le marché ? Après tout, il y en a beaucoup, notamment Kolena, Prolific, Giskard et Patronus, dont beaucoup sont bien financés. Et comme si la concurrence n’était pas assez intense, des géants de la technologie comme Google Cloud, AWS et Azure proposent également des outils d’évaluation de modèles.
Clark dit qu’il croit que Distributional se différencie par le côté entreprise de ses logiciels. « Dès le premier jour, nous développons des logiciels capables de répondre aux exigences de confidentialité, d’évolutivité et de complexité des données des grandes entreprises dans des secteurs à la fois non réglementés et hautement réglementés », a-t-il déclaré. « Les types d’entreprises avec lesquelles nous concevons notre produit ont des exigences qui s’étendent au-delà des offres existantes disponibles sur le marché, qui ont tendance à être des outils axés sur les développeurs individuels. »
Si tout se passe comme prévu, Distributional commencera à générer des revenus l’année prochaine, une fois que sa plate-forme sera lancée en disponibilité générale et que quelques-uns de ses partenaires de conception se seront convertis en clients payants. En attendant, la startup lève des capitaux auprès de sociétés de capital-risque ; Distributional a annoncé aujourd’hui avoir clôturé un tour de table de 11 millions de dollars dirigé par Martin Casado d’Andreessen Horowitz avec la participation d’Operator Stack, Point72 Ventures, SV Angel, Two Sigma et d’investisseurs providentiels.
« Nous espérons inaugurer un cercle vertueux pour nos clients », a déclaré Clark. « Grâce à de meilleurs tests, les équipes auront plus de confiance dans le déploiement de l’IA dans leurs applications. À mesure qu’ils déploieront davantage d’IA, ils verront son impact croître de façon exponentielle. Et à mesure qu’ils verront cette échelle d’impact, ils l’appliqueront à des problèmes plus complexes et plus significatifs, qui à leur tour nécessiteront encore plus de tests pour garantir qu’ils sont sûrs, fiables et sécurisés.