Depuis la sortie de ChatGPT à la fin de l’année dernière, nous avons vu des entreprises développer des outils d’IA générative pour aider les clients à interagir avec leurs produits et services de manière plus naturelle. Pourtant, dans de nombreux cas, ces fournisseurs n’ont aucune idée des performances des grands modèles de langage sous-jacents ni de la qualité des réponses.
Context.ai a été lancé plus tôt cette année pour aider les entreprises à mieux comprendre comment les utilisateurs interagissent avec leurs LLM. Aujourd’hui, la société a annoncé un investissement initial de 3,5 millions de dollars pour développer pleinement l’idée.
Le PDG Henry Scott-Green et son co-fondateur, le CTO Alex Gamble, ont passé plusieurs années à travailler chez Google : Scott-Green sur les produits et Gamble en tant qu’ingénieur logiciel. Ensemble, ils ont reconnu la nécessité d’un service mesurant le comportement de ces modèles, et il existait très peu d’outils pour les aider.
« Nous avons parlé à des centaines de développeurs qui créent des LLM, et ils ont un ensemble de problèmes très cohérents. Ces problèmes sont qu’ils ne comprennent pas comment les gens utilisent leur modèle, ni comment leur modèle fonctionne. L’expression que j’entends toujours est que « mon modèle est une boîte noire » », a déclaré Scott-Green à TechCrunch.
À bien des égards, cela ressemble aux outils d’analyse de produits tels qu’Amplitude ou Mixpanel, qui mesurent la manière dont les utilisateurs interagissent avec l’interface d’un produit, par exemple l’endroit où ils cliquent ou la durée pendant laquelle ils restent sur une page. Dans le cas de Context, cependant, il s’agit d’explorer les données générées par le LLM et de déterminer s’il produit un contenu vraiment utile qui aide les utilisateurs à répondre aux questions des clients. Le but ultime est de construire un modèle plus efficace.
La façon dont cela fonctionne est que les clients partagent les transcriptions des discussions avec Context via une API. Il analyse ensuite les informations à l’aide du traitement du langage naturel (NLP). Le logiciel regroupe et étiquette les conversations en fonction du sujet, puis analyse chaque conversation pour déterminer, à partir des signaux disponibles, si le client était satisfait de la réponse.
Après avoir analysé le texte des transcriptions de discussion, Context.ai fournit une analyse comme celle-ci. Crédits images : Contexte.ai
« Nous pensons qu’un grand changement est en train de se produire [with the rise of LLMs], et un grand nombre de ces expériences de chat vont être créées au cours des prochaines années. Et dans ce nouveau monde, où il existe une énorme quantité d’interfaces textuelles avec lesquelles les utilisateurs interagissent via du texte, plutôt que des interfaces utilisateur graphiques, il est nécessaire de disposer d’un ensemble d’outils différent », a-t-il déclaré.
Ils ont commencé par construire un prototype initial et l’ont partagé avec les premiers clients et partenaires de conception, et depuis lors, ils ont répété pour améliorer et affiner le produit. Scott-Green indique qu’il s’agit d’un processus en cours, mais qu’ils suscitent beaucoup d’intérêt et ont des clients payants.
Il convient de noter pour ceux qui s’inquiètent de la sécurité et de la confidentialité que Context supprime les informations personnelles lors de l’ingestion. Il n’utilise pas le contenu à des fins de création de modèles ou de marketing, et il conserve le contenu pendant 180 jours maximum, après quoi il est supprimé, selon Scott-Green.
L’entreprise est actuellement petite, avec six employés, mais il voit un avenir avec une organisation en croissance, et il estime qu’il n’est jamais trop tôt pour penser à bâtir une entreprise diversifiée.
« C’est évidemment un défi pour l’écosystème des startups, et pour l’écosystème technologique en général, lorsqu’il s’agit de constituer des équipes représentatives, diversifiées et inclusives. C’est une chose en laquelle nous croyons fermement tous les deux, et je pense que plus important encore, c’est une chose sur laquelle nous agissons tous les deux également et faisons de réels efforts pour garantir que nous avons une diversité représentative inclusive. [in our employee base], » il a dit.
L’investissement d’aujourd’hui a été co-dirigé par GV (la branche capital-risque de Google) et Theory Ventures.