C’est une vérité universelle de la nature humaine que les développeurs qui construisent le code ne devraient pas être ceux qui le testent. Tout d’abord, la plupart d’entre eux détestent cette tâche. Deuxièmement, comme tout bon protocole d’audit, ceux qui effectuent le travail ne devraient pas être ceux qui le vérifient.
Il n’est donc pas surprenant que les tests de code sous toutes leurs formes – tests d’utilisabilité, tests spécifiques à un langage ou à une tâche, tests de bout en bout – soient au centre d’un nombre croissant de startups d’IA générative. Chaque semaine, TechCrunch en couvre un autre comme Antithèse (levé 47 millions de dollars), CodiumAI (levé 11 millions de dollars) et QA Wolf (levé 20 millions de dollars). Et de nouveaux émergent tout le temps, comme le nouveau diplômé de Y Combinator. Momentique.
Une autre entreprise est la start-up Nova AI, âgée d’un an, diplômée de l’accélérateur Unusual Academy et qui a levé un million de dollars en pré-amorçage. Il tente de battre ses concurrents avec ses outils de test de bout en bout en enfreignant de nombreuses règles de la Silicon Valley sur le fonctionnement des startups, a déclaré le fondateur et PDG Zach Smith à TechCrunch.
Alors que l’approche standard de Y Combinator consiste à commencer petit, Nova AI s’adresse aux entreprises de taille moyenne à grande avec des bases de code complexes et un besoin urgent. Smith a refusé de nommer des clients utilisant ou testant son produit, sauf pour les décrire comme étant principalement des startups en phase avancée (série C ou au-delà) financées par du capital-risque dans le commerce électronique, la technologie financière ou les produits de consommation, et des « expériences utilisateur intensives ». Les temps d’arrêt de ces fonctionnalités sont coûteux.
La technologie de Nova AI passe au crible le code de ses clients pour créer automatiquement des tests à l’aide de GenAI. Il est particulièrement adapté aux environnements d’intégration continue et de livraison/déploiement continu (CI/CD) dans lesquels les ingénieurs envoient constamment des éléments dans leur code de production.
L’idée de Nova AI est née des expériences vécues par Smith et son co-fondateur Jeffrey Shih lorsqu’ils étaient ingénieurs travaillant pour de grandes entreprises technologiques. Smith est un ancien Googleur qui a travaillé dans des équipes liées au cloud qui ont aidé les clients à utiliser de nombreuses technologies d’automatisation. Shih a déjà travaillé chez Meta (également chez Unity et Microsoft avant cela) avec une spécialité rare en IA impliquant des données synthétiques. Depuis, ils ont ajouté un troisième co-fondateur, un data scientist en IA. Henri Li.
Une autre règle que Nova AI ne suit pas : alors que de nombreuses startups d’IA s’appuient sur le GPT leader du secteur d’OpenAI, Nova AI utilise le moins possible le Chat GPT-4 d’OpenAI. Aucune donnée client n’est transmise à OpenAI.
Même si OpenAI promet que les données des personnes bénéficiant d’un plan d’affaires payant ne sont pas utilisées pour former ses modèles, les entreprises ne font toujours pas confiance à OpenAI, nous dit Smith. « Lorsque nous parlons à de grandes entreprises, elles nous disent : « Nous ne voulons pas que nos données soient transférées dans OpenAI », a déclaré Smith.
Les équipes d’ingénierie des grandes entreprises ne sont pas les seules à ressentir cela. OpenAI se défend sur un certain nombre de poursuites de ceux qui ne veulent pas que leur travail soit utilisé pour la formation de modèles, ou qui croient que leur travail se termine, sans autorisation et sans rémunération, dans ses résultats.
Nova AI s’appuie plutôt fortement sur des modèles open source comme Llama développés par Meta et Codeur étoile (de la communauté BigCoder, développée par ServiceNow et Hugging Face), ainsi que la construction de ses propres modèles. Ils n’utilisent pas encore Gemma de Google avec leurs clients, mais l’ont testé et « ont constaté de bons résultats », explique Smith.
Par exemple, il explique qu’OpenAI propose des modèles pour les intégrations vectorielles. Les intégrations vectorielles traduisent des morceaux de texte en nombres afin que le LLM puisse effectuer diverses opérations, telles que les regrouper avec d’autres morceaux de texte similaire. Nova AI n’utilise pas les intégrations d’OpenAI et utilise plutôt l’open source pour cela sur le code source du client. Il utilise OpenAI outils uniquement pour l’aider à générer du code et à effectuer certaines tâches d’étiquetage, et est faire des efforts pour ne pas envoyer de données client dans OpenAI.
« Dans ce cas, au lieu d’utiliser les modèles d’intégration d’OpenAI, nous déployons nos propres modèles d’intégration open source afin que lorsque nous devons parcourir chaque fichier, nous ne nous contentions pas de l’envoyer à OpenAI », a expliqué Smith.
Même si le fait de ne pas envoyer de données clients à OpenAI apaise la nervosité des entreprises, les modèles d’IA open source sont également moins chers et plus que suffisants pour effectuer des tâches spécifiques ciblées, a découvert Smith. Dans ce cas, ils fonctionnent bien pour rédiger des tests.
« L’industrie ouverte du LLM prouve vraiment qu’elle peut battre GPT 4 et ces grands fournisseurs de domaines, quand on y va très étroitement », a-t-il déclaré. « Nous n’avons pas besoin de fournir un modèle massif qui puisse vous dire ce que votre grand-mère veut pour son anniversaire. Droite? Nous devons écrire un test. Et c’est tout. Nos modèles sont donc spécialement adaptés à cela.
Les modèles open source progressent également rapidement. Par exemple, Meta a récemment introduit une nouvelle version de Llama qui gagne des éloges dans les cercles technologiques et qui pourrait convaincre davantage de startups d’IA d’envisager des alternatives OpenAI.