La société d’API Kong lance sa passerelle open source AI Gateway, une extension de sa passerelle API existante qui permet aux développeurs et aux équipes opérationnelles d’intégrer leurs applications avec un ou plusieurs grands modèles de langage (LLM) et d’y accéder via une seule API. En plus de cela, Kong lance plusieurs fonctionnalités spécifiques à l’IA, l’ingénierie rapide, la gestion des informations d’identification et bien plus encore.
«Nous pensons que l’IA est un cas d’utilisation supplémentaire pour les API», m’a dit Marco Palladino, co-fondateur et CTO de Kong. « Les API sont pilotées par des cas d’utilisation : mobile, microservices – l’IA se trouve être la dernière en date. Lorsque nous examinons l’IA, nous examinons en réalité les API partout. Nous étudions les API lorsqu’il s’agit de consommer l’IA, nous étudions les API pour affiner l’IA et l’IA elle-même. […] Ainsi, plus il y aura d’IA, plus nous aurons recours aux API dans le monde.
Palladino affirme que si pratiquement toutes les organisations cherchent à utiliser l’IA, elles craignent également les fuites de données. À terme, pense-t-il, ces entreprises voudront exécuter leurs modèles localement et utiliseront peut-être le cloud comme solution de repli. Pour le moment, cependant, ces entreprises doivent également trouver comment gérer les informations d’identification pour accéder aux modèles basés sur le cloud, contrôler et enregistrer le trafic, gérer les quotas, etc.
« Avec notre passerelle API, nous souhaitions proposer une offre qui permet aux développeurs d’être plus productifs lorsqu’ils s’appuient sur l’IA en pouvant exploiter notre passerelle pour utiliser un ou plusieurs fournisseurs LLM sans avoir à modifier leur code », a-t-il noté. La passerelle prend actuellement en charge Anthropic, Azure, Cohere, les modèles LLaMA de Meta, Mistral et OpenAI.
Crédits images : Kong
L’équipe Kong affirme que la plupart des autres fournisseurs d’API gèrent actuellement les API d’IA de la même manière que n’importe quelle autre API. Pourtant, en superposant ces fonctionnalités supplémentaires spécifiques à l’IA au-dessus de l’API, l’équipe Kong estime que cela peut permettre de nouveaux cas d’utilisation (ou du moins rendre ceux existants plus faciles à mettre en œuvre). Grâce aux transformateurs de réponse et de demande AI, qui font partie de la nouvelle AI Gateway, les développeurs peuvent modifier les invites et leurs résultats à la volée pour les traduire automatiquement ou supprimer des informations personnellement identifiables, par exemple.
L’ingénierie rapide est également profondément intégrée à la passerelle, permettant aux entreprises d’appliquer leurs directives en plus de ces modèles. Cela signifie également qu’il existe un point central pour gérer ces directives et invites.
Cela fait presque neuf ans depuis le lancement de la plateforme de gestion d’API Kong. À l’époque, la société qui est aujourd’hui Kong était encore connue sous le nom de Mashape, mais comme me l’a dit Augusto Marietti, co-fondateur et PDG de Mashape/Kong, dans une interview plus tôt cette semaine, il s’agissait presque d’un dernier effort. « Mashape n’allait nulle part et Kong est le produit API numéro un sur GitHub », a-t-il déclaré. Marietti a noté que Kong avait un flux de trésorerie positif au cours du dernier trimestre – et ne recherche actuellement pas de financement – donc cela a plutôt bien fonctionné.
Désormais, Kong Gateway est au cœur de la plate-forme de l’entreprise et constitue également l’élément moteur de la nouvelle AI Gateway. En effet, les utilisateurs actuels de Kong n’ont qu’à mettre à niveau leur installation actuelle pour accéder à toutes les nouvelles fonctionnalités de l’IA.
Désormais, ces nouvelles fonctionnalités d’IA sont disponibles gratuitement. Au fil du temps, Kong prévoit également de lancer des fonctionnalités premium payantes, mais l’équipe a souligné que ce n’est pas l’objectif de cette version actuelle.