Les bases de données vectorielles font fureur, à en juger par le nombre de startups entrant dans l’espace et les investisseurs qui se mobilisent pour une part du gâteau. La prolifération des grands modèles de langage (LLM) et le mouvement de l’IA générative (GenAI) ont créé un terrain fertile pour l’épanouissement des technologies de bases de données vectorielles.
Alors que les bases de données relationnelles traditionnelles telles que Postgres ou MySQL sont bien adaptées aux données structurées (types de données prédéfinis qui peuvent être soigneusement classés en lignes et en colonnes), cela ne fonctionne pas aussi bien pour les données non structurées telles que les images, les vidéos, les e-mails, les réseaux sociaux. les publications et toutes les données qui n’adhèrent pas à un modèle de données prédéfini.
Les bases de données vectorielles, quant à elles, stockent et traitent les données sous forme d’intégrations vectorielles, qui convertissent le texte, les documents, les images et autres données en représentations numériques qui capturent la signification et les relations entre les différents points de données. C’est parfait pour l’apprentissage automatique, car la base de données stocke les données spatialement en fonction de la pertinence de chaque élément par rapport à l’autre, ce qui facilite la récupération de données sémantiquement similaires.
Ceci est particulièrement utile pour les LLM, tels que le GPT-4 d’OpenAI, car cela permet au chatbot IA de mieux comprendre le contexte d’une conversation en analysant des conversations similaires précédentes. La recherche vectorielle est également utile pour toutes sortes d’applications en temps réel, telles que les recommandations de contenu sur les réseaux sociaux ou les applications de commerce électronique, car elle peut examiner ce qu’un utilisateur a recherché et récupérer des éléments similaires en un clin d’œil.
La recherche de vecteurs peut également contribuer à réduire les « hallucinations » dans les applications LLM, en fournissant des informations supplémentaires qui n’étaient peut-être pas disponibles dans l’ensemble de données de formation d’origine.
« Sans utiliser la recherche de similarité vectorielle, vous pouvez toujours développer des applications IA/ML, mais vous devrez procéder à davantage de recyclage et de réglages précis. » André Zayarni, PDG et co-fondateur de la startup de recherche vectorielle Qdrant, a expliqué à TechCrunch. « Les bases de données vectorielles entrent en jeu lorsqu’il existe un grand ensemble de données et que vous avez besoin d’un outil pour travailler avec des intégrations vectorielles de manière efficace et pratique. »
En janvier, Qdrant a obtenu un financement de 28 millions de dollars pour capitaliser sur la croissance qui l’a amenée à devenir l’une des 10 startups open source commerciales à la croissance la plus rapide l’année dernière. Et c’est loin d’être la seule startup de bases de données vectorielles à lever des fonds récemment : Vespa, Weaviate, Pinecone et Chroma ont collectivement levé 200 millions de dollars l’année dernière pour diverses offres vectorielles.
Équipe fondatrice de Qdrant. Crédits images: Qdrant
Depuis le début de l’année, nous avons également vu Index Ventures mener un tour de table de 9,5 millions de dollars pour Superlinked, une plate-forme qui transforme des données complexes en intégrations vectorielles. Et il y a quelques semaines, Y Combinator (YC) a dévoilé sa cohorte Winter ’24, qui comprenait Lantern, une startup qui vend un moteur de recherche vectoriel hébergé pour Postgres.
Ailleurs, Marqo a levé un tour de table de 4,4 millions de dollars à la fin de l’année dernière, rapidement suivi par un tour de table de série A de 12,5 millions de dollars en février. La plate-forme Marqo fournit une gamme complète d’outils vectoriels prêts à l’emploi, couvrant la génération, le stockage et la récupération de vecteurs, permettant aux utilisateurs de contourner les outils tiers comme OpenAI ou Hugging Face, et elle offre tout via une seule API.
Les cofondateurs de Marqo, Tom Hamer et Jesse N. Clark, ont précédemment occupé des postes d’ingénieur chez Amazon, où ils ont réalisé le « énorme besoin non satisfait » en matière de recherche sémantique et flexible à travers différentes modalités telles que le texte et les images. Et c’est à ce moment-là qu’ils ont quitté le navire pour former Marqo en 2021.
« C’est en travaillant avec la recherche visuelle et la robotique chez Amazon que j’ai vraiment examiné la recherche vectorielle – je réfléchissais à de nouvelles façons de découvrir des produits, et cela a très rapidement convergé vers la recherche vectorielle », a déclaré Clark à TechCrunch. « En robotique, j’utilisais la recherche multimodale pour parcourir un grand nombre de nos images afin d’identifier s’il y avait des éléments errants comme des tuyaux et des emballages. Autrement, cela allait être très difficile à résoudre.
Les co-fondateurs de Marqo, Jesse Clark et Tom Hamer. Crédits images:Marqo
Entrez dans l’entreprise
Alors que les bases de données vectorielles connaissent un moment au milieu du brouhaha de ChatGPT et du mouvement GenAI, elles ne sont pas la panacée pour tous les scénarios de recherche d’entreprise.
« Les bases de données dédiées ont tendance à être entièrement axées sur des cas d’utilisation spécifiques et peuvent donc concevoir leur architecture en fonction des performances des tâches nécessaires, ainsi que de l’expérience utilisateur, par rapport aux bases de données à usage général, qui doivent s’adapter à la conception actuelle », Peter Zaitsev, fondateur de la société de support et de services de bases de données Percona, a expliqué à TechCrunch.
Même si les bases de données spécialisées peuvent exceller dans un domaine à l’exclusion des autres, c’est pourquoi nous commençons à voir titulaires de bases de données comme élastique, Rédis, Recherche ouverte, Cassandre, Oracleet MongoDB en ajoutant des fonctionnalités de recherche de bases de données vectorielles intelligentes, tout comme les fournisseurs de services cloud comme Azure de Microsoft, AWS d’Amazonet Flare nuageuse.
Zaitsev compare cette dernière tendance à ce qui s’est passé avec JSON il y a plus de dix ans, lorsque les applications Web sont devenues plus répandues et que les développeurs avaient besoin d’un format de données indépendant du langage, facile à lire et à écrire pour les humains. Dans ce cas, une nouvelle classe de bases de données a émergé sous la forme de bases de données documentaires telles que MongoDB, tandis que les bases de données relationnelles existantes ont également introduit la prise en charge de JSON.
« Je pense que la même chose se produira probablement avec les bases de données vectorielles », a déclaré Zaitsev à TechCrunch. « Les utilisateurs qui créent des applications d’IA très complexes et à grande échelle utiliseront des bases de données de recherche vectorielles dédiées, tandis que ceux qui ont besoin de créer un peu de fonctionnalités d’IA pour leur application existante sont plus susceptibles d’utiliser la fonctionnalité de recherche vectorielle dans les bases de données qu’ils utilisent déjà. »
Mais Zayarni et ses collègues de Qdrant parient que les solutions natives entièrement construites autour des vecteurs fourniront « la vitesse, la sécurité de la mémoire et l’évolutivité » nécessaires à mesure que les données vectorielles explosent, par rapport aux entreprises qui lancent la recherche vectorielle après coup.
« Leur argumentaire est le suivant : « nous pouvons également effectuer une recherche vectorielle, si nécessaire » », a déclaré Zayarni. « Notre argumentaire est le suivant : « Nous effectuons la recherche vectorielle avancée de la meilleure façon possible ». Tout est question de spécialisation. Nous vous recommandons en fait de commencer par la base de données que vous avez déjà dans votre pile technologique. À un moment donné, les utilisateurs seront confrontés à des limites si la recherche vectorielle est un élément essentiel de votre solution.