Les étonnantes capacités du ChatGPT d’OpenAI ne serait pas possible sans de grands modèles de langage. Ces modèles sont entraînés sur des milliards, voire des billions d’exemples de texte. L’idée derrière ChatGPT est de comprendre si bien le langage qu’il peut anticiper quel mot vient de manière plausible en une fraction de seconde. Cela prend une tonne de formation, de ressources de calcul et de connaissances des développeurs pour y arriver.
Mais peut-être que l’avenir de ces modèles est plus ciblé que l’approche bouillir l’océan que nous avons vue d’OpenAI et d’autres, qui veulent pouvoir répondre à toutes les questions sous le soleil. Et si chaque industrie ou même chaque entreprise avait son propre modèle formé pour comprendre le jargon, le langage et l’approche de l’entité individuelle ? Peut-être obtiendrions-nous alors moins de réponses complètement inventées parce que les réponses proviendront d’un univers plus limité de mots et de phrases.
Dans un avenir axé sur l’IA, les données propres à chaque entreprise pourraient être son atout le plus précieux. Si vous êtes une compagnie d’assurance, vous avez un lexique complètement différent de celui d’un hôpital, d’une entreprise automobile ou d’un cabinet d’avocats, et lorsque vous combinez cela avec vos données clients et l’ensemble du contenu de l’organisation, vous avez un modèle linguistique. Bien que ce ne soit peut-être pas grand, comme dans le sens du modèle de langage vraiment grand, ce serait juste le modèle dont vous avez besoin, un modèle créé pour un et non pour les masses.
Cela nécessitera également un ensemble d’outils pour collecter, agréger et mettre à jour en permanence l’ensemble de données d’entreprise de manière à le rendre ingérable pour ces petits modèles de grande langue (sLLM).
La construction de ces modèles pourrait poser un défi. Ils exploiteront probablement quelque chose comme l’open source ou les LLM existants d’une entreprise privée, puis les affineront sur les données de l’industrie ou de l’entreprise pour les mettre davantage au point, le tout dans un environnement plus sécurisé que la variété LLM générique.
Cela représente une énorme opportunité pour la communauté des startups, et nous voyons de nombreuses entreprises prendre une longueur d’avance sur cette idée.