Depuis le lancement de ChatGPT, je ne me souviens pas d’une réunion avec un prospect ou un client où il ne m’a pas demandé comment il pouvait tirer parti de l’IA générative pour son entreprise. De l’efficacité et de la productivité internes aux produits et services externes, les entreprises s’empressent de mettre en œuvre des technologies d’IA générative dans tous les secteurs de l’économie.
Bien que GenAI en soit encore à ses débuts, ses capacités se développent rapidement : de la recherche verticale à la retouche photo en passant par les assistants d’écriture, le fil conducteur est d’exploiter les interfaces conversationnelles pour rendre les logiciels plus accessibles et plus puissants. Les chatbots, désormais rebaptisés « copilotes » et « assistants », sont à nouveau à la mode, et même si un ensemble de bonnes pratiques commence à émerger, la première étape du développement d’un chatbot consiste à cerner le problème et à commencer modestement.
Un copilote est un orchestrateur qui aide un utilisateur à effectuer de nombreuses tâches différentes via une interface en texte libre. Il existe un nombre infini d’invites de saisie possibles, et toutes doivent être traitées avec élégance et en toute sécurité. Plutôt que de tenter de résoudre chaque tâche et de courir le risque de ne pas répondre aux attentes des utilisateurs, les développeurs devraient commencer par bien résoudre une seule tâche et apprendre en cours de route.
Chez AlphaSense, par exemple, nous nous sommes concentrés sur la synthèse des appels de résultats comme première tâche unique, une tâche bien définie mais de grande valeur pour notre clientèle qui correspond également bien aux flux de travail existants dans le produit. En cours de route, nous avons glané des informations sur le développement LLM, le choix du modèle, la génération de données de formation, la génération augmentée de récupération et la conception de l’expérience utilisateur qui ont permis l’expansion du chat ouvert.
Développement LLM : choisir ouvert ou fermé
Début 2023, le classement des performances LLM était clair : OpenAI était en avance avec GPT-4, mais des concurrents bien capitalisés comme Anthropic et Google étaient déterminés à rattraper leur retard. L’open source contenait des étincelles de promesses, mais les performances sur les tâches de génération de texte n’étaient pas compétitives par rapport aux modèles fermés.
Pour développer un LLM performant, engagez-vous à créer le meilleur ensemble de données au monde pour la tâche à accomplir.
Mon expérience avec l’IA au cours de la dernière décennie m’a amené à croire que l’open source ferait un retour furieux et c’est exactement ce qui s’est produit. La communauté open source a amélioré les performances tout en réduisant les coûts et la latence. LLaMA, Mistral et d’autres modèles offrent des bases solides pour l’innovation, et les principaux fournisseurs de cloud comme Amazon, Google et Microsoft adoptent largement une approche multi-fournisseurs, incluant le support et l’amplification de l’open source.
Bien que l’open source n’ait pas rattrapé son retard dans les benchmarks de performances publiés, il s’agit clairement d’un modèle fermé de pointe en ce qui concerne l’ensemble des compromis que tout développeur doit faire lorsqu’il introduit un produit dans le monde réel. Les 5 S de la sélection de modèle peuvent aider les développeurs à décider quel type de modèle leur convient :