Pour appeler ChatGPT, l’IA génératrice de texte gratuite développée par la startup OpenAI basée à San Francisco, un succès est un énorme euphémisme.
En décembre, ChatGPT comptait environ 100 millions d’utilisateurs actifs par mois. Il a attiré l’attention des médias et a engendré d’innombrables mèmes sur les réseaux sociaux. Il a été utilisé pour écrire des centaines de livres électroniques dans la boutique Kindle d’Amazon. Et il est crédité d’avoir co-écrit au moins un article scientifique.
Mais OpenAI, étant une entreprise – bien qu’à but lucratif limité – devait monétiser ChatGPT d’une manière ou d’une autre, de peur que les investisseurs ne deviennent nerveux. Il a fait un pas dans cette direction avec le lancement d’un service premium, ChatGPT Plus, en février. Et il a fait un grand pas en avant aujourd’hui, en introduisant une API qui permettra à toute entreprise d’intégrer la technologie ChatGPT dans ses applications, sites Web, produits et services.
Une API a toujours été le plan. C’est selon Greg Brockman, président et président d’OpenAI (et également l’un des co-fondateurs). Il m’a parlé hier après-midi via un appel vidéo avant le lancement de l’API ChatGPT.
« Il nous faut un certain temps pour amener ces API à un certain niveau de qualité », a déclaré Brockman. « Je pense que c’est un peu ça, comme, être capable de répondre à la demande et à l’échelle. »
Brockman dit que l’API ChatGPT est alimentée par le même modèle d’IA derrière le très populaire ChatGPT d’OpenAI, surnommé « gpt-3.5-turbo ». GPT-3.5 est le modèle de génération de texte le plus puissant qu’OpenAI propose aujourd’hui via sa suite d’API ; le surnom « turbo » fait référence à une version optimisée et plus réactive de GPT-3.5 qu’OpenAI a discrètement testé pour ChatGPT.
Au prix de 0,002 $ pour 1 000 jetons, soit environ 750 mots, Brockman affirme que l’API peut piloter une gamme d’expériences, y compris des applications « sans chat ». Snap, Quizlet, Instacart et Shopify font partie des premiers utilisateurs.
La motivation initiale derrière le développement de gpt-3.5-turbo aurait pu être de réduire les coûts de calcul gargantuesques de ChatGPT. Le PDG d’OpenAI, Sam Altman, a un jour qualifié les dépenses de ChatGPT de « exaspérantes », les estimant à quelques centimes par chat en coûts de calcul. (Avec plus d’un million d’utilisateurs, cela s’additionne probablement rapidement.)
Mais Brockman dit que gpt-3.5-turbo est amélioré d’autres manières.
« Si vous construisez un tuteur alimenté par l’IA, vous ne voulez jamais que le tuteur se contente de donner une réponse à l’élève. Vous voulez qu’il l’explique toujours et les aide à apprendre – c’est un exemple du type de système que vous devriez être capable de construire [with the API] », a déclaré Brockman. « Nous pensons que cela va simplement rendre l’API beaucoup plus utilisable et accessible. »
L’API ChatGPT sous-tend My AI, le chatbot récemment annoncé par Snap pour les abonnés Snapchat+, et la nouvelle fonctionnalité de tuteur virtuel Q-Chat de Quizlet. Shopify a utilisé l’API ChatGPT pour créer un assistant personnalisé pour les recommandations d’achat, tandis qu’Instacart en a profité pour créer Ask Instacart, un péage à venir qui permettra aux clients d’Instacart de poser des questions sur la nourriture et d’obtenir des réponses « achetables » informées par les données produit du commerce de détail de l’entreprise. les partenaires.
« L’épicerie peut nécessiter une charge mentale importante, avec de nombreux facteurs en jeu, tels que le budget, la santé et la nutrition, les goûts personnels, la saisonnalité, les compétences culinaires, le temps de préparation et l’inspiration des recettes », m’a dit l’architecte en chef d’Instacart, JJ Zhuang, par e-mail. . « Et si l’IA pouvait assumer cette charge mentale, et nous pouvions aider les chefs de famille qui sont généralement responsables de l’épicerie, de la planification des repas et de la mise de la nourriture sur la table – et rendre l’épicerie vraiment amusante ? » Le système d’intelligence artificielle d’Instacart, lorsqu’il est intégré au ChatGPT d’OpenAI, nous permettra de faire exactement cela, et nous sommes ravis de commencer à expérimenter ce qui est possible dans l’application Instacart.
Crédits image : Instagram
Cependant, ceux qui ont suivi de près la saga ChatGPT se demandent peut-être s’il est temps de le publier – et à juste titre.
Dès le début, les utilisateurs ont pu inciter ChatGPT à répondre aux questions de manière raciste et sexiste, ce qui reflète les données biaisées sur lesquelles ChatGPT a été initialement formé. (Les données de formation de ChatGPT incluent un large éventail de contenus Internet, à savoir des livres électroniques, des publications Reddit et des articles de Wikipédia.) ChatGPT invente également des faits sans divulguer qu’il le fait, un phénomène de l’IA connu sous le nom d’hallucination.
ChatGPT – et les systèmes similaires – sont également sensibles aux attaques basées sur les invites, ou aux invites malveillantes de l’adversaire qui les amènent à effectuer des tâches qui ne faisaient pas partie de leurs objectifs initiaux. Des communautés entières sur Reddit se sont formées pour trouver des moyens de « jailbreaker » ChatGPT et de contourner toutes les protections mises en place par OpenAI. Dans l’un des exemples les moins offensants, un membre du personnel de la startup Scale AI a réussi à faire en sorte que ChatGPT divulguer des informations sur son fonctionnement technique interne.
Les marques, sans aucun doute, ne voudraient pas être prises dans le collimateur. Brockman est catégorique, ils ne le seront pas. Pourquoi donc? L’une des raisons, dit-il, est la poursuite des améliorations à l’arrière – dans certains cas aux dépens des travailleurs contractuels kenyans. Mais Brockman a mis l’accent sur une nouvelle approche (et résolument moins controversée) qu’OpenAI appelle Chat Markup Language, ou ChatML. ChatML envoie du texte à l’API ChatGPT sous la forme d’une séquence de messages avec des métadonnées. C’est par opposition au ChatGPT standard, qui consomme du texte brut représenté par une série de jetons. (Le mot « fantastique » serait divisé en jetons « fan », « tas » et « tic », par exemple.)
Par exemple, étant donné l’invite « Quelles sont les idées de fête intéressantes pour mon 30e anniversaire ? » un développeur peut choisir d’ajouter à cette invite une invite supplémentaire telle que « Vous êtes un chatbot conversationnel amusant conçu pour aider les utilisateurs à répondre aux questions qu’ils posent. Vous devriez répondre honnêtement et de manière amusante ! » ou « Vous êtes un bot » avant que l’API ChatGPT ne le traite. Ces instructions aident à mieux adapter – et filtrer – les réponses du modèle ChatGPT, selon Brockman.
« Nous passons à une API de niveau supérieur. Si vous avez une manière plus structurée de représenter l’entrée dans le système, où vous dites « cela vient du développeur » ou « cela vient de l’utilisateur »… Je devrais m’attendre à ce qu’en tant que développeur, vous puissiez être plus robuste [using ChatML] contre ce genre d’attaques rapides », a déclaré Brockman.
Un autre changement qui empêchera (espérons-le) un comportement ChatGPT involontaire est la mise à jour plus fréquente des modèles. Avec la sortie de gpt-3.5-turbo, les développeurs seront automatiquement mis à niveau par défaut vers le dernier modèle stable d’OpenAI, a déclaré Brockman, en commençant par gpt-3.5-turbo-0301 (publié aujourd’hui). Les développeurs auront la possibilité de rester avec un modèle plus ancien s’ils le souhaitent, ce qui pourrait quelque peu annuler l’avantage.
Qu’ils choisissent ou non de mettre à jour le modèle le plus récent, Brockman note que certains clients – principalement de grandes entreprises avec des budgets conséquents – auront un contrôle plus approfondi sur les performances du système avec l’introduction de plans de capacité dédiés. D’abord détaillés dans la documentation divulguée plus tôt ce mois-ci, les plans de capacité dédiés d’OpenAI, lancés aujourd’hui, permettent aux clients de payer une allocation d’infrastructure de calcul pour exécuter un modèle OpenAI – par exemple, gpt-3.5-turbo. (C’est Azure à l’arrière, au fait.)
En plus du « contrôle total » sur la charge de l’instance (normalement, les appels à l’API OpenAI se produisent sur des ressources de calcul partagées), la capacité dédiée donne aux clients la possibilité d’activer des fonctionnalités telles que des limites de contexte plus longues. Les limites de contexte font référence au texte que le modèle considère avant de générer du texte supplémentaire ; des limites de contexte plus longues permettent au modèle de « mémoriser » essentiellement plus de texte. Bien que des limites de contexte plus élevées ne résolvent pas tous les problèmes de biais et de toxicité, elles pourraient conduire des modèles comme gpt-3.5-turbo à moins halluciner.
Brockman dit que les clients à capacité dédiée peuvent s’attendre à des modèles gpt-3.5-turbo avec une fenêtre de contexte allant jusqu’à 16k, ce qui signifie qu’ils peuvent prendre quatre fois plus de jetons que le modèle ChatGPT standard. Cela pourrait permettre à quelqu’un de coller des pages et des pages de code fiscal et d’obtenir des réponses raisonnables du modèle, par exemple – un exploit qui n’est pas possible aujourd’hui.
Brockman a fait allusion à une sortie générale dans le futur, mais pas de si tôt.
« Les fenêtres contextuelles commencent à s’allonger, et une partie de la raison pour laquelle nous sommes uniquement des clients à capacité dédiée en ce moment est qu’il y a beaucoup de compromis de performances de notre côté », a déclaré Brockman. « Nous pourrions éventuellement proposer une version à la demande de la même chose. »
Compte tenu de la pression croissante d’OpenAI pour réaliser des bénéfices après un investissement de plusieurs milliards de dollars de Microsoft, cela ne serait pas très surprenant.