Getty Images
Mardi, OpenAI a annoncé un réglage fin de GPT-3.5 Turbo, le modèle d’IA qui alimente la version gratuite de ChatGPT, via son API. Il permet d’entraîner le modèle avec des données personnalisées, telles que des documents d’entreprise ou la documentation de projet. OpenAI affirme qu’un modèle affiné peut fonctionner aussi bien que GPT-4 à moindre coût dans certains scénarios.
En IA, le réglage fin fait référence au processus consistant à prendre un réseau neuronal pré-entraîné (comme GPT-3.5 Turbo) et à le former davantage sur un ensemble de données différent (comme vos données personnalisées), qui est généralement plus petit et éventuellement lié à une tâche spécifique. Ce processus s’appuie sur les connaissances acquises par le modèle au cours de sa phase de formation initiale et l’affine pour une application spécifique.
Donc, fondamentalement, le réglage fin enseigne à GPT-3.5 Turbo le contenu personnalisé, tel que la documentation du projet ou toute autre référence écrite. Cela peut s’avérer utile si vous souhaitez créer un assistant IA basé sur GPT-3.5 qui connaît intimement votre produit ou service mais qui en manque de connaissance dans ses données de formation (qui, pour rappel, ont été supprimées du Web avant septembre). 2021).
« Depuis la sortie de GPT-3.5 Turbo, les développeurs et les entreprises ont demandé la possibilité de personnaliser le modèle afin de créer des expériences uniques et différenciées pour leurs utilisateurs », écrit OpenAI sur son blog promotionnel. « Avec ce lancement, les développeurs peuvent désormais effectuer des réglages fins supervisés pour que ce modèle soit plus performant dans leurs cas d’utilisation. »
Bien que GPT-4, le cousin plus puissant de GPT-3.5, soit bien connu comme un généraliste adaptable à de nombreux sujets, il est plus lent et plus coûteux à exécuter. OpenAI propose un réglage fin de la version 3.5 comme moyen d’obtenir des performances de type GPT-4 dans un domaine de connaissances spécifique à moindre coût et avec un temps d’exécution plus rapide. « Les premiers tests ont montré qu’une version affinée de GPT-3.5 Turbo peut égaler, voire surpasser, les capacités de base du niveau GPT-4 sur certaines tâches restreintes », écrivent-ils.
En outre, OpenAI affirme que les modèles affinés offrent une « maniabilité améliorée », ce qui signifie mieux suivre les instructions ; « formatage de sortie fiable », qui améliore la capacité du modèle à générer du texte de manière cohérente dans un format tel que des appels API ou JSON ; et « ton personnalisé », qui peut donner une saveur ou une personnalité personnalisée à un chatbot.
OpenAI affirme que le réglage fin permet aux utilisateurs de raccourcir leurs invites et d’économiser de l’argent sur les appels d’API OpenAI, qui sont facturés par jeton. « Les premiers testeurs ont réduit la taille des invites jusqu’à 90 % en affinant les instructions dans le modèle lui-même », explique OpenAI. À l’heure actuelle, la longueur du contexte pour le réglage fin est fixée à 4 000 jetons, mais OpenAI indique que le réglage fin s’étendra au modèle à 16 000 jetons « plus tard cet automne ».
Utiliser vos propres données a un coût
À l’heure actuelle, vous vous demandez peut-être comment fonctionne l’utilisation de vos propres données pour entraîner GPT-3.5 et combien cela coûte. OpenAI présente un processus simplifié sur son blog qui montre la configuration d’une invite système avec l’API, le téléchargement de fichiers sur OpenAI pour la formation et la création d’un travail de réglage fin à l’aide de l’outil de ligne de commande curl pour interroger une adresse Web d’API. Une fois le processus de réglage fin terminé, OpenAI indique que le modèle personnalisé est disponible pour une utilisation immédiate avec les mêmes limites de débit que le modèle de base. Plus de détails peuvent être trouvés dans la documentation officielle d’OpenAI.
Bien entendu, tout cela a un prix, divisé en coûts de formation et en coûts d’utilisation. Entraîner GPT-3.5 coûte 0,008 $ pour 1 000 jetons. Pendant la phase d’utilisation, l’accès à l’API coûte 0,012 USD pour 1 000 jetons pour la saisie de texte et 0,016 USD pour 1 000 jetons pour la sortie de texte.
À titre de comparaison, le modèle de base 4k GPT-3.5 Turbo coûte 0,0015 $ pour 1 000 jetons entrés et 0,002 $ pour 1 000 jetons produits, de sorte que le modèle affiné est environ huit fois plus cher à exécuter. Et bien que le modèle contextuel 8K de GPT-4 soit également moins cher, à 0,03 USD pour 1 000 jetons d’entrée et 0,06 USD pour 1 000 jetons de sortie, OpenAI affirme toujours que de l’argent peut être économisé en raison du besoin réduit d’invite dans le modèle affiné. C’est exagéré, mais dans des cas précis, cela peut s’appliquer.
Même à un certain coût, l’enseignement de GPT-3.5 sur les documents personnalisés peut en valoir la peine pour certaines personnes, si vous parvenez à empêcher le modèle d’inventer des choses à ce sujet. La personnalisation est une chose, mais faire confiance à la précision et à la fiabilité des sorties GPT-3.5 Turbo dans un environnement de production en est une autre. GPT-3.5 est bien connu pour sa tendance à fabuler des informations.
Concernant la confidentialité des données, OpenAI note que, comme pour toutes ses API, les données envoyées dans et hors de l’API de réglage fin ne sont pas utilisées par OpenAI (ni par quiconque) pour entraîner des modèles d’IA. Il est intéressant de noter qu’OpenAI enverra toutes les données de formation des clients via GPT-4 à des fins de modération à l’aide de son API de modération récemment annoncée. Cela peut expliquer une partie du coût d’utilisation du service de réglage fin.
Et si la version 3.5 ne vous suffit pas, OpenAI indique que la mise au point de GPT-4 aura lieu cet automne. D’après notre expérience, le GPT-4 n’invente pas grand-chose, mais peaufiner ce modèle (ou les 8 modèles fonctionnant ensemble sous le capot) coûtera probablement beaucoup plus cher.