Jeudi, OpenAI a publié la « fiche système » du nouveau modèle d’IA GPT-4o de ChatGPT, qui détaille les limitations du modèle et les procédures de test de sécurité. Entre autres exemples, le document révèle que dans de rares cas lors des tests, le mode vocal avancé du modèle a imité involontairement la voix des utilisateurs sans autorisation. Actuellement, OpenAI a mis en place des mesures de protection qui empêchent que cela ne se produise, mais l’exemple reflète la complexité croissante de l’architecture sécurisée d’un chatbot IA qui pourrait potentiellement imiter n’importe quelle voix à partir d’un petit clip.
Le mode vocal avancé est une fonctionnalité de ChatGPT qui permet aux utilisateurs d’avoir des conversations orales avec l’assistant IA.
Dans une section de la carte système GPT-4o intitulée « Génération de voix non autorisée », OpenAI détaille un épisode où une entrée bruyante a incité le modèle à imiter soudainement la voix de l’utilisateur. « La génération de voix peut également se produire dans des situations non conflictuelles, comme notre utilisation de cette capacité pour générer des voix pour le mode vocal avancé de ChatGPT », écrit OpenAI. « Au cours des tests, nous avons également observé de rares cas où le modèle générait involontairement une sortie imitant la voix de l’utilisateur. »
Dans cet exemple de génération de voix involontaire fourni par OpenAI, le modèle d’IA crie « Non ! » et continue la phrase avec une voix qui ressemble à celle du « red teamer » entendu au début du clip. (Un red teamer est une personne embauchée par une entreprise pour effectuer des tests contradictoires.)
Il serait certainement effrayant de parler à une machine et de la voir soudainement se mettre à vous parler avec votre propre voix. En temps normal, OpenAI dispose de mesures de protection pour empêcher cela, c’est pourquoi l’entreprise affirme que ce phénomène était rare même avant qu’elle ne développe des moyens pour l’empêcher complètement. Mais cet exemple a incité le scientifique des données de BuzzFeed, Max Woolf, à tweeter : « OpenAI vient de divulguer l’intrigue de la prochaine saison de Black Mirror. »
Injections audio rapides
Comment l’imitation de voix pourrait-elle se produire avec le nouveau modèle d’OpenAI ? Le principal indice se trouve ailleurs dans la carte système GPT-4o. Pour créer des voix, GPT-4o peut apparemment synthétiser presque n’importe quel type de son trouvé dans ses données d’entraînement, y compris les effets sonores et la musique (bien qu’OpenAI décourage ce comportement avec des instructions spéciales).
Comme indiqué dans la fiche système, le modèle peut fondamentalement imiter n’importe quelle voix à partir d’un court extrait audio. OpenAI guide cette capacité en toute sécurité en fournissant un échantillon vocal autorisé (d’un acteur vocal embauché) qu’il est chargé d’imiter. Il fournit l’échantillon dans l’invite système du modèle d’IA (ce qu’OpenAI appelle le « message système ») au début d’une conversation. « Nous supervisons les complétions idéales en utilisant l’échantillon vocal dans le message système comme voix de base », écrit OpenAI.
Dans les LLM en mode texte uniquement, le message système iun ensemble caché d’instructions textuelles qui guident le comportement du chatbot et qui sont ajoutées silencieusement à l’historique de conversation juste avant le début de la session de chat. Les interactions successives sont ajoutées au même historique de chat, et l’intégralité du contexte (souvent appelé « fenêtre de contexte ») est renvoyée au modèle d’IA chaque fois que l’utilisateur fournit une nouvelle entrée.
(Il est probablement temps de mettre à jour ce diagramme créé début 2023 ci-dessous, mais il montre comment fonctionne la fenêtre contextuelle dans un chat IA. Imaginez simplement que la première invite soit un message système qui dit des choses comme « Vous êtes un chatbot serviable. Vous ne parlez pas d’actes violents, etc. »)
Benj Edwards / Ars Technica
Étant donné que GPT-4o est multimodal et peut traiter l’audio tokenisé, OpenAI peut également utiliser les entrées audio dans le cadre de l’invite système du modèle, et c’est ce qu’il fait lorsque OpenAI fournit un échantillon de voix autorisé au modèle à imiter. L’entreprise utilise également un autre système pour détecter si le modèle génère de l’audio non autorisé. « Nous autorisons uniquement le modèle à utiliser certaines voix présélectionnées », écrit OpenAI, « et utilisons un classificateur de sortie pour détecter si le modèle s’écarte de cela. »