OpenAI a publié son Carte système GPT-4oun document de recherche qui décrit les mesures de sécurité et les évaluations des risques menées par la startup avant de lancer son dernier modèle.
GPT-4o a été lancé publiquement en mai de cette année. Avant son lancement, OpenAI a fait appel à un groupe externe de red teamers, ou d’experts en sécurité essayant de trouver les faiblesses d’un système, pour identifier les principaux risques dans le modèle (ce qui est une pratique assez courante). Ils ont examiné des risques tels que la possibilité que GPT-4o crée des clones non autorisés de la voix d’une personne, du contenu érotique et violent ou des morceaux d’audio reproduits sous copyright. Aujourd’hui, les résultats sont publiés.
Selon le cadre d’OpenAI lui-même, les chercheurs ont estimé que GPT-4o présentait un risque « moyen ». Le niveau de risque global a été déterminé à partir de la cote de risque la plus élevée de quatre catégories globales : cybersécurité, menaces biologiquesla persuasion et l’autonomie du modèle. Tous ces éléments ont été jugés à faible risque, à l’exception de la persuasion, où les chercheurs ont découvert que certains échantillons d’écriture du GPT-4o pouvaient mieux influencer l’opinion des lecteurs que les textes écrits par des humains – bien que les échantillons du modèle ne soient pas globalement plus convaincants.
Une porte-parole d’OpenAI, Lindsay McCallum Rémy, a déclaré Le bord que la carte système comprend des évaluations de préparation créées par une équipe interne, aux côtés de testeurs externes répertorié sur le site Web d’OpenAI comme Model Evaluation and Threat Research (METR) et Apollo Research, qui élaborent tous deux des évaluations pour les systèmes d’IA.
De plus, l’entreprise va lancer un modèle multimodal très performant juste avant une élection présidentielle américaine. Il existe un risque potentiel évident que le modèle diffuse accidentellement de fausses informations ou soit détourné par des acteurs malveillants, même si OpenAI espère souligner que l’entreprise teste des scénarios réels pour éviter toute utilisation abusive.
De nombreux appels ont été lancés pour qu’OpenAI soit plus transparent, non seulement avec les données d’entraînement du modèle (est-il formé sur YouTube ?), mais aussi avec ses tests de sécurité. En Californie, où OpenAI et de nombreux autres laboratoires d’IA de premier plan sont basés, le sénateur Scott Wiener travaille à l’adoption d’un projet de loi visant à réglementer les grands modèles linguistiques, y compris des restrictions qui tiendraient les entreprises légalement responsables si leur IA est utilisée de manière nuisible. Si ce projet de loi est adopté, les modèles de pointe d’OpenAI devraient se conformer aux évaluations des risques imposées par l’État avant de mettre les modèles à la disposition du public. Mais le principal enseignement de la carte système GPT-4o est que, malgré le groupe de testeurs et de membres de l’équipe rouge externes, une grande partie de cela repose sur OpenAI pour s’auto-évaluer.