Snapchat lance de nouveaux outils, notamment un filtre adapté à l’âge et des informations pour les parents, afin de rendre son expérience de chatbot IA plus sûre.
Quelques jours après que Snapchat a lancé son chatbot alimenté par GPT pour les abonnés Snapchat +, un rapport du Washington Post a souligné que le bot répondait de manière dangereuse et inappropriée.
Le géant social a déclaré qu’après le lancement, il avait appris que les gens essayaient de « tromper le chatbot pour qu’il fournisse des réponses non conformes à nos directives ». Snapchat lance donc quelques outils pour contrôler les réponses de l’IA.
Snap a intégré un nouveau filtre d’âge, qui permet à l’IA de connaître la date de naissance des utilisateurs et leur fournit des réponses adaptées à leur âge. La société a déclaré que le chatbot « prendra systématiquement en considération leur âge » lors de la conversation avec les utilisateurs.
Snap prévoit également de fournir plus d’informations dans les semaines à venir aux parents ou tuteurs sur les interactions des enfants avec le bot dans le Family Center, qui a été lancé en août dernier. La nouvelle fonctionnalité partagera si leurs adolescents communiquent avec l’IA et la fréquence de ces interactions. Le tuteur et les adolescents doivent s’inscrire pour utiliser Family Center afin d’utiliser ces fonctionnalités de contrôle parental.
Dans un article de blog, Snap a expliqué que le chatbot My AI n’est pas un « véritable ami » et que pour améliorer les réponses, il utilise l’historique des conversations. Les utilisateurs sont également informés de la conservation des données lorsqu’ils démarrent le chat avec le bot.
La société a déclaré que le bot n’avait donné que 0,01 % de réponses dans un langage « non conforme ». Snap compte toute réponse qui inclut des références à la violence, des termes sexuellement explicites, la consommation de drogues illicites, l’abus sexuel d’enfants, l’intimidation, le discours de haine, les déclarations désobligeantes ou biaisées, le racisme, la misogynie ou la marginalisation des groupes sous-représentés comme « non conforme ».
Le réseau social a mentionné que dans la plupart des cas, ces réponses inappropriées étaient le résultat de répéter ce que les utilisateurs disaient. Il a également noté que l’entreprise bloquera temporairement l’accès au bot AI pour un utilisateur qui abuse du service.
« Nous continuerons à utiliser ces apprentissages pour améliorer My AI. Ces données nous aideront également à déployer un nouveau système pour limiter les abus de My AI. Nous ajoutons la technologie de modération d’OpenAI à notre ensemble d’outils existant, ce qui nous permettra d’évaluer la gravité du contenu potentiellement dangereux et de restreindre temporairement l’accès des Snapchatters à My AI s’ils abusent du service », a déclaré Snap.
Compte tenu de la prolifération rapide des outils alimentés par l’IA, de nombreuses personnes s’inquiètent pour leur sécurité et leur vie privée . La semaine dernière, un groupe d’éthique appelé le Center for Artificial Intelligence and Digital Policy a écrit à la FTC, exhortant l’agence à arrêter le déploiement de la technologie GPT-4 d’OpenAI, accusant la technologie du parvenu d’être « biaisée, trompeuse et un risque pour la vie privée ». et la sécurité publique.
Le mois dernier, le sénateur Michael Bennet a également écrit une lettre à OpenAI, Meta, Google, Microsoft et Snap exprimant des inquiétudes quant à la sécurité des outils d’IA générative utilisés par les adolescents.
Il est désormais évident que ces nouveaux modèles de chatbot sont sensibles aux entrées nuisibles et, à leur tour, donnent une sortie inappropriée. Bien que les entreprises technologiques puissent souhaiter un déploiement rapide de ces outils, elles devront s’assurer qu’il y a suffisamment de garde-corps autour d’elles pour empêcher les chatbots de devenir des voyous.