Plus d’une demi-décennie après la débâcle véritablement monumentale de Taye de Microsoft, l’incident rappelle toujours de manière brutale la rapidité avec laquelle une IA peut être corrompue après une exposition à la puissante toxicité d’Internet et un avertissement contre la construction de bots sans attaches comportementales suffisamment robustes. Vendredi, la division AI Research de Meta verra si sa dernière itération de Blenderbot AI peut résister aux horreurs des interwebs avec la sortie de démonstration publique de son Blenderbot 3 de 175 milliards de paramètres.
Un obstacle majeur auquel sont actuellement confrontées les technologies de chatbot (ainsi que les algorithmes de traitement du langage naturel qui les animent) est celui du sourcing. Traditionnellement, les chatbots sont formés dans des environnements hautement organisés – car sinon, vous obtenez invariablement un Taye – mais cela finit par limiter les sujets dont il peut discuter à ceux spécifiques disponibles dans le laboratoire. Inversement, vous pouvez demander au chatbot d’extraire des informations d’Internet pour avoir accès à un large éventail de sujets, mais il pourrait devenir nazi à un moment donné, et le fera probablement.
« Les chercheurs ne peuvent pas prédire ou simuler tous les scénarios de conversation dans les seuls contextes de recherche », ont écrit les chercheurs de Meta AI dans un article de blog vendredi. « Le domaine de l’IA est encore loin des systèmes d’IA vraiment intelligents qui peuvent nous comprendre, interagir et discuter avec nous comme d’autres humains peuvent le faire. Afin de créer des modèles plus adaptables aux environnements du monde réel, les chatbots doivent apprendre d’une diversité, perspective large avec des gens « dans la nature ». »
Meta a travaillé pour résoudre le problème depuis qu’il a introduit l’application de chat BlenderBot 1 en 2020. Initialement un peu plus qu’une expérience de PNL open source, l’année suivante, BlenderBot 2 avait appris à la fois à se souvenir des informations dont il avait discuté dans les conversations précédentes. et comment rechercher sur Internet des détails supplémentaires sur un sujet donné. BlenderBot 3 va encore plus loin dans ces capacités en évaluant non seulement les données qu’il extrait du Web, mais également les personnes avec lesquelles il parle.
Lorsqu’un utilisateur enregistre une réponse insatisfaisante du système, qui représente actuellement environ 0,16 % de toutes les réponses de formation, Meta réintègre les commentaires de l’utilisateur dans le modèle pour éviter qu’il ne répète l’erreur. Le système utilise également l’algorithme Director qui génère d’abord une réponse à l’aide de données de formation, puis exécute la réponse via un classificateur pour vérifier si elle s’inscrit dans une échelle de bien et de mal définie par les commentaires de l’utilisateur.
« Pour générer une phrase, les mécanismes de modélisation et de classification du langage doivent s’accorder », a écrit l’équipe. « En utilisant des données qui indiquent de bonnes et de mauvaises réponses, nous pouvons entraîner le classificateur à pénaliser les déclarations de mauvaise qualité, toxiques, contradictoires ou répétitives, et les déclarations qui sont généralement inutiles. » Le système utilise également un algorithme distinct de pondération de l’utilisateur pour détecter les réponses non fiables ou mal intentionnées de la part de l’interlocuteur humain, enseignant essentiellement au système à ne pas faire confiance à ce que cette personne a à dire.
« Notre démo publique interactive en direct permet à BlenderBot 3 d’apprendre des interactions organiques avec toutes sortes de personnes », a écrit l’équipe. « Nous encourageons les adultes aux États-Unis à essayer la démo, à mener des conversations naturelles sur des sujets d’intérêt et à partager leurs réponses pour faire avancer la recherche. »
BB3 devrait parler plus naturellement et plus conversationnellement que son prédécesseur, en partie grâce à son modèle de langage OPT-175B massivement amélioré, qui est près de 60 fois plus grand que le modèle de BB2. « Nous avons constaté que, par rapport à BlenderBot 2, BlenderBot 3 fournit une amélioration de 31% de la note globale sur les tâches conversationnelles, évaluée par des jugements humains », a déclaré l’équipe. « Il est également jugé deux fois plus informé, tout en étant factuellement incorrect 47 % de moins du temps. Par rapport à GPT3, sur les questions d’actualité, il s’avère plus à jour 82 % du temps et plus spécifique 76 % du temps. »
Tous les produits recommandés par Engadget sont sélectionnés par notre équipe éditoriale, indépendante de notre maison mère. Certaines de nos histoires incluent des liens d’affiliation. Si vous achetez quelque chose via l’un de ces liens, nous pouvons gagner une commission d’affiliation.