Contrairement aux dialogues soigneusement scénarisés que l’on trouve dans la plupart des livres et des films, le langage des interactions quotidiennes a tendance à être désordonné et incomplet, plein de faux départs, d’interruptions et de personnes qui se parlent. Qu’il s’agisse de conversations informelles entre amis, de querelles entre frères et sœurs ou de discussions formelles dans une salle de conférence, une conversation authentique est chaotique. Il semble miraculeux que n’importe qui puisse apprendre une langue étant donné la nature aléatoire de l’expérience linguistique.
Pour cette raison, de nombreux linguistes, dont Noam Chomsky, fondateur de la linguistique moderne, pensent que les apprenants en langues ont besoin d’une sorte de colle pour maîtriser la nature indisciplinée de la langue de tous les jours. Et ce ciment est la grammaire : un système de règles pour générer des phrases grammaticales.
Les enfants doivent avoir un modèle de grammaire câblé dans leur cerveau pour les aider à surmonter les limites de leur expérience linguistique – ou du moins c’est ce que pense la pensée.
Ce modèle, par exemple, peut contenir une « super-règle » qui dicte la manière dont les nouveaux éléments sont ajoutés aux phrases existantes. Les enfants n’ont alors qu’à apprendre si leur langue maternelle est une, comme l’anglais, où le verbe précède l’objet (comme dans « je mange des sushis »), ou une langue comme le japonais, où le verbe suit l’objet (en japonais, le même phrase est structurée comme « Je mange des sushis »).
Mais de nouvelles connaissances sur l’apprentissage des langues proviennent d’une source improbable : l’intelligence artificielle. Une nouvelle race de grands modèles de langage d’IA peut écrire des articles de journaux, de la poésie et du code informatique et répondre honnêtement aux questions après avoir été exposé à de grandes quantités d’entrées linguistiques. Et plus étonnant encore, ils le font tous sans l’aide de la grammaire.
Langue grammaticale sans grammaire
Même si leur choix de mots est parfois étrange, absurdeou contient racistes, sexistes et autres préjugés préjudiciables, une chose est très claire : l’écrasante majorité de la sortie de ces modèles de langage d’IA est grammaticalement correcte. Et pourtant, il n’y a pas de modèles ou de règles de grammaire câblés en eux – ils reposent uniquement sur l’expérience linguistique, aussi désordonnée soit-elle.
GPT-3, sans doute le plus connu de ces modèles, est un gigantesque réseau neuronal d’apprentissage en profondeur avec 175 milliards de paramètres. Il a été formé pour prédire le mot suivant dans une phrase compte tenu de ce qui s’est passé auparavant sur des centaines de milliards de mots provenant d’Internet, de livres et de Wikipédia. Lorsqu’il faisait une mauvaise prédiction, ses paramètres étaient ajustés à l’aide d’un algorithme d’apprentissage automatique.
Remarquablement, GPT-3 peut générer un texte crédible réagissant à des invites telles que « Un résumé de la dernière Rapide et furieux le film est… » ou « Écrivez un poème dans le style d’Emily Dickinson. De plus, GPT-3 peut répondre aux analogies de niveau SAT, lire des questions de compréhension et même résoudre des problèmes arithmétiques simples, tout cela en apprenant à prédire le mot suivant.
Just_Super/E+ via Getty
Comparaison des modèles d’IA et des cerveaux humains
La similitude avec le langage humain ne s’arrête pas là, cependant. Des recherches publiées dans Nature Neuroscience ont démontré que ces réseaux artificiels d’apprentissage en profondeur semblent utiliser les mêmes principes de calcul que le cerveau humain. Le groupe de recherche, dirigé par le neuroscientifique Uri Hasson, a d’abord comparé la capacité du GPT-2 – un « petit frère » du GPT-3 – et les humains à prédire le mot suivant dans une histoire tirée du podcast « This American Life »: People and l’IA a prédit exactement le même mot près de 50 % du temps.
Les chercheurs ont enregistré l’activité cérébrale des volontaires tout en écoutant l’histoire. La meilleure explication des modèles d’activation qu’ils ont observés était que le cerveau des gens – comme GPT-2 – n’utilisait pas seulement le ou les deux mots précédents pour faire des prédictions, mais s’appuyait sur le contexte accumulé jusqu’à 100 mots précédents. Au total, les auteurs concluent : « Notre découverte de signaux neuronaux prédictifs spontanés lorsque les participants écoutent la parole naturelle suggère que la prédiction active peut sous-tendre l’apprentissage du langage tout au long de la vie des humains. »
Une préoccupation possible est que ces nouveaux modèles de langage d’IA sont alimentés par de nombreuses entrées : GPT-3 a été formé sur une expérience linguistique équivalente à 20 000 années humaines. Mais une étude préliminaire qui n’a pas encore été évaluée par des pairs a révélé que le GPT-2 peut toujours modéliser les prédictions humaines du mot suivant et les activations cérébrales, même lorsqu’il est formé sur seulement 100 millions de mots. C’est bien dans la quantité d’entrée linguistique qu’un enfant moyen pourrait entendre au cours des 10 premières années de sa vie.
Nous ne suggérons pas que GPT-3 ou GPT-2 apprennent le langage exactement comme les enfants. En effet, ces modèles d’IA ne semblent pas comprendre grand-chose, voire rien, de ce qu’ils disent, alors que la compréhension est fondamentale pour l’utilisation du langage humain. Pourtant, ce que ces modèles prouvent, c’est qu’un apprenant, même s’il est en silicium, peut apprendre suffisamment bien le langage à partir d’une simple exposition pour produire des phrases grammaticales parfaitement bonnes et le faire d’une manière qui ressemble au traitement du cerveau humain.
Repenser l’apprentissage des langues
Pendant des années, de nombreux linguistes ont cru qu’il était impossible d’apprendre une langue sans un modèle de grammaire intégré. Les nouveaux modèles d’IA prouvent le contraire. Ils démontrent que la capacité de produire un langage grammatical peut être apprise à partir de la seule expérience linguistique. De même, nous suggérons que les enfants n’ont pas besoin d’une grammaire innée pour apprendre le langage.
« Les enfants doivent être vus, pas entendus » dit le vieil adage, mais les derniers modèles de langage d’IA suggèrent que rien ne pourrait être plus éloigné de la vérité. Au lieu de cela, les enfants doivent être engagés dans le va-et-vient de la conversation autant que possible pour les aider à développer leurs compétences linguistiques. L’expérience linguistique, et non la grammaire, est essentielle pour devenir un utilisateur compétent de la langue.
Morten H. Christiansen est professeur de psychologie à l’Université Cornell et Pablo Contreras Kallens est titulaire d’un doctorat. étudiant en psychologie à l’Université Cornell.
Cet article est republié de The Conversation sous une licence Creative Commons. Lire l’article d’origine.