Près de la moitié des quelque 7 000 langues connues dans le monde, quatre sur dix d’entre elles, existent sans composante écrite d’accompagnement. Ces langages non écrits posent un problème unique pour les systèmes de traduction d’apprentissage automatique modernes, car ils doivent généralement convertir le discours verbal en mots écrits avant de traduire dans la nouvelle langue et de ramener le texte à la parole, mais un problème que Meta aurait résolu avec son dernier open – Avancement de l’IA en langue source.
Dans le cadre du programme Universal Speech Translator (UST) de Meta, qui travaille à développer une traduction parole-parole en temps réel afin de pouvoir interagir plus facilement (lire : ). Dans le cadre de ce projet, les chercheurs de Meta se sont penchés sur le hokkien, une langue non écrite parlée dans toute la diaspora asiatique et l’une des langues officielles de Taiwan.
Les systèmes de traduction d’apprentissage automatique nécessitent généralement de nombreux exemples étiquetables de la langue, à la fois écrite et parlée, pour s’entraîner – précisément ce que les langues non écrites comme Hokkien n’ont pas. Pour contourner cela, « nous avons utilisé la traduction de la parole en unité (S2UT) pour convertir la parole d’entrée en une séquence d’unités acoustiques directement dans la voie précédemment mise au point par Meta », a expliqué le PDG Mark Zuckerberg dans un article de blog mercredi. « Ensuite, nous avons généré des formes d’onde à partir des unités. De plus, UnY a été adopté pour un mécanisme de décodage à deux passes où le décodeur de première passe génère du texte dans une langue apparentée (mandarin) et le décodeur de seconde passe crée des unités.
« Nous avons utilisé le mandarin comme langue intermédiaire pour créer des pseudo-étiquettes, où nous avons d’abord traduit le discours anglais (ou hokkien) en texte mandarin, puis nous avons traduit en hokkien (ou anglais) et l’avons ajouté aux données de formation », a-t-il poursuivi. Actuellement, le système permet à quelqu’un qui parle hokkien de converser avec quelqu’un qui parle anglais, quoique de manière guindée. Le modèle ne peut traduire qu’une phrase complète à la fois, mais Zuckerberg est convaincu que la technique pourra éventuellement être appliquée à davantage de langues et s’améliorera au point d’offrir une traduction en temps réel.
En plus des modèles et des données de formation que Meta est déjà en open source à partir de ce projet, la société publie également un système d’analyse comparative de la traduction parole-parole, le premier du genre, basé sur un corpus de parole Hokkien appelé Taiwanese Across Taiwan. , ainsi que « la matrice vocale, un vaste corpus de traductions parole-parole extraites avec la technique innovante d’exploration de données de Meta appelée LASER », a annoncé Zuckerberg. Ce système permettra aux chercheurs de créer leurs propres systèmes de traduction parole-parole (S2ST).
Tous les produits recommandés par Engadget sont sélectionnés par notre équipe éditoriale, indépendante de notre maison mère. Certaines de nos histoires incluent des liens d’affiliation. Si vous achetez quelque chose via l’un de ces liens, nous pouvons gagner une commission d’affiliation. Tous les prix sont corrects au moment de la publication.