Après qu’une chanson utilisant des deepfakes AI de Drake et des voix de Weeknd ait été supprimée après être devenue un succès viral, Grimes a choqué le public lorsqu’elle tweeté qu’elle partagerait 50 % des revenus avec toute personne souhaitant utiliser sa voix dans des chansons générées par l’IA. Une semaine plus tard, Grimes a lancé Elf.Tech, un logiciel vocal d’IA open source qui permet aux artistes de reproduire sa voix dans leurs chansons et d’empocher la moitié des redevances.
Bien que de nombreux musiciens se sentent menacés par l’IA, l’artiste électronique canadienne (et coparentale d’enfants avec Elon Musk qui vient de lancer sa propre entreprise d’IA) redouble d’efforts concernant l’utilisation des outils musicaux d’IA.
Le studio de technologie musicale CreateSafe, co-fondé par le manager de Grimes, Daouda Leonard, a officiellement lancé aujourd’hui sa plate-forme générative basée sur l’IA, Triniti, disponible sur le Web en version bêta ouverte gratuite. Triniti permet aux artistes de créer un clone vocal IA, de générer des échantillons de texte en audio, de poser des questions liées à l’industrie musicale à un chatbot, de monétiser leurs créations et de gérer la propriété intellectuelle de la musique.
Elf.Tech est le prototype de la plateforme Triniti de CreateSafe. Elf.Tech a créé plus de 1 000 chansons reproduisant la voix de Grimes. Grimes a récemment rejoint le conseil consultatif de CreateSafe.
En outre, CreateSafe a révélé avoir levé 4,6 millions de dollars de financement, a déclaré la société en exclusivité à TechCrunch. Le cycle d’amorçage a été mené par Polychain Capital avec la participation du manager de Kendrick Lamar, Anthony Saleh, de 11:11 Media, fondé par Paris Hilton, d’Unified Music Group, de Crush Ventures, MoonPay, Chaac Ventures et de Dan Weisman, vice-président de Bernstein Private Wealth Management. CreateSafe utilisera le nouveau capital pour développer davantage la plateforme Triniti.
CreateSafe fait référence à Triniti comme une plateforme « d’intelligence artistique » puisque son objectif principal est de permettre aux créateurs de faire de la musique.
« Ce ne sera pas entièrement une IA parce que vous avez cette interface avec laquelle jouer et créer de la musique par vous-même », a déclaré Leonard lors d’une démo avec TechCrunch. Il a travaillé avec de nombreux artistes de renom, dont DJ Snake et Skrillex. « C’est pourquoi nous appelons cela l’intelligence artistique, car nous voulons que chacun possède son IA et soit capable de collaborer et de s’adapter d’une nouvelle manière. »
Triniti exploite une version personnalisée d’un modèle RVC (Realistic Voice Cloning), ainsi que ChatGPT d’OpenAI pour son compagnon virtuel et Stable Diffusion pour générer des images pour les pochettes d’album. CreateSafe construit également un modèle musical basé sur MusicGen qui se concentre sur des techniques audio telles que le DSP (Digital Sound Processing) traditionnel.
« Notre objectif n’est pas de remplacer les humains par des ordinateurs. Il s’agit de donner aux humains des ordinateurs qui collaborent avec eux pour créer une nouvelle expérience autour de la création musicale, assistée par l’IA… Nous ne voulons pas contribuer à la fraude massive qui se produit actuellement avec la musique, où les gens téléchargent de la musique juste pour jouer. le système », a ajouté Leonard.
Pour rappel, on estime qu’au moins 10 % de l’activité de streaming était frauduleuse en 2022, selon Beatdapp, une société spécialisée dans l’audit et la détection des fraudes.
Crédits images : CréerSafe
La fonction de transformation vocale et de clonage est l’outil d’IA le plus remarquable proposé par Triniti. Il permet aux chanteurs d’enregistrer leur voix et d’entraîner l’IA avec différents modèles et styles de voix. Les artistes reçoivent ensuite un clone de voix numérique ainsi qu’un certificat de « ressemblance vocale », leur permettant de définir les conditions de licence de leur voix. Les chansons créées à l’aide de la voix peuvent être distribuées, gérées et monétisées directement depuis la plateforme.
La partie licence est ici essentielle puisque de nombreux débats autour de l’IA vocale dans l’industrie musicale sont centrés sur la protection des droits d’auteur.
« Donner le cadre de licence et le mode de distribution des chansons est un moyen de protéger votre voix lors de l’établissement de la propriété de ce clone numérique… Si une autre plate-forme utilise potentiellement votre voix avec votre nom, vous pouvez émettre un retrait », a déclaré Leonard.
Même si Grimes est la première artiste à utiliser la technologie de clonage vocal de Triniti, elle ne sera pas la dernière. La plateforme compte une cohorte de 30 artistes qui prévoient de publier des clones de voix numériques en 2024 pour que les membres de Triniti puissent les utiliser pour leur propre travail. Leonard a refusé de partager qui ; cependant, il a déclaré qu’il s’agissait d’« artistes historiques bien connus ».
« Nous voulions commencer avec une cohorte d’artistes et de maisons de disques qui croient vraiment en cette technologie… Nous présentons des choses comme l’utilisation éthique de la façon dont vous formez un modèle et l’utilisation consensuelle de l’obtention de la permission du détenteur de l’introduction en bourse », a expliqué Leonard.
Crédits images : CréerSafe
Un autre outil qui mérite d’être abordé est le générateur d’échantillons AI de Triniti, dans lequel les créateurs saisissent un genre ou une ambiance auquel ils souhaitent que l’audio ressemble. Par exemple, « une chanson d’amour entraînante mais obsédante ». Le générateur crée quatre pistes parmi lesquelles choisir, chacune associée à des images d’album. Pendant ce temps, si un artiste a besoin de conseils, Triniti dispose d’un compagnon virtuel qui peut répondre à des questions telles que « Comment les labels gagnent-ils de l’argent ? » ou « Comment puis-je devenir célèbre? »
Enfin, l’outil de gestion de Triniti utilise les LLM pour automatiser le flux de travail, aidant ainsi les responsables à cataloguer les offres, à créer des factures, à ajouter de nouveaux clients et à organiser des projets.
À partir d’aujourd’hui, tout le monde peut accéder gratuitement à la technologie vocale IA, aux échantillons audio et au chat de Grimes. Des applications de clonage vocal, de licence, de distribution et de gestion sont disponibles sur demande/approbation. La société prévoit à terme d’introduire un modèle d’abonnement, allant de 99 $ à 150 $ par an.
Dans un avenir proche, Triniti introduira des outils d’édition, un visuel de traitement MIDI (Musical Instrument Digital Interface) et bien plus encore. Il lancera également des applications iOS et Android.
« Je suis vraiment fier de l’équipe qui a pu exécuter cela si rapidement et avec une telle vision », a déclaré Grimes dans une déclaration à TechCrunch. « Il y a beaucoup à dire, mais en fin de compte, l’art génère tellement d’argent en tant qu’industrie, et les artistes en voient si peu. Beaucoup de gens parlent de l’abondance comme l’un des principaux objectifs finaux de la technologie, de l’accélération, de l’IA, etc. Pour nous, la première étape consiste en fait à trouver comment éliminer les frictions liées au processus de mise des ressources entre les mains des artistes.