TikTok a publié par erreur un lien vers une version interne de son nouvel outil d’avatar numérique IA sans garde-fou, permettant aux utilisateurs de créer des vidéos qui disent à peu près n’importe quoi. Le le hoquet a été repéré pour la première fois par CNN et a permis au média de générer des vidéos contenant des citations d’Hitler et un message invitant les gens à boire de l’eau de Javel, entre autres phrases. TikTok a depuis supprimé cette version de l’outil, tandis que la version que TikTok avait l’intention de lancer reste disponible.
Lancé plus tôt cette semaine, TikTok’s Avatars numériques Symphonie permettre aux entreprises de générer des publicités en utilisant l’image d’acteurs rémunérés. Il utilise également un doublage basé sur l’IA qui permet aux annonceurs de saisir un script pour que les avatars disent ce qu’ils veulent dans le cadre des directives de TikTok. Même si seuls les utilisateurs disposant d’un compte TikTok Ads Manager peuvent accéder à cet outil, la version trouvée par CNN permet à toute personne disposant d’un compte personnel de l’essayer.
Dans une déclaration à Le bordla porte-parole de TikTok, Laura Perez, a déclaré que TikTok avait résolu « l’erreur technique » qui « permettait à un nombre extrêmement restreint d’utilisateurs de créer du contenu à l’aide d’une version de test interne de l’outil pendant quelques jours ».
Lorsque CNN a découvert l’outil interne, il a permis au média de générer des vidéos récitant la « Lettre à l’Amérique » d’Oussama ben Laden, un slogan de la suprématie blanche et une vidéo invitant les gens à voter le mauvais jour. Aucune des vidéos produites par CNN ne comportait de filigrane indiquant que la vidéo est générée par l’IA, ce que fait la version appropriée de Symphony Digital Avatars de TikTok.
CNN n’a pas publié les vidéos qu’elle a créées sur TikTok, mais Perez note que si c’était le cas, le contenu « aurait été rejeté pour violation de nos politiques ». Même si TikTok a depuis supprimé cette version de son outil, cela remet en question si les gens trouveront d’autres moyens d’abuser du créateur d’avatar numérique – et si TikTok est prêt pour cela.