Jeudi, la police du comté de Baltimore a arrêté l’ancien directeur sportif du lycée de Pikesville, Dazhon Darien, et l’a accusé d’avoir utilisé l’IA pour se faire passer pour le principal Eric Eiswert, selon un rapport du Baltimore Banner. La police affirme que Darien a utilisé un logiciel de synthèse vocale par IA pour simuler la voix d’Eiswert, laissant croire au public que le directeur avait fait des commentaires racistes et antisémites.
Le clip audio, publié sur un compte Instagram populaire, contenait des remarques offensantes sur les « enfants noirs ingrats » et leurs résultats scolaires, ainsi qu’une menace de « rejoindre l’autre camp » si l’orateur recevait une plainte supplémentaire d’« un Juif de plus dans le pays ». cette communauté. » L’enregistrement mentionnait également les noms des membres du personnel, y compris le surnom de Darien « DJ », suggérant qu’ils n’auraient pas dû être embauchés ou devraient être licenciés « d’une manière ou d’une autre ».
Ces commentaires ont suscité un tollé important de la part des étudiants, des professeurs et de la communauté au sens large, dont beaucoup ont d’abord cru que le directeur avait réellement fait ces commentaires. Une enseignante du lycée de Pikesville, Shaena Ravenell, aurait joué un rôle important dans la diffusion de l’audio. Bien qu’elle n’ait pas été inculpée, la police a indiqué qu’elle avait transmis le courriel controversé à un étudiant connu pour sa capacité à diffuser rapidement des informations sur les réseaux sociaux. Cet étudiant a ensuite augmenté la portée de l’audio, notamment en le partageant avec les médias et la NAACP.
La police du comté de Baltimore affirme que Darien avait accédé aux réseaux scolaires pour rechercher et utiliser des outils d’IA capables d’imiter la voix. La police a également lié Darien à un compte de messagerie utilisé pour distribuer les faux enregistrements.
La technologie de clonage vocal, que nous avons abordée dans le passé, peut générer une parole réaliste après avoir été entraînée sur des millions de voix humaines, puis réglée pour correspondre à une voix spécifique dans un échantillon fourni. En mars, les journalistes de Baltimore Banner se sont entretenus avec Siwei Lyu, directeur d’un laboratoire d’investigation des médias à l’Université de Buffalo. Lyu a déclaré au journal qu’il pensait que le clip falsifié d’Eiswert parlant avait été créé à l’aide d’un service de synthèse vocale tel qu’ElevenLabs. ElevenLabs permet aux utilisateurs de télécharger des échantillons de voix de personnes pour les cloner à l’aide de la synthèse texte-parole, bien que ses conditions d’utilisation interdisent le clonage d’une voix sans l’autorisation de la personne.
L’incident a conduit Eiswert à s’absenter de l’école depuis le début de l’enquête, et il a nié avoir fait ces commentaires, déclarant qu’ils ne correspondaient pas à ses opinions. « Je n’ai pas fait cette déclaration, et ces pensées ne correspondent pas à celles en lesquelles je crois à la fois en tant qu’éducateur et en tant que personne », a déclaré Eiswert dans une déclaration écrite.
Lorsque le clip audio a été diffusé en janvier, la surintendante Myriam Rogers a qualifié les commentaires de « troublants » et de « hautement offensants et inappropriés ». Le Baltimore Banner note que Billy Burke, chef du syndicat représentant Eiswert, a été le seul responsable à suggérer publiquement que l’audio était généré par l’IA. Il a exprimé sa déception face à l’hypothèse du public quant à la culpabilité d’Eiswert et a révélé que le directeur et sa famille avaient été harcelés et menacés, nécessitant la présence de la police à leur domicile.
Ce n’est pas la première fois qu’un logiciel de clonage vocal IA cause des problèmes. Nous avons déjà abordé les escroqueries téléphoniques dans lesquelles quelqu’un imite la voix d’un être cher (dans le but d’inciter les gens à lui donner de l’argent) et les appels automatisés de campagne électorale qui utilisent les voix clonées de politiciens célèbres comme Joe Biden. En mars, OpenAI a révélé l’existence de sa propre technologie de clonage vocal, mais la société a déclaré qu’elle la retenait pour l’instant en raison de problèmes d’utilisation abusive.