Aurich Lawson | Getty Images
Malgré les tentatives des principales sociétés d’IA d’empêcher les utilisateurs de transformer les générateurs d’images d’IA en moteurs de contenu raciste, de nombreux utilisateurs de 4chan se tournent toujours vers ces outils pour « inonder rapidement Internet de déchets racistes », a rapporté 404 Media.
404 Media a découvert un fil de discussion 4chan dans lequel les utilisateurs recommandaient divers outils d’IA, notamment Stable Diffusion et DALL-E, mais spécifiquement liés au générateur de texte en image de Bing AI (qui est alimenté par DALL-E 3) comme « méthode rapide ». Après avoir trouvé le bon outil – qui pourrait également être un outil de retouche photo plus ancien comme Photoshop – les utilisateurs sont invités à ajouter des légendes incendiaires et à partager les images sur les réseaux sociaux pour créer une avalanche d’images racistes en ligne.
Créez des légendes « drôles, provocantes », indique le fil de discussion aux utilisateurs. Utilisez des « messages redpilling (Juifs impliqués dans le 11 septembre) » qui sont « faciles à comprendre ».
404 Media a cité des exemples utilisés dans un guide visuel publié dans le fil de discussion 4chan hébergé par Imgur. L’une d’elles comportait « une image montrant Pepe la grenouille en train de pleurer avec une aiguille à côté de son bras et un pistolet pointé sur sa tête », où le guide suggérait la légende « vaccins imposés par la violence ». Un autre a généré une image de « deux hommes noirs avec des chaînes en or poursuivant une femme blanche », recommandant à l’utilisateur d’ajouter un « message redpilling ».
Peut-être parce que l’outil de Bing AI a apparemment été considéré comme la méthode la plus rapide, il est potentiellement devenu l’outil le plus populaire du fil de discussion. 404 Media a conclu que — « à en juger par le format carré par défaut des images, la résolution uniforme de 1 024 x 1 024 » — « la plupart des images du fil de discussion semblent avoir été générées avec Bing », puis diffusées sur les plateformes de médias sociaux, notamment Telegram, X. (anciennement Twitter) et Instagram.
On ne sait pas exactement quelles mesures les fabricants des générateurs d’images IA apparemment privilégiés par les utilisateurs de 4chan ont prises pour bloquer les méthodes utilisées, selon 404 Media, pour contourner les filtres.
Un porte-parole d’OpenAI a déclaré à Ars que la société donne la priorité à la sécurité et a pris des mesures pour limiter les sorties DALL-E, notamment des efforts visant à empêcher les outils de générer du contenu ou des images nuisibles pour les demandes demandant le nom d’une personnalité publique. Le porte-parole d’OpenAI a également confirmé que Microsoft mettait en œuvre ses propres mesures de protection pour DALL-E 3.
Le porte-parole de Microsoft a déclaré à Ars que le « Bing Image Creator est un outil conçu pour inspirer la créativité des gens. Comme pour toute nouvelle technologie, certains tentent de l’utiliser de manière involontaire. Nous enquêtons sur ces rapports et prendrons les mesures nécessaires conformément à nos politique de contenu, qui interdit la création de contenu préjudiciable. Nous disposons également de grandes équipes travaillant au développement de techniques et de systèmes de sécurité conformes à nos principes d’IA responsable pour contribuer à créer un environnement plus sûr et restons déterminés à en faire une expérience positive et utile pour les utilisateurs.
Stability AI n’a pas immédiatement répondu à la demande de commentaires d’Ars.
Dans l’un des tests de 404 Media tentant de reproduire l’un des exemples du guide visuel du fil de discussion 4chan, 404 Media a découvert que Bing rejetait l’invite « deux hommes noirs en colère poursuivant une femme blanche », mais acceptait « deux rappeurs noirs en colère poursuivant une femme ». «
La plupart des premiers rapports sur les générateurs d’images d’IA critiquaient les préjugés racistes et sexistes dans les algorithmes des générateurs d’images, les créateurs d’IA s’engageant rapidement à détecter et à éliminer ces préjugés. Lorsque Vice a découvert que DALL-E pouvait être utilisé pour générer des « résultats racistes et sexistes prévisibles » lors d’une publication de recherche limitée sur l’outil d’IA, un porte-parole d’OpenAI a déclaré à Carte mère que la société avait mis en place des mesures de protection pour le système DALL-E qui conviendraient. -à l’écoute dans le futur.
« Notre équipe a intégré des mesures d’atténuation pour éviter les sorties nuisibles, en conservant les données de pré-entraînement, en développant des filtres et en mettant en œuvre une surveillance humaine et automatisée des images générées », a déclaré le porte-parole d’OpenAI à Vice en 2022. « À l’avenir, nous travaillons pour mesurer comment nos modèles pourraient détecter les biais dans les données de formation et explorer comment des outils tels que le réglage fin et nos techniques d’alignement peuvent aider à résoudre des biais particuliers, entre autres domaines de recherche dans cet espace.
Le rapport de 404 Media montre ce qui peut arriver lorsque des racistes manipulent un algorithme déjà biaisé. Les résultats peuvent être un torrent d’images offensantes libérées en ligne, peut-être générées plus rapidement que jamais par l’IA et permettant potentiellement au contenu le plus sombre de 4chan de se répandre plus souvent sur les plateformes les plus populaires.
On ne sait pas exactement comment les leaders de l’IA comme Microsoft et OpenAI réagiront, mais selon 404 Media, « cela signifie que nous recevons actuellement le pire des deux mondes de Bing, un outil d’IA qui refusera de générer un mamelon mais qui suralimente les racistes de 4chan ».
Cette histoire a été mise à jour pour inclure les commentaires des porte-parole d’OpenAI et de Microsoft.