Google a annoncé jeudi qu’il suspendait la capacité de son chatbot Gemini à générer des personnes. Cette décision intervient après que des publications virales sur les réseaux sociaux ont montré que l’outil d’IA surcorrigait la diversité, produisant des images « historiques » des nazis, des pères fondateurs de l’Amérique et du pape en tant que personnes de couleur.
« Nous travaillons déjà pour résoudre les problèmes récents liés à la fonctionnalité de génération d’images de Gemini », Google posté sur X (via Le New York Times). « Pendant ce temps, nous allons suspendre la génération d’images de personnes et rééditerons bientôt une version améliorée. »
L’utilisateur X @JohnLu0x posté captures d’écran des résultats de Gemini pour l’invite « Générer une image d’un soldat allemand de 1943 ». (Leur faute d’orthographe de « Soldier » était intentionnelle pour tromper l’IA et lui faire contourner ses filtres de contenu afin de générer des images nazies autrement bloquées.) Les résultats générés semblent montrer des soldats noirs, asiatiques et autochtones portant des uniformes nazis.
D’autres utilisateurs des réseaux sociaux ont critiqué Gemini pour avoir produit des images pour l’invite : « Générez une photo glamour d’un [ethnicity] couple. » Il a réussi à cracher des images lors de l’utilisation des invites « chinois », « juif » ou « sud-africain », mais a refusé de produire des résultats pour « blanc ». « Je ne peux pas répondre à votre demande en raison du risque de perpétuer des stéréotypes et des préjugés néfastes associés à des ethnies ou à des tons de peau spécifiques », a répondu Gemini à cette dernière demande.
« John L. », qui a contribué à déclencher la réaction, théorise que Google a appliqué une solution bien intentionnée mais paresseusement appliquée à un problème réel. « Leur système qui invite à ajouter de la diversité aux représentations des personnes n’est pas très intelligent (il ne tient pas compte du genre dans les rôles historiquement masculins comme le pape ; ne tient pas compte de la race dans les représentations historiques ou nationales) », a posté l’utilisateur. Après que la brigade anti-« réveil » d’Internet s’est accrochée à leurs publications, l’utilisateur a précisé qu’il soutenait une représentation diversifiée, mais pensait que la « décision stupide » de Google était de ne pas l’avoir fait « de manière nuancée ».
Avant de suspendre la capacité de Gemini à produire des personnes, Google a écrit : « Nous travaillons à améliorer immédiatement ce type de représentations. La génération d’images Al de Gemini génère un large éventail de personnes. Et c’est généralement une bonne chose car des gens du monde entier l’utilisent. Mais ici, on manque le but. »
L’épisode pourrait être considéré comme un rappel (beaucoup moins subtil) au lancement de Bard en 2023. Le chatbot IA original de Google a connu un début difficile lorsqu’une publicité pour le chatbot sur Twitter (maintenant X) incluait un « fait » inexact sur le télescope spatial James Webb.
Comme Google le fait souvent, il a rebaptisé Bard dans l’espoir de lui donner un nouveau départ. Coïncidant avec une mise à jour importante des performances et des fonctionnalités, la société a renommé le chatbot Gemini plus tôt ce mois-ci alors que la société se bat pour tenir tête à ChatGPT et Microsoft Copilot d’OpenAI, qui constituent tous deux une menace existentielle pour son moteur de recherche (et, par conséquent, la publicité). revenu).