Google a annoncé un nouveau contrôle dans son fichier d’indexation robots.txt qui permettrait aux éditeurs de décider si leur contenu « contribuera à améliorer les API génératives de Bard et Vertex AI, y compris les futures générations de modèles qui alimentent ces produits ». Le contrôle est un robot appelé Google-Extended, et les éditeurs peuvent l’ajouter au fichier dans la documentation de leur site pour indiquer à Google de ne pas l’utiliser pour ces deux API. Dans son annonce, la vice-présidente de la « Confiance » de l’entreprise, Danielle Romain, a déclaré que « les éditeurs Web ont déclaré qu’ils souhaitaient plus de choix et de contrôle sur la manière dont leur contenu est utilisé pour les cas d’utilisation émergents de l’IA générative ».
Romain a ajouté que Google-Extended « est une étape importante pour assurer la transparence et le contrôle que nous pensons que tous les fournisseurs de modèles d’IA devraient mettre à disposition ». À mesure que les chatbots d’IA générative gagnent en popularité et s’intègrent de plus en plus profondément dans les résultats de recherche, la façon dont le contenu est digéré par des éléments tels que Bard et Bing AI préoccupe les éditeurs.
Bien que ces systèmes puissent citer leurs sources, ils regroupent des informations provenant de différents sites Web et les présentent aux utilisateurs au cours de la conversation. Cela pourrait réduire considérablement la quantité de trafic vers les points de vente individuels, ce qui aurait alors un impact significatif sur des éléments tels que les revenus publicitaires et l’ensemble des modèles commerciaux.
Google a déclaré qu’en ce qui concerne la formation des modèles d’IA, les désinscriptions s’appliqueront à la prochaine génération de modèles pour Bard et Vertex AI. Les éditeurs qui cherchent à garder leur contenu à l’écart de choses comme Search Generative Experience (SGE) doivent continuer à utiliser l’agent utilisateur Googlebot et la balise méta NOINDEX dans le document robots.txt pour ce faire.
Romain souligne qu’« à mesure que les applications d’IA se développent, les éditeurs web seront confrontés à la complexité croissante de la gestion des différents usages à grande échelle ». Cette année a vu une explosion du développement d’outils basés sur l’IA générative, et la recherche étant un moyen si important pour les gens de découvrir du contenu, l’état d’Internet semble sur le point de subir un énorme changement. L’ajout de ce contrôle par Google arrive non seulement à point nommé, mais indique également qu’il réfléchit à l’impact de ses produits sur le Web.
Mise à jour, le 28 septembre à 17 h 36 HE : Cet article a été mis à jour pour ajouter plus d’informations sur la manière dont les éditeurs peuvent garder leur contenu hors des résultats de recherche et d’IA de Google et dans les formations.