Les partisans de la réparation algorithmique suggèrent de prendre des leçons auprès de professionnels de la conservation tels que les bibliothécaires, qui ont dû réfléchir à la manière de collecter de manière éthique des données sur les personnes et ce qui devrait être inclus dans les bibliothèques. Ils proposent de considérer non seulement si les performances d’un modèle d’IA sont jugées justes ou bonnes, mais aussi si elles déplacent le pouvoir.
Les suggestions font écho aux recommandations antérieures de l’ancien chercheur de Google AI, Timnit Gebru, qui, dans un article de 2019, a encouragé les praticiens de l’apprentissage automatique à réfléchir à la manière dont les archivistes et les bibliothécaires traitaient les problèmes d’éthique, d’inclusivité et de pouvoir. Gebru dit que Google l’a licenciée fin 2020 et a récemment lancé un centre de recherche distribué sur l’IA. Une analyse critique a conclu que Google a soumis Gebru à un schéma d’abus visant historiquement les femmes noires dans des environnements professionnels. Les auteurs de cette analyse ont également exhorté les informaticiens à rechercher des modèles dans l’histoire et la société en plus des données.
Plus tôt cette année, cinq sénateurs américains ont exhorté Google à embaucher un auditeur indépendant pour évaluer l’impact du racisme sur les produits et le lieu de travail de Google. Google n’a pas répondu à la lettre.
En 2019, quatre chercheurs de Google AI ont fait valoir que le domaine de l’IA responsable avait besoin d’une théorie critique de la race, car la plupart des travaux sur le terrain ne tiennent pas compte de l’aspect socialement construit de la race ou ne reconnaissent pas l’influence de l’histoire sur les ensembles de données qui sont collectées.
« Nous soulignons que les efforts de collecte de données et d’annotation doivent être fondés sur les contextes sociaux et historiques de la classification raciale et de la formation de catégories raciales », lit-on dans le document. « Simplifier à outrance, c’est faire de la violence, voire plus, réinscrire la violence sur des communautés qui subissent déjà des violences structurelles. »
L’auteur principal Alex Hanna est l’un des premiers sociologues embauchés par Google et l’auteur principal de l’article. Elle a vivement critiqué les dirigeants de Google à la suite du départ de Gebru. Hanna dit qu’elle apprécie que la théorie critique de la race centre la race dans les conversations sur ce qui est juste ou éthique et peut aider à révéler des modèles historiques d’oppression. Depuis lors, Hanna a co-écrit un article également publié dans Big Data & Société qui confronte la façon dont la technologie de reconnaissance faciale renforce les constructions de genre et de race qui remontent au colonialisme.
Fin 2020, Margaret Mitchell, qui dirigeait avec Gebru l’équipe d’IA éthique chez Google, a déclaré que l’entreprise commençait à utiliser la théorie critique de la race pour aider à décider ce qui est juste ou éthique. Mitchell a été licencié en février. Un porte-parole de Google a déclaré que la théorie critique de la race faisait partie du processus d’examen de la recherche sur l’IA.
Un autre article, rédigé l’année prochaine par Rashida Richardson, conseillère en politique scientifique et technologique de la Maison Blanche, soutient que vous ne pouvez pas penser à l’IA aux États-Unis sans reconnaître l’influence de la ségrégation raciale. L’héritage des lois et des normes sociales pour contrôler, exclure et autrement opprimer les Noirs est trop influent.
Par exemple, des études ont montré que les algorithmes utilisés pour filtrer les locataires d’appartements et les demandeurs de prêt hypothécaire désavantagent de manière disproportionnée les Noirs. Richardson dit qu’il est essentiel de se rappeler que la politique fédérale du logement exigeait explicitement la ségrégation raciale jusqu’à l’adoption des lois sur les droits civiques dans les années 1960. Le gouvernement s’est également entendu avec les développeurs et les propriétaires pour refuser des opportunités aux personnes de couleur et séparer les groupes raciaux. Elle dit que la ségrégation a permis un «comportement semblable à celui d’un cartel» chez les Blancs dans les associations de propriétaires, les conseils scolaires et les syndicats. À leur tour, les pratiques de logement séparées aggravent les problèmes ou les privilèges liés à l’éducation ou à la richesse générationnelle.
Les modèles historiques de ségrégation ont empoisonné les données sur lesquelles de nombreux algorithmes sont construits, dit Richardson, comme pour classer ce qui est une «bonne» école ou les attitudes à propos du maintien de l’ordre dans les quartiers bruns et noirs.
« La ségrégation raciale a joué un rôle évolutif central dans la reproduction et l’amplification de la stratification raciale dans les technologies et les applications basées sur les données. La ségrégation raciale limite également la conceptualisation des problèmes de biais algorithmiques et des interventions pertinentes », a-t-elle écrit. « Lorsque l’impact de la ségrégation raciale est ignoré, les problèmes d’inégalité raciale apparaissent comme des phénomènes naturels, plutôt que comme des sous-produits de politiques, pratiques, normes sociales et comportements spécifiques. »