Mardi, la BBC a rapporté que le coursier d’Uber Eats Pa Edrissa Manjang, qui est noir, avait reçu un paiement d’Uber après que des contrôles de reconnaissance faciale « racialement discriminatoires » l’aient empêché d’accéder à l’application, qu’il utilisait depuis novembre 2019 pour récupérer. emplois livrant de la nourriture sur la plateforme Uber.
Cette nouvelle soulève des questions sur l’adéquation de la législation britannique pour faire face à l’utilisation croissante des systèmes d’IA. En particulier, le manque de transparence autour des systèmes automatisés précipités sur le marché, avec la promesse d’améliorer la sécurité des utilisateurs et/ou l’efficacité des services, ce qui risque de provoquer des préjudices individuels à grande échelle, même si obtenir réparation pour les personnes touchées par les préjugés induits par l’IA peut prendre du temps. années.
Le procès fait suite à un certain nombre de plaintes concernant l’échec des contrôles de reconnaissance faciale depuis qu’Uber a mis en œuvre le système de vérification d’identité en temps réel au Royaume-Uni en avril 2020. Le système de reconnaissance faciale d’Uber – basé sur la technologie de reconnaissance faciale de Microsoft – exige que le titulaire du compte soumette un selfie vérifié en direct. contre une photo d’eux conservée dans un dossier pour vérifier leur identité.
Échec des contrôles d’identité
Conformément à la plainte de Manjang, Uber a suspendu puis résilié son compte suite à l’échec d’une vérification d’identité et d’un processus automatisé ultérieur, affirmant avoir trouvé des « incohérences persistantes » dans les photos de son visage qu’il avait prises dans le but d’accéder à la plateforme. Manjang a déposé une plainte contre Uber en octobre 2021, avec le soutien de la Commission pour l’égalité et les droits de l’homme (EHRC) et de l’App Drivers & Couriers Union (ADCU).
Des années de litiges ont suivi, Uber n’ayant pas réussi à faire radier la réclamation de Manjang ni à obtenir un dépôt pour poursuivre l’affaire. Cette tactique semble avoir contribué à prolonger le litige, l’EHRC décrivant l’affaire comme encore aux « étapes préliminaires » à l’automne 2023, et notant que l’affaire montre « la complexité d’une réclamation portant sur la technologie de l’IA ». Une audience finale était prévue pendant 17 jours en novembre 2024.
Cette audience n’aura pas lieu après qu’Uber ait proposé – et Manjang ait accepté – un paiement à régler, ce qui signifie que des détails plus complets sur ce qui n’a pas fonctionné exactement et pourquoi ne seront pas rendus publics. Les modalités du règlement financier n’ont pas non plus été divulguées. Uber n’a pas fourni de détails lorsque nous l’avons demandé, ni commenté exactement ce qui n’allait pas.
Nous avons également contacté Microsoft pour obtenir une réponse à l’issue de l’affaire, mais la société a refusé de commenter.
Malgré le règlement avec Manjang, Uber n’accepte pas publiquement que ses systèmes ou processus étaient fautifs. Sa déclaration concernant le règlement refuse que les comptes de messagerie puissent être résiliés à la seule suite d’évaluations de l’IA, car il affirme que les contrôles de reconnaissance faciale sont soutenus par un « examen humain robuste ».
« Notre vérification d’identité en temps réel est conçue pour assurer la sécurité de tous ceux qui utilisent notre application et comprend un examen humain rigoureux pour garantir que nous ne prenons pas de décisions concernant les moyens de subsistance de quelqu’un dans le vide, sans surveillance », a déclaré la société dans un communiqué. . « La vérification faciale automatisée n’est pas la raison de la perte temporaire de l’accès de M. Manjang à son compte de messagerie. »
De toute évidence, quelque chose s’est vraiment mal passé avec les contrôles d’identité d’Uber dans le cas de Manjang.
Pa Edrissa Manjang (Photo : avec l’aimable autorisation de l’ADCU)
Worker Info Exchange (WIE), une organisation de défense des droits numériques des travailleurs de plateforme qui a également soutenu la plainte de Manjang, a réussi à obtenir tous ses selfies auprès d’Uber, via une demande d’accès au sujet en vertu de la loi britannique sur la protection des données, et a pu montrer que toutes les photos il avait soumis à son contrôle de reconnaissance faciale des photos de lui-même.
« Suite à son licenciement, Pa a envoyé de nombreux messages à Uber pour remédier au problème, demandant spécifiquement qu’un humain examine ses soumissions. Chaque fois qu’on disait à Pa « nous n’avons pas été en mesure de confirmer que les photos fournies étaient bien de vous et en raison de divergences persistantes, nous avons pris la décision finale de mettre fin à notre partenariat avec vous », raconte WIE en discutant de son cas dans un rapport plus large portant sur « l’exploitation basée sur les données dans la gig economy ».
Sur la base des détails de la plainte de Manjang qui ont été rendus publics, il semble clair que les contrôles de reconnaissance faciale d’Uber et le système de contrôle humain qu’il avait mis en place comme filet de sécurité pour les décisions automatisées a échoué dans cette affaire.
Loi sur l’égalité et protection des données
L’affaire remet en question l’adéquation de la législation britannique en matière de réglementation de l’utilisation de l’IA.
Manjang a finalement réussi à obtenir un règlement d’Uber via une procédure judiciaire basée sur la loi sur l’égalité – en particulier, une plainte pour discrimination en vertu de la loi britannique sur l’égalité de 2006, qui répertorie la race comme une caractéristique protégée.
La baronne Kishwer Falkner, présidente de l’EHRC, a critiqué le fait que le coursier Uber Eats ait dû intenter une action en justice « afin de comprendre les processus opaques qui ont affecté son travail », a-t-elle écrit dans un communiqué.
« L’IA est complexe et présente des défis uniques pour les employeurs, les avocats et les régulateurs. Il est important de comprendre qu’à mesure que l’utilisation de l’IA augmente, la technologie peut conduire à des discriminations et à des violations des droits de l’homme », a-t-elle écrit. « Nous sommes particulièrement préoccupés par le fait que M. Manjang n’a pas été informé que son compte était en cours de désactivation, et n’a pas non plus fourni de moyen clair et efficace pour contester la technologie. Il faut faire davantage pour garantir que les employeurs soient transparents et ouverts envers leurs employés quant au moment et à la manière dont ils utilisent l’IA.
La loi britannique sur la protection des données est l’autre texte législatif pertinent ici. Sur le papier, il devrait offrir de puissantes protections contre les processus opaques d’IA.
Les données de selfie pertinentes à la réclamation de Manjang ont été obtenues en utilisant les droits d’accès aux données contenus dans le RGPD britannique. S’il n’avait pas pu obtenir des preuves aussi claires que les contrôles d’identité d’Uber avaient échoué, l’entreprise n’aurait peut-être pas choisi de régler du tout. Prouver qu’un système propriétaire est défectueux sans permettre aux individus d’accéder aux données personnelles pertinentes augmenterait encore davantage les chances en faveur des plateformes beaucoup plus riches en ressources.
Lacunes dans l’application
Au-delà des droits d’accès aux données, les pouvoirs du RGPD britannique sont censés offrir aux individus des garanties supplémentaires, notamment contre les décisions automatisées ayant un effet juridique ou tout aussi important. La loi exige également une base légale pour le traitement des données personnelles et encourage les déployeurs de systèmes à être proactifs dans l’évaluation des préjudices potentiels en réalisant une évaluation d’impact sur la protection des données. Cela devrait obliger à des contrôles supplémentaires contre les systèmes d’IA nuisibles.
Toutefois, l’application de ces mesures est nécessaire pour que ces protections produisent leurs effets, notamment un effet dissuasif contre le déploiement d’IA biaisées.
Dans le cas du Royaume-Uni, l’organisme compétent, l’Information Commissioner’s Office (ICO), n’est pas intervenu et n’a pas enquêté sur les plaintes contre Uber, malgré les plaintes concernant ses contrôles d’identité ratés remontant à 2021.
Jon Baines, spécialiste principal de la protection des données au sein du cabinet d’avocats Mishcon de Reya, suggère que « le manque d’application appropriée » par l’ICO a miné la protection juridique des individus.
« Nous ne devrions pas supposer que les cadres juridiques et réglementaires existants sont incapables de faire face à certains des dommages potentiels liés aux systèmes d’IA », a-t-il déclaré à TechCrunch. « Dans cet exemple, il me semble… que le commissaire à l’information aurait certainement compétence pour examiner à la fois dans chaque cas individuel, mais aussi plus largement, si le traitement en cours était licite au sens du RGPD britannique.
« Des choses comme : le traitement est-il équitable ? Existe-t-il une base légale ? Existe-t-il une condition prévue à l’article 9 (étant donné que des catégories particulières de données personnelles sont traitées) ? Mais aussi, et surtout, y a-t-il eu une solide évaluation de l’impact sur la protection des données avant la mise en œuvre de l’application de vérification ? »
« Donc, oui, l’ICO devrait absolument être plus proactive », ajoute-t-il, remettant en question le manque d’intervention du régulateur.
Nous avons contacté l’ICO au sujet du cas de Manjang, lui demandant de confirmer si elle enquêtait ou non sur l’utilisation de l’IA par Uber pour les contrôles d’identité à la lumière des plaintes. Un porte-parole de l’organisme de surveillance n’a pas répondu directement à nos questions mais a envoyé une déclaration générale soulignant la nécessité pour les organisations de « savoir comment utiliser la technologie biométrique d’une manière qui n’interfère pas avec les droits des personnes ».
« Nos dernières directives biométriques indiquent clairement que les organisations doivent atténuer les risques liés à l’utilisation de données biométriques, tels que les erreurs d’identification précise des personnes et les préjugés au sein du système », indique également le communiqué, ajoutant : « Si quelqu’un a des inquiétudes sur la façon dont ses données ont été traités, ils peuvent signaler ces préoccupations à l’ICO.
Pendant ce temps, le gouvernement est en train de diluer la législation sur la protection des données via un projet de loi de réforme des données post-Brexit.
En outre, le gouvernement a également confirmé plus tôt cette année qu’il n’introduirait pas de législation dédiée à la sécurité de l’IA pour le moment, malgré les déclarations accrocheuses du Premier ministre Rishi Sunak selon lesquelles la sécurité de l’IA était un domaine prioritaire pour son administration.
Au lieu de cela, il a confirmé une proposition – exposée dans son livre blanc de mars 2023 sur l’IA – dans laquelle il a l’intention de s’appuyer sur les lois et les organismes de réglementation existants étendant l’activité de surveillance pour couvrir les risques d’IA qui pourraient survenir sur leur patch. Une modification de l’approche annoncée en février consistait en un petit montant de financement supplémentaire (10 millions de livres sterling) pour les régulateurs, qui, selon le gouvernement, pourrait être utilisé pour rechercher les risques liés à l’IA et développer des outils pour les aider à examiner les systèmes d’IA.
Aucun calendrier n’a été fourni pour le décaissement de cette petite cagnotte de fonds supplémentaires. Plusieurs régulateurs sont dans le cadre ici, donc s’il y a une répartition égale des liquidités entre des organismes tels que l’ICO, l’EHRC et l’Agence de réglementation des médicaments et des produits de santé, pour ne citer que trois des 13 régulateurs et départements, a écrit le secrétaire d’État britannique. le mois dernier, en leur demandant de publier une mise à jour sur leur « approche stratégique de l’IA », ils pourraient chacun recevoir moins d’un million de livres sterling pour compléter leurs budgets afin de faire face aux risques à croissance rapide de l’IA.
Franchement, cela semble être un niveau de ressources supplémentaires incroyablement faible pour des régulateurs déjà surchargés si la sécurité de l’IA est réellement une priorité du gouvernement. Cela signifie également qu’il n’y a toujours aucun financement ni aucune surveillance active pour les dommages causés par l’IA qui tombent entre les mailles du patchwork réglementaire existant du Royaume-Uni, comme les critiques de l’approche du gouvernement l’ont déjà souligné.
Une nouvelle loi sur la sécurité de l’IA pourrait envoyer un signal de priorité plus fort – à l’instar du cadre de l’UE sur les dommages causés par l’IA basé sur les risques, qui est en passe d’être adopté comme loi stricte par le bloc. Mais il faudrait aussi qu’il y ait une volonté de l’appliquer réellement. Et ce signal doit venir d’en haut.