Neuf des 12 membres d’un comité d’éthique nommé par Axon pour conseiller ses décisions technologiques ont démissionné, citant le projet de l’entreprise d’installer des drones équipés de Taser et une surveillance omniprésente dans les écoles. « Après plusieurs années de travail, l’entreprise a fondamentalement échoué à adopter les valeurs que nous avons essayé d’inculquer », écrivent les membres sortants. « Nous avons perdu confiance dans la capacité d’Axon à être un partenaire responsable. »
Axon (anciennement Taser) est devenu un mastodonte de logiciels et de matériel d’application de la loi ces dernières années, fournissant non seulement les armes électriques familières et autrefois éponymes, mais aussi des caméras corporelles et des plates-formes numériques entières pour la gestion des preuves. Mettant de côté pour l’instant les risques inhérents à la privatisation de telles choses, Axon a été plutôt étonnamment réfléchi avec sa technologie, sollicitant les conseils des communautés dans lesquelles ces outils seront utilisés ainsi que des flics qui les porteront ou les utiliseront.
Le comité d’éthique de l’IA a été créé il y a quelques années lorsqu’il est devenu évident que l’apprentissage automatique était un outil extrêmement précieux, mais aussi un outil qui pouvait facilement être mal construit, appliqué de manière abusive ou une combinaison des deux. Le conseil, un ensemble d’experts, d’universitaires et de professionnels de l’industrie, fournirait une perspective tempérée sur la technologie qui suggérait des garanties, des mesures de responsabilisation, etc.
C’était un bon début, ont écrit les membres démissionnaires dans un communiqué :
Chacun de nous a rejoint ce conseil d’administration avec la conviction que nous pouvions influencer l’orientation de l’entreprise de manière à aider à atténuer les dommages que la technologie policière peut semer et à mieux saisir les avantages. Pendant un certain temps, nous avons vu cette influence jouer dans certaines des décisions d’Axon. Qu’il s’agisse de ne doter aucun de ses produits de capacités de reconnaissance faciale, de retirer un nouvel outil logiciel pour collecter des données sur les sites Web de médias sociaux, de promouvoir une législation désespérément nécessaire pour maîtriser l’utilisation des lecteurs de plaques d’immatriculation, nous avons observé des preuves tangibles de la différence que nous faisaient.
J’ai discuté avec le PDG Rich Smith en 2020 et j’ai découvert qu’il avait une vision rafraîchissante et honnête de la question de savoir si la technologie était la réponse à une crise policière en cours.
« La technologie n’est pas une panacée. Cela ne résoudra pas ces problèmes pour nous », a-t-il déclaré. Mais tout aussi vrai, a-t-il poursuivi, est le fait que sans technologie, certains de ces problèmes seront insolubles. Les caméras corporelles et autres suivis numériques des rencontres avec la police ne sont pas un bien sans mélange, mais sinon, comment pouvons-nous nous attendre à ce que de tels événements soient systématiquement enregistrés ? Ceux qui définiront ces outils ne sont pas la police mais les entreprises qui les fabriquent, et Axon a manœuvré pour se mettre dans cette position.
Mais récemment, il est peut-être allé trop loin en ce qui concerne la quantité et le type de technologie à utiliser comme moyen de dissuasion contre les fusillades de masse.
« [Axon] a l’intention de développer des drones équipés de Taser, de les prépositionner dans des cibles potentielles pour des fusillades de masse et dans des écoles, et d’encercler ces cibles dans des caméras de surveillance avec des capacités de diffusion en temps réel », lit-on dans la lettre du conseil.
« Le conseil avait été présenté et délibéré sur le drone Taser comme quelque chose à piloter, avec des contrôles stricts car il y a tellement de questions auxquelles il faut répondre sur l’utilisation de ce type d’équipement. Cependant, le conseil d’administration a été informé très rapidement qu’Axon prévoyait d’annoncer cet outil comme un concept répandu, contournant complètement la mise en garde du comité d’éthique de l’IA », a déclaré Mecole McBride, ancien membre du conseil d’administration et directeur du plaidoyer du groupe de surveillance du projet de police de NYU. « S’il était si facile de mettre le conseil d’administration de côté sur quelque chose d’aussi important, nous devions nous demander, que faisons-nous ici? »
Le conseil d’administration a averti Axon que s’ils poursuivaient cela comme prévu, il y aurait des démissions. Cela a continué – et ils ont démissionné.
Avec cela et le tollé des autres membres de la communauté selon lesquels ce n’était peut-être pas la réponse appropriée à la menace de fusillades de masse, Smith a écrit ce billet de blog reconnaissant que l’entreprise avait peut-être pris de l’avance sur elle-même.
« À la lumière des commentaires, nous suspendons les travaux sur ce projet et nous nous recentrons pour nous engager davantage avec les principaux acteurs afin d’explorer pleinement la meilleure voie à suivre », a-t-il écrit. « Un drone TASER non létal télécommandé dans les écoles est une idée, pas un produit, et c’est encore loin. Nous avons beaucoup de travail et d’exploration pour voir si cette technologie est même viable et pour comprendre si les préoccupations du public peuvent être traitées de manière adéquate avant d’aller de l’avant.
Il a également déclaré qu’ils « amélioreraient » le processus de collecte d’opinions alternatives, bien que, comme l’a souligné McBride, il semble avoir écrasé son système existant. Quelles améliorations l’empêcheraient de faire la même chose à l’avenir à n’importe qui, aussi bien doté en personnel, soit dans un rôle purement consultatif alors que des faucons occupent des postes décisionnels? Axon n’a pas répondu aux questions relatives à l’avenir du conseil d’administration, me référant au post mentionné ci-dessus.
Curieusement, Smith y affirme que les membres démissionnaires du comité d’éthique « ont choisi de se retirer de s’engager directement sur ces questions avant que nous ayons entendu ou eu la chance de répondre à leurs questions techniques ».
Pourtant, Max Isaacs, un avocat du Policing Project qui a travaillé avec Axon et le conseil d’administration sur cette idée, a déclaré que « Pendant plus d’un an, le comité d’éthique s’est engagé avec Axon pour discuter des paramètres d’un programme pilote étroit », ce qui implique que le compte de Smith a ça vers l’arrière. « Le non-respect par l’entreprise de sa promesse de consulter le comité d’éthique avant de prendre des décisions aussi importantes et son adoption d’une surveillance de masse persistante indiquent qu’Axon n’est pas suffisamment engagé dans le développement de cette technologie de manière responsable », a déclaré Isaacs. Il a réitéré dans un autre message qu’ils avaient « supplié » Axon de ne pas rendre publique l’idée.
Un représentant d’Axon a expliqué que le conseil d’administration avait pesé sur un drone équipé de Taser pour police, pas celui « pré-installé dans les espaces publics » et brièvement destiné à être utilisé dans les écoles. C’est un peu mince comme couverture pour dire que le conseil n’avait pas pesé : leurs préoccupations concernant les déploiements par la police doivent sûrement avoir été encore plus pressantes pour le déploiement dans les écoles. Et comme l’indiquait la lettre de démission, Axon ne leur a pas donné beaucoup de temps pour répondre – ou plus probablement, savait exactement quelle serait la réponse.
Quoi qu’il en soit, le plan Taser Drone est sur la glace et Axon peut réfléchir à deux fois avant de se lancer dans une discussion de poudrière, match à la main. La technologie jouera toujours un rôle important dans la sécurité et l’application de la loi, mais cela ne sert à rien (et pourrait bien avoir de graves répercussions) d’aller plus vite que nous ne le pensons.