Comme tu lis ces mots, il existe probablement des dizaines d’algorithmes qui font des prédictions à votre sujet. C’était probablement un algorithme qui déterminait que vous seriez exposé à cet article parce qu’il prédisait que vous le liriez. Les prédictions algorithmiques peuvent déterminer si vous obtenez un prêt, un emploi, un appartement ou une assurance, et bien plus encore.
Ces analyses prédictives conquièrent de plus en plus de sphères de la vie. Et pourtant, personne ne vous a demandé la permission de faire de telles prévisions. Aucune agence gouvernementale ne les supervise. Personne ne vous informe sur les prophéties qui déterminent votre destin. Pire encore, une recherche dans la littérature universitaire sur l’éthique de la prédiction montre qu’il s’agit d’un domaine de connaissance sous-exploré. En tant que société, nous n’avons pas réfléchi aux implications éthiques de faire des prédictions sur les gens – des êtres censés être imprégnés d’agence et de libre arbitre.
Défier les probabilités est au cœur de ce que signifie être humain. Nos plus grands héros sont ceux qui ont défié leurs chances : Abraham Lincoln, Mahatma Gandhi, Marie Curie, Hellen Keller, Rosa Parks, Nelson Mandela et au-delà. Ils ont tous réussi au-delà des attentes. Chaque professeur d’école connaît des enfants qui ont accompli plus que ce qui a été distribué dans leurs cartes. En plus d’améliorer la base de référence de chacun, nous voulons une société qui permet et stimule des actions qui défient les probabilités. Pourtant, plus nous utilisons l’IA pour catégoriser les gens, prédire leur avenir et les traiter en conséquence, plus nous réduisons l’agence humaine, ce qui nous exposera à son tour à des risques inexplorés.
Les êtres humains ont utilisait la prédiction depuis avant l’Oracle de Delphes. Des guerres ont été menées sur la base de ces prédictions. Au cours des dernières décennies, la prédiction a été utilisée pour éclairer des pratiques telles que la fixation des primes d’assurance. Ces prévisions avaient tendance à concerner de grands groupes de personnes, par exemple, combien de personnes sur 100 000 auront un accident de voiture. Certaines de ces personnes seraient plus prudentes et chanceuses que d’autres, mais les primes étaient à peu près homogènes (à l’exception de grandes catégories comme les groupes d’âge) en supposant que la mise en commun des risques permet aux coûts plus élevés des moins prudents et des moins chanceux d’être compensés par des les frais des prudents et des chanceux. Plus le pool était grand, plus les primes étaient prévisibles et stables.
Aujourd’hui, la prédiction se fait principalement grâce à des algorithmes d’apprentissage automatique qui utilisent des statistiques pour combler les lacunes de l’inconnu. Les algorithmes de texte utilisent d’énormes bases de données linguistiques pour prédire la fin la plus plausible d’une chaîne de mots. Les algorithmes de jeu utilisent les données des jeux précédents pour prédire le meilleur prochain coup possible. Et les algorithmes appliqués au comportement humain utilisent des données historiques pour déduire notre avenir : ce que nous allons acheter, si nous envisageons de changer d’emploi, si nous allons tomber malade, si nous allons commettre un crime ou écraser notre auto. Dans un tel modèle, l’assurance ne consiste plus à mettre en commun les risques d’un grand nombre de personnes. Au contraire, les prédictions sont devenues individualisées et vous payez de plus en plus à votre guise, en fonction de vos scores de risque personnels, ce qui soulève un nouvel ensemble de préoccupations éthiques.
Une caractéristique importante des prédictions est qu’elles ne décrivent pas la réalité. La prévision concerne le futur, pas le présent, et le futur est quelque chose qui n’est pas encore devenu réel. Une prédiction est une supposition, et toutes sortes d’évaluations subjectives et de biais concernant le risque et les valeurs y sont intégrées. Certes, il peut y avoir des prévisions plus ou moins précises, mais la relation entre probabilité et réalité est beaucoup plus ténue et problématique sur le plan éthique que certains ne le supposent.
Les institutions d’aujourd’hui, cependant, essaient souvent de faire passer les prédictions comme s’il s’agissait d’un modèle de réalité objective. Et même lorsque les prévisions de l’IA sont simplement probabilistes, elles sont souvent interprétées comme déterministes dans la pratique, en partie parce que les êtres humains comprennent mal les probabilités et en partie parce que les incitations à éviter le risque finissent par renforcer la prédiction. (Par exemple, si l’on prédit qu’une personne a 75 % de chances d’être un mauvais employé, les entreprises ne voudront pas prendre le risque de l’embaucher lorsqu’elles ont des candidats avec un score de risque inférieur).