En 2018, le département des services sociaux de l’Oregon a mis en œuvre son outil de dépistage de la sécurité, un algorithme qui génère un «score de risque» pour les travailleurs de la ligne d’assistance téléphonique en matière d’abus, recommandant si un travailleur social doit enquêter plus avant sur le contenu d’un appel. Cette IA était basée sur le célèbre outil de dépistage familial Allegheny, conçu pour prédire le risque qu’un enfant se retrouve en famille d’accueil en fonction d’un certain nombre de facteurs socio-économiques.
Mais après qu’il a été découvert que l’outil Allegheny signalait un nombre disproportionné d’enfants noirs pour négligence « obligatoire », et une PA rapport d’enquête sur la question, les responsables de l’Oregon prévoient désormais de fermer leur IA dérivée d’ici la fin juin au profit d’un système d’examen entièrement nouveau, et en particulier moins automatisé.
La propre analyse du département prédit que la décision contribuera à réduire certaines des disparités raciales existantes endémiques au système de protection de l’enfance de l’Oregon. « Nous nous engageons à améliorer continuellement la qualité et l’équité », a déclaré Lacey Andresen, directrice adjointe de l’agence, dans un e-mail du 19 mai au personnel obtenu par le PA.
Un certain nombre d’États à travers le pays ont déjà mis en œuvre, ou envisagent, des algorithmes similaires au sein de leurs agences de protection de l’enfance. Mais comme pour le COMPAS de Northpointe avant eux, leur mise en œuvre a soulevé des inquiétudes quant à la transparence et à la fiabilité du processus ainsi qu’à leur nette tendance aux préjugés raciaux. Cependant, les développeurs d’Allegheny ont noté que leur outil n’était que cela et n’avait jamais été conçu pour fonctionner seul sans surveillance humaine directe.
« Prendre des décisions sur ce qui devrait arriver aux enfants et aux familles est une tâche bien trop importante pour donner des algorithmes non testés », a déclaré le sénateur Ron Wyden (OR-D) dans un communiqué. « Je suis heureux que le département des services sociaux de l’Oregon prenne au sérieux les préoccupations que j’ai soulevées concernant les préjugés raciaux et suspende l’utilisation de son outil de dépistage. »
À sa place, le DHS de l’Oregon mettra en œuvre un modèle de prise de décision structurée utilisé par la Californie, le Texas et le New Jersey. L’autre IA de protection de l’enfance de l’Oregon, celle qui génère un score indiquant si un enfant adoptif doit ou non être réuni avec sa famille, reste en pause.
Tous les produits recommandés par Engadget sont sélectionnés par notre équipe éditoriale, indépendante de notre maison mère. Certaines de nos histoires incluent des liens d’affiliation. Si vous achetez quelque chose via l’un de ces liens, nous pouvons gagner une commission d’affiliation.