Un père inquiet dit qu’après avoir utilisé son smartphone Android pour prendre des photos d’une infection sur l’aine de son tout-petit, Google a signalé les images comme du matériel d’abus sexuel d’enfants (CSAM), selon un rapport de Le New York Times. La société a fermé ses comptes et a déposé un rapport auprès du Centre national pour les enfants disparus et exploités (NCMEC) et a déclenché une enquête policière, soulignant les complications d’essayer de faire la différence entre un abus potentiel et une photo innocente une fois qu’elle fait partie de la photo d’un utilisateur. bibliothèque numérique, que ce soit sur leur appareil personnel ou dans le stockage en nuage.
Les inquiétudes concernant les conséquences de brouiller les lignes pour ce qui devrait être considéré comme privé ont été exprimées l’année dernière lorsque Apple a annoncé son plan de sécurité des enfants. Dans le cadre du plan, Apple numériserait localement les images sur les appareils Apple avant qu’elles ne soient téléchargées sur iCloud, puis associerait les images à la base de données hachée du NCMEC des CSAM connus. Si suffisamment de correspondances étaient trouvées, un modérateur humain examinerait alors le contenu et verrouillerait le compte de l’utilisateur s’il contenait du CSAM.
L’Electronic Frontier Foundation (EFF), un groupe de défense des droits numériques à but non lucratif, a critiqué le plan d’Appleaffirmant que cela pourrait « ouvrir une porte dérobée à votre vie privée » et que cela représentait « une diminution de la confidentialité pour tous les utilisateurs d’iCloud Photos, pas une amélioration ».
Apple a finalement placé la partie de numérisation d’image stockée en attentemais avec le lancement d’iOS 15.2, il a continué à inclure une fonctionnalité facultative pour les comptes enfants inclus dans un plan de partage familial. Si les parents acceptent, alors sur le compte d’un enfant, l’application Messages « analyse les images jointes et détermine si une photo contient de la nudité, tout en maintenant le cryptage de bout en bout des messages ». S’il détecte de la nudité, il brouille l’image, affiche un avertissement pour l’enfant et lui présente des ressources destinées à aider à la sécurité en ligne.
Le principal incident mis en évidence par Le New York Times a eu lieu en février 2021, alors que certains cabinets médicaux étaient encore fermés en raison de la pandémie de COVID-19. Comme l’a noté le Fois, Mark (dont le nom de famille n’a pas été révélé) a remarqué un gonflement dans la région génitale de son enfant et, à la demande d’une infirmière, a envoyé des images du problème avant une consultation vidéo. Le médecin a fini par prescrire des antibiotiques qui ont guéri l’infection.
Selon le NYTMark a reçu une notification de Google deux jours seulement après avoir pris les photos, indiquant que ses comptes avaient été verrouillés en raison d’un « contenu préjudiciable » qui constituait « une grave violation des politiques de Google et pourrait être illégal ».
Comme de nombreuses sociétés Internet, notamment Facebook, Twitter et Reddit, Google a utilisé la correspondance de hachage avec PhotoDNA de Microsoft pour analyser les images téléchargées afin de détecter les correspondances avec des contenus CSAM connus. En 2012, cela a conduit à l’arrestation d’un homme qui était un délinquant sexuel enregistré et qui utilisait Gmail pour envoyer des images d’une jeune fille.
En 2018, Google a annoncé le lancement de son Boîte à outils d’IA de l’API de sécurité du contenu qui peut « identifier de manière proactive des images CSAM inédites afin qu’elles puissent être examinées et, si elles sont confirmées comme CSAM, supprimées et signalées le plus rapidement possible ». Il utilise l’outil pour ses propres services et, avec une solution de correspondance de hachage CSAI Match de ciblage vidéo développée par les ingénieurs de YouTube, l’offre également à d’autres.
Google « Combattre les abus sur nos propres plateformes et services »:
Nous identifions et signalons le CSAM avec des équipes de spécialistes formés et une technologie de pointe, y compris des classificateurs d’apprentissage automatique et une technologie de correspondance de hachage, qui crée un « hachage », ou une empreinte digitale numérique unique, pour une image ou une vidéo afin qu’elle puisse être comparée à des hachages. de CSAM connus. Lorsque nous trouvons du CSAM, nous le signalons au National Center for Missing and Exploited Children (NCMEC), qui assure la liaison avec les forces de l’ordre du monde entier.
Un porte-parole de Google a déclaré au Fois que Google ne scanne les images personnelles des utilisateurs que lorsqu’un utilisateur prend une « action positive », ce qui peut apparemment inclure la sauvegarde de ses photos sur Google Photos. Lorsque Google signale des images exploitantes, le Fois note que Google est requis par loi fédérale de signaler le contrevenant potentiel à la CyberTipLine du NCMEC. En 2021, Google signalé 621 583 cas du CSAM à la CyberTipLine du NCMEC, tandis que le NCMEC alerté les autorités de 4 260 victimes potentiellesune liste que le NYT dit inclut le fils de Mark.
Mark a fini par perdre l’accès à ses e-mails, contacts, photos et même à son numéro de téléphone, car il utilisait le service mobile de Google Fi, le Fois rapports. Mark a immédiatement essayé de faire appel de la décision de Google, mais Google a rejeté la demande de Mark. Le département de police de San Francisco, où vit Mark, a ouvert une enquête sur Mark en décembre 2021 et a mis la main sur toutes les informations qu’il stockait avec Google. L’enquêteur sur l’affaire a finalement conclu que l’incident « ne rencontrait pas les éléments d’un crime et qu’aucun crime n’avait eu lieu », le NYT Remarques.
« Le matériel d’exploitation sexuelle d’enfants (CSAM) est odieux et nous nous engageons à empêcher sa propagation sur nos plateformes », a déclaré la porte-parole de Google, Christa Muldoon, dans un communiqué envoyé par courrier électronique à Le bord. «Nous suivons la loi américaine pour définir ce qui constitue le CSAM et utilisons une combinaison de technologie de correspondance de hachage et d’intelligence artificielle pour l’identifier et le supprimer de nos plateformes. De plus, notre équipe d’experts en sécurité des enfants examine le contenu signalé pour en vérifier l’exactitude et consulte des pédiatres pour s’assurer que nous sommes en mesure d’identifier les cas où les utilisateurs peuvent demander un avis médical.
Bien qu’il soit indéniablement important de protéger les enfants contre les abus, les critiques affirment que la pratique consistant à numériser les photos d’un utilisateur empiète de manière déraisonnable sur sa vie privée. Jon Callas, directeur des projets technologiques à l’EFF, a qualifié les pratiques de Google d' »intrusives » dans une déclaration au NYT. « C’est précisément le cauchemar qui nous préoccupe tous », a déclaré Callas au NYT. « Ils vont scanner mon album de famille, et puis je vais avoir des ennuis. »