Qu'est-ce que c'est ?
Certaines solutions technologiques liées à la détection de CSAM se sont avérées efficaces et une adoption plus large de ces solutions permettrait de créer un ensemble de mesures minimales que les plateformes en ligne devraient mettre en œuvre dans le cadre de leurs efforts de lutte contre les délits de CSAM en ligne.
Position du NCMEC :
Les services qui permettent le stockage électronique, la transmission ou la création d'images et/ou de vidéos, notamment les services d'IA générative et de diffusion en direct, devraient utiliser le hachage cryptographique, le hachage perceptuel et/ou les classificateurs d'images pour prévenir, détecter, perturber et signaler le CSAM, le cas échéant.
Pourquoi est-ce important ?
L'innovation technologique a créé des opportunités d'améliorer la sécurité en ligne en intégrant des outils conçus pour mieux détecter le CSAM et faciliter le signalement des incidents d'exploitation sexuelle des enfants en ligne. L'utilisation de ces technologies est volontaire et leur mise en œuvre varie considérablement d'une plateforme en ligne à l'autre. Une adoption plus généralisée et plus cohérente des technologies et des stratégies de détection du CSAM permettrait de lutter contre sa prolifération, d'améliorer l'identification des criminels et des victimes et faciliterait la rédaction de signalements plus étoffés sur la diffusion de CSAM. Il en découlerait une meilleure protection à la fois des survivants qui sont revictimisés lorsque du CSAM les représentant est remis en circulation en ligne et des victimes dont les abus n'ont pas encore été découverts.
Quel contexte est pertinent ?
Le hachage cryptographique est un processus qui utilise un algorithme mathématique pour créer une chaîne de caractères d'une longueur fixe (qui peut varier en fonction de l'algorithme employé) basée sur le contenu d'une image ou d'une vidéo. La chaîne, appelée hachage ou valeur de hachage, peut être comparée à d'autres hachages ou valeurs de hachage pour déterminer si deux fichiers sont identiques (par exemple, des images ou des vidéos en double). Il existe plusieurs types d'algorithmes de hachage cryptographique, dont MD5, SHA-1 et SHA-256, qui sont couramment utilisés par les organisations de protection de l'enfance en ligne.
Le hachage perceptuel est un processus qui utilise un algorithme mathématique pour évaluer la similarité de diverses images ou vidéos sur la base des caractéristiques perceptuelles d'une image ou d'une vidéo (c’est-à-dire son apparence aux yeux d'un observateur humain). Un algorithme de hachage perceptuel génère des valeurs de hachage similaires pour des images visuellement similaires (mais pas identiques), même si les images ne sont pas identiques. PhotoDNA est un algorithme de hachage perceptuel bien connu, largement utilisé à des fins de détection de CSAM ; on peut également citer PDQ et pHash.
Les classificateurs d'images sont des applications d'intelligence artificielle capables de reconnaître des objets dans une image ou une vidéo. Les classificateurs peuvent être mis en œuvre de diverses manières pour examiner des photos, des vidéos enregistrées ou en direct, et même des activités en direct (comme sur un appareil photo capable de détecter les sourires pour aider à capturer la meilleure photo de groupe). Cette technologie a été rapidement adoptée à diverses fins par les consommateurs, notamment la détection des sourires dans les appareils photo numériques, la recherche visuelle des détaillants en ligne et la sensibilisation à l'environnement dans les voitures autonomes. Les classificateurs d'images spécialement entraînés sont utiles pour détecter le CSAM présumé qui échappe au hachage cryptographique ou perceptuel (généralement parce qu'il n'a pas été précédemment détecté, confirmé et ajouté aux bases de données de hachage pertinentes). Ainsi, la classification d'images est la seule capable de détecter le CSAM nouvellement produit ou peu diffusé.
Pour contrer la propagation du CSAM, certaines des plus grandes plateformes en ligne au monde ont élaboré et déployé des outils de hachage et de classification. Microsoft a co-développé PhotoDNA et le met à la disposition des organisations qualifiées. Le classificateur Content Safety API de Google et CSAI Match (qui peut détecter des images de CSAM préalablement hachées « parmi un volume élevé de contenu vidéo non violatif ») sont tous deux disponibles pour certains partenaires. Meta a développé PDQ et son équivalent vidéo TMK+PDQF, puis les a publiés en tant que projets open-source.
Toutes les sociétés n'utilisent pas ces ressources ou d'autres ressources similaires, y compris les sociétés qui ont développé des outils elles-mêmes. Apple a développé NeuralHash, un algorithme de hachage perceptuel, mais a renoncé à le mettre en œuvre après s'être heurté à la résistance des critiques.
Le NCMEC héberge plusieurs initiatives de partage de hachage pour faciliter le partage volontaire des valeurs de hachage de CSAM suspecté entre les lignes d'assistance téléphoniques dédiées au signalement et les plateformes en ligne, ainsi qu'entre les plateformes en ligne elles-mêmes. Le programme de partage de signaux de la Tech Coalition, Project Lantern, permet également le partage des valeurs de hachage de CSAM et d'autres signaux entre les participants au programme.
Dans certaines juridictions, les organes législatifs et réglementaires évaluent les exigences technologiquement neutres imposées aux plateformes en ligne visant à détecter, signaler et supprimer le CSAM, en se concentrant sur les résultats et en s'en remettant aux plateformes en ligne pour ce qui est de la manière de les atteindre. Cette stratégie vise à garantir que quelles que soient les lois ou réglementations mises en œuvre, celles-ci resteront applicables lorsque de nouvelles technologies seront développées et que les technologies existantes deviendront obsolètes.
Le hachage cryptographique, le hachage perceptuel et la classification des images se sont avérés être des mesures efficaces pour contrer la distribution de CSAM. Le NCMEC soutient la poursuite de l'innovation destinée à développer d'autres solutions technologiques et encourage l'adoption et le déploiement à grande échelle de ces outils en tant que mesures minimales que les plateformes en ligne doivent prendre dans le cadre de leurs efforts pour lutter contre l'exploitation sexuelle des enfants basée sur l'image.
Comme pour tout autre type de technologie, aucune solution n'est parfaite. Si les outils de hachage et de classification permettent aux plateformes en ligne de détecter, perturber et signaler les cas présumés de CSAM à grande échelle, l'examen humain à un certain niveau demeure un élément de réflexion important pour les plateformes en ligne et les forces de l'ordre.
Que révèlent les données ?
En grande partie grâce à l'utilisation de ces technologies, les plateformes en ligne qui utilisent des outils de hachage et de classification d'images signalent chaque année à la CyberTipline du NCMEC des dizaines de millions d'images et de vidéos suspectées d'être du CSAM. Les plateformes en ligne ne révèlent généralement pas dans leurs rapports de transparence le nombre d'images et de vidéos de CSAM détectées ni le type de technologie utilisé.
Google a estimé qu'environ 90 % des images qu'il signale à la CyberTipline sont connues ou confirmées (par hachage) comme étant du CSAM. Dans ses rapports de transparence, Meta — qui exploite Facebook, Instagram et d'autres services — a révélé que 90 à 99 % des contenus illicites qu'il a « sanctionnés » (supprimés, limités, etc.) pour des raisons de mise en danger des enfants liées à la nudité et à l'exploitation sexuelle des enfants ont été détectés et sanctionnés avant que d'autres utilisateurs ne les aient signalés. En l'absence d'informations détaillées sur le nombre d'images et de vidéos détectées par les outils de hachage, par des classificateurs ou par d'autres méthodes, le volume d'images concerné suggère que des systèmes automatisés sont largement impliqués dans ce travail.
La Tech Coalition, dans son premier Lantern Transparency Report, a révélé que les sociétés participantes avaient partagé près de 300 000 hachages jusqu'en décembre 2023, ce qui représente environ 40 % du partage de signaux dans le cadre de ce projet.
Qu'en ont dit les survivants ?
Les survivants ont exprimé leur frustration face à l'incapacité de certaines plateformes en ligne à utiliser des technologies qui ont fait leurs preuves pour aider à détecter, perturber et signaler la distribution de CSAM. En l'absence d'exigences juridiques ou réglementaires universelles, ils en appellent aux responsabilités morales, sociales, éthiques et commerciales des sociétés et plaident en faveur de normes minimales de lutte contre le CSAM sur leurs plateformes.
Des outils technologiques éprouvés devraient être employés par l'industrie technologique partout où existe la possibilité de créer, diffuser et/ou stocker des images d'abus sexuels d'enfants. L'utilisation d'une technologie efficace et disponible pour prioriser la vie et à la sécurité des enfants victimes est une décision que toutes les sociétés technologiques devraient mettre en œuvre pour leurs services.
- Un(e) survivant(e)
Sur quoi s'appuient les points de vue opposés ?
L'opposition à l'utilisation par les plateformes en ligne de la technologie de hachage et de classification des images comme mesures minimales de protection des enfants provient de multiples perspectives. Certains défenseurs de la protection de la vie privée s'inquiètent des pratiques qui soumettent le contenu en ligne à un filtrage, même si les méthodes de filtrage ne révèlent aucune information sur le contenu légal. Une partie de l'opposition vient également de la conviction que les intérêts de la vie privée des utilisateurs l'emportent sur les avantages que présentent les outils technologiques en termes de sécurité, même ceux dont il est prouvé qu'ils protègent les enfants de l'exploitation sexuelle ou de la revictimisation. Certains critiques font valoir que ces technologies sont imparfaites et peuvent donner lieu à des faux positifs, ou que les listes de hachage ou les données d'entraînement qui sous-tendent ces outils pourraient être compromises, accidentellement ou à dessein, pour détecter et bloquer des contenus autres que le CSAM. Le coût financier de la mise en œuvre de ces solutions sans avantage financier clair pourrait dissuader certaines sociétés de les adopter. D'aucuns pourraient également suggérer que la fixation de normes minimales spécifiques décourage l'innovation en matière de mesures alternatives de lutte contre l'exploitation sexuelle des enfants en ligne.