En bref: CSAM issu de l'IA générative

Qu'est-ce que c'est ?

Les outils d'intelligence artificielle générative (IAG) peuvent créer de nouveaux contenus ou modifier des contenus existants, tels que des textes, des images fixes et des vidéos, à partir de données ou d'invites provenant d'un utilisateur. Les outils d'IAG se sont considérablement multipliés en 2023, et leur utilisation pour créer des documents entièrement ou partiellement synthétiques sur les abus sexuels d'enfants (CSAM) s'est rapidement répandue.

Position du NCMEC :

Pourquoi est-ce important ?

Dans de nombreuses juridictions, le CSAM créé par des outils d'IAG (ou « CSAM issu de l'IAG ») est déjà illégal, même si les lois existantes n'avaient pas envisagé à l'origine le développement de l'IAG. Ces lois peuvent faire référence à une « représentation qui sexualise les enfants » (comme en Norvège) ou à une « photographie ou pseudo-photographie indécente d'un enfant » (comme au Royaume-Uni) comme base de l'interdiction du CSAM issu de l'IAG. Ailleurs, les lois existantes peuvent être moins claires ou totalement silencieuses sur le CSAM issu de l'IAG.

Les outils de l'IAG peuvent servir à créer des représentations visuellement réalistes d'enfants réels à des fins d'exploitation sexuelle, en combinant le visage d'un enfant réel avec une représentation réelle ou synthétique d'un contenu sexuellement explicite, en modifiant une image innocente d'un enfant pour représenter un contenu sexuellement explicite, ou en créant une représentation de nu via l'IAG (comme le font diverses applications « déshabillantes ») d'un enfant réel. Certains criminels utilisent le CSAM issu de l'IAG comme ils utilisent tout autre CSAM, pour la satisfaction sexuelle. Des criminels aux motivations financières ont utilisé le CSAM issu de l'IAG pour extorquer de l'argent à des enfants victimes en exigeant un paiement pour empêcher la distribution en ligne d'images générées par l’IA les représentant. Les auteurs d'infractions peuvent également utiliser le CSAM issu de l'IAG dans le cadre d'un processus de manipulation ou de « grooming » pour normaliser un comportement d'exploitation et accroître la vulnérabilité d'un enfant à l'abus.

Outre ces types d'abus, le CSAM issu de l'IAG est également nuisible de la manière suivante :

• Le CSAM partiellement synthétique issu de l'IAG se base sur des éléments d'images et de vidéos d'enfants réels. Ces images originales peuvent ne pas avoir été utilisées à des fins d'exploitation sexuelle, mais la manipulation d'une image non exploitée pour créer du CSAM issu de l'IAG exploite sexuellement les enfants concernés.
• Le CSAM entièrement synthétique issu de l'IAG (qui n'est donc pas basé sur l'image d'un enfant réel) peut avoir été créé à l'aide d'un outil conçu pour des contenus d'exploitation sexuelle d'enfants réels ou non synthétiques. * Le CSAM issu de l'IAG visuellement réaliste mobilise les ressources des services répressifs, qui devraient concentrer leurs efforts sur l'identification, la localisation et la protection des enfants réels représentés dans le CSAM.
• Qu'il soit partiellement ou entièrement synthétique, le CSAM issu de l'IAG normalise l'abus et l'exploitation sexuels d'enfants ; il ne présente qu'un faible obstacle à l'utilisation en raison de sa grande accessibilité et de sa facilité d'utilisation ; et il renforce les motivations d'exploitation des criminels.

*Un rapport datant de décembre 2023 du Stanford Internet Observatory a révélé que certains modèles issus de l'IAG ont été « formés directement sur le CSAM issu de l'IAG présent dans un ensemble de données publiques de milliards d'images... ». Ce rapport a suscité des efforts pour supprimer le CSAM de ces ensembles de données de formation et/ou cesser de s'y fier.

Quel contexte est pertinent ?

De nombreux outils d'IAG ont fait leur apparition depuis que la technologie s'est généralisée en 2023. Des sociétés technologiques de toutes tailles ont mis sur le marché des outils d'IAG en tant que produits autonomes et en tant que fonctionnalités supplémentaires au sein de services existants, ce qui a considérablement modifié la manière dont les gens interagissent avec cette technologie. Alors que les outils d'IAG se sont multipliés, la réglementation et la législation spécifiques à ces outils sont très en retard, ce qui facilite l'abus des outils d'IAG par des criminels cherchant à exploiter sexuellement des enfants.

Même dans les juridictions où le CSAM issu de l'IAG est clairement illégal, les enquêtes se heurtent à plusieurs difficultés, notamment celle de distinguer de manière fiable le CSAM issu de l'IAG entièrement synthétique (qui ne représente pas un enfant particulier en danger) du CSAM issu de l'IAG partiel et du CSAM non issu de l'IAG. Des poursuites ont été engagées pour des infractions liées au CSAM issu de l'IAG par plusieurs juridictions, dont les États-Unis, l'Australie et la Corée du Sud.

Que révèlent les données ?

En 2023, la CyberTipline du NCMEC a reçu environ 4 700 signalements liés à du CSAM ou à des contenus d'exploitation sexuelle impliquant l'IAG. Parmi ces signalements, plus de 70 % ont été soumis par des médias sociaux grand public et des plateformes de stockage en ligne. Cela indique que la plupart des sociétés technologiques du secteur de l'IAG ne signalent rien à la CyberTipline. Les signalements liés au CSAM issu de l'IAG ont augmenté pour atteindre environ 450 par mois au cours du premier trimestre 2024.

En octobre 2023, l'Internet Watch Foundation a publié un rapport sur sa découverte de plus de 20 000 images issues de l'IAG sur un forum du dark Web. Les analystes ont déterminé qu'environ 3 000 de ces images relevaient du droit pénal en vertu des lois britanniques alors en vigueur contre la production, la distribution et la possession d'une « photographie ou pseudo-photographie indécente d'un enfant » ou la possession d'une « image interdite d'un enfant ». La plupart de ces images étaient visuellement réalistes et représentaient des enfants âgés de 7 à 13 ans, et plus de 99 % d'entre elles mettaient en scène des enfants de sexe féminin. Une mise à jour de ce rapport en juillet 2024 a révélé plus de 3 500 nouveaux fichiers de CSAM issu de l'IAG sur le même forum et constaté des abus plus graves de plus en plus fréquents, ainsi que l'émergence de vidéos issues de l'IAG à des fins de CSAM. L'IWF a également observé une augmentation de CSAM issu de l'IAG sur le « Web clair » et de CSAM issu de l'IAG mettant en scène des victimes de CSAM, connues ou identifiées, et des « enfants célèbres. »

Qu'en ont dit les survivants ?

Les survivants ont exprimé que les arguments juridiques différenciant le « vrai » CSAM du « faux » sont fondamentalement erronés. Les discussions sur le CSAM issu de l'IAG doivent tenir compte du préjudice causé par la création du CSAM, indépendamment du rôle de l'IAG. Certains survivants craignent en particulier que l'utilisation par les criminels de CSAM issu de l'IAG n'alimente leur intérêt sexuel pour l'abus d'enfants réels et n'accroisse la menace que ces criminels représentent pour les communautés. L'utilisation du CSAM issu de l'IAG pour manipuler ou « groomimg » des enfants et surmonter leurs inhibitions liées au comportement sexuel, les rendant ainsi plus vulnérables aux criminels, est également un sujet de préoccupation.

Il est important de comprendre que la création et l'existence de CSAM issu de l'IAG exploitent de réels êtres humains, des enfants victimes d'abus sexuels, et d'images d'abus sexuels. Le fait que la technologie continue d'innover de nouvelles façons d'exploiter les enfants victimes et survivants par le biais de l'IA est horrible et doit être criminalisé immédiatement à l'échelle mondiale.

- Un(e) survivant(e)

Sur quoi s'appuient les points de vue opposés ?

L'opposition générale aux restrictions législatives ou réglementaires sur les outils d'IAG repose sur des préoccupations concernant le frein à l'innovation, la limitation de la liberté d'expression, les défis liés à la complexité de la technologie, et la création de barrières à l'entrée pour les petites sociétés disposant de ressources limitées. Certains ont fait valoir qu'il serait préférable de renforcer l'application des lois existantes qui répriment déjà des comportements préjudiciables, tels que le harcèlement et la diffamation, pour lesquels l'IAG pourrait être utilisée à mauvais escient, plutôt que de promulguer de nouvelles obligations légales. Il est à noter que le CSAM issu de l'IAG n'est pas clairement abordé dans de nombreuses juridictions, en particulier lorsqu'un cadre juridique exige de prouver que l'enfant représenté est réel.

Les opposants aux interdictions visant le CSAM issu de l'IAG font valoir que ces mesures risquent d'être excessives et d'avoir un impact sur les images licites, et/ou que les enfants représentés dans le CSAM issu de l'IAG ne sont pas « réels », et que, in fine, ces images ne causent pas de préjudice. D'autres ont suggéré, contrairement aux avis des experts en la matière, que le CSAM issu de l'IAG et les représentations sexuelles synthétiques d'enfants peuvent avoir un intérêt thérapeutique, en procurant aux criminels une satisfaction sexuelle sans qu'ils commettent de crimes contre de « réels » enfants.