En bref: Prévention dans les services d'IA générative

Qu'est-ce que c'est ?

Les outils d'intelligence artificielle générative (IAG) peuvent créer de nouveaux contenus ou modifier des contenus existants, y compris des textes, des images fixes et des vidéos, en fonction des données ou des invites d'un utilisateur. Diverses mesures peuvent être mises en œuvre pour empêcher les outils d'IAG de créer du matériel d'abus sexuels d'enfants (CSAM) et d'autres contenus d'exploitation, mais le déploiement de ces mesures n'a pas été rendu obligatoire par la loi ou la réglementation, et n'a pas non plus été universellement adopté sur une base volontaire.

Les mesures disponibles pour soutenir les efforts de prévention sont les suivantes :

• intégrer les principes de « Safety by Design » ;
• soumettre les outils d'IAG à des simulations d'efforts réels pour créer du matériel préjudiciable (une pratique connue sous le nom de « red teaming ») afin de supprimer la capacité des outils d'IAG à créer ce type de contenu ;
• surveiller de manière proactive les ensembles de données de formation afin de prévenir les contenus préjudiciables, et de les supprimer si nécessaire ;
• participer à des initiatives de sécurité en collaboration avec d'autres organisations du secteur et de protection de l'enfance ;
• déployer des classificateurs de texte pour détecter et bloquer les invites d'utilisateurs destinées à produire un contenu d'exploitation ;
• déployer des classificateurs d'images pour détecter et bloquer les images et les vidéos abusives ;
• signaler les invites et les contenus abusifs au NCMEC.

Position du NCMEC :

Pourquoi est-ce important ?

La production et la diffusion de CSAM constituent une infraction pénale grave qui cause un préjudice considérable aux victimes et favorise l'abus et l'exploitation sexuels des enfants. Les progrès récents de la technologie dans le domaine de l'IAG ont permis aux criminels de créer du CSAM via l'IA ou de modifier du CSAM existant, et ce de plusieurs manières. Un criminel peut demander à un outil d'IAG de créer du CSAM à l'aide d'un texte descriptif. Les images non explicites existantes peuvent être modifiées par des outils d'IAG automatisés ou guidés par l'utilisateur pour créer l'image d'un véritable enfant nu ou se livrant à un comportement sexuellement explicite. Le CSAM photoréaliste qui en résulte est source d'exploitation des enfants, pose des problèmes supplémentaires aux services d'assistance téléphonique et aux services répressifs, et détourne les ressources des enquêtes visant à secourir les enfants réels qui subissent un préjudice réel.

Certains modèles d'IAG ont également été utilisés pour générer des instructions textuelles sur la manière d'abuser et d'exploiter un enfant, d'éviter la détection, de détruire des preuves et de prendre d'autres mesures à l'appui d'activités criminelles impliquant l'exploitation sexuelle d'enfants.

La technologie peut également être utilisée pour empêcher la création de CSAM généré par IA et d'autres contenus d'exploitation. En permettant la création et la commercialisation de technologies liées à l’IAG auprès du public sans mettre en œuvre, autant que faire se peut, des mesures strictes visant à empêcher la création de CSAM généré via IAG, on facilite la création de ce type de contenu et on expose sciemment les enfants à un risque d'exploitation sexuelle.

Quel contexte est pertinent ?

La prolifération récente et rapide des outils d'IAG en l'absence de cadre juridique ou réglementaire a créé un paysage dans lequel certains services sont à code source fermé (étroitement contrôlés par les grandes sociétés en tant que produits propriétaires), tandis que d'autres sont en open-source (permettant à quiconque d'accéder au code source, de le télécharger et de le modifier). Les sociétés qui exploitent des services propriétaires, même en l'absence d'obligations légales ou réglementaires, ont de bonnes raisons commerciales d'intégrer des mesures de sécurité dans leurs outils d'IAG, et nombre d'entre elles l'ont fait. Si les services à code source fermé sont actuellement plus largement utilisés par le public, les modèles open-source — qui peuvent être téléchargés, modifiés et déployés sans avoir besoin de communiquer avec un serveur ou un service centralisé — sont beaucoup plus difficiles à traiter.

Des auteurs de CSAM ont communiqué sur des forums du Web sombre pour enseigner aux autres tout autant qu'apprendre d'eux comment utiliser des modèles d'IAG open-source pour créer du CSAM. Les chercheurs ont documenté des messages de forum accessibles au public dans lesquels les utilisateurs discutaient du partage de CSAM, du téléchargement de modèles d'IAG open-source, de la formation des modèles sur du CSAM non synthétique et d'autres stratégies visant à manipuler les outils d'IAG pour créer du CSAM.

En 2024, les organisations technologiques à but non lucratif Thorn et All Tech is Human ont collaboré avec onze développeurs d'IAG et se sont engagés publiquement à respecter les principes de Safety by Design afin de « s'élever contre la création et la diffusion de matériel d'abus sexuel d'enfants généré par l'IA [...] et d'autres préjudices sexuels à l'encontre d'enfants. » Un livre blanc officiel a accompagné l'annonce publique afin de présenter les principes et de partager des stratégies sur la manière dont les différentes parties prenantes peuvent les mettre en œuvre.

Que révèlent les données ?

En 2023, le NCMEC a commencé à suivre pour la première fois les signalements reçus par la CyberTipline qui impliquaient d CSAM généré par l'IAG ou d'autres contenus d'exploitation sexuelle liés à l'IAG, et a trouvé environ 4 700 signalements de ce type. Au cours du seul premier semestre 2024, le NCMEC a identifié plus de 7 000 signalements transmis à la CyberTipline liés à l'IAG, dont plus de 20 000 dossiers de CSAM généré via l'IAG.

Qu'en ont dit les survivants ?

Les survivants soulignent l'importance de la prévention et mettent en évidence la possibilité d'adopter des mesures de prévention dans le cadre des modèles de l'IAG. Certains survivants expriment leur frustration et leur colère face à l'apparente rapidité du développement et de la mise sur le marché des modèles de l'IAG texte-image sans les garanties appropriées pour empêcher la création de CSAM. Les solutions qui se concentrent sur la prévention, plutôt que sur la surveillance et le signalement, sont susceptibles de recueillir un soutien plus large face aux préoccupations en matière de protection de la vie privée.

La prévention est essentielle parce qu'elle s'attaque au problème à sa source, en minimisant les préjudices potentiels avant qu'ils ne se produisent. Dans le contexte de l'IA générative, les mesures de prévention contribuent en premier lieu à mettre un terme à la création et à la diffusion de contenus préjudiciables. L'existence et la diffusion d'images abusives générées par l'IA peuvent causer un préjudice psychologique important aux victimes et aux survivants, qui peuvent se sentir violés en sachant que de telles images circulent. Même si elles ne sont pas réelles, elles peuvent perpétuer et normaliser des comportements et des attitudes préjudiciables à l'égard des enfants.

- Un(e) survivant(e)

Sur quoi s'appuient les points de vue opposés ?

Les points de vue spécifiquement opposés aux mesures de prévention du CSAM peuvent être marginalisés en adoptant une telle position. L'opposition générale aux restrictions sur le développement de l'IAG peut inclure des arguments selon lesquels une telle réglementation étoufferait l'innovation, générerait des coûts économiques que les petites sociétés pourraient ne pas être en mesure de supporter, ou porterait atteinte à la liberté d'expression.