Qu'est-ce que c'est ?
Safety by Design est une approche du développement de produits et de services dans laquelle la sécurité est une caractéristique centrale, un centre d'intérêt et un domaine de préoccupation dès le départ, plutôt qu'une réflexion a posteriori ou un ajout après le lancement d'un produit ou d'un service.
Position du NCMEC :
Les gouvernements devraient exiger et/ou inciter les plateformes en ligne et les fabricants d'appareils à respecter des principes minimaux de Safety by Design afin de promouvoir la protection des enfants contre les préjudices en ligne.
Pourquoi est-ce important ?
De nouveaux produits et services destinés à faciliter les activités en ligne sont souvent conçus à l'aide de technologies relativement nouvelles, l'objectif premier étant de résoudre un problème ou un besoin existant ou de créer de nouvelles possibilités et de nouvelles caractéristiques pour les consommateurs. Lorsque les considérations de sécurité, en particulier pour les enfants, ne sont prises en compte qu'après le déploiement d'un produit ou d'un service, la sécurité devient dépendante de la conception et de la fonctionnalité du projet et n'est souvent pas prise en compte. Les enfants utilisateurs et les enfants qui ne sont pas utilisateurs sont alors exposés à des risques.
Safety by Design exige que les questions de sécurité soient au centre des préoccupations dès le début du processus de développement d'un nouveau produit ou service. Cela signifierait d'intégrer des questions de sécurité dans les décisions de conception, au même titre que d'autres considérations telles que la fonctionnalité prévue, l'expérience utilisateur préférée et la sécurité des données. La sécurité des enfants est renforcée lorsque les plateformes en ligne intègrent des caractéristiques et des fonctionnalités spécifiquement applicables à un nouveau produit ou service en cours de conception afin de prévenir, détecter, déstabiliser l'exploitation sexuelle des enfants en ligne et d’en faciliter le signalement.
Quel contexte est pertinent ?
Safety by Design est un concept largement accepté dans la fabrication et la production de produits de consommation à l'échelle mondiale. Par exemple, les normes de sécurité mondiales communes pour les automobiles, y compris les ceintures de sécurité et les coussins gonflables, sont devenues des signes omniprésents de la sécurité dès la conception dans l'industrie automobile. Par l'intermédiaire d'organes législatifs et/ou d'agences de régulation, les gouvernements peuvent imposer des normes de sécurité pour les plateformes en ligne, comme ils le font depuis de nombreuses années pour les automobiles, les appareils électroménagers, les produits alimentaires et les produits pharmaceutiques. Safety by Design dans l'espace en ligne est nécessaire pour créer un impact mondial similaire sur la protection des enfants contre les préjudices en ligne.
Depuis 2018, la commissaire à l'eSafety en Australie plaide en faveur de Safety by Design dans le secteur technologique, en particulier en ce qui concerne les plateformes en ligne. La commissaire défend trois principes clés de Safety by Design : la responsabilité des prestataires de services, l'autonomisation et l'autonomie des utilisateurs, ainsi que la transparence et la responsabilisation. Grâce à son autorité réglementaire, la commissaire à l'eSafety fait également respecter les obligations légales des plateformes en ligne en vertu de la loi australienne.
Les discussions sur la sécurité en ligne — semblables à celles sur la confidentialité des données — se concentrent souvent sur la protection des utilisateurs, mais de nombreux enfants exploités en ligne ne sont pas des utilisateurs des plateformes sur lesquelles ils subissent des préjudices. De même, alors que les fabricants d'appareils mettent souvent en avant les fonctions de sécurité de leurs produits — comme la détection des collisions et le chiffrement des données biométriques sur l'appareil chez Apple — la plupart des appareils sont dépourvus de fonctions permettant de protéger les enfants contre l'utilisation d'un appareil par un criminel pour créer et partager du CSAM avec d'autres criminels ou commettre d'autres actes d'exploitation sexuelle d'enfants.
Les enfants subissent un préjudice non seulement lorsque les criminels communiquent directement avec eux à des fins d'exploitation, mais aussi lorsque les criminels utilisent des services en ligne pour commettre des délits liés au CSAM sans impliquer les enfants directement. Les enfants sont lésés lorsqu'un criminel les contraint à créer des images d'eux-mêmes à des fins d'exploitation, et lorsque les criminels produisent du CSAM mettant en scène un enfant qui n'utilise pas d'appareil. Les efforts de Safety by Design qui se concentrent exclusivement sur la sécurité des utilisateurs négligent les menaces qui pèsent sur les enfants qui ne sont pas des utilisateurs.
Lors d'une audition en mars 2024 devant une commission du Congrès américain, le NCMEC a souligné le fait que les sociétés d'intelligence artificielle générative (IAG) n'adhéraient pas aux principes de Safety by Design, et que cela contribuait à l'exploitation des enfants en ligne. Quatre mois plus tard, les organisations technologiques à but non lucratif Thorn et All Tech is Human ont collaboré avec onze développeurs d'IAG pour s'engager publiquement à respecter les principes de Safety by Design afin de « lutter contre la création et la diffusion de matériel d'abus sexuel d'enfants généré par l'IA [...] et d'autres préjudices sexuels à l'encontre d'enfants. » Un livre blanc officiel a accompagné l'annonce publique afin de présenter les principes et de partager des stratégies sur la manière dont les différentes parties prenantes peuvent les mettre en œuvre.
Pour les plateformes qui n'ont pas été développées avec les principes de Safety by Design, la « sécurité par la refonte » est possible grâce à une évaluation réfléchie des risques et à l'élaboration et la mise en œuvre de mesures d'atténuation visant à améliorer la sécurité pour les utilisateurs et les non-utilisateurs.
Qu'en ont dit les survivants ?
Les survivants sont favorables à l'idée d'exiger l'application de Safety by Design, mais ils ont exprimé des inquiétudes quant à l'application de la loi et à la responsabilité découlant de son respect. Ils saluent la législation adoptée en Australie (l'Online Safety Act 2021) et introduite au Canada (Bill C-63, the Online Harms Act, 2024) en tant qu'exemples de cadres juridiques qui, au moins en partie, favorisent la sécurité dès la conception.
Les plateformes en ligne devraient engager des survivants en tant que consultants pour soutenir le développement des efforts de Safety by Design. Les développeurs devraient prendre en compte la sécurité de toute personne susceptible de subir un préjudice du fait d'une utilisation abusive de leurs produits et services, et pas seulement celle de leurs utilisateurs.
La technologie devrait être conçue en mettant la priorité sur la sécurité. Les sociétés devraient tenir compte de l'expérience des survivants et de leurs familles et être proactives dans la mise en œuvre de mesures de sécurité dans leur technologie.
- Un(e) survivant(e)
Les plateformes de médias sociaux ne cessent de lancer de nouveaux produits, de modifier ou d'ajouter des fonctionnalités à d'anciens produits et de mettre à jour leurs logiciels. Pourquoi mes besoins en tant que survivant(e) continuent-ils à être exclus de ces mises à jour simplement parce que je n'utilise pas leurs services ? Où se situe la limite de ceux dont la sécurité n'a pas d'importance alors que circulent encore des contenus concernant des victimes et des survivants innocents qui ne se sont jamais abonnés à ces plateformes en ligne et/ou qui n'ont jamais pris part à leur téléversement ?
- Un(e) survivant(e)
Sur quoi s'appuient les points de vue opposés ?
Les arguments opposés à Safety by Design pour la protection des enfants en ligne soulèvent des inquiétudes quant à la liberté d'expression qui pourrait être entravée par une modération potentiellement excessive à travers le filtrage des contenus et les limitations de l'accès aux contenus légaux. D'autres critiques portent sur le respect de la vie privée (notamment en ce qui concerne la modération des contenus), les doutes quant à l'efficacité des mesures de Safety by Design, la crainte que l'intégration de considérations liées à Safety by Design ne ralentisse l'innovation, et le coût financier de la mise en œuvre.