C’est le débat dérangeant que soulève le règlement « Child sexual abuse regulation », actuellement en discussion à la Commission européenne, qui entend rendre obligatoire la détection des contenus pédocriminels en ligne, en scannant les conversations des internautes.
Ceci ressemble à un dilemme moral qu’on voudrait ne pas avoir à résoudre. D’un côté, des dizaines de millions de photos et vidéos d’enfants sexuellement abusés circulent sur le Web (88 millions en 2022, selon une estimation), à un rythme de plus en plus effréné. De l’autre, la légitime nécessité de défendre le droit à la vie privée des citoyens. Ce dilemme n’est pas nouveau mais il est plus que jamais d’actualité. En ce moment, les État européens discutent d’un règlement : le « Child sexual abuse regulation » ou CSAR (aussi appelé « chat control » ). Son but : obliger les plateformes et messageries à détecter les images et autres contenus pédocriminels, afin de les supprimer et les signaler aux autorités.
Le texte n’est pas encore adopté, un vote devrait avoir lieu ces prochaines semaines. La France serait plutôt en faveur du règlement, mais ce n’est pas le cas de l’Allemagne et des Pays-Bas par exemple. Avant le CSAR, un règlement provisoire (qui expirera en 2024) autorisait les plateformes à détecter des contenus pédocriminels sans les y obliger. L’adoption d’un tel règlement pourrait donc avoir des conséquences sur notre vie en ligne. Et pose une question dérangeante : faut-il accepter d’être davantage surveillés pour espérer limiter la pédocriminalité ? Si le sujet n’est pas débattu au niveau du grand public, il fait l’objet de conversations virulentes entre experts de différents bords.
Détecter les images connues, inconnues et les pédo-piégeurs
Dans le camp de ceux qui plaident pour une adoption de ce règlement, on trouve majoritairement des militants pour la protection de l’enfance (Cameleon, IWAS, WeProtect…). La semaine dernière, plusieurs dizaines de militants issus de diverses associations manifestaient devant le Parlement européen en tenue jaune “Azmat” (anti matériaux dangereux), avec un mot d’ordre : « nettoyer le Web ». Aux côtés de ces associations, on trouve les entreprises technologiques spécialistes de la détection (dont l’entreprise américaine Thorn), prêtes à déployer leurs solutions à plus grande échelle. Dans le camp d’en face, les organisations qui défendent les libertés numériques et la vie privée, se mobilisent. Elles reconnaissent la réalité de la pédocriminalité en ligne, mais estiment que cette loi européenne est inefficace. Et que son application nous conduirait à une surveillance numérique jamais vue auparavant en Europe, mettant en danger l’ensemble des citoyens. Edri, un réseau d’une cinquantaine d’ONG luttant pour les libertés numériques, a publié une lettre le 13 septembre dernier, signée par 87 organismes, appelant l’Europe à ne pas céder à la surveillance de masse.
Concrètement le CSAR s’appuie sur trois axes : la détection de contenus pédocriminels connus. Ceux-ci sont identifiés par une signature numérique (hash) répertoriée dans des bases de données. La détection de ce type de contenus existe déjà en partie, mais cette loi permettrait une harmonisation des règles au niveau européen. La loi entend aussi aller plus loin. Elle introduit l’obligation de détection d’images inconnues, c’est-à-dire scanner les messages pour identifier des images pédocriminelles, grâce notamment à l’intelligence artificielle. Le troisième point est la détection du pédo-piégeage (grooming), c’est-à-dire essayer d’identifier les comportements des utilisateurs afin de repérer certains schémas propres au grooming.
Il y a une banalisation des contenus pédocriminels
L’U.E. veut répondre en urgence à un problème qu’il devient difficile d’ignorer : la hausse de la pédocriminalité en ligne. « On a vu une explosion des contenus pédocriminels depuis la pandémie : qu’il s’agisse de demandes de nudes, de grooming, de sextorsion… », explique Socheata Sim, responsable de la mission sociale France de Cameleon, qui lutte contre la pédocriminalité depuis 25 ans. L’atrocité des images qui circulent serait elle aussi de plus en plus importante. Les contenus les plus violents (dont des scènes de torture, de viols de nourrissons et de bambins) auraient doublé entre 2021 et 2022, note l’Internet Watch Fondation dans un rapport. Pour Socheata Sim, la diffusion, la consultation et le repartage de ces images est un problème en soi, d’où l’intérêt de l’endiguer. « Il y a une banalisation des contenus pédocriminels, il y a de plus en plus de glissements de personnes qui n’ont pas d’attirance pédophile, qui consomment des contenus pornographiques et tombent de manière volontaire ou involontaire sur ce type de contenus. Ce qui peut mener à un glissement vers la recherche de ce contenu pédophile, voire vers l’entrée en contact avec des mineurs, jusqu’à l’agression. C’est très courant de trouver un discours de personnes consultant ces contenus qui se déresponsabilisent de leurs actes en se disant qu’ils ne font pas vraiment de mal à en enfant. » O,r pour l’enfant qui subit ce viol, savoir ces images en circulation est une répétition du traumatisme, note de son côté Mié Kohiyama, de l’association Be Brave.
Pour Noémie Levain, membre de la Quadrature du Net, l’explosion de ces contenus ne justifie pas le règlement, que son association (et des dizaines d’autres) définit comme “un outil inédit de surveillance des communications.” Le bénéfice qu’il pourrait permettre ne pèse pas lourd face aux risques qu’elle fait prendre à l’ensemble des citoyens, selon elle. « C’est un argument qu’on nous oppose toujours : puisque des technologies existent pour essayer de contrer un problème (le harcèlement de rue avec la vidéosurveillance algorithmique, ou la pédocriminalité avec l’analyse des contenus), pourquoi ne pas essayer ? Mais le problème c’est que cette technologie – qui ne s’avère pas efficace – est intrinsèquement hyperdangereuse. Cela ne veut pas dire que l’on minimise les problèmes. » La militante estime que le débat ne devrait pas se poser en ces termes (une opposition entre vie privée, et protection des enfants). « On peut prendre le problème autrement, y répondre par des politiques publiques, qui n’impliquent pas des technologies de détection. »
Une loi jugée naïve et techno solutionniste
Techniquement, est-il seulement possible de préserver la vie privée des utilisateurs tout en détectant des contenus pédocriminels de manière automatique ? Dans une lettre publiée en juillet 2023 contre le CSAR, plus de 460 experts en informatique et cryptographie affirment que non. « Il n’y a aucune technologie qui peut convenir au but de cette proposition de loi, et les scientifiques croient fermement qu’aucune technologie ne pourra convenir dans un futur proche. (...) La technologie n’est ici d’aucune aide », expliquait-il y a quelques jours sur X (Twitter) la cryptographe Carolina Troconso, l’une des autrices de cette lettre publiée en juillet contre le règlement européen. Ces experts jugent que les technologies de détection, en plus d’être à risque pour la vie privée et la démocratie, sont inefficaces. La technique du hash qui permet d’identifier un contenu connu peut être contournée (en modifiant la photo par exemple pour qu’elle ne corresponde plus à la signature), les détections de contenus via I.A donnent lieu à beaucoup de faux positifs (des photos de vacances notifiées comme contenus pédophiles par exemple).
L’un des principaux points de controverse concerne le chiffrement de bout en bout. Si la loi CSAR oblige les plateformes et les messageries à scanner les conversations pour détecter des contenus pédocriminels, cela signifie que le chiffrement prévu par certaines messageries (Signal, WhatsApp, Telegram notamment) se trouverait affaibli. Le cas d’Apple est, selon les spécialistes de la cryptographie, assez révélateur. L’entreprise avait mis en place un système dit de client-side-scanning permettant d’analyser des photos stockées sur le cloud, dans le but de repérer des images pédocriminelles. La firme est finalement revenue sur sa décision en décembre 2022, se rendant compte que la technique ne permettait pas de respecter la confidentialité des données de ses utilisateurs et que le système avait été piraté.
Aujourd’hui, il n’existe aucune technologie déployable à grande échelle permettant d’autoriser le traitement de données sans casser le chiffrement de bout en bout, confirme Céleste Chrétien, cofondatrice d’Iliadata, une entreprise spécialiste du traitement des données chiffrées (pour évaluer la robustesse d’un mot de passe par exemple). Toutefois l’experte en cryptographie est légèrement plus optimiste que certains de ses confrères. « Certaines briques technologiques pourraient fonctionner. Il y a des pistes de recherche, on pourrait notamment s’inspirer de techniques mises en place pour le vote électronique, en Estonie par exemple. Mais ce n’est pas la panacée. » Elle évoque notamment le chiffrement homomorphe, qui permettrait d’analyser les données sans avoir à les déchiffrer. « C’est une technique notamment envisagée pour les données qui servent à entraîner les intelligences artificielles, même si pour le moment cela n'est pas assez performant et trop coûteux pour être utilisé à grande échelle. » Par ailleurs, s’il est techniquement possible de faire certaines choses, il faudra par ailleurs s’assurer que cette technique n’est pas utilisée pour autre chose, que le protocole est bien respecté, explique Céleste Chrétien.
Autrement dit : pour détecter, il faudrait obligatoirement concéder rogner sur la vie privée. Une concession qui n’est pas envisageable pour Noémie Levain. « Ce n’est pas parce qu’une minorité utilise ces services de manière déplorable que tout citoyen devrait subir ces mesures de surveillance. D’autant que certains sondages montrent qu’une grande majorité des enfants eux-mêmes ne seraient pas à l’aise à l’idée d’être surveillés. On peut repérer les enfants qui sont abusés de différentes manières, en faisant de la prévention, via les écoles et les familles, par exemple. »
« C’est trop facile de dire que la prévention suffit ! »
Ces suggestions agacent un peu certaines associations de protection des droits de l’enfance. « Bien sûr qu’il faut faire de la prévention, mais c’est trop facile de dire que cela suffit ! Car cela fait reposer la responsabilité uniquement sur les enfants et les parents. Il faut éduquer les parents, les professionnels, les forces de l’ordre. Mais c’est aussi aux plateformes de prendre leurs responsabilités et de nettoyer leurs services, d’intégrer la protection de l’enfance dans leur design, estime Socheata Sim. Il y a des questions légitimes et un débat nécessaire à avoir sur les effets sur la vie privée, c’est certain. C’est aux autorités nationales et européennes comme l’Arcom et la Cnil de veiller à ce que la détection soit très circonscrite. »
Murielle Thibierge-Batude dont l’association IWAS s’intéresse à différentes stratégies pour lutter contre la pédocriminalité (technologies, mais aussi prévention, et accompagnement des pédocriminels), estime que nous ne « sommes pas au bout de l’innovation ». « La recherche hybride entre le domaine de la cybersécurité et le domaine de la défense de l'enfance doit être mieux financée. Il y a des innovations comme le traitement de données chiffrées et la crypto homomorphe qui peuvent changer la donne », nous explique-t-elle par mail.
Guerre de lobbying
L’autre argument des défenseurs des libertés numériques, largement appuyé par une récente enquête du Monde, c’est que la loi CSAR a été poussée, non pas par ceux qui défendent les enfants, mais par les entreprises technologiques qui développent des moyens de détection. Dans cette enquête, Le Monde (qui a travaillé sur cette investigation avec d’autres médias européens) montre notamment l’influence de l’entreprise américaine Thorn, financée par l’acteur Ashton Kutcher, auprès des élus européens.
Certains défenseurs des droits de l’enfant, notamment le chercheur Michael Salter, spécialiste de la pédocriminalité, très actif sur les réseaux sociaux, s'étonnent que l’on s’insurge de voir une association financée, et argue qu’en face un lobbying s’opère aussi. Les organisations de défenses des libertés numériques étant elles aussi financées par des entreprises du numérique, qui pourraient être impactées par cette loi. Edri, le réseau qui regroupe 50 organisations luttant pour les libertés numériques, est financé à hauteur de 30 % par des entreprises privées dont Apple (qui base depuis quelques années tout son discours autour de la vie privée), et Mozilla.
Mié Kohiyama, fondatrice de Be Brave (une organisation définie dans l’article du Monde comme « inconnue », et qui aurait été très active auprès de la Commission européenne), rappelle que son « mouvement de survivant.es et d’allié.es » a pour « unique objectif de mettre fin aux violences sexuelles contre les enfants. » « Cela inclut aussi de faire du plaidoyer et des campagnes pour garantir un Internet sécurisé pour les enfants et non un monde en ligne tourné vers l’objectif d’augmenter les profits des compagnies technologiques », estime-t-elle. Elle note pour sa part un lobbying actif des acteurs de la « Privacy », remarquant que les principaux pays réfractaires au règlement sont aussi ceux connus pour avoir des organisations actives sur la défense de la vie privée en ligne.
Mais même dans le camp de ceux qui luttent contre la pédocriminalité, tout le monde n’est pas convaincu de l’absolu bienfait de ce règlement. La hotline néerlandaise OffLimits (qui analyse les contenus signalés par les internautes) interrogée par Le Monde regrette de n’avoir jamais été entendue par la commissaire Ylva Johansson à l’origine du CSAR. OffLimits estime que la législation en l’état ne bénéficiera pas aux enfants, mais surtout aux entreprises tech de détection qui y voient un intérêt commercial. Son équivalent français, Point De Contact, se déclare plutôt en faveur du règlement dans un mail adressé à L’ADN, même si elle note plusieurs manquements au CSAR (qu’elle partage avec le réseau Inhope qui regroupe 52 hotlines au niveau mondial). Les hotlines regrettent que leur rôle n’ait pas bien été considéré. Elles notent que le règlement ne mentionne pas par exemple de moyens de « faciliter la reconnaissance juridique des hotlines de l'Union Européenne afin qu'elles puissent analyser, traiter et éventuellement mener des recherches proactives de contenus pédocriminels », ni de moyens pour mieux « encadrer la collaboration entre les hotlines » … Bref, de mettre en place des moyens humains et organisationnels, et pas seulement technologiques, qui semblent être l’axe principal pris par ce règlement.
Participer à la conversation