Comment une petite industrie doit bricoler – avec une poignée d’humains et peu de financements – des technologies pour tenter d’endiguer la pédocriminalité en ligne.
Cette enquête a été initialement publiée dans le numéro 33 de la revue L'ADN, Enfants à vendre, Enquête : qu'a fait Internet de nos enfants ?, paru le 19 juin 2023 et en vente ici.
« Attention, tu es en conversation avec quelqu’un qui essaie de te piéger, coupe la communication ! » Ce message pourrait être envoyé par le logiciel Percipion et apparaître sur l’écran du smartphone d’un enfant. Ce programme est capable de comprendre un contexte sémantique et d’identifier des expressions typiques employées par les pédophiles spécialistes de cette technique. « On recherche un assemblage de mots qui révèle un comportement suspect », explique Mark Pohlmann d’Aeteos, la société picarde à l’origine de cet outil.
Traquer une armée de « groomers » avec trois fois rien
« Tu es mignonne », « C’est normal, je connais plein de gens qui font ça », « C’est bien ce que tu fais ». Ces phrases, d’apparence anodine, font partie du discours classique utilisé par les « groomers ». Sur les réseaux sociaux ou les jeux en ligne appréciés des enfants, pour obtenir d’eux des photos ou des vidéos plus ou moins suggestives, ces prédateurs complimentent l'enfant, et, pour normaliser leurs demandes, n’utilisent pas au départ de termes crus. « Nous avons pu déterminer ces expressions en faisant une étude psychologique sur les « pédopiégeurs », puis en discutant avec les forces de l’ordre et des spécialistes. » Pour le moment, la technologie d’Aeteos, commercialisée il y a quelques mois, n’est pas encore utilisée par des plateformes ou jeux en ligne. Donc de tels messages d’alerte n’existent pas. Mais Mark Pohlmann estime que leur intégration pourrait éviter à certaines victimes de se faire piéger. Amazon Web Services se serait montrée intéressée par la technologie de la jeune pousse française. Il déplore en revanche n’avoir été approché par aucune entreprise française, ni aucun représentant de l’État.
Aeteos fait partie de la petite industrie dite de la « Trust and Safety » (confiance et sûreté). Son objectif tient de la mission de service public : protéger les internautes, et notamment les enfants, des violences commises en ligne comme le cyberharcèlement, la « sextorsion », les discours haineux et les contenus pédophiles… Ses armes : des systèmes d’intelligence artificielle, le hachage (voir encadré), des moteurs de recherche branchés sur le Dark Web (la partie immergée du Web où circulent entre autres des contenus illicites)… Un arsenal de technologies, et une petite troupe d’humains qui analysent des textes et images insoutenables.
Ce secteur, qui travaille avec les associations, les plateformes et les forces de l’ordre, a une dizaine d’années d'existence. Il reste toutefois méconnu et manque cruellement de moyens pour endiguer des crimes pourtant en progression constante. « Il y a peu d’acteurs et ceux-ci communiquent peu, expose Jean-Christophe Le Toquin, créateur du « Trust and Safety forum », dont la deuxième édition s’est tenue en avril 2023. Les hotlines, les plateformes de signalement, ne représentent par exemple qu’un peu plus de 200 analystes à travers le monde, souligne-t-il. C’est microscopique d’un point de vue économique. » Lui-même préside Point de Contact, une hotline française. Pour signaler un contenu pédocriminel, un cas de cyberharcèlement, un discours haineux ou toute autre violence en ligne, c'est vers cette plateforme que les internautes peuvent se tourner. Les juristes de Point de Contact analysent ensuite les dizaines de milliers de contenus qui leur sont signalés, les catégorisent et les font si besoin retirer du Web et remonter aux autorités. Pour qualifier ces contenus, l’association utilise diverses technologies et vient d’ajouter celle d’Aeteos.
Une protection contre la radiation des contenus
« Il y a encore trois ans, nous utilisions très peu de technologies. L’écrasante majorité des analystes travaillaient à l'œil nu. Ils étaient directement exposés aux radiations des contenus », précise Jean-Christophe Le Toquin. Le déploiement des technologies est lié à certaines avancées techniques, en intelligence artificielle notamment, mais aussi à une prise de conscience collective de ce que peuvent vivre les mineurs en ligne, estime le dirigeant. « Ce sont des sujets qui étaient peu débattus, le mouvement MeToo et la reconnaissance plus systématique des abus sexuels ont permis d’atteindre une forme de maturité sociale sur le sujet. Même si les questions sexuelles restent mal prises en compte », ajoute Jean-Christophe Le Toquin. De plus, l’industrie doit s’adapter à de nouvelles pratiques comme l’envoi de nudes, le revenge porn, les deepfake porn (images générées par intelligence artificielle).
Et ces questions sont encore peu abordées au niveau politique. Si plusieurs projets de lois récents s’intéressent à la protection des mineurs en ligne, notamment pour restreindre leur accès à la pornographie, peu de mesures concrètes sont prises contre la pédocriminalité ou la violation de contenus intimes. En novembre 2022, Emmanuel Macron a lancé un Laboratoire pour la protection de l’enfance en ligne, dans le but de détecter et de déployer des technologies, notamment pour prévenir la diffusion non consentie d’images intimes. Mais pour le moment, ces initiatives sont à l’état de projet et n’ont pas reçu de budget particulier.
Friction avec la vie privée
Le développement de technologies adaptées interroge par ailleurs quant à la protection de la vie privée. En 2022, la Commission européenne a proposé une législation pour obliger les fournisseurs de messagerie, magasins d’applications et hébergeurs à détecter, supprimer et signaler des contenus illicites. Le texte préconisait la mise en place de backdoors pour accéder à des contenus chiffrés, et le scannage des conversations pour détecter des contenus suspects. Mais en avril dernier un avis juridique interne du Conseil de l'Union européenne a estimé que cette loi poserait effectivement une grave limitation aux droits à la vie privée et aux données personnelles. Les avocats consultés craignent que ce scannage des conversations puisse mener à une surveillance constante des internautes. Fin décembre, Apple renonçait à détecter les contenus à caractère pédopornographiques afin d'éviter d'ouvrir la porte à la « surveillance de masse ».
« Il y a une tension entre la volonté de limiter la diffusion d’images et la protection de la vie privée, explique le président de Point de Contact. Lorsque des jeunes de 14 ans s’échangent des nudes, par exemple, sur le plan juridique, cela peut être considéré comme de la production d’images pédocriminelles. Mais, dans certains cas, il s’agit d’exploration sexuelle consentie, sans coercition… Certains plaident pour une protection maximale des mineurs en ligne, quitte à empiéter sur leur vie privée. Pour d’autres, analyser des contenus sexuels consentis et les envoyer à la police pose un problème. »
« Éponger la surface »
Le défi est de s’adapter aux nouvelles pratiques des mineurs en ligne, en respectant leur vie privée, mais aussi de suivre les techniques des agresseurs. « Pour communiquer, les pédocriminels utilisent des messageries chiffrées, ont recours à des VPN (réseaux privés virtuels), utilisent des solutions de streaming chiffrées, énumère Murielle Thibierge-Batude. On arrivera juste à « nettoyer » la surface d'Internet, à cacher ce qu'on a du mal à voir et à admettre de la vraie vie, et encore… C'est la théorie des jeux : plus on rehausse les contraintes, plus les pédocriminels se reconfigurent avec d’autres moyens », observe la fondatrice de l’association #IWAS, qui a elle-même été victime de viols entre ses 4 et 5 ans. Son association lutte contre la nipiocriminalité (les violences sexuelles commises sur les enfants de moins de 5 ans), notamment en utilisant le numérique.
La diffusion de viols d’enfants en direct, parfois appelée « live sex show », une pratique en forte progression depuis le confinement, est l’un des défis technologiques que l’industrie tente d’affronter. « Contre 60 euros, des pédophiles peuvent visionner le viol d’un enfant en direct aux Philippines via des plateformes de streaming », explique Mark Pohlmann. Le dirigeant d’Aeteos estime que l’organisation de ces actes pourrait être détectée en amont grâce à sa technologie d’analyse de texte, si les géants du numérique comme Meta et Microsoft le voulaient bien.
Meta permet de « vendre des enfants en ligne »
Mark Pohlmann, comme d’autres, dénonce l’attentisme de ces grandes plateformes face à la prolifération des abus sexuels sur les enfants. Les réseaux sociaux développent pourtant des outils en interne, et emploient des dizaines de milliers de modérateurs, souvent rattachés à des sous-traitants. Mais pour l’entrepreneur, ils ne font pas suffisamment, et font aussi partie du problème, en facilitant et hébergeant des contenus illicites. « Reprenons l’exemple du live streaming. Des familles philippines exposent leurs enfants comme des marchandises via Facebook, propriété de Meta, puis se font ensuite contacter par des pédophiles et continuent la discussion pendant des mois via WhatsApp, également propriété de Meta, pour négocier les tarifs et les actes. Skype, qui appartient à Microsoft, est ensuite utilisé pour le live stream. Toutes ces plateformes sont les annonceurs et les hébergeurs de ce type de crime. Elles permettent à des individus de mettre en vente des enfants. S’il y avait un vrai effort de la part des plateformes, il n’y aurait pas une augmentation phénoménale des crimes sexuels », s’insurge-t-il.
Contactés par L'ADN, Meta et Microsoft n’ont pas souhaité donner d’interviews à ce sujet. Microsoft a répondu ceci par écrit : « Toutes les conversations audio et vidéo, les transferts de fichiers et les messages instantanés entre utilisateurs Skype sont chiffrés. Par défaut, les utilisateurs qui créent des groupes de discussion privés en sont les modérateurs.» Microsoft précise être engagé de longue date dans la lutte contre l’exploitation sexuelle des enfants en ligne, en ayant notamment participé au développement et à la mise à disposition gratuite de PhotoDNA (une base donnée permettant de retrouver des contenus pédo criminels déjà identifiés) et en facilitant le signalement des cas présumés d’exploitation d’enfants ou d’autres contenus violents. L’entreprise note être membre de la Tech Coalition, un groupement de grandes entreprises du numérique (dont Google, Patreon, Naver, Meta, Roblox, SnapInc...) qui travaillent ensemble contre l’exploitation des enfants en ligne, sans donner le détail des actions mises en place.
Meta assure elle aussi travailler avec les associations concernées, et lutter activement contre ces publications grâce à des "technologies sophistiquées". Le groupe dit notamment avoir supprimé 34 millions de contenus entre octobre et décembre 2022, dont 98 % auraient été détectés avant signalement par un utilisateur. Ces barrières ne semblent toutefois pas suffisantes. En juin 2023, le Wall Street Journal révélait que des comptes diffusant des images à caractère pédocriminel étaient mis en avant par l'algorithme d'Instagram, propriété de Meta.
« Le numérique a cet avantage de laisser des traces »
Murielle Thibierge-Batude tempère sur la culpabilité des plateformes. « Ces crimes n’existent pas à cause du numérique. En revanche, le numérique a cet avantage de laisser des traces utilisables comme preuves. Il faut donc travailler de concert avec les plateformes, expose Murielle Thibierge-Batude. Elles ont de gros moyens financiers et de très bons chercheurs à disposition. Toutes les victimes cherchent à les influencer pour qu’elles en fassent plus, poussées par les lois. Mais il faut réaliser que pour nettoyer complètement une plateforme, il faudrait multiplier les capacités de calcul et de stockage des traces par dix. Mettre autant de moyens n’est pas viable pour ces plateformes. » Prendre le problème à la racine, au niveau opérateurs, fournisseurs Internet et hébergeurs, lui paraît plus stratégique. Reste que Meta, bien que connaissant une période de turbulences, dégage tout de même 23 milliards de dollars de bénéfice. Néanmoins, l’entreprise a réalisé d’importantes coupes budgétaires. Parmi les premières équipes concernées : la modération de contenu.
Certaines plateformes commencent toutefois à sortir de leur mutisme sur ce sujet. À la deuxième édition du Trust and Safety Forum, deux d’entre elles – Google et le réseau social Yubo – ont répondu présentes à l’invitation de Jean-Christophe Le Toquin, contre zéro l’an dernier. Une légère amélioration, encourageante selon le cocréateur du forum. En Europe, Meta, Twitter et consorts seront de toute façon obligés d’être plus transparents quant à la modération des contenus illicites, notamment concernant les mineurs. C’est l’une des obligations du Digital Services Act, un règlement qui entrera en vigueur dans l’Union européenne en septembre 2023.
Prévenir plutôt que réagir
« Il y a un besoin de communication entre les gouvernements, les fournisseurs, les hébergeurs, les plateformes, les forces de l’ordre, explique Maya Daver-Massion de PUBLIC, entreprise britannique spécialiste de la stratégie numérique des gouvernements, qui a conduit une étude sur l’industrie Trust and Safety. Les fournisseurs doivent comprendre très en amont la stratégie des gouvernements pour prévenir plutôt que de réagir une fois les crimes commis. »
Des incompréhensions entre les acteurs freinent parfois le bon développement de ces technologies. La société Aleph souhaiterait mettre au point un outil pour repérer les images pédophiles sur l’ensemble du Web et les filtrer, c’est-à-dire les rendre inaccessibles aux utilisateurs. Un moyen de prévenir plutôt que de guérir. « C’est une solution qui peut facilement être mise en œuvre, qui est simple et peu chère », insiste Nicolas Hernandez, PDG d’Aleph et trésorier de Point de Contact. Mais depuis qu’il développe ce projet, il se heurte à une barrière juridique : le stockage d’images pédocriminelles, nécessaire à l’entraînement d’un tel système, est interdit par la loi. Il peine aussi à faire financer ce projet et à trouver un centre de recherche partenaire pour entraîner son système.
Pour ajouter une couche de complexité, la coopération entre les acteurs doit être internationale. Car « La protection de l’enfance en ligne est un sujet qui n’a pas de frontière, pointe Maya Daver-Massion. L’avantage, c’est que contrairement à d’autres types de contenus problématiques sur le Web, il y a un certain consensus autour des violences à l’encontre des enfants : elles sont illégales dans la plupart des pays. »
Pour faciliter la coopération entre les acteurs, Murielle Thibierge-Batude plaide pour la mise en place d’un standard de communication afin de déclarer et de décrire un incident arrivé à un enfant en ligne. « Il s’agirait d’un format d’échange, inspiré de ce qui se fait en cybersécurité, spécifique à la pédo et à la cyberpédocriminalité, qui ne serait pas fait de longues phrases, mais d’une chaîne d'informations utiles. En une nanoseconde, le système en face peut interpréter l'évènement. Cette grammaire descriptive permettra de communiquer sur ces évènements entre les systèmes des plateformes, des associations, des fournisseurs de services, des autorités. »
Mais pour développer ces différents projets, son association aurait besoin de 1 million d’euros. Elle espère obtenir ce financement via FIC Impact, un programme mis en place par le FIC (Forum international de la cybersécurité) pour inciter les entreprises privées à subventionner ce type d’initiatives. Car, malgré le consensus, il n’est pas aisé pour les porteurs de ces technologies de trouver des financements. « Il y a très peu d’investisseurs privés spécialisés qui comprennent réellement les enjeux et les défis de la protection des enfants en ligne et des technologies liées à la sûreté du Web », explique Maya Daver-Massion. Ce qui explique que beaucoup de ces technologies peinent à se déployer à grande échelle. Sur le point du financement, il y a par ailleurs des disparités importantes d’un pays à l’autre. Point de Contact a reçu en 2022 600 000 euros de financement de la part d’entreprises privées, de l’État et de la Commission européenne, quand son équivalent américain NCMEC (National Center for Missing and Exploited Children) reçoit entre 100 et 150 millions de dollars du gouvernement américain... chaque année.
« Tout le monde s’en fout »
Les développeurs de ces technologies dénoncent souvent un manque de volonté politique. « On a une technologie française qui pourrait permettre d’éviter certains crimes et tout le monde s’en fout, lâche Mark Pohlmann. Cela fait plusieurs années que nous essayons de la promouvoir, mais c’est comme si on parlait à un mur… » Même son de cloche chez Nicolas Hernandez. « La pédocriminalité est un tel tabou qu’elle est souvent mise sous le tapis par les représentants politiques, ou alors elle est abordée mais sans financement derrière », estime-t-il.
Mais que peuvent réellement toutes ces technologies contre les crimes dont sont victimes les enfants en ligne ? Malgré leur progression ces dernières années, le nombre d’abus sexuels à l’égard de mineurs explose. À l'heure actuelle, « ces technologies n'en sont qu'à leurs débuts, estime Murielle Thibierge-Batude. Il faut développer un écosystème innovant pour cette cause sans en rester à l'analyse forensique des mobiles (la recherche de preuves) et à l'analyse des vidéos pédocriminelles. Il y a bien plus à faire. Lorsque des comportements pédocriminels sont repérés en ligne, il faudrait pouvoir par exemple déclencher une vidéo de sensibilisation, voire un accompagnement psychologique sans attendre son jugement. » Autrement dit : agir à la source du problème, sur la psychologie des criminels.
Cette enquête a été initialement publiée dans le numéro 33 de la revue L'ADN, Enfants à vendre, Enquête : Qu'a fait Internet de nos enfants ?, paru le 19 juin 2023 et en vente ici.
Participer à la conversation