Grooming : cette startup a mis au point une technologie pour détecter les pédophiles en ligne

La startup française Aeteos a créé un logiciel permettant d’identifier les phrases typiques des pédopiégeurs, dans le but d’alerter les enfants. Mais ce type de technologie interroge quant à sa compatibilité avec les droits à la vie privée.

« Attention, tu es en conversation avec quelqu’un qui essaie de te piéger, coupe la communication. » Imaginez cette alerte apparaître sur l’écran du smartphone d’un enfant. Celui-ci envoie des messages à un individu suspect, potentiellement un “groomer”. Le grooming ou pédo piégeage consiste à aller sur un chat, un jeu en ligne comme Fortnite ou un réseau social apprécié des enfants, et séduire un mineur en se faisant passer pour plus jeune. L’objectif étant d’obtenir des nudes, photos de lingerie, vidéos en train de danser, etc. Le message d’alerte a été délivré par Percipion, un logiciel d’informatique cognitive (une branche de l’intelligence artificielle). 

Traquer les groomers avant qu'ils ne vous traquent

Percipion est capable de comprendre un contexte sémantique et d’identifier des expressions typiques de celles employées par les prédateurs spécialistes de cette technique. « On recherche un assemblage de mots qui révèle un comportement suspect », explique Mark Pohlmann, PDG d’Aeteos, la société picarde à l’origine de ce logiciel. Ce dernier est déjà utilisé pour des cas d’applications tout autres : l’analyse de questionnaires de satisfaction RH, notamment. Mais en apprenant le langage spécifique des groomers, il pourrait désormais servir à la protection des mineurs en ligne. 

« Tu es mignonne », « C’est normal, je connais plein de gens qui font ça », « C’est bien ce que tu fais ». Ces phrases, qui peuvent paraître inoffensives, font partie du discours classique utilisé par les pédophiles. Ils cherchent notamment à complimenter l'enfant, et normaliser leurs demandes, sans utiliser au départ de termes crus.

Pas encore utilisé par les plateformes

« Nous avons pu déterminer ces phrases en faisant une étude psychologique sur les pédopiégeurs, puis en discutant avec les forces de l’ordre et des spécialistes, explique Mark Pohlmann. Il précise que Percipion ne fonctionne pas comme les grands modèles de langage tels que ChatGPT. « Ce type de modèle n'est pas assez précis pour détecter ce genre de contenus.»

Pour le moment, la technologie d’Aeteos vient d’être commercialisée, et n’est pas utilisée par des plateformes ou des forums de chat. Mais Mark Pohlmann estime que son intégration pourrait permettre, en envoyant des messages d’alerte, d’éviter à certaines victimes de se faire piéger. AWS se serait montrée intéressée par la technologie de la jeune pousse française. 

Depuis avril, Percipion est utilisé par Point de Contact, la plateforme française de signalement des contenus illicites en ligne. Le logiciel permet aux juristes de l’association de pré-analyser un contenu signalé par un internaute. 

Manque de volonté politique selon les entreprises qui luttent contre la pédocriminalité

Mark Pohlmann regrette que sa technologie et les autres techniques de détection de contenus pédophiles ne soient pas davantage portés et financés par le gouvernement. « Cela fait plusieurs années que nous essayons de promouvoir notre technologie, en envoyant des mails aux ministres de l’enfance et du numérique, mais c’est comme si nous parlions à un mur. » 

Le gouvernement a entrepris différentes actions pour tenter de protéger les mineurs en ligne. Les principales mesures annoncées concernent surtout l'accès des mineurs aux sites pornographiques. En novembre 2022, Emmanuel Macron a également lancé un laboratoire pour identifier les « bonnes façons de réguler et de mieux protéger nos enfants en ligne » , sans toutefois y allouer un budget, regrettent certaines associations et entreprises qui luttent contre ces violences.

Friction avec le droit à la vie privée

Le déploiement de ces techniques se heurtent par ailleurs à la protection de la vie privée des internautes. L'an dernier la Commission européenne a présenté une loi pour obliger les hébergeurs et fournisseurs de messageries à détecter les CSAM (Child sexual abused material), notamment en scannant des conversations privées pour détecter des signes de grooming. La Cnil avait jugé ce texte attentatoire à la vie privée des internautes. Le 8 mai, The Guardian a révélé un avis juridique interne du Conseil de l'Union européenne estimant que cette loi poserait effectivement une limitation grave aux droits à la vie privée et aux données personnelles. Les avocats consultés craignent que ce type détection et de vérification de l'âge des internautes mène à un profilage massif de la population.