Une fuite de données sur une application de « petite copine IA » révèle un usage massivement pédocriminel

Des millions d’utilisateurs de l’application Muah.ai utilisent l’intelligence artificielle pour se créer des esclaves sexuelles virtuelles de 13 ans.

Depuis plus de deux ans, les applications de création de compagnons et de petites amies générées par IA se sont multipliées. Que ce soit Soulgen, Candy.ai, Myainma.ai, ou Character.ai, la plupart propose, contre un abonnement mensuel de quelques euros, un outil permettant de flirter avec une galerie de personnages personnalisables. Les utilisateurs peuvent modeler la personnalité, mais aussi le physique de leur petite amie, puis discuter avec elle et simuler du sexting. Or, l’une de ces applications, Muah.ai, a connu une importante fuite de données cette semaine et les prompts des utilisateurs, liés à leur adresse mail, ont été diffusés sur les réseaux. Il est donc très facile de trouver la page Facebook ou LinkedIn des gens qui ont payé un abonnement à ce site.

Des prompts pédocriminels à foison

En plus du problème soulevé par la mauvaise sécurisation d’informations privées, cette brèche a aussi révélé l’utilisation des intelligences artificielles à des fins de création de contenu pédocriminel. Dans un article consacré à cette affaire, 404media explique, après consultation des données, que de nombreux prompts concernent des fantasmes avec des enfants allant du nouveau-né à l’adolescence. Dans un thread posté sur X, Troy Hunt, le créateur du site Have I Been Pwned (un site qui permet de savoir si votre adresse mail a été volée par des hackers), donne plus de précisions sur ces prompts. D’après lui, 26 000 d’entre eux contiennent le mot « préadolescent », 30 000 d’entre eux comportent les termes « 13 ans » et 168 000 prompts tournent autour de l’inceste. Pour rappel, la création de contenu pédocriminel à l’aide d’outils génératifs est considérée comme illégale aux États-Unis depuis le mois de mars 2024. L’ensemble des données a d’ailleurs été transmis à la justice.

Du rififi sur le Discord

Sur le Discord de Muah.ai, le message se veut rassurant pour ses utilisateurs. L’administrateur du serveur évoque « une supposée fuite d’e-mails ou de prompts » ainsi que des « fausses informations » qui seraient répandues par la concurrence. « Nous avons plusieurs preuves indiscutables que le piratage a été financé par un concurrent, que je ne vais pas nommer, car ils n'ont rien d'autre dans leur poche que de tenter de voler des utilisateurs au lieu d'améliorer leur propre service », peut-on lire dans le salon général de discussion. Sur le site 404media, le hacker responsable de la fuite raconte un tout autre récit et indique qu’il a découvert ces failles par curiosité : « Il s'agit essentiellement d'une poignée de projets open source assemblés avec du ruban adhésif, indique-t-il. J'ai commencé à fouiller et j'ai trouvé quelques vulnérabilités relativement rapidement. »

Après avoir vainement tenté de rassurer les utilisateurs en indiquant que leur adresse mail ne peut pas être liée à leur réelle identité, le message précise dans la même phrase que les « utilisateurs utilisent des e-mails jetables s'ils souhaitent une confidentialité maximale, ce qui est tout à fait acceptable ». Enfin, les fondateurs semblent se dédouaner de toute utilisation illégale de leurs services en indiquant qu’ils ne sont qu’un fournisseur de services de traitement d'API d'IA, tout comme OpenAI/Claude/Google. « Les utilisateurs ont la liberté de générer des prompts de manière responsable ! Veuillez lire nos Conditions d'Utilisation lors de la création de votre compte si vous n'êtes pas familiers avec les termes. Bien que nous fassions tout notre possible pour offrir une confidentialité maximale, il est également important de générer des prompts de manière responsable ! »