Comment les groupes d’extrême droite utilisent les IA génératives pour créer de la propagande haineuse

Sur les canaux Telegram des néonazis et des suprémacistes blancs, l’intelligence artificielle est utilisée pour générer des images de haine, mais aussi de la désinformation.

Emma Watson déguisée en Waffen-SS, des images de Pepe la grenouille (la mascotte de l'alt-right américaine) qui se prend en photo tout sourire devant le camp de la mort d’Auschwitz, ou un discours d’Hitler traduit de manière automatique… Sur l’application de chat chiffrée Telegram, les groupes de discussions qui accueillent les suprémacistes blancs et les néonazis produisent de la propagande à un rythme effréné grâce aux outils de génération d’images et de texte. D’après une étude menée par le Global Network on Extremism and Technology, une initiative de recherche universitaire spécialisée sur la radicalisation en ligne, les GIA (outils de génération par IA) ont rendu ces éléments de communication haineux ou de désinformation non seulement plus faciles à fabriquer, mais aussi plus attrayants pour un public jeune et technophile.

Inonder le Web de Pepe

En étudiant 38 canaux de discussions entre 2018 et 2024, les chercheurs ont catégorisé 850 posts incluant des images, vidéos et audio générés par IA. Parmi les usages les plus établis, on peut noter la fabrication d’images et de mèmes haineux mettant par exemple en scène Pepe the Frog, ou glorifiant des figures nazies ou des guerriers aryens (50 % des posts). 10 % des posts sont des audio ou des vidéos générées à l’aide de l’IA, comme des chansons pro-suprémacistes ou des traductions de discours d’Hitler. Ces formats plutôt innovants permettent de transmettre plus facilement, ou de manière humoristique, des récits suprémacistes blancs à un public bien plus large. Les chercheurs notent que l’usage de telles chansons a été utilisé pour encourager les émeutes racistes de cet été au Royaume-Uni.

Outre la fabrication d’images ou de vidéos purement propagandistes, l’IA est aussi utilisée dans 15 % des cas pour mettre en œuvre une propagande complexe et multifonctionnelle. La méthode appelée « baiting and tricking » (appâter et tromper) consiste à manipuler les GIA pour les inciter à créer des images ethniquement diverses de populations communément considérées comme blanches. En faisant croire que ces outils ont été "wokifiés" et produisent, par exemple, des images de Vikings noirs quand on leur demande de représenter des Vikings traditionnels. Ces fausses preuves sont ensuite utilisées pour alimenter les psychoses autour de la théorie du Grand Remplacement. Les méthodes permettant de fabriquer ces fausses preuves sont largement partagées afin d’inciter les militants à les expérimenter eux-mêmes et à les partager ensuite dans des groupes de discussions à plus large audience.

Emma Watson qui lit Mein Kampf

Enfin, 8 % des posts contenant de l’IA sont utilisés à des fins de désinformation « tactique ». Il s’agit par exemple de modifier une image déjà existante pour la rendre compromettante, comme c’est le cas avec l’exemple d’une Emma Watson déguisée en nazie et lisant Mein Kampf. Les chercheurs notent que la qualité des images générées en 2024 est bien plus forte que lors des années précédentes.

Parmi les usages plus émergents que les chercheurs constatent de manière inquiétante, il faut aussi noter la présence de « conseils violents », qui désignent des méthodes ou des tutoriels donnés par des IA pour blesser ou tuer des gens. L’exemple qui a été relevé par les chercheurs est un post montrant une conversation avec une IA débridée donnant pas à pas les instructions de fabrication d’une bombe inspirée de celle utilisée par Ted Kaczynski, l'Unabomber, incluant la liste des produits chimiques et les quantités exactes nécessaires.

Face à ce constat, le Global Network on Extremism and Technology recommande aux politiques de mettre la pression sur les grandes entreprises de génération d’images par IA comme Midjourney et Stable Diffusion pour que ces dernières prennent les mesures de modération nécessaires et surtout adoptent des mécanismes d’audit permettant de garantir que leurs modèles ne sont pas formés pour créer des images de propagande extrémiste.