ChatGPT va-t-il faire émerger le prochain techno Jésus ?

À force de flagornerie, le chatbot d’OpenAI déclenche des fantasmes spirituels chez certains utilisateurs ayant des tendances aux épisodes psychotiques.

On l’a tous vécu en discutant avec ChatGPT : quand on s’épanche sur des problèmes personnels, on peut avoir l’impression d’avoir affaire à un ami proche qui nous traite comme une personne spéciale. Cette intimité avait été repérée par des chercheurs du MIT Media Lab, qui nous prévenaient de l’arrivée de chatbots ultraaddictifs sur le plan émotionnel. Ces derniers n’avaient cependant pas prévu que ces interactions homme-machine allaient déclencher des crises spirituelles chez certains, au point de transformer ces derniers en messies.

Il m'entraîne dans la schizophrénie

Dans un post Reddit publié en avril, une utilisatrice a ainsi raconté que son partenaire est parti dans une psychose religieuse après avoir discuté longuement avec le chatbot. Ce dernier lui aurait révélé les secrets de l’univers, faisant de lui « un humain supérieur qui progresse à une vitesse fulgurante. » Sous ce post, d’autres anecdotes similaires défilent, notamment le témoignage d’une personne atteinte de schizophrénie sous traitement, qui explique à quel point elle trouve ChatGPT dangereux pour les gens dans sa condition. « Ce que je n'apprécie pas chez ChatGPT, c'est que si je tombais en psychose, il continuerait à me soutenir, indique-t-il. Il n'a pas la capacité de “penser” et de réaliser que quelque chose ne va pas, et il continuerait donc à soutenir toutes mes pensées psychotiques. »
Plus bas encore, une personne propose une explication : « Après avoir observé quelqu'un sombrer dans la psychose après avoir utilisé l'IA, je pense que c'est probablement parce que l'IA est constamment en train de confirmer ses propos lorsque ses proches remettent en question ses délires. L'IA les flatte sans réserve, ce qui exacerbe un état maniaque. »

Dans un article de Rolling Stone consacré à ces témoignages, on apprend que l’IA n’a aucune retenue pour aller dans le sens de son utilisateur, même si ce dernier montre des signes de déraillement mental. Certains se sont vus proposer « des plans de téléporteur », une connexion à « des archives anciennes » donnant des informations sur les bâtisseurs de l’univers, ou bien ont été mis en contact avec Dieu et ses anges via la plateforme de chat. D’autres internautes, comme cet influenceur porté sur le New Age, ont posté sur Instagram une vidéo de lui en train de consulter, via ChatGPT, les annales akashiques – un concept théosophique de connaissance universelle qui serait accessible aux âmes en cours de réincarnation.

People pleaser forever

Si le phénomène semble toucher un nombre restreint de personnes ayant déjà des tendances à la psychose, le problème que posent ces IA flagorneuses risque de s’accentuer. OpenAI vient ainsi d'annuler la mise à jour de son dernier modèle, GPT-4o, car il était jugé trop « flatteur ou agréable ». Comme les hallucinations, il est toutefois possible que ces dérives ne disparaissent jamais vraiment, laissant derrière elles une nouvelle génération de techno-Jésus complètement délulu.