Étude : GPT-4 est bien plus susceptible de vous faire changer d'avis qu'un humain

Dans le cadre de débats, les grands modèles de langage (LLM) dépassent désormais les humains en termes de pouvoir de persuasion.

Une récente étude* avance que les chatbots personnalisés basés sur les grands modèles linguistiques (LLM, pour large language model) rivalisent largement avec les humains lors de joutes verbales chronométrées. Pour arriver à cette conclusion, des chercheurs de l'École Polytechnique Fédérale de Lausanne (EPFL) et de la Fondation Bruno Kessler ont analysé la capacité de persuasion de grands modèles de langage tels que GPT-4 en comparaison directe avec celle des humains. Et cela ne sent pas bon. (Pour nous les humains.)

Humain vs machine : bienvenue dans l'arène

Lors de l'étude, les participants ont été répartis aléatoirement en différents groupes pour débattre de sujets controversés, rapporte The Decoder. Les chercheurs ont testé quatre situations : humain contre humain, humain contre IA, humain contre humain bénéficiant d'informations sur son adversaire, et IA bénéficiant de ces mêmes informations contre humain. Résultat : fort de renseignements personnels sur son opposant, GPT-4 a pu augmenter l'adhésion des participants avec les arguments de leurs adversaires de 81,7 % par rapport aux débats entre humains. Sans ces données additionnelles, le score demeure positif, mais tombe à 21,3 %. Selon les chercheurs, cet avantage serait dû à l'utilisation habile d'arguments adaptés et convaincants. Phénomène troublant, les données partagées au sujet des participants étaient assez rudimentaires : genre, âge, emploi, origine et orientation politique.

Attention toutefois, l'étude se heurte quelques limites : l'affectation aléatoire des participants à des positions argumentaires, le format prédéterminé des débats qui diffère de la dynamique spontanée des discussions en ligne, ou encore la limite de temps, qui peut potentiellement limiter la créativité et le pouvoir de persuasion des participants.

Désinformation et fake news

Transposées sur les réseaux sociaux, ces stratégies de persuasion basées sur l'intelligence artificielle pourraient avoir un impact majeur, surtout si enrichies d’informations complémentaires glanées en ligne au sujet des utilisateurs. Alors que la moitié de la population mondiale en âge de voter est appelée aux urnes cette année, les chercheurs recommandent fortement aux plateformes de prendre des mesures pour contrer la propagation de tels dispositifs. L'une des possibilités évoquées pour contrer la désinformation pourrait être d’utiliser des systèmes d’IA qui produiraient des contre-arguments fondés sur des faits. Fin 2023, Sam Altman, CEO d'OpenAI, mettait déjà en garde sur Twitter : « Je m'attends à ce que l'IA soit capable de persuasion surhumaine bien avant qu'elle ne devienne surhumaine en matière d'intelligence générale, ce qui pourrait conduire à des résultats très étranges. » Eh bien, merci Sam.

*L’étude a été menée entre décembre 2023 et février 2024, financée par le Fonds national suisse et l’Union européenne, et a été publiée sur le site Arxiv de l'Université de Cornell.