« Le potentiel de l'IA à générer de faux souvenirs est préoccupant »

On savait que les chatbots IA pouvaient avoir des hallucinations, on sait maintenant qu'ils peuvent aussi nous faire halluciner !

Selon une étude du MIT et de l'Université de Californie à Irvine, les IA conversationnelles peuvent engendrer la création de faux souvenirs chez les humains (évènements qui ne se sont pas produits ou qui s'écartent des évènements réels). Un constat qui soulève de vives préoccupations quant à l'utilisation de ces technologies dans des contextes sensibles, comme les enquêtes judiciaires ou les consultations cliniques.

Les chatbots IA peuvent induire de faux souvenirs

Pour tester cette hypothèse, les chercheurs ont recruté 200 participants soumis à une expérience en deux phases. Lors de la première phase, l'ensemble des participants a été invité à se glisser dans la peau de témoins oculaires en visionnant une vidéo de vidéosurveillance d'un vol à main armée. Afin de comparer l’influence des conditions de recueil des témoignages sur la formation de faux souvenirs, les participants ont ensuite été répartis en quatre groupes distincts, certains interagissant avec des chatbots, tandis que d’autres répondaient à des questionnaires.

Constat : les échanges avec le chatbot génératif « ont induit près de 3 fois plus de faux souvenirs immédiats que la méthode témoin et près de 1,7 fois plus que la méthode basée sur un questionnaire. » L'étude a également démontré la persistance de ces faux souvenirs dans le temps. En effet, réinterrogés une semaine plus tard, 36,8 % des participants ayant interagi avec le chatbot IA avaient retenu des informations erronées. « En outre, les participants conservent une confiance plus élevée dans leurs souvenirs inexacts par rapport au groupe témoin, même après une semaine », notent les auteurs.

L'impact des chatbots génératifs sur la formation des souvenirs

Plusieurs facteurs ont été identifiés comme influençant la prédisposition d'un individu aux faux souvenirs induits par l'IA. Ainsi, les utilisateurs qui étaient moins familiers avec les chatbots, mais plus familiers avec la technologie de l'IA en général, se sont révélés plus enclins à développer de faux souvenirs. Les participants qui exprimaient un intérêt plus marqué pour les enquêtes criminelles ont également fait preuve d'une vulnérabilité accrue. « Ces résultats soulignent l'interaction complexe entre la familiarité technologique, les intérêts personnels et la susceptibilité cognitive dans le contexte des interactions homme-IA », indiquent les chercheurs. L'expérience a également révélé que les risques connus de création de faux souvenirs (par exemple, un questionnement délibérément trompeur) sont aggravés lorsqu'un agent d'IA approuve et renforce l'idée fausse.

L'étude du MIT vient confirmer les résultats d'une autre étude datant de 2023, « Contagion sociale inévitable des faux souvenirs des robots aux humains » qui avait conclu que les robots sociaux étaient aussi puissants que les êtres humains pour influencer. « Bien que la désinformation fournie soit neutre en termes d'émotion et de valeur et donc non intrinsèquement contagieuse et mémorable, 77 % des fausses informations énoncées ont engendré de faux souvenirs chez les participants. »

L'IA au service de la mémoire

Alors que les chatbots IA se généralisent dans notre quotidien, les chercheurs soulignent « la nécessité d’une attention particulière lors du déploiement de telles technologies dans des contextes sensibles ». Au-delà, compte tenu des implications éthiques et du risque de manipulations, ils insistent sur l'urgence de développer des cadres légaux robustes pour encadrer l’utilisation de ces technologies. Ils notent cependant que cette propension pourrait dans certains cas avoir un impact positif : « Par exemple, les chatbots et les modèles de langage pourraient être exploités comme outils pour induire de "faux souvenirs positifs" ou aider à réduire l’impact des comportements négatifs, chez des personnes souffrant de trouble de stress post-traumatique (SSPT). » L'IA pourrait aussi permettre de retrouver la mémoire... ou presque, comme c'est le cas dans le cadre du projet Synthetic Memories qui permet de générer, pour certains cas de démences ou pour des personnes déracinées, des images à partir de souvenirs.