
Avec la démocratisation de robots conversationnels comme Chatacter.ai, de nombreux chercheurs s’interrogent sur les pratiques qui se développent. Sans être alarmiste, Catherine Pelachaud du CNRS appelle à une saine vigilance.
L’affaire avait fait le tour des médias. Fin octobre, une Américaine du nom de Megan Garcia a déposé plainte contre la société Character.ai, dont le robot conversationnel est accusé d’avoir poussé son fils Sewell Setzer au suicide. Sans qu’un lien direct n’ait été prouvé entre son décès et le célèbre chatbot, la démocratisation de ce type de pratique interroge : les robots conversationnels présentent-ils un risque pour leurs utilisateurs ?
Au courant de l’été, le comité d'éthique du CNRS – le COMETS – a rendu un avis sur la question. Pour Catherine Pelachaud, directrice de recherches au CNRS à l’Institut des systèmes intelligents et robotiques, spécialiste des relations humains/technologies, il est important de s’emparer du sujet, au niveau individuel comme collectif.
Quels sont les risques que pose l’utilisation de robots conversationnels ?
Catherine Pelachaud : Les humains attribuent souvent aux robots, qu’ils soient virtuels ou physiques, des traits humains, comme l’amitié par exemple. C’est le cas des machines comme Aldébaran, Nao ou Pepper qui ont une fonction bien précise, comme d’aider dans les hôpitaux à porter des plateaux, ouvrir certaines portes, etc. Ou encore avec ChatGPT que certains utilisateurs utilisent en lui conférant un rôle de psychologue.
En soi, ce n’est pas forcément un mal, mais cela peut encourager des croyances exagérées sur ce dont ils sont capables. On peut facilement leur faire confiance de manière excessive sans exercer de recul critique. Typiquement, les gens acceptent parfois les réponses de ChatGPT sans les remettre en question. Cela peut entraîner une manipulation subtile, car ces robots donnent l’impression de nous comprendre, sont toujours disponibles et conçus pour s’adapter aux interlocuteurs humains, créer des liens interpersonnels, renforcer l’engagement, etc. Des caractéristiques utiles, mais susceptibles de dérapages. Les psychiatres avec qui nous avons discuté ont amplement souligné la nécessité de vigilance, sans pour autant juger la situation alarmante. Ils n’ont pas encore constaté de transformation inquiétante dans les comportements.
Que recommandez-vous au niveau individuel concernant leur utilisation ?
C. P. : Il est crucial d'apprendre à les utiliser de manière appropriée, sans les rejeter d'emblée. Il ne faut pas diaboliser ces technologies, mais reconnaître qu'elles comportent à la fois des risques et des avantages, sans se limiter à un usage solitaire ou virtuel. Je conseille également de toujours garder à l'esprit que ce sont des machines, qui ne ressentent pas d'émotions. Elles simulent des interactions, mais ne comprennent pas les intentions sous-jacentes de nos échanges. C'est un point essentiel à ne pas oublier.
Quel rôle peut jouer la recherche publique à ce sujet ?
C. P. : Il est essentiel de se questionner sur l'éthique de nos recherches et sur leurs impacts sur la société, en prenant du recul sur ce que nous développons. À l'origine, les robots sociaux avaient pour objectif de mieux comprendre l'humain. Aujourd'hui, leurs applications se sont élargies, notamment dans les domaines de la médecine, de l'éducation et du divertissement. Il est donc crucial de réfléchir à leur utilisation et aux répercussions sociétales qui en découlent. À ce sujet, le psychiatre David Cohen soulevait un point particulièrement important : il est nécessaire de se demander quel sera l'impact de ces outils sur les enfants qui grandissent avec eux. Si nous, adultes, avons déjà accompli notre parcours de développement, ce n’est pas le cas des jeunes générations. Notre rôle est d’être particulièrement vigilants à ce sujet.
Participer à la conversation