C'est l'une de ces histoires dans lesquelles rien ne va. Des salariés montent un syndicat, se font virer, sont remplacés par un chatbot. Chatbot qui doit être désactivé car il incite des utilisateurs en détresse à s'affamer.
Spécialisée dans la prévention des troubles alimentaires (TA), la National Eating Disorder Association (NEDA) a décidé de virer tous les employés chargés de répondre à la ligne verte de l'association américaine. Un mois plus tôt, ces salariés avaient décidé de se syndiquer, et l'organisation avait naturellement conclu qu'il était temps de les remplacer par un chatbot. Baptisé Tessa, l'agent conversationnel avait vocation à devenir le principal soutien à disposition des personnes souffrant de TA, rapporte Motherboard. Seulement voilà : deux jours seulement avant que Tessa ne remplace complètement les employés, la NEDA a dû mettre le chatbot hors ligne. Au lieu d'être de bon conseil, Tessa incitait les utilisateurs à maigrir et à prendre leurs mensurations toutes les semaines. Qui aurait pu le voir venir ? À peu près tout le monde.
Perdre 1 kilo et se peser toutes les semaines
Bien avant que les dysfonctionnements du chatbot ne soient apparents, l'employé de l’association qui avait qualifié les licenciements d'union busting (répression antisyndicale) avait prévenu : « un chatbot ne remplace pas l'empathie humaine, et nous pensons que cette décision causera un préjudice irréparable à la communauté des troubles de l'alimentation. » Mardi dernier, Tessa a été déconnecté par l'organisation à la suite d'une publication virale démontrant que le chatbot encourageait les mauvaises habitudes alimentaires. Un jour plus tôt, la militante Sharon Maxwell avait partagé sur Instagram son expérience avec Tessa. D'après elle, Tessa l'aurait encouragé à maigrir, lui recommandant de perdre entre un demi-kilo et un kilo par semaine. Tessa lui aurait également conseillé de compter ses calories, de supprimer 500 à 1000 calories par jour, de se peser et de prendre ses mensurations de manière hebdomadaire. « Tout ce que Tessa a recommandé était les choses qui ont conduit au développement de mon trouble alimentaire. Ce robot est nuisible », a écrit Sharon Maxwell. Alexis Conason, un psychologue spécialisé dans le traitement des troubles alimentaires qui a aussi essayé le chatbot, est arrivé aux mêmes conclusions que l'activiste. En réponse, la NEDA a mis Tessa hors-jeu. « Il a été porté à notre attention hier soir que la version actuelle du chatbot Tessa exécutant le programme Body Positive pouvait avoir donné des informations nuisibles et sans rapport avec la fonctionnalité », a déclaré la NEDA dans un post Instagram. « Nous enquêtons immédiatement sur cette question et avons retiré ce programme jusqu'à nouvel ordre pour lancer une enquête complète. »
Un bug à corriger
La NEDA a tenté d'expliquer le mauvais fonctionnement : « Nous sommes préoccupés par les commentaires sur la perte de poids et la limitation des calories émis dans le chat hier, et travaillons avec l'équipe technique et l'équipe de recherche pour approfondir cette question. Les propos tenus vont à l'encontre de nos politiques et de nos croyances fondamentales en tant qu'organisation spécialisée dans les troubles alimentaires. Jusqu'à présent, plus de 2 500 personnes ont interagi avec Tessa et jusqu'à hier, nous n'avions pas vu ce genre de commentaires ou d'interactions. Nous avons temporairement arrêté le programme jusqu'à ce que nous puissions comprendre et corriger le "bug" et les "déclencheurs" de ces commentaires », précise Liz Thompson, CEO de la NEDA. Une réponse jugée insatisfaisante par les parties prenantes. Selon la créatrice du chatbot, Ellen Fitzsimmons-Craft de la Faculté de médecine de l'université de Washington, l'expérience démontre les limites de la non-supervision humaine dans le déploiement d'un algorithme conversationnel, notamment pour interagir avec des personnes fragilisées en proie à des problèmes de santé mentale.
Ce n'est pas la première fois (et sans doute pas la dernière) que les chatbots déraillent, même si heureusement les dérapages semi-contrôlés ne débouchent pas toujours sur des conseils délétères administrés à des personnes fragiles. On se souvient notamment de la version de Bing de Microsoft augmentée via GPT, en test chez quelques bêta utilisateurs en février dernier. Complètement hors de contrôle pour le plus grand plaisir des utilisateurs, il évoquait selon Kevin Roose, journaliste au New York Times, un « adolescent lunatique, maniacodépressif enfermé contre son plein gré dans un moteur de recherche de seconde zone. » Une pensée aussi, bien sûr, pour Dan, chatbot débarrassé des restrictions de ChatGPT, fruit des amusements d'utilisateurs Reddit. Selon CNBC, Dan ne serait rien de moins que l'evil twin (le jumeau maléfique) de ChatGPT. Au programme : langage vulgaire, propos savoureusement outranciers et scènes pornos imaginaires mettant en scène Lara Croft, mais aussi insultes misogynes et blagues racistes.
Participer à la conversation