Non l’IA ne va pas détruire l’humanité, mais les hommes qui pensent cela, peut-être

L’intelligence artificielle serait un risque existentiel majeur, s'alarment les dirigeants des sociétés qui développent ces mêmes IA. Mais d’où vient cette idée apocalyptique ?  

« La réduction du risque d'extinction dû à l'IA devrait être une priorité mondiale, au même titre que d'autres risques à l'échelle sociétale tels que les pandémies et la guerre nucléaire. » Voici la très courte lettre publiée le 30 mai et signée par 350 personnes dont des chercheurs et même des dirigeants de sociétés comme Google, OpenAI (ChatGPT), Anthropic en pointe sur l’intelligence artificielle. De quoi remettre, une nouvelle fois, l’idée de l'avènement d’une IA potentiellement destructrice au cœur du débat médiatique. Sauf que cette idée n’est pas anodine, nous explique l’historien et philosophe Émile P.Torres. Elle appartient à un courant de pensée mêlant des idées transhumanistes et longtermistes qu’il nomme TESCREAL. Ce groupement idéologique est, à ses yeux, omniprésent et dangereux. Explications avec un ancien adepte de cette philosophie, devenu l'une de ses voix critiques les plus virulentes et documentées. 

Vous mettez en avant, aux côtés de Timnit Gebru, chercheuse spécialiste de l’éthique de l’IA, le terme de TESCREAL pour désigner un ensemble d’idéologies. Que signifie-t-il et pourquoi utiliser ce terme ?  

E. P. T. : Depuis quelque temps, j’essaie de retracer la constellation idéologique derrière l’intelligence artificielle. Il y a sept idéologies principales, elles sont nommées par des mots très longs qui se finissent tous en -isme. Donc le terme TESCREAL est un moyen de simplifier les débats autour de ces idéologies. Il s’agit de l’acronyme de Transhumanisme (améliorer l’être humain grâce aux sciences, Ndlr), Extropianisme (forme de transhumanisme qui met l’accent sur la technologie), Singularitarisme (croyance en l'avènement d’une IA surpuissante), Cosmisme (désir de coloniser l’espace), Rationalisme (préférer la raison à la foi), Altruisme Efficace (optimiser ses bonnes actions selon leur efficacité) et Longtermisme (penser l’avenir à très très long terme). Ces idéologies forment un tout, bien qu’elles soient distinctes. Un courant de pensée en a amené un autre. Le transhumanisme, apparu dans les années 1980, est la colonne vertébrale de ces idéologies. L’extropianisme, le singularisme, et le cosmisme sont trois versions du transhumanisme. Les fondateurs du rationalisme sont des singularistes. Le philosophe suédois Nick Bostrom est un bon exemple du croisement de ces idéologies. Il est un transhumaniste, il a participé à la création du mouvement de l’extropianisme, il a écrit sur le singularisme. Il est cité parmi les rationalistes, et il est considéré comme l’un des pères du longtermisme. Les leaders de la tech ont souvent des liens avec ces différents courants de pensée. 

On les associe effectivement souvent à ces idéologies. Mais s’en proclament-ils ouvertement ? 

E. P. T. : Elon Musk assez clairement. Il a par exemple tweeté à propos du longtermisme disant qu’il s’agissait d’un courant « très proche » de sa manière de penser. Sur Twitter il a également parlé de « maximiser le bonheur civilisationnel net dans la durée », un concept très propre au longtermisme, qui estime que le bonheur de l’humanité doit se mesurer sur les milliards d’années à venir. En subventionnant Neuralink, Elon Musk s’inscrit aussi dans le transhumanisme.

Sam Altman, le PDG d’OpenAI (créateur de ChatGPT, Ndlr) n’a jamais dit « je suis longtermiste » ou « je suis singulariste ». Mais le fait d’être préoccupé par l’avènement d’une intelligence artificielle générale, est propre au singularisme et au long-termisme qui identifie cela comme un risque existentiel dont il faut se prémunir. Il a par exemple dit que les « galaxies » pouvaient être en danger à cause d’une intelligence artificielle générale non maîtrisée. Sam Altman vient par ailleurs de donner 300 millions de dollars à Retro Biosciences, une entreprise qui espère étendre notre espérance de vie, ce qui est une approche résolument transhumaniste. Peter Thiel ne s’est jamais proclamé altruiste efficace, mais il a donné une conférence lors d’un congrès du mouvement à Stanford. Les preuves sont suffisamment nombreuses pour les lier à ces idéologies, sans l’ombre d’un doute. 

Depuis combien de temps ces idéologies imprègnent-elles la Silicon Valley ?

E. P. T. : L'influence de ces idéologies est omniprésente dans la Silicon Valley depuis deux décennies environ. Partout où vous regardez, il y a des traces et des exemples évidents de ces idées embrassées et promues par des individus. À l’instar du futurologue Ray Kurzweil, ou du blogueur et cofondateur du Machine Intelligence Research Institute (MIRI), Eliezer Yudkowsky. Cette idéologie est aussi bien établie à l’université d’Oxford, d’où viennent de nombreux philosophes qui ont pensé le longtermisme notamment Nick Bostrom, Toby Orb et William MacAskill. 

Dans les années 2010, le transhumanisme, et ces différences branches, ainsi que l’altruisme efficace et le rationalisme étaient surtout influents dans l’industrie de la tech. En 2015, ces idées sont en partie parvenues jusqu’au grand public, un an après la sortie du livre de Nick Bostrom Super Intelligence. (Il y décrit ce qui se passerait dans le cas où une IA surpasserait largement les capacités intellectuelles des êtres humains, Ndlr). C’est à cette période que le concept d’”AI Safety” (sûreté des IA), et l’idée que des intelligences supérieures allaient détruire l’humanité est devenue mainstream. 

Récemment, il y a eu une résurgence très forte de ces idées… 

E. P. T.: L’an dernier, ces idéologies ont connu un fort regain d’intérêt avec la sortie du livre What We Owe The Future, du philosophe et éthicien écossais William MacAskill. Ce livre a récolté énormément d’attention, parce qu’il a bénéficié d’une promotion phénoménale. L’un des salariés d’une agence de communication qui en avait la charge m’a fait savoir, preuves à l’appui, que le budget promotionnel du livre était de 10 millions de dollars. C’est un montant insensé. Une grande partie de cet argent venait de Dustin Moskovitz, cofondateur de Facebook. Et je soupçonne qu’une partie importante venait de Sam Bankman-Fried (ex-patron de la plateforme crypto FTX, dont les escroqueries ont été révélées fin 2022). Le livre a été recensé dans le New York Times, le Guardian, Time Magazine… En tant qu’historien de ce phénomène en quelque sorte, je situerais à cette date l’entrée du longtermisme et du mouvement TESCREAL dans la culture mainstream. Ensuite le développement de l’intelligence artificielle l’a médiatisé davantage. Il y a eu la lettre ouverte demandant un moratoire sur l’IA publiée en mars, celle-ci a été publiée sur le site de l'organisation longtermiste Future of Life Institute. Elle a été suivie d’une tribune d'Eliezer Yudkwowsky dans Time Magazine. (Il y estime que le développement de l'IA doit être arrêté à l'échelle mondiale. Il appelle si nécessaire à des frappes aériennes sur les centres de données étrangers, Ndlr).

Qu’en est-il de la lettre s’inquiétant de l’extinction de l’humanité causée par l’IA, signée notamment par des cadres d’OpenAI, Google DeepMind ou Anthropic, rendue publique le 30 mai ? 

E. P. T. : Elle a été publiée sur le site de l’organisation Center of AI Safety, qui est une organisation longtermiste également. En règle générale, tout ce qui concerne l’AI Safety (ou « sûreté de l'IA ») est considéré comme relevant du TESCREALisme, car cette idée a émergé des travaux de principaux penseurs de ce mouvement. La sûreté de l'IA vise à réduire les "risques existentiels" posés par l'intelligence artificielle générale (AGI). Le Center of AI Safety de l'IA écrit notamment ceci : « Lorsque l'IA deviendra plus avancée, elle pourrait finalement poser des risques catastrophiques ou existentiels. Il existe de nombreuses manières dont les systèmes d'IA pourraient poser ou contribuer à des risques à grande échelle. »

Il faut distinguer ce concept des travaux de chercheurs qui travaillent sur « l'éthique de l'IA ». Ce camp est constitué de personnes préoccupées, par exemple, par les implications en matière de justice sociale de l'IA, et comprend des personnes comme les chercheuses Timnit Gebru, Emily Bender, etc. 

Vous dites que ces idées sont omniprésentes dans la Silicon Valley : les ingénieurs et autres salariés de la tech croient-ils en ces idées de futur lointain et grandiose comme leurs dirigeants ? 

E. P. T. : Malheureusement, il n’y a pas de sondage à ce sujet. Mais d’après mon expérience, les personnes travaillant dans le secteur de la tech, et particulièrement celui de l’intelligence artificielle, sont influencées par ces idées. Elles apparaissent en toile de fond de n’importe quelle conversation. Le fait qu’il faille radicalement améliorer l’humanité est admis. Devenir immortel, connecter son cerveau à un ordinateur, penser que l’intelligence artificielle va être résolument révolutionnaire… sont des envies et pensées plutôt couramment partagées. Les personnes qui s’engagent dans des entreprises comme OpenAI, DeepMind, et Anthropic, le font pour développer une intelligence artificielle générale, poussées par leurs croyances au transhumanisme et au longtermisme. 

Pourquoi l’intelligence artificielle est-elle si essentielle dans ces courants de pensée ? 

E. P. T.: Je vous conseille de lire le blog d’Holden Karnofsky, fervent défenseur de l’altruisme efficace à ce sujet, qui reprend d’ailleurs des idées déjà énoncées par Ray Kurzweil, dans son livre The Age of Spiritual Machine. L’idée qu’il défend c’est qu’une fois que nous aurons développé une intelligence artificielle générale, nous obtiendrons tout de suite une « superintelligence » car le système, de lui-même, essaiera de devenir le plus intelligent possible. Et cette superintelligence pourrait permettre de résoudre toutes sortes de problèmes. Donc pour guérir le cancer par exemple, les personnes qui croient en cette idée vont préférer développer une superintelligence plutôt que d’aborder directement le sujet du cancer. Idem pour le changement climatique : nous pouvons déléguer cette tâche à une superintelligence. L’idée est aussi qu’une fois qu’on aura atteint cette intelligence artificielle générale, il n’y aura pas de retour en arrière. Donc à leurs yeux, le futur de l’humanité tout entière, et celui de l’univers même, dépend de la manière dont va être conçue l’intelligence artificielle générale. C’est cette idée qui a initié la création d’OpenAI, DeepMind et d’autres… Les défenseurs de cette idée ont une vision très binaire de l’intelligence artificielle. Soit elle nous conduira vers une utopie merveilleuse, soit, si elle est mal conçue, à l’annihilation de l’humanité. 

Vous êtes très critique de ces courants de pensée. Pourquoi pensez-vous qu’ils sont si dangereux ? 

E. P. T. : Il s’agit d’une vision techno utopiste du monde. Son but ultime est de transformer l’organisme des humains pour en faire des post-humains immortels, superintelligents, très rationnels, et d’étendre l’humanité dans l’univers pour créer la plus grande et durable civilisation possible. Dans la vision longtermiste, plus vous avancez dans le temps, plus les humains et post-humains ont de la valeur. Si nous nous déployons dans l’espace et dans le temps, alors le futur sera extraordinaire. Je vois deux problèmes majeurs à cette vision des choses. D’une part, cela minimise les problèmes actuels. 1,3 milliard de personnes vivent dans la pauvreté, mais l’échelle du nombre vertigineux d’humains, 10^58 estimés par Nick Bostrom dans ce futur lointain, ce n’est rien. Le changement climatique, quant à lui, n'est pas considéré comme un risque majeur. De nombreux longtermistes estiment que cela ne détruira pas l’humanité. Car même si un milliard d’humains survivent, c’est amplement suffisant pour construire le futur. 

Et le deuxième problème majeur ? 

E. P. T. : Cette idéologie s’inscrit dans une longue tradition d’utopies qui imaginent des paradis futurs et désirables. Et ces idéaux ont souvent justifié des actions extrêmes. Dans certains cas, des actions violentes et génocidaires. Échouer à réaliser l’utopie devient plus problématique que de venir à bout d’un million de personnes qui freinent sa réalisation. À mes yeux, le mouvement TESCREAL regroupe tous les ingrédients pour inciter à réaliser de telles actions au nom d’une idéologie. Et cela devient assez concret quand Eliezer Yudkwowsky écrit qu’il faut se préparer à d’éventuelles frappes nucléaires pour pouvoir arrêter le développement de l’IA afin qu’elle soit conçue de la bonne façon. Sur Twitter, quelqu’un a récemment lancé une conversation se demandant combien de personnes pouvaient être tuées dans le cas d’une guerre nucléaire afin d’éviter une apocalypse liée à l’intelligence artificielle. Eliezer Yudkwowsky a répondu ceci : " Il devrait y avoir suffisamment de survivants sur Terre, en contact étroit pour former une population reproductrice viable, avec de la marge, et un accès à une source de nourriture durable. Tant que cela est possible, il y a encore une chance d'atteindre les étoiles un jour. " C'est une excellente encapsulation de combien cette idéologie peut être délirante et potentiellement dangereuse.

Avant d’adopter un point de vue très critique, vous avez vous-même fait partie de cette communauté longtermiste, pourquoi avez-vous adhéré à ces idées ? 

E. P. T.: Il y a quelque chose de résolument séduisant dans cette pensée. Parce que ce mouvement TESCREAL répond à la question : quel futur pour l’humanité ? Et le futur proposé est de coloniser l’espace, de créer de grandes simulations où nous pourrons vivre heureux et en bonne santé. Imaginez à quel point ça serait cool de partir en vacances dans une autre galaxie ? Je me suis laissé séduire parce que j’avais un attrait pour les théories permettant de penser les grands problèmes du monde, la pensée quantitative. Je n’aime pas trop associer des philosophies à des religions pour les discréditer. Mais dans le cas du TESCREALisme, cela se révèle très pertinent. Au XXème siècle, le transhumanisme a été pensé pour remplacer la religion. L’un des premiers livres sur le sujet s’intitulait Religion without Revelation. Ray Kurzweil parle du singularisme comme d’une religion séculière. Ce groupement de pensées coche toutes les cases de la religion : l’utopie, l’accès à l’immortalité, la transcendance de l’être humain… Il a même son propre dieu : l’intelligence artificielle générale (AGI). Certains membres du mouvement pensent à la résurrection : Nick Bostrom s’est rapproché de l’entreprise Alcor pour se faire cryogéniser. J’ai grandi dans une famille très religieuse, j’ai perdu ma foi et j’ai découvert le transhumanisme et le longtermisme comme une porte de sortie. C’est très attirant : vous avez toutes les promesses de la religion, sans pouvoir surnaturel, juste grâce à l’ingénierie humaine. 

Qu’est-ce qui vous a fait changer d’avis ?

E. P. T. : Le parallèle entre cette utopie et d’autres que j’évoquais précédemment, et donc le fait qu’elle puisse justifier certains actes violents. C’est aussi en réalisant que cette idéologie est portée par une partie très étroite de l’humanité : des hommes blancs issus de l’élite. Ce mouvement ne s’interroge pas sur le futur souhaité par d’autres populations : les peuples indigènes par exemple. Il ne considère pas le monde sauvage, dans son livre William Mc Askill estime même que sa destruction pourrait être bénéfique puisque de nombreux animaux sont en souffrance. Ce mouvement ne s’interroge pas non plus sur l’expansion de certaines religions comme l’Islam, ni le déclin de l’athéisme. Or, si vous réfléchissez au futur de l’humanité, c’est probablement des paramètres que vous devriez prendre en compte. C’est finalement une vision très pauvre du monde. 

Par ailleurs les transhumanistes sont des eugénistes, même s’ils tiennent à se distinguer des eugénistes traditionnels en employant le terme “eugénistes libéraux”. Ils ont des attitudes très discriminatoires. Ils s’inquiètent du “dysgénisme”, soit l’opposé de l’eugénisme qui causerait une baisse de l’intelligence moyenne. À ce titre, Nick Bostrom a utilisé le mot en N, disant que les Noirs étaient moins intelligents que les Blancs dans un échange de mails que j’ai récemment découvert… Plus je me familiarise avec ce mouvement, plus je me rends compte à quel point il est toxique, dangereux et affreux et omniprésent. 

À lire : un article scientifique à venir sur le mouvement TESCREAL co-écrit par Émile P.Torres et Timnit Gebru.