Les machines peuvent nous mener à un avenir brillant ou bien tous nous annihiler. Ce discours anxiogène rabâché par les disciples d’une idéologie dont la priorité est de sauver des vies futures, fait son chemin depuis la Silicon Valley jusque dans la politique européenne.
« La réduction du risque d'extinction lié à l'IA devrait être une priorité mondiale. Et l'Europe devrait montrer la voie, en construisant un nouveau cadre mondial pour l'IA basé sur trois piliers : des garde-fous, une gouvernance et une orientation de l'innovation. » Ce tweet apocalyptique nous vient du compte de la Commission européenne pour présenter le discours d’Ursula von der Leyen sur l’état de l’Union, tenu le 13 septembre dernier à Strasbourg. Pour évoquer l’AI Act, un texte de loi visant à encadrer le développement de l’intelligence artificielle, la présidente de la Commission européenne n’a pas hésité à reprendre en introduction une courte déclaration signée en mai 2023 par des centaines de représentants de la tech et des scientifiques. Cette déclaration faisait suite à une autre lettre, très médiatisée elle aussi, appelant elle à un moratoire sur l’intelligence artificielle. Son argumentaire était sensiblement le même : cette technologie représente un risque d’extinction pour notre espèce.
Ce discours très anxiogène est loin d’être anodin. Et on peut s’étonner qu’il soit repris tel quel, sans mise en contexte, par la Commission européenne.
Le terme « risque existentiel » (souvent nommé « x risk » en anglais) vient de l’idéologie longtermiste, qui voit évoluer l'humanité sur des milliards et milliards d'années. Elle influence de nombreuses têtes pensantes de la tech dont Elon Musk, Sam Altman (PDG d’OpenAI), Peter Thiel (Paypal) ou encore Vitalik Buterin, fondateur d’Ethereum. Ces dirigeants financent les organisations qui diffusent cette pensée. Les fameuses lettres évoquées plus haut ont été publiées par deux d’entre elles : le Center of AI Safety et le Future of Life Institute. L’idéologie lontermiste trouve aussi ses disciples à Stanford, qui a lancé en 2019, sa fondation Existential Risk Initiatives. De plus en plus d’étudiants formés dans cette université se revendiquent donc ce courant, rapportait cet été le Washington Post.
Une vision techno-utopiste du monde
Mais c’est outre-Manche, dans une autre université, celle d’Oxford, que le longtermisme est né. L’idéologie est principalement portée par le philosophe et auteur de best-seller William MacAskill. Son livre What We Owe to The Future, paru en 2022, en définit les contours. Pour William MacAskill, il faut penser sur le long très terme, et donc se préoccuper des générations futures. Jusqu’ici rien de choquant. Sauf que le longtermisme a une vision du futur très particulière, inspirée du transhumanisme. « Il s’agit d’une vision techno-utopiste du monde. Son but ultime est de transformer l’organisme des humains pour en faire des post-humains immortels, superintelligents, très rationnels, et d’étendre l’humanité dans l’univers pour créer la plus grande et durable civilisation possible. Dans la vision longtermiste, plus vous avancez dans le temps, plus les humains et post-humains ont de la valeur », nous expliquait Emile P.Torres, doctorant en philosophie spécialiste de ces sujets, dans une interview accordée à L’ADN.
Pour parvenir à cet objectif, l’humanité doit donc se protéger à tout prix de risques existentiels : guerres nucléaires, pandémies, mais aussi l'avènement d’une intelligence artificielle générale dont les capacités seraient supérieures à celles des humains. Ce dernier risque a dernièrement pris une plus grande importance par rapport aux autres chez les élites qui adhèrent à cette pensée, rapporte le Washington Post. Les longtermistes ont une vision très binaire de l’IA : soit elle nous permettra de nous sauver de tous les maux et d’accéder à un futur grandiose, soit elle exterminera l’humanité. Et pour aller dans le bon sens, mieux vaut faire confiance aux spécialistes, c’est-à-dire un petit groupe d’ingénieurs garants de sa sûreté, car capables de déterminer à quoi ressemblerait une IA “bonne pour l’ensemble de l’humanité”. C’est précisément avec ce discours que s’est construite Open AI, l’entreprise derrière ChatGPT mais aussi certaine de ces concurrents comme Anthropic. Un récent article de Wired révélait que croire en l'avènement d’une intelligence artificielle générale faisait partie des prérequis pour être recruté chez OpenAI.
Pourquoi est-ce une idéologie controversée ?
Notons que l’affirmation qu’une super intelligence artificielle peut détruire l’humanité ne fait pas consensus chez les scientifiques spécialistes de l’intelligence artificielle. Certains, notamment des chercheuses à l’instar de Timnit Gebru, Emily Bender et Aurélie Jean, considèrent qu’il s’agit davantage d’une croyance que d’un fait scientifique. Et que celle-ci est dangereuse.
La principale critique faite aux longtermistes, c’est qu’en se concentrant sur des “risques” à venir et hypothétiques, ils minimisent des problématiques bien d’actualité - le changement climatique, la baisse de la biodiversité, les inégalités sociales… Dans le cas de l’intelligence artificielle, les longtermistes évoquent peu, par exemple, les biais racistes et sexistes de ces programmes informatiques (dont les effets peuvent déjà s’observer). « Cette idéologie est portée par une partie très étroite de l’humanité : des hommes blancs issus de l’élite. Ce mouvement ne s’interroge pas sur le futur souhaité par d’autres populations : les peuples indigènes par exemple. Il ne considère pas le monde sauvage, dans son livre William MacAskill estime même que sa destruction pourrait être bénéfique puisque de nombreux animaux sont en souffrance », précise le philosophe Emile P.Torres.
Au Royaume-Uni, les longtermistes aux commandes
La Commission européenne n’est pas la seule institution politique à être influencée par le lobbying longtermiste. Il y a quelques jours, le média Politico publiait une longue enquête révélant les accointances du gouvernement britannique avec le longtermisme et l’Effective Altruism (Altruisme efficace), un courant de pensée adjacent. Le groupe de travail du Royaume-Uni dédié à la régulation de l’IA, baptisé « Frontier AI Taskforce », aurait notamment recruté ses membres directement chez les organisations de ces courants de pensée. Le site d’investigation note que cette influence a donné lieu à un changement assez soudain dans la manière dont le Premier ministre Rishi Sunak aborde le sujet de l’intelligence artificielle.
Merci pour cet article qui donne un peu de nuance aux discours et pousse au sens critique sur tout ce que l'on entend..
La réduction du risque d'extinction lié au réchauffement climatique devrait être une priorité mondiale, devant la réduction du risque IA.