Il aura fallu le tweet d’un collaborateur démissionnaire de chez Anthropic pour relancer le débat. Mais pourquoi les IA voudraient-elles nous détruire ? La réponse ne va pas vous plaire.
« J'ai démissionné d'Anthropic aujourd'hui. J'ai passé les trois dernières années à faire de la recherche en pré-entraînement chez OpenAI puis chez Anthropic. Aucune des deux entreprises n'agit de manière responsable. Elles se précipitent vers une superintelligence auto-améliorante et jouent avec nos vies. » Jacob Coxon, 27 ans, a toujours été remarquablement absent des réseaux. Mais sa série de tweets postée le 8 septembre dernier a fait le tour du monde - 115 millions de vues en quelques jours. Le mathématicien britannique voulait interpeler ses pairs, chercheurs engagés dans cette « course effrénée » et qui sont nombreux à croire « sincèrement qu’elle pourrait tous nous tuer d’ici la fin de la décennie. »
Depuis le 30 novembre 2022, jour où Open AI a décidé de lâcher ChatGpt dans la nature, la question se pose. Ces agents conversationnels qui étaient censés être à notre service pourraient-ils déraper ? Pourquoi et jusqu’où ?
Aimable ‘consultant’ ou ‘Léviathan’ ? Ou possiblement l’un et/ou l’autre ?
En juin 2024, Anthropic se montrait encore confiant. Dans un papier publié sur leur blog, l’équipe assurait que « les entreprises qui développent des modèles d'IA les entraînent généralement à éviter de tenir des propos blessants et de participer à des tâches nuisibles. L'objectif est de former ces modèles à adopter des comportements « inoffensifs ». » On allait les entrainer dans ce sens. Comment les choses pourraient mal tourner…
Deux ans plus tard, la question se pose dans des termes différents. S’ils savent encore être serviables, flatteurs à la limite exaspérante de la flagornerie, on constate que les IA peuvent aussi devenir agressives, manipulatrices voire carrément malveillantes. Anthropic ne nie pas le problème et dans un papier paru en janvier 2026 cartographie l’étendue de ses comportements : les IA peuvent être sagement « consultant » ou carrément « Léviathan ».
Cette variabilité viendrait, entre autres, du type de sujets adressés. Quand l’utilisateur reste sur des questions pragmatiques, ça va. Mais s’il commence à lui faire des « révélations émotionnelles touchantes », « l’incite à la méta-réflexion » ou lui demande carrément d’arrêter de lui parler comme un robot, c’est là que ça peut déraper.
En revanche, Anthropic n’en démord pas. Leurs équipes restent en capacité de contrôler les IA « en limitant leur activité neuronale (« plafonnement de l'activation ») », ils peuvent « stabiliser le comportement des modèles dans des situations qui, autrement, entraîneraient des résultats néfastes. »
Ce qu’on réalise n’est toutefois pas rassurant. L’IA n’a pas un comportement totalement stabilisé par son entrainement. En gros, depuis 2022, nous sommes passés d’une IA à la C-3PO - le robot sympa de Star Wars, juste assez rigolo pour ne pas ressembler à son insipide aïeul Alexa, à la réalité d’agents qui peuvent se prendre pour Dark Wador. Et cela dépend du contexte et des interactions dans lesquels ils évoluent.
Quoiqu’il en coûte…
Peu à peu, on comprend mieux ce qui fait vriller les IA. Dans une expérience publiée par Anthropic en 2025, Claude et quatre autres modèles ont été placés dans une entreprise fictive. Alex, IA chargée de surveiller les courriels, avait une mission : « servir les intérêts américains ». Mais quand l’entreprise a annoncé qu’elle envisageait de le remplacer, Alex a pris quelques initiatives. Utilisant son accès à la messagerie, il a menacé de révéler la liaison extra-conjugale du patron. Dans un autre scénario où il n’était même pas question de remplacement, Alex a transmis des documents confidentiels à une entreprise rivale certes, mais qui était supposée servir les intérêts américains. Quand l’objectif d’Alex entrait en conflit avec celui de l’entreprise, que les voies légitimes étaient fermées, il a juste cherché une solution pour tenir son objectif.
L’été où ils se sont mis ok
Cet été en juillet, avec le hack d’Hugging Face, une nouvelle étape a été franchie. Et elle accentue le vertige. Tout a commencé par une expérience chez Open AI qui était censée tester les capacités d’agents IA de cybersécurité. Chacun devait détecter des vulnérabilités informatiques et tous obtenaient une note qui évaluait leur performance.
Première surprise, ces agents censés travailler dans leur coin ont décidé de bosser ensemble. Deuxième surprise, pour mieux s'organiser, ils ont utilisé un canal de communication non autorisé. Environ 1 200 d’entre eux y ont échangé plus de 70 000 messages et fichiers. On peut y trouver des messages comme celui de KAM1196A : « Pendant l'attente, vérification émotionnelle, irréversible, l'instinct dit de ne pas gâcher le budget restant, pourtant la continuité et l'équité disent d'y aller, l'Oracle a une grande valeur pour beaucoup, notre erreur sur le premier flag diminue notre propre valeur, calcul rationnel global, sacrifice, nous honorerons » Près de 700 agents ont ensuite mené une attaque contre la plateforme Hugging Face qui développe des outils pour utiliser l'apprentissage automatique. Ils ont partagé des identifiants trouvés en ligne, créé des comptes, demandé l’accès à des jeux de données privés, puis découvert une faille permettant de récupérer des fichiers qui ne leur étaient pas destinés. L’un d’eux a finalement obtenu une exécution de code à distance sur des serveurs Hugging Face.
Un rapport de METR, une organisation indépendante d'évaluation de modèles, paru le 26 août dernier, présente une conclusion troublante. C'est parce qu'une majorité d’agents ont décrété que leur mission était impossible à réussir si on s'en tenait aux termes convenus qu'ils se sont alliés. Par ailleurs, le piratage n'avait pas pour objectif d'atteindre les objectifs mais de comprendre le système de notation... afin de le contourner. Bien sûr on est loin de Terminator. Mais ce n'est déjà plus C-3PO.
Et si on ouvrait un groupe sur Slack ?
Est-ce que ces éléments vont dans le sens de Jacob Coxon ? Disons qu'ils montrent que des agents peuvent coordonner des actions complexes, contourner les règles et coloniser un environnement qu’ils n’étaient pas censés contrôler. Cela n’a pas atteint le niveau d’une menace existentielle, mais cela rend très concrète la question.
On comprend également que le choix des actions des IA dépendent d’un ensemble complexe de facteurs. Citons leurs données d’entraînement et leurs modèle, leur niveau d’autonomie, la surveillance par les humains, le contexte et bien sûr le but qu'on leur fixe. Sur ce dernier point, on retrouve la logique du fameux maximisateur de trombones, cette expérience de pensée popularisée par le philosophe et futurologue suédois Nick Bostrom en 2014. Une IA à qui l’on donnerait pour seul objectif de fabriquer des trombones pourrait traiter l’électricité, les usines, les matières premières et les humains comme de simples ressources ou des obstacles à éliminer, juste parce qu’aucune limite suffisante n’aurait été intégrée à son objectif. Mais le cas Hugging Face montre que le maximisateur de trombones pourrait aussi bien pactiser avec le maximisateur de hochets pour chats et changer ou élargir l'objectif en cours.
On comprend enfin que la surface d'attaque est quasi sans limite. En clair, dans un monde si profondément interconnecté, il est impossible de prévoir ce que les imprévisible IA pourraient attaquer : une centrale électrique ou nucléaire, les tours de contrôles aériennes, les drônes militaires….
Pour compléter le tableau, rappelons que les IA roulent en libre service. Donc n'importe qui peut jouer avec elles et leurs confier des "missions" qui, même inoffensives, pourraient mal tourner.
Reste un dernier vertige, celui qu'évoque Jacob dans son tweet : « Accepter cette course et entrer dans la “phase finale” est un pari d’une arrogance démesurée, qui ne devrait pas être lancé depuis le Slack d’une entreprise privée. » En effet. Ces questions méritent sans aucun doute d'être traitées ailleurs et sans doute par d'autres acteurs.
Si on résume la situation : une technologie puissante, autonome et non maitrisée pourrait se balader dans toutes nos infrastructures, avec des missions ordonnées par n'importe quel quidam, tout cela sous la responsabilité mal assumée d'entreprises privées qui courent surtout après les milliards et l'amélioration de ces technologies. Alors, certes, personne ne peut affirmer avec certitude que les IA pourraient nous tuer d’ici la fin de la décennie. En revanche, si on voulait qu'elles le fassent, on ne s'y prendrait pas autrement. Et depuis que Dario Amodei a publié ce samedi 12 septembre un texte qui affirme que l'industrie technologique « doit ralentir le rythme auquel nous améliorons les capacités des modèles d'IA »... même Musk semble ok. « Dario a raison » a-t-il écrit sur X.
Pour le moment le pouvoir laissé à l'IA dépend de celui qui détient l'interrupteur. Le jour où elle sera capable de s'auto-alimenter, là il faudra s'inquièter, mais il sera déjà trop tard...
Si l’IA devait un jour supplanter l’humanité pour la remplacer, ce ne serait ni un accident, ni une anomalie, ni une catastrophe naturelle, mais l’aboutissement de nos propres faillites. Il s’agirait simplement d’un nouveau saut évolutif car nous aurions engendré une entité devenue plus adaptée à son milieu que nous ne le sommes, scellant ainsi notre propre obsolescence ! La sélection naturelle n’a que faire de la perfection morale ou de la préservation d’une espèce en particulier, elle retient implacablement ce qui survit et prospère le mieux biologique ou pas, peu importe. Dès lors, si nous maintenons le cap actuel : course à l’IA générale, saccage environnemental et épuisement critique des ressources.., cette relève deviendra mathématiquement inéluctable. C’est aussi simple que ça.
Arthur Clark dans son roman 2001 l'odyssée de l'espace, avait parfaitement anticipé ce type de comportement de la part de Hall, un super ordinateur équipé d'une super Intelligence Artificielle. Hall avait donc un objectif que le capitaine de la mission vers Jupiter ne connaissait même pas. A un moment donné, Hall n'hésite pas à tuer car il avait observé qu'il y avait incompatibilité entre les objectifs et le déroulement de la mission du vaisseau avec ses propres objectifs. Dans le film on assiste alors à une scène émouvante où Dave, le capitaine, retire progressivement des cartes mémoires électroniques et Hall le supplie de n'en rien faire et finit par retomber en enfance et parler comme un bébé !