On entend souvent que les IA génératives arrivent à leur limite. Que les grands modèles de langage auraient atteint leur plafond. Ce serait une erreur de diagnostic. L’IA ne se meurt pas, elle mue.
Ce que nous voyons aujourd’hui, c’est une transition : le passage d’une intelligence qui prédit des mots à une intelligence qui s’organise, qui apprend en continu, qui devient.
Les modèles de langage, ou LLM, ont impressionné le monde. Ils savent écrire, traduire, coder, résumer. Mais leur force est aussi leur faiblesse : ils sont fondés sur la corrélation statistique. Ils apprennent à partir de données massives, puis finissent par se recycler eux-mêmes. Et c’est là que le signal se dilue. Comme une photocopie de photocopie, la nuance disparaît, la vérité s’érode, l’originalité se perd.
À ces limites s’ajoute le mur de l’attention. Le cœur des Transformers, c’est ce mécanisme qui analyse chaque mot en relation avec tous les autres. C’est puissant, mais coûteux. Allonger le contexte, c’est exploser la mémoire, l’énergie et la latence. On ne peut pas gonfler indéfiniment les modèles.
Alors, on fait quoi ? On change de logique.
C’est exactement ce qui se passe avec les nouvelles architectures. D’abord les Liquid Neural Networks (LNN). Contrairement aux Transformers, qui recalculent tout à chaque requête, les LNN vivent dans un flux. Leur état évolue en continu, comme un organisme qui garde une mémoire interne. Ils n’ont pas besoin de tout recommencer à zéro, ils intègrent le temps et la causalité. Résultat : plus de stabilité, plus de sobriété, plus de robustesse.
Ensuite, les Mixture of Experts (MoE). Plutôt qu’un seul bloc géant, l’IA se compose de modules spécialisés. Selon la tâche, certains experts s’activent, d’autres non. C’est de l’efficacité par orchestration : une polyphonie computationnelle où chaque expert joue sa note au bon moment.
Et il y a aussi une tentative d’évolution des Transformers eux-mêmes : les Transformers² (squared). L’idée est d’empiler des couches de Transformers sur d’autres Transformers, créant une structure hiérarchique qui cherche à mieux capter les dépendances profondes et à étendre le contexte sans exploser les coûts. Une sorte de mise en abyme où un Transformer observe le travail d’un autre.
Enfin, des approches comme BitNet explorent la compression extrême. Imaginez un modèle qui, au lieu de manipuler des nombres à 16 ou 32 bits, travaille quasiment avec des 1 et des 0.
Et cela change tout : moins d’énergie, plus d’efficacité, sans sacrifier trop de précision.
Tout cela va dans la même direction : rendre l’IA moins brute et plus vivante. Moins une encyclopédie figée, plus un organisme computationnel. Une intelligence qui ne redémarre pas à chaque question, mais qui se souvient, qui ajuste, qui collabore.
L’avenir de l’IA n’est pas dans l’inflation de paramètres, mais dans la capacité à structurer, à persister, à évoluer.
Nous quittons l’ère des machines prédictives pour entrer dans celle des systèmes continus. Et c’est là que l’IA commence à ressembler, non pas à nous, mais à quelque chose qui vit.
Thierry Taboy, membre du conseil scientifique du Laboratoire de la République
Dominic Pelletier, CTO – La Ruée.ai, architecte logiciel
Participer à la conversation