Quand la réalité virtuelle peut faire de nous des champions

Améliorer les performances des sportifs en complémentant le réel grâce à la VR, c'est le boulot des équipes de Franck Multon de l'INRIA. Et leurs expérimentations nous disent beaucoup du potentiel de ces technologies. Interview.

Si demain notre expérience du Web devient de plus en plus incarnée, nous avons tout intérêt à questionner ceux qui pratiquent la réalité virtuelle depuis un moment, et régulièrement. Dans le monde industriel et dans le monde du sport, elle a déjà des applications très concrètes.

Depuis 2018, Franck Multon coordonne les actions nationales de l'INRIA (Institut national de recherche en sciences et technologies du numérique) dans le domaine du numérique au service du sport. Depuis le début des années 2000, lui et son équipe ont fait le pari que la réalité virtuelle pourrait aider à l’entraînement des sportifs pour améliorer leur pratique sur le terrain. « On s'est vite rendu compte que l'erreur serait d'essayer de reproduire le réel. En fait, on ne fera jamais aussi bien que le réel et donc on a compris que la réalité virtuelle pouvait être vue comme un outil complémentaire du réel qui apporte une façon nouvelle de s'entraîner ». Alors, ça sert à quoi la réalité virtuelle et comment ça marche ? On fait le point avec Franck Multon

Vous convenez volontiers qu’on ne peut pas faire mieux que le réel. Alors, qu’est-ce que la réalité virtuelle peut apporter à la pratique sportive ? 

Franck Multon : La réalité virtuelle permet de tricher en décomposant des sous-compétences pour les acquérir l’une après l’autre. Si dans la vraie vie je veux apprendre à jongler, je dois tout de suite coordonner mes gestes, lancer correctement la balle, la réceptionner... je dois tout apprendre en même temps. Avec la réalité virtuelle, je peux travailler d'abord la coordination des mains sans me soucier de la précision de mes lancers et de mes récupérations que je vais pouvoir trafiquer. Et puis, petit à petit, une fois la première compétence acquise, je vais ajouter de nouvelles sous-compétences. 

Ce travail sur les sous-compétences ne peut pas être travaillé dans la vraie vie ? 

F. M. : C'est beaucoup plus difficile parce que dans la vraie vie, on ne pourra jamais répéter dix fois exactement la même situation. Il y aura toujours de petites variantes. 

Justement, ce sont ces petites variations qui rendent la maîtrise si difficile dans la vraie vie. Est-ce qu’en simplifiant trop, on ne s’éloigne pas dangereusement de l’expérience qu’on retrouvera sur le terrain ? 

F. M. : Effectivement, certains protocoles expérimentaux simplifient tellement les situations qu’ils en deviennent très éloignés de la vraie pratique. Avec la réalité virtuelle, dans des situations de duels par exemple, nous conservons des dynamiques d’interactions qui restituent la même urgence de réactions que dans la réalité. Nous contrôlons tout : on peut masquer des éléments, mettre en surbrillance des zones ou les flouter, supprimer une information. De cette manière, on peut cartographier les prises de décision pour mieux les comprendre. On dit que ce sont des situations plus écologiques, plus proches de la réalité du terrain. 

Vous avez travaillé avec des équipes de première division de foot, en particulier avec les gardiens de but du Stade rennais Football Club. Quel protocole avez-vous mis en place avec eux ? 

F. M. : Pour les gardiens, l’objectif était d’apprendre à avoir des informations globales sur la situation de jeu, et ne pas uniquement suivre du regard le joueur avec le ballon. Car quand il y a une passe à la dernière seconde dans une zone qu'ils ne regardaient pas depuis longtemps, ils seront surpris par la configuration de jeu et seront pris en défaut. Avec la réalité virtuelle, nous pouvons mettre le sportif dans une salle immersive de douze mètres de large, quatre mètres de haut, quatre mètres de profondeur, avec presque 180 degrés de champ de vision. On lui montre des joueurs en rouge et des joueurs en bleu qui se déplacent dans tous les sens, se font des passes. À la fin, on demande au gardien de nous dire où étaient placés les rouges, où étaient placés les bleus. S’il a tenté de suivre chacun des joueurs, il lui est impossible de répondre correctement. En revanche, s'il cherche à avoir une situation globale du jeu, et a utilisé sa vision périphérique pour suivre la scène, il augmente sa performance.

La réalité virtuelle permet d’apprendre ces techniques mieux et plus vite ? 

F. M. : Oui, le joueur peut apprendre plus vite dans certains cas. Et il peut aussi quantifier et faire un suivi de ses performances, sur ce critère particulier, indépendamment de tout autre. On peut également comparer des individus entre eux, les classer... Mais le retour de l’entraîneur reste très précieux. En l’occurrence, l’entraîneur rennais nous a dit qu’il avait vu la pratique de ses gardiens changer en s’appuyant sur l’expérience acquise en réalité virtuelle pour avoir une stratégie de prise d’information plus globale. Toutefois, à notre plus grande frustration, il faut reconnaître qu’il reste délicat d’évaluer si les performances des joueurs sur le terrain sont dues au travail fait avec la réalité virtuelle. Il y a beaucoup d’autres paramètres à prendre en compte : un adversaire moins bon ce jour-là, un joueur blessé ou qui a rencontré un stress particulier... 

Mettre au point les interfaces d’entraînement du club de foot de Rennes a pris combien de temps ? 

F. M. : Un temps considérable : trois ans. Pour commencer, il a fallu comprendre leurs besoins et les sous-compétences liées à leur activité. Nous avons croisé ces éléments avec la littérature scientifique. Puis, nous avons dû traduire les termes de terrain en variables scientifiques. Et cette traduction n’est pas simple. Elle demande une acculturation à la fois du domaine du terrain et de celui des scientifiques. Enfin, on a développé un prototype, fait des tests, des protocoles pour finalement converger vers une application. 

Votre exemple du gardien de but souligne à quel point les pratiques sportives activent beaucoup d’interactions entre joueurs. La réalité virtuelle peut aider à mieux les gérer ? 

F. M. : Oui, cela est très visible dans l’expérimentation que l'on mène en ce moment avec l'équipe olympique de boxe. Leur demande était d’entraîner les boxeurs à mieux anticiper les attaques de leurs adversaires. Pour eux, la réalité virtuelle présente l’énorme avantage de pouvoir répéter les gestes sans risquer les blessures. Pendant deux ans, on a travaillé pour comprendre quels indices perceptifs sont utilisés par les boxeurs pour anticiper les coups de leurs adversaires : est-ce qu’il regarde les épaules, les hanches, les yeux ? Quelles informations sont disponibles ? On peut très bien envoyer son épaule à gauche et balancer un coup droit. Une des hypothèses de la doctorante avec qui nous avons travaillé était qu’il fallait entraîner la vision périphérique, cette zone qui est pourtant floue. En effet, au niveau cognitif, si on utilise la zone centrale qui n'est pas floue, celle qu’on utilise quand on lit par exemple, le temps de traitement cognitif est très long. L'information périphérique, floue, passe par un autre circuit, elle traite beaucoup plus rapidement les informations, ce qui peut faire gagner du temps pour réagir. En réalité virtuelle, nous allons volontairement flouter les zones d'intérêt pour apprendre au sportif à gérer ses zones d'intérêt dans le flou, l’incitant à utiliser sa vision périphérique. En effet, comme au cinéma, le regard est attiré vers les zones nettes, laissant les zones floues en périphérie. 

Combien de temps est alloué à ce type d’entraînement ? 

F. M. : C’est une très bonne question parce que la grosse difficulté, c'est de savoir comment intégrer ces éléments dans les programmes d'entraînement, à quels moments, pour quelle durée et avec combien de répétitions ? Est-ce que les sportifs peuvent amener ces équipements chez eux pour pouvoir travailler ces exercices comme un devoir du soir ? Et pour quel gain ? On est dans l'innovation totale et on travaille avec les entraîneurs pour déterminer avec eux quelle est la bonne approche. 

Utilisez-vous l’intelligence artificielle pour développer de nouvelles applications ? 

F. M. : Oui, nous sommes en train de travailler sur la modélisation virtuelle de champions existants. En boxe par exemple, l’idée serait de prendre les vidéos des matchs d’adversaires, d’en extraire leur façon de bouger, leurs tactiques de combats pour pouvoir les encoder. Cela permettrait de s'entraîner contre ces adversaires simulés en réalité virtuelle. C'est l'objectif ultime. Pour l'instant, nous avons encore deux grandes difficultés à résoudre : l’extraction de données à partir de vidéos reste compliquée et modéliser un mouvement et un comportement l’est aussi. 

En termes de technologie, vous utilisez des IA génératives ? 

F. M. : Oui. On appelle cela des Adversarial Generative Networks, ce sont des GAN qui s'entraînent sur des réseaux de neurones. Un réseau de neurones produit un comportement et vous avez ce qu'on appelle un discriminateur qui valide les comportements qu’il a déjà vus et pénalise ceux qu’il n’a jamais vus. C'est de l'apprentissage par renforcement. À la fin, l’IA est capable de tromper le discriminateur qui ne sait plus faire la différence entre un mouvement issu de la base de données d'un mouvement issu de la simulation. 

Ce que vous tentez de réaliser pour la boxe sera possible avec d’autres sports ? 

F. M. : On s'est amusé à remplacer la base de données de boxe par des bases de données d'arts martiaux et effectivement, notre boxeur virtuel peut s’adapter facilement maintenant à du karaté ou du kung-fu. On peut aussi l’appliquer à tout type de sport impliquant des interactions physiques entre participants comme l’escrime ou la danse. 

Ce qui est vrai pour l'entraînement de sportifs de haut niveau pourra l'être pour n'importe qui voudrait apprendre ou améliorer sa pratique ? 

F. M. : Nous avons travaillé sur un projet européen qui avait pour objectif de préserver le patrimoine immatériel de la danse folklorique, et notamment une danse folklorique de Chypre. Aujourd’hui, seules quelques personnes la pratiquent localement. Nous sommes partis de l’hypothèse que pour sauver un patrimoine, proposer des environnements virtuels où les gens du monde entier vont pouvoir apprendre à danser serait plus efficace que d’en garder des images et des vidéos. Donc on a travaillé sur la captation des mouvements pour définir une base de données de mouvements 3D. Nous avons aussi créé un coach. Et chacun peut désormais apprendre cette danse presque disparue.