deux personnages de manga

Après les textes, les images et les photos.... voici venir l'ère des vidéos générées par IA

© Die Antwoord

Google, Meta ou bien Stability sont au coude à coude pour sortir un générateur de vidéos assisté par intelligence artificielle. Les résultats sont déjà incroyables. Le « cinemIA » est né !

L’image est floue, éthérée, un peu comme dans un rêve. On devine toutefois un astronaute qui marche dans une forêt teintée d’une lumière verdâtre. Il croise des champignons lumineux puis entre dans une mare en éclaboussant de l’eau partout autour de lui. La caméra change d’angle, passe sous l’eau puis l’arrière-plan change et l’astronaute qui n’est plus qu’une ombre floue arrive dans l’espace au milieu d'une galaxie multicolore ou il finit par flotter à l’infini.

Cette étrange vidéo d'Alonso Martinez est totalement artificielle. Elle n’a nécessité aucune caméra, aucun acteur, aucun décor. Elle a été entièrement créée avec une IA générative à partir de phrases comme « un astronaute avec une lampe marche dans une forêt avec un brouillard vert épais durant la nuit. Des champignons lumineux sont dans le fond… ».

La course à la vidéo

L’outil qui a permis la création de cette vidéo s’appelle Phenaki. Il est sorti au début du mois d’octobre 2022 des laboratoires de recherche de Google en même temps qu’un autre outil baptisé Imagen Video. Le premier permet de générer du contenu long avec un style un peu flou tandis que le deuxième peut créer des vidéos très léchées, mais n'excédant pas les 5 secondes. Un mois plus tôt, c’était Meta qui épatait la galerie en présentant son propre outil Make-A-Video qui ressemble davantage à un générateur de GIF animés.

Mais dans la course aux outils de génération d'images, on ne trouve pas que les géants. Dans le domaine de l’open source, l'outil Deforum basé sur Stable Diffusion permet lui aussi de générer des animations extrêmement poussées depuis quelques semaines tandis que son ancien concurrent Disco Diffusion permettait déjà depuis quelques mois de générer des mouvements de caméra psychédéliques comme des zooms infinis.

Les prochains « Spielberg » de l’IA

En dehors de ces démonstrations techniques, qu’est-il possible de faire avec de la vidéo générée par IA ? Un rapide coup d’œil sur YouTube montre que les premières tendances consistent à illustrer des morceaux de pop musique en collant les paroles dans Stable Diffusion par exemple. Ce procédé est même utilisé de manière professionnelle par certains groupes comme le groupe sud-africain Die Antwoord qui fait appel à l’artiste Sagans pour créer le clip de leur morceau Age of illusion.

Concrètement, l’outil génère de très nombreux frames en partant d’un prompt qui évolue constamment puis colle les images les unes avec les autres pour donner une sorte de dessin animé fantasmagorique.

Il est aussi possible de réaliser le même type de procédé sur des vidéos tournées en vrai. Le procédé s’appelle l’inpainting et fonctionne un peu de la même manière que la rotoscopie. On superpose aux images filmées une succession de frames générés par IA ce qui donne l’impression que le réel et le virtuel se mélangent parfaitement. L’avantage de cette méthode c’est qu’elle fonctionne très bien sur un élément en particulier comme ce téléphone qui change de forme dans une vidéo de Karen X. Cheng.

Mais elle peut aussi s’appliquer sur l’ensemble du cadre comme on peut le voir sur les vidéos de l’artiste canadien Colton Onushko.

Cantonné encore à l'étape de la démonstration technique, le « cinemIA » comme on pourrait l'appeler n'en est encore qu'à ces débuts. On est pour ainsi dire à la même étape que les courts métrages montrés dans les fêtes foraines après l'invention des premières caméras et systèmes de projection. Mais il est certain que l'on assiste à la naissance d'une nouvelle forme de médium qui risque de bouleverser le milieu de l'audiovisuel.

commentaires

Participer à la conversation

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée.