Meta s’est intéressé très tôt à la génération de vidéos : dès 2022, il présentait Make-a Video, un système d’IA générant des vidéos de quelques secondes à partir d’invites textuelles basé notamment sur Make-A-Scene. Il s’appuie sur ces recherches pour Movie Gen, une nouvelle suite de modèles pouvant générer une vidéo à partir d’une invite textuelle, ajouter de la musique ou des effets sonores à une vidéo générée ou existante, ainsi que de produire une vidéo personnalisée à partir d’une photo et d’une invite.

Movie Gen repose sur deux modèles de fondation, qui tirent parti des avancées des modèles de diffusion et des modèles Llama Image, pour offrir des capacités accrues de génération et d’édition multimodale :

• Movie Gen Video : ce modèle de 30 milliards de paramètres peut produire des vidéos HD de 1080 pixels, allant jusqu’à 16 secondes, à une vitesse de 16 images par seconde, à partir de prompts textuels. Il est capable de générer des vidéos dans plusieurs formats et résolutions, en ayant été pré-entraîné sur un vaste ensemble de vidéos et d’images, ce qui lui permet d’apprendre la dynamique visuelle, les mouvements d’objets, les interactions et la physique.
• Movie Gen Audio : un modèle de 13 milliards de paramètres dédié à la génération d’effets sonores et de musique synchronisés avec les vidéos, à une qualité de 48kHz. Ce modèle peut générer des sons cinématiques adaptés à l’atmosphère visuelle, et est capable de produire à la fois des effets sonores diégétiques (liés aux actions visibles) et non-diégétiques (comme la musique d’ambiance), synchronisés au contenu vidéo.

En plus de leurs capacités de génération, les modèles ont été enrichis de fonctionnalités de personnalisation et d’édition. Cependant, la génération de voix n’est pas encore prise en charge. Selon Meta, Movie Gen Video a été entraîné sur un ensemble de “données sous licence et accessibles au public”.

La personnalisation permet de générer des vidéos mettant en scène une personne à partir d’une photo et d’un texte. La vidéo personnalisée préserve l’identité de la personne tout en suivant l’invite textuelle. Pour entraîner le modèle, un sous-ensemble de vidéos avec des humains est utilisé pour créer automatiquement des paires d’entrées (image, texte) et de sorties vidéo.

L’édition permet aux utilisateurs d’apporter des modifications à des vidéos réelles et générées en utilisant des instructions textuelles. Le modèle peut ajouter, supprimer ou remplacer des éléments spécifiques, ainsi que réaliser des changements globaux comme la modification de l’arrière-plan ou du style. Contrairement aux outils traditionnels qui nécessitent des compétences spécialisées ou aux outils génératifs qui manquent de précision, Movie Gen conserve le contenu original, ne modifiant que les pixels pertinents.

On peut retrouver d’autres exemples de vidéos générées par Movie Gen dans la vidéo ci-dessous.

Performances et limitations

Selon les évaluations humaines présentées par Meta, Movie Gen arrive devant ses concurrents de pointe : Sora d’OpenAI, Runway Gen3 et le modèle chinois Kling de Kuaishou.

Cependant, Meta n’entend pas publier Movie Gen dans l’état, il le présente comme un projet de recherche et lui a d’ailleurs consacré un article.

Les auteurs déclarent :

“Bien que la recherche que nous partageons aujourd’hui montre un potentiel immense pour les futures applications, nous reconnaissons que nos modèles actuels ont des limitations. Notamment, de nombreuses optimisations peuvent encore être faites pour réduire davantage le temps d’inférence et améliorer la qualité des modèles en les faisant évoluer davantage”.

Movie Gen est avant tout pour Meta “un outil d’amélioration de la créativité”, il entend collaborer activement avec les créateurs et les professionnels du secteur pour affiner les modèles et les rendre encore plus performants avant un potentiel déploiement à grande échelle.

RunwayML, pionnier dans les outils de création multimédia alimentés par l’IA, a récemment annoncé la prochaine sortie de Gen-3 Alpha. Ce modèle de fondation, offrant des améliorations majeures en termes de fidélité, de cohérence et de mouvement par rapport à son prédécesseur, Gen-2, est présenté par la start-up comme le premier d’une série de modèles entraînés sur une nouvelle infrastructure conçue pour l’entraînement multimodal à grande échelle.

Gen-3 Alpha, dont le prédécesseur a été lancé en juin 2023, a été entraîné conjointement sur des vidéos et des images. Il alimentera, selon Runway, ses outils Text-to-Video, Image-to-Video et Text-to-Image, les modes de contrôle existants tels que Motion Brush, les commandes avancées de la caméra, le mode réalisateur ainsi que les outils à venir pour un contrôle plus précis de la structure, du style et du mouvement.

Une étape vers la construction de modèles généraux du monde

Gen-3 Alpha est, selon la start-up, une avancée vers ce qu’elle appelle un “General World Model”, un système d’IA qui construit une représentation interne d’un environnement et l’utilise pour simuler des événements futurs dans cet environnement. Un tel modèle sera capable de représenter et de simuler un large éventail de situations et d’interactions, comme celles rencontrées dans le monde réel.

Il devra non seulement capturer la dynamique du monde, mais aussi la dynamique de ses habitants, ce qui implique également de construire des modèles réalistes du comportement humain.

L’entraînement de Gen-3 Alpha est le fruit d’une collaboration entre une équipe interdisciplinaire de chercheurs, d’ingénieurs et d’artistes.

Gen-3 Alpha permet la génération de vidéos de 5 à 10 secondes basées sur des invites créatives complexes, comme celles-ci :

• Reflets subtils d’une femme sur la fenêtre d’un train roulant à grande vitesse dans une ville japonaise ;
• Travelling à l’épaule la nuit, suivant un ballon bleu sale flottant au-dessus du sol dans une vieille rue européenne abandonnée.

Il a été entraîné avec des légendes très descriptives et temporellement denses, ce qui lui permet de passer d’une scène à une autre de manière créative et fluide, tout en maintenant une narration cohérente par rapport à l’invite. Le modèle est également très bon dans la génération  de personnages humains photoréalistes, expressifs et dotés d’un large éventail d’actions, de gestes et d’émotions, offrant ainsi des opportunités pour la narration immersive.

Sécurité et intégrité du contenu généré renforcées

Runway a intégré des mesures de protection robustes dans Gen-3 Alpha. La start-up a amélioré son système de modération visuelle interne pour surveiller et filtrer le contenu généré, afin de s’assurer qu’il respecte les normes éthiques et ne contienne pas de matériel inapproprié ou offensant. Elle a également adopté les normes C2PA (Coalition for Content Provenance and Authenticity) qui attestent de l’origine et de l’authenticité d’un contenu.

Des modèles Gen-3 personnalisés

Runway dit avoir établi des partenariats avec des organisations de divertissement et de médias de premier plan pour créer des versions personnalisées de Gen-3 Alpha, qui permettent d’obtenir des personnages plus cohérents et plus contrôlés sur le plan stylistique, et ciblent des exigences artistiques et narratives spécifiques, entre autres fonctionnalités.

La start-up n’a toutefois pas précisé la date de sortie du modèle.