Le nouveau projet de Google, VLOGGER, repousse les limites de la communication numérique en générant des vidéos de parole de personnages réalistes à partir d’images et de son. Bien qu’il n’ait pas encore atteint le réalisme naturel de certains concurrents, VLOGGER se démarque par son approche innovante.
Qu’est-ce que VLOGGER ? VLOGGER transforme les entrées textuelles et sonores en vidéos dynamiques d’orateurs en utilisant une capture d’écran d’une personne. En exploitant la puissance de modèles de diffusion générative de pointe, il offre un mélange novateur de technologies pour donner vie à des images statiques.
Principales caractéristiques de VLOGGER :
- Création de mouvements dynamiques : Grâce à un modèle sophistiqué de diffusion du mouvement 3D du corps humain, VLOGGER capture et anime les subtilités humaines.
- Évolution du texte vers l’image : Il repousse les limites des modèles texte-vers-image avec une architecture unique basée sur la diffusion, permettant une manipulation temporelle et spatiale détaillée.
La technologie derrière VLOGGER permet de créer des vidéos de haute qualité de différentes durées. Ces vidéos offrent un degré élevé de contrôle sur les représentations faciales et corporelles, offrant aux utilisateurs un outil à la fois avancé et flexible.
Pourquoi VLOGGER se démarque :
- Application universelle : Contrairement aux modèles précédents nécessitant une formation spécifique à chaque personne, VLOGGER est universellement adaptable.
- Génération d’images holistique : Il va au-delà de la simple détection du visage en générant des vidéos de personnages en entier sans besoin de recadrage.
- Polyvalence : VLOGGER répond à un large éventail de scénarios, y compris la visibilité du torse entier et des identités variées, garantissant une synthèse virtuelle humaine complète.
Grâce à ces avancées, VLOGGER ouvre la voie à des interactions virtuelles humaines plus authentiques et accessibles sur diverses plates-formes numériques.
Official Website
demonstration