Découvrez la technologie révolutionnaire de contrôle vidéo de ByteDance, Boximator, un outil qui vous permet de dicter la trajectoire et les dimensions des éléments vidéo avec une précision inégalée grâce à des contraintes de double boîte.
Comment fonctionne Boximator :
-
Contraintes de double boîte : Utilisez des boîtes rigides pour déterminer avec précision les positions de départ et d’arrivée ainsi que les tailles des objets, établissant ainsi un cadre de composition clair. Appliquez des boîtes souples pour suggérer des limites de mouvement flexibles, guidant les objets en douceur entre les points définis par les boîtes rigides.
-
Approche d’apprentissage automatique : Les capacités d’auto-suivi de Boximator permettent au système de suivre intuitivement le mouvement des objets, garantissant ainsi que les mouvements prédéfinis sont articulés de manière transparente, sans nécessiter d’entrée utilisateur image par image.
-
Bases de la synthèse vidéo : La synergie des entrées utilisateur et des compétences prédictives de Boximator se traduit par des vidéos présentant des transitions d’objets naturelles et définies par l’utilisateur, répondant ainsi aux objectifs de narration visuelle.
Application pratique :
Pour illustrer, imaginez créer une vidéo où un chaton saute sur une table :
- Utilisez une boîte rigide pour marquer le début tranquille du chaton à une extrémité de la table.
- Placez une boîte rigide à l’opposé de la table pour définir la destination du saut.
- Utilisez des boîtes souples pour articuler l’arc de saut, garantissant une trajectoire réaliste.
- Laissez Boximator animer le saut, en ajustant si nécessaire avec des boîtes souples supplémentaires pour un réalisme accru.
En somme, en combinant les boîtes rigides et souples, les utilisateurs bénéficient d’un contrôle puissant sur les mouvements d’objets vidéo, pouvant s’adapter à des complexités allant d’un simple saut à des scènes complexes.
Fonctionnalités améliorées du modèle de base :
En conservant les poids fondamentaux du modèle vidéo, Boximator améliore le contrôle du mouvement des objets tout en préservant la qualité et les connaissances originales, une fusion qui permet un contrôle plus poussé et une application plus étendue.
Intégration étendue :
Conçu comme un plug-in, Boximator s’adapte parfaitement à des modèles de diffusion vidéo variés, élargissant ainsi son utilité dans différents défis créatifs.
Consultez la recherche complète ici. Restez à l’écoute pour la sortie sur GitHub !
Boximator: Bring Fine-grained Motion Controllability to Video Synthesis | Bytedance Research