Descubre la innovadora tecnología de control de video de ByteDance, Boximator, una herramienta que te permite dictar la trayectoria y dimensiones de los elementos de video con una precisión sin precedentes a través de restricciones duales de cajas.
Cómo funciona Boximator:
-
Restricciones de caja dual: Utiliza “cajas duras” para identificar las posiciones exactas de inicio y finalización y los tamaños de los objetos, estableciendo un marco de composición claro. Aplica “cajas flexibles” para sugerir límites de movimiento flexibles, guiando los objetos suavemente entre los puntos de caja dura establecidos.
-
Enfoque de aprendizaje automático: Las capacidades de seguimiento automático de Boximator permiten que el sistema siga intuitivamente el movimiento de los objetos, asegurando que los movimientos predefinidos se articulen sin problemas, sin necesidad de entrada de usuario fotograma a fotograma.
-
Síntesis de video 101: La sinergia entre las entradas del usuario y la habilidad predictiva de Boximator da como resultado videos que exhiben transiciones de objetos naturales y definidas por el usuario, cumpliendo los objetivos de contar una historia visual.
Aplicación práctica:
Para ilustrar, imagina crear un video donde un gatito salta sobre una mesa:
- Utiliza una caja dura para marcar el tranquilo comienzo del gatito en un extremo de la mesa.
- Coloca una caja dura en el extremo opuesto de la mesa para definir el destino del salto.
- Implementa cajas flexibles para articular el arco del salto, asegurando una trayectoria realista.
- Permite que Boximator anime el salto, afinando con cajas flexibles adicionales si es necesario para lograr mayor realismo.
En esencia, al combinar cajas duras y cajas flexibles, los usuarios obtienen un control sólido sobre los movimientos de los objetos en el video, adaptándose a complejidades que van desde un simple salto hasta escenas complicadas.
Capacidades mejoradas del modelo base:
Al mantener los pesos del modelo de video fundamental intactos, Boximator mejora el control del movimiento de los objetos mientras conserva la calidad original y el conocimiento, una fusión que brinda un mayor control y amplitud de aplicación.
Integración de amplio alcance:
Diseñado como un complemento, Boximator se adapta perfectamente a diversos modelos de difusión de video, ampliando su utilidad en diversos desafíos creativos.
Echa un vistazo a la investigación completa aquí. ¡Manténte atento al lanzamiento en GitHub!
Boximator: Bring Fine-grained Motion Controllability to Video Synthesis | Bytedance Research