Descubra a tecnologia revolucionária de controle de vídeo da ByteDance, Boximator, uma ferramenta que permite ditar a trajetória e dimensões dos elementos de vídeo com uma precisão sem precedentes através de restrições de caixa dupla.
Como o Boximator funciona:
-
Restrições de Caixa Dupla: Utilize Caixas Rígidas para marcar as posições exatas de início e fim e tamanhos dos objetos, estabelecendo uma estrutura de composição clara. Aplique Caixas Flexíveis para sugerir limites de movimento flexíveis, guiando objetos suavemente entre os pontos estabelecidos pelas caixas rígidas.
-
Abordagem de Autoaprendizado: As capacidades de auto-rastreamento do Boximator permitem que o sistema siga intuitivamente o movimento do objeto, garantindo que os movimentos predefinidos sejam articulados de forma perfeita, sem a necessidade de entrada do usuário quadro a quadro.
-
Síntese de Vídeo 101: A sinergia entre as entradas do usuário e a habilidade preditiva do Boximator culmina em vídeos que exibem transições naturais de objetos definidas pelo usuário e atendem aos objetivos de contar histórias visualmente.
Aplicação Prática:
Para ilustrar, imagine criar um vídeo em que um gatinho pula pela mesa:
- Use uma Caixa Rígida para marcar o início tranquilo do gatinho em uma extremidade da mesa.
- Posicione uma Caixa Rígida na extremidade oposta da mesa para definir o destino do salto.
- Implemente Caixas Flexíveis para articular a trajetória do salto, garantindo uma trajetória realista.
- Permita que o Boximator anime o salto, ajustando com caixas flexíveis adicionais, se necessário, para maior realismo.
Em essência, mesclando as Caixas Rígidas e Caixas Flexíveis, os usuários obtêm um controle robusto sobre o movimento dos objetos de vídeo, adaptável a complexidades que vão desde um simples salto até cenas intricadas.
Aprimoramento das Capacidades do Modelo Base:
Mantendo os pesos fundamentais do modelo de vídeo intactos, o Boximator aprimora o controle sobre o movimento dos objetos, preservando a qualidade e conhecimento original – uma fusão que permite um maior controle e amplitude de aplicação.
Integração Abrangente:
Projetado como um plug-in, o Boximator se adapta perfeitamente a diversos modelos de difusão de vídeo, ampliando sua utilidade em desafios criativos diversos.
Confira a pesquisa completa aqui. Fique atento ao lançamento no GitHub!
Boximator: Bring Fine-grained Motion Controllability to Video Synthesis | Bytedance Research