Познакомьтесь с прорывной технологией видео управления от ByteDance, Boximator, инструментом, который позволяет вам указывать траекторию и размеры видеоэлементов с безупречной точностью с помощью двойных ограничений-коробок.
Как работает Boximator:
-
Ограничения-коробки: Используйте твердые коробки для точного указания начальной и конечной позиции и размеров объектов, устанавливая четкую рамку композиции. Применяйте мягкие коробки, чтобы указать гибкие границы движения, плавно направляя объекты между установленными точками жесткой коробки.
-
Самообучающийся подход: Возможности автоматического отслеживания Boximator позволяют системе интуитивно следить за движением объекта, обеспечивая плавное выполнение предопределенных движений без необходимости поэтапного пользовательского ввода.
-
Основы синтеза видео: Сочетание пользовательского ввода и предвосхищающих способностей Boximator приводит к созданию видео, демонстрирующих естественные переходы между пользовательскими объектами и соответствующие визуальной истории цели.
Практическое применение:
Для наглядного примера, представьте себе создание видео, где котенок прыгает через стол:
- Используйте жесткую коробку, чтобы отметить спокойное начало котенка на одном конце стола.
- Разместите жесткую коробку на противоположном конце стола, чтобы определить место приземления прыжка.
- Используйте мягкие коробки, чтобы обозначить траекторию прыжка, обеспечивая реалистичную траекторию.
- Позвольте Boximator анимировать прыжок, дополняя его дополнительными мягкими коробками при необходимости для улучшения реализма.
В основе, сочетая жесткие и мягкие коробки, пользователи получают прочный контроль над движением видеообъектов, который можно адаптировать к различным сложным сценам, начиная с простой прыжка и заканчивая сложными сценами.
Улучшенные возможности базовой модели:
Сохраняя весовые коэффициенты изначальной видеомодели, Boximator улучшает контроль за движением объектов, при этом сохраняет оригинальное качество и знания - сочетание, которое дает больше контроля и применения.
Широкий спектр интеграции:
Созданный в виде плагина, Boximator без проблем интегрируется с различными моделями видеораспространения, позволяя ему эффективно применяться в различных творческих задачах.
Ознакомьтесь с полным исследованием здесь. Следите за релизом на GitHub!
Boximator: Bring Fine-grained Motion Controllability to Video Synthesis | Bytedance Research