바이트댄스의 혁신적인 비디오 제어 기술 **박시메이터(Boximator)**를 발견하세요. 이 도구는 듀얼 박스 제약 조건을 통해 이전에 없던 정확도로 비디오 요소의 궤적과 크기를 지정할 수 있습니다.
박시메이터 작동 방식:
-
듀얼 박스 제약 조건: **하드 박스(Hard Boxes)**를 활용하여 객체의 시작과 끝 위치, 크기를 정확하게 결정하여 명확한 구성 프레임워크를 제공합니다. **소프트 박스(Soft Boxes)**를 적용하여 유연한 움직임 경계를 제시하여 객체를 이전에 정의된 하드 박스 지점 사이에서 부드럽게 이동시킵니다.
-
자기 학습 접근 방식: 박시메이터의 자체 추적 능력으로 시스템이 객체의 움직임을 직관적으로 따라가며, 사용자가 프레임별 입력을 하지 않아도 미리 정의된 동작을 매끄럽게 표현할 수 있습니다.
-
비디오 합성 기초 개론: 사용자의 입력과 박시메이터의 예측 능력의 융합은 자연스러운, 사용자 정의 객체 전환을 보여주는 비디오를 구현하며, 시각적인 스토리텔링 목표를 충족시킵니다.
실용적인 적용:
예를 들어, 테이블 위에서 새끼 고양이가 뛰어오르는 비디오를 만든다고 상상해보세요:
- **하드 박스(Hard Box)**를 사용하여 고양이의 평온한 시작을 한 테이블 끝에 표시합니다.
- 뛰어오름의 목적지를 정의하기 위해 반대편 테이블 끝에 **하드 박스(Hard Box)**를 배치합니다.
- **소프트 박스(Soft Boxes)**를 사용하여 뛰어오르는 곡선을 지정하고, 생생한 궤적을 확보합니다.
- 박시메이터에게 뛰어오르는 동작을 애니메이션화하도록 하며, 더욱 현실적인 표현을 위해 추가적인 소프트 박스를 조정합니다.
요점은 하드 및 소프트 박스를 조합하여 사용자가 비디오 객체 움직임을 강력하게 제어할 수 있으며, 단순한 도약부터 복잡한 장면까지 다양한 복잡성에 적응할 수 있다는 것입니다.
개선된 기본 모델 기능:
기초 비디오 모델 가중치를 유지하면서, 박시메이터는 객체의 동작 제어를 향상시키고 원래의 품질과 지식을 보존하여, 더 많은 제어와 응용 넓이를 가능하게 합니다.
다양한 통합:
플러그인으로 설계된 박시메이터는 다양한 비디오 확산 모델에 매끄럽게 적응하여 다양한 창의적인 도전에 유용하게 활용될 수 있습니다.
완전한 연구 내용은 여기에서 확인하세요. GitHub 출시에도 기대해주세요!
Boximator: Bring Fine-grained Motion Controllability to Video Synthesis | Bytedance Research