GAIA
GAIA: 제로샷 토킹 아바타 생성의 차세대 제로샷 토킹 아바타 생성은 단 하나의 초상 이미지와 해당 음성만을 이용하여 현실적인 토킹 비디오를 합성하는 것을 의미합니다. 기존의 기술은 종종 변형 기반 운동 표현 및 3D 변형 모델과 같은 특정 도메인과 관련된 휴리스틱에 의존했습니다. 하지만 이러한 방법은 아바타의 자연스러움과 변화 다양성을 제한하는 한계가 있었습니다. 우리는 도메인 사전 정보를 아바타 생성 과정에서 필요로 하지 않도록 설계된 혁신적인 시스템인 GAIA (Generative AI for Avatar)를 소개합니다. GAIA는 다음과 같은 관찰을 기반으로 동작합니다: 음성은 아바타의 움직임을 주도하지만 비디오의 기간 동안 아바타의 외모와 배경은 일정합니다....