Представляем вам ControlRoom3D от Meta. Это инновационный инструмент, который генерирует разнообразные и правдоподобные трехмерные комнатные сетки, которые идеально соответствуют пользовательским планам комнат и текстовому описанию стиля комнаты. Посетите страницу проекта или прочитайте статью для получения более подробной информации.
Нашим основным достижением является использование геометрической и семантической информации, которую нам предоставляет трехмерное представление, преобразованное в двумерное. Мы используем это для управления двумерными генеративными моделями, что позволяет создавать текстуры и геометрию, соответствующие трехмерному прокси-модели комнаты.
Мы придали новый оборот генерации сцен. Вместо создания отдельных двумерных изображений, мы разработали технику создания панорам, которая предоставляет 360° обзор. Этот начальный обзор служит основой, а дополнительные точки обзора помогают восстановить пропущенные участки.
Инновационным дополнением является наша техника выравнивания геометрии. С использованием пространственных размеров трехмерных ограничивающих пятиугольников мы разработали стратегию итеративной оптимизации, которая помогает нейронной сети для оценки глубины аккуратно производить трехмерные структуры.
Наш новый процесс предлагает гибкость, позволяя создавать широкий спектр типов и планировок сцен, даже сложные, такие как кухни.
Этот проект является результатом сотрудничества с невероятной командой Metamates: Sam Tsai, @LukasHollein, @wu_bichen, Jialiang Wang, Chih-Yao Ma, Kunpeng Li, Xiaofang Wang, @felixwimbauer, Zijian He, Peizhao Zhang, Bastian Leibe, Peter Vajda, @sekunde_.
What's new
How does it work-1
How does it work-2
How does it work-3
kitchens
bathrooms
children's room
overall