Presentamos ControlRoom3D de Meta. Es una herramienta innovadora que genera mallas de habitaciones en 3D diversas y plausibles que se alinean perfectamente con los diseños de habitaciones definidos por el usuario y las descripciones textuales del estilo de la habitación. Visita la página del proyecto o lee el artículo para obtener información más detallada.
Nuestro avance principal se basa en la información geométrica y semántica que la representación en 3D nos proporciona al convertirse en 2D. Utilizamos esto para controlar modelos generativos en 2D, lo que permite la creación de texturas y geometrías consistentes en 3D que se alinean con la habitación base.
Le hemos dado un nuevo enfoque a la generación de escenas. En lugar de crear vistas 2D individualmente, hemos desarrollado una técnica de generación de panoramas que proporciona una vista de 360°. Esta vista inicial sirve como base y puntos de vista adicionales ayudan a completar las áreas faltantes.
Una innovación adicional es nuestra técnica de alineación de geometría. Utilizando las dimensiones espaciales de las cajas delimitadoras en 3D, hemos desarrollado una estrategia de optimización iterativa que ayuda a una red de estimación de profundidad a producir estructuras en 3D de manera ordenada.
Nuestro nuevo proceso ofrece versatilidad, permitiendo la creación de una amplia gama de tipos y diseños de escenas, incluso complicados como cocinas.
Este proyecto es el resultado de una colaboración con un increíble equipo de Metamates: Sam Tsai, @LukasHollein, @wu_bichen, Jialiang Wang, Chih-Yao Ma, Kunpeng Li, Xiaofang Wang, @felixwimbauer, Zijian He, Peizhao Zhang, Bastian Leibe, Peter Vajda, @sekunde_.
What's new
How does it work-1
How does it work-2
How does it work-3
kitchens
bathrooms
children's room
overall