介绍Meta的ControlRoom3D。这是一款创新工具,可以生成多样且可信的3D房间网格,完美匹配用户定义的房间布局和对房间风格的文本描述。访问**项目页面或查阅论文**以获取更详细的信息。
我们的主要突破在于利用将3D表示转化为2D时所提供的几何和语义信息。我们利用这些信息来控制2D生成模型,从而实现与代理房间相一致的3D纹理和几何形状的创建。
我们为场景生成带来了新的转变。我们开发了一种全景生成技术,不再单独创建2D视图,而是提供360°的视角。这个初始视角作为基础,其他视角帮助修复缺失的区域。
一个创新的增加是我们的几何对齐技术。通过使用3D包围盒的空间尺寸,我们开发了一种迭代优化策略,协助深度估计网络整洁地生成3D结构。
我们的新流程提供了灵活性,可以创建各种类型和布局的场景,甚至包括复杂的场景,如厨房。
这个项目是与Meta团队的杰出合作成果:Sam Tsai, @LukasHollein, @wu_bichen, Jialiang Wang, Chih-Yao Ma, Kunpeng Li, Xiaofang Wang, @felixwimbauer, Zijian He, Peizhao Zhang, Bastian Leibe, Peter Vajda, @sekunde_。
What's new
How does it work-1
How does it work-2
How does it work-3
kitchens
bathrooms
children's room
overall