介绍MetaControlRoom3D。这是一款创新工具,可以生成多样且可信的3D房间网格,完美匹配用户定义的房间布局和对房间风格的文本描述。访问**项目页面查阅论文**以获取更详细的信息。

我们的主要突破在于利用将3D表示转化为2D时所提供的几何和语义信息。我们利用这些信息来控制2D生成模型,从而实现与代理房间相一致的3D纹理和几何形状的创建。

我们为场景生成带来了新的转变。我们开发了一种全景生成技术,不再单独创建2D视图,而是提供360°的视角。这个初始视角作为基础,其他视角帮助修复缺失的区域。

一个创新的增加是我们的几何对齐技术。通过使用3D包围盒的空间尺寸,我们开发了一种迭代优化策略,协助深度估计网络整洁地生成3D结构。

我们的新流程提供了灵活性,可以创建各种类型和布局的场景,甚至包括复杂的场景,如厨房。

这个项目是与Meta团队的杰出合作成果:Sam Tsai, @LukasHollein, @wu_bichen, Jialiang Wang, Chih-Yao Ma, Kunpeng Li, Xiaofang Wang, @felixwimbauer, Zijian He, Peizhao Zhang, Bastian Leibe, Peter Vajda, @sekunde_。

Official Website

What's new

How does it work-1

How does it work-2

How does it work-3

kitchens

bathrooms

children's room

overall

Official Website