ControlRoom3D by Metaをご紹介します。これは、ユーザーが定義した部屋のレイアウトと部屋のスタイルのテキストの説明に完全に合わせた、多様で信憑性のある3Dの部屋メッシュを生成する革新的なツールです。詳しい情報については、**プロジェクトページまたは論文**をご覧ください。
私たちの主なブレークスルーは、3D表現を2Dに変換したときに得られる幾何学的および意味情報を使用することです。これを使用して、2Dの生成モデルを制御し、3Dに整合したテクスチャとジオメトリを作成することができます。
私たちはシーン生成に新しいアプローチを取っています。個別に2Dビューを作成する代わりに、360°のビューを提供するパノラマ生成技術を開発しました。この初期ビューがベースとなり、追加の視点が欠落したエリアを補完するのに役立ちます。
革新的な追加機能として、ジオメトリの整合技術を導入しました。3Dのバウンディングボックスの空間的寸法を使用して、深度推定ネットワークを支援する反復最適化戦略を開発し、きれいな3D構造を生成します。
私たちの新しいプロセスは、キッチンなどの複雑なシーンタイプやレイアウトを含む、幅広いシーンの作成を可能にします。
このプロジェクトは、素晴らしいチームのメタメイトとの協力の結果です：Sam Tsai、@LukasHollein、@wu_bichen、Jialiang Wang、Chih-Yao Ma、Kunpeng Li、Xiaofang Wang、@felixwimbauer、Zijian He、Peizhao Zhang、Bastian Leibe、Peter Vajda、@sekunde_です。
What's new
How does it work-1
How does it work-2
How does it work-3
kitchens
bathrooms
children's room
overall