Présentation de ControlRoom3D par Meta. C’est un outil innovant qui génère des maillages de pièces 3D divers et plausibles qui s’alignent parfaitement sur les tracés de pièces définis par l’utilisateur et les descriptions textuelles du style de la pièce. Visitez la page du projet ou lisez l’article pour obtenir des informations plus détaillées.
Notre grande avancée consiste à utiliser les informations géométriques et sémantiques fournies par la représentation 3D lorsqu’elle est convertie en 2D. Nous utilisons cela pour contrôler des modèles générateurs 2D, ce qui permet de créer des textures et une géométrie cohérentes en 3D alignées sur la pièce de référence.
Nous donnons une nouvelle dimension à la génération de scènes. Au lieu de créer des vues 2D individuellement, nous avons développé une technique de génération de panoramas qui offre une vue à 360°. Cette vue initiale sert de base et des points de vue supplémentaires aident à compléter les zones manquantes.
Une innovation supplémentaire est notre technique d’alignement géométrique. En utilisant les dimensions spatiales des boîtes englobantes 3D, nous avons développé une stratégie d’optimisation itérative qui aide un réseau d’estimation de profondeur à produire proprement des structures 3D.
Notre nouveau processus offre une grande polyvalence, permettant la création d’une large gamme de types et de configurations de scènes, y compris des cuisines complexes.
Ce projet est le fruit d’une collaboration avec une équipe incroyable de Metamates : Sam Tsai, @LukasHollein, @wu_bichen, Jialiang Wang, Chih-Yao Ma, Kunpeng Li, Xiaofang Wang, @felixwimbauer, Zijian He, Peizhao Zhang, Bastian Leibe, Peter Vajda, @sekunde_.
What's new
How does it work-1
How does it work-2
How does it work-3
kitchens
bathrooms
children's room
overall