3D-Front

Hugging Face2025-04-24 更新2025-04-25 收录

下载链接：

https://huggingface.co/datasets/huanngzh/3D-Front

下载链接

链接失效反馈

官方服务：

资源简介：

3D-Front数据集是一个包含组织化的三维场景及其配套的渲染多视角图像和表面的数据集。每个场景包括3D模型（.glb格式）、点云（.npy格式）以及带有相机信息的RGB、深度、法线渲染多视角图像。该数据集适用于单张图像到三维场景生成的任务。

The 3D-Front dataset is an organized collection containing structured 3D scenes paired with their supporting multi-view rendered images and surface data. Each scene includes 3D models in .glb format, point clouds in .npy format, as well as multi-view RGB, depth, and normal rendered images with associated camera metadata. This dataset is suitable for the task of single-image to 3D scene generation.

创建时间：

2025-04-20

原始信息汇总

3D-Front (MIDI-3D) 数据集概述

1. 基本信息

许可证: CC-BY-NC-4.0
任务类别: 图像到3D (image-to-3d)
语言: 英文 (en)
标签: 3d-front, 3d, high-quality, 3d-scene

2. 数据集简介

来源: 基于原始数据集 3D-Front 处理而成。
用途: 用于 MIDI-3D 项目。
内容: 每个场景包含：
- 3D 模型 (.glb)
- 点云数据 (.npy)
- 多视角渲染图像 (RGB、深度、法线) 及相机信息

3. 文件结构

bash 3D-Front ├── 3D-FRONT-RENDER # 渲染视图 ├── 3D-FRONT-SCENE # 3D 模型 (glb) ├── 3D-FRONT-SURFACE # 点云数据 (npy) ├── valid_room_ids.json # 场景列表 ├── valid_furniture_ids.json # 对象列表 ├── midi_room_ids.json # 场景子集 (MIDI使用) └── midi_furniture_ids.json # 对象子集 (MIDI使用)

4. 训练集与测试集划分

测试集: midi_room_ids.json 中最后 1,000 个房间
训练集: 其余房间

5. 相关资源

Github: https://github.com/VAST-AI-Research/MIDI-3D
项目页面: https://huanngzh.github.io/MIDI-Page/
论文: https://arxiv.org/abs/2412.03558
原始数据集: https://tianchi.aliyun.com/specials/promotion/alibaba-3d-scene-dataset

6. 引用

bash @article{huang2024midi, title={MIDI: Multi-Instance Diffusion for Single Image to 3D Scene Generation}, author={Huang, Zehuan and Guo, Yuan-Chen and An, Xingqiao and Yang, Yunhan and Li, Yangguang and Zou, Zi-Xin and Liang, Ding and Liu, Xihui and Cao, Yan-Pei and Sheng, Lu}, journal={arXiv preprint arXiv:2412.03558}, year={2024} }

@inproceedings{fu20213d, title={3d-front: 3d furnished rooms with layouts and semantics}, author={Fu, Huan and Cai, Bowen and Gao, Lin and Zhang, Ling-Xiao and Wang, Jiaming and Li, Cao and Zeng, Qixun and Sun, Chengyue and Jia, Rongfei and Zhao, Binqiang and others}, booktitle={Proceedings of the IEEE/CVF International Conference on Computer Vision}, pages={10933--10942}, year={2021} } @article{fu20213d, title={3d-future: 3d furniture shape with texture}, author={Fu, Huan and Jia, Rongfei and Gao, Lin and Gong, Mingming and Zhao, Binqiang and Maybank, Steve and Tao, Dacheng}, journal={International Journal of Computer Vision}, pages={1--25}, year={2021}, publisher={Springer} }

7. 联系方式

邮箱: huangzehuan@buaa.edu.cn

搜集汇总

数据集介绍

构建方式

3D-Front数据集源自阿里巴巴3D场景数据集，通过系统化处理构建为包含三维场景、多视角渲染图像及点云的高质量资源库。其构建过程采用模块化架构，将原始3D-Front数据分解为结构化的GLB格式三维模型、NPY格式点云数据，以及配备相机参数的多视角RGB/深度/法线图像集合。数据通过Git LFS技术进行版本管理，采用分卷压缩机制确保大规模三维数据的高效存储与传输。

使用方法

使用前需通过Git LFS克隆仓库并合并分卷压缩文件。解压后呈现三大核心目录：3D-FRONT-RENDER存放带相机参数的渲染图像，3D-FRONT-SCENE包含可导入三维软件的GLB模型，3D-FRONT-SURFACE则存储点云数据。研究人员可通过预置的JSON索引文件快速定位特定房间或家具，并利用多模态数据进行三维重建、神经渲染等任务。该数据集特别适配MIDI-3D项目的训练流程，其文件结构已优化用于单图像到三维场景的生成研究。

背景与挑战

背景概述

3D-Front数据集由阿里巴巴集团的研究团队于2021年推出，旨在为计算机视觉领域提供高质量的3D室内场景数据。该数据集包含丰富的家具布局和语义信息，为3D场景理解、室内布局生成等研究提供了重要支持。数据集的核心研究问题聚焦于如何从单张图像生成逼真的3D场景，推动了计算机视觉与图形学的交叉研究。3D-Front的影响力不仅体现在其被广泛应用于3D场景重建、虚拟现实等领域，还体现在其为后续研究如MIDI-3D等提供了基础数据支持。

当前挑战

3D-Front数据集在解决3D场景生成问题时面临多重挑战。首先，数据集的构建需要处理大量复杂的3D模型和场景布局，确保数据的多样性和真实性是一大难点。其次，数据标注过程中需要高精度的语义信息，这对标注的准确性和一致性提出了严格要求。此外，数据集的规模庞大，存储和处理的效率问题也不容忽视。在应用层面，如何从单张图像生成高质量的3D场景仍是一个未完全解决的难题，数据集的多样性和复杂性为算法设计带来了新的挑战。

常用场景

经典使用场景

在三维场景生成与室内设计领域，3D-Front数据集凭借其高质量的三维模型、多视角渲染图像和点云数据，成为研究从单张图像生成三维场景的核心资源。该数据集通过提供结构化的房间布局和家具语义信息，为基于深度学习的图像到三维模型转换任务提供了丰富的训练素材，尤其适用于多实例扩散模型（MIDI-3D）等先进算法的开发与验证。

解决学术问题

3D-Front数据集有效解决了三维场景重建中数据稀缺与标注成本高昂的难题。通过提供带有精确几何结构和语义标签的室内场景，该数据集支持了从二维图像推断三维布局、物体姿态估计以及场景语义分割等关键研究。其多模态数据融合特性进一步推动了跨模态学习在计算机视觉与图形学中的应用，为学术界建立可扩展的三维生成基准提供了重要基础。

实际应用

该数据集的实际价值在虚拟现实内容创作与智能家居设计中尤为显著。室内设计平台可利用其标准化三维模型库快速生成方案演示，而游戏开发者则能基于真实场景数据构建虚拟环境。在建筑信息模型（BIM）领域，数据集提供的结构化语义信息可辅助自动化空间规划与家具配置，显著提升设计效率与可视化质量。

数据集最近研究