DeepFurniture|家具理解数据集|计算机视觉数据集

DeepFurniture数据集是一个用于家具理解的大规模数据集，包含约24,000张照片级真实感渲染的室内场景图像，170,000个家具实例和20,000个独特的家具身份。该数据集支持三个主要基准：家具检测/分割、家具实例检索和家具检索。数据集按层次结构组织，包含图像、实例和身份级别的注释。此外，还提供了详细的统计数据和结构化的数据格式，便于使用。

原始信息汇总

DeepFurniture 数据集

概述

DeepFurniture 数据集是一个大规模的家具理解数据集，包含约 24,000 张室内图像、170,000 个家具实例和 20,000 个独特的家具身份。所有图像均由 COOHOM 的专业渲染引擎生成，具有高真实感的渲染效果和高品质的 3D 家具模型。

关键特性

• 照片级真实感渲染：所有室内场景均使用专业渲染引擎渲染，提供真实的照明、阴影和纹理。
• 高质量 3D 模型：每个家具身份均源自专业的 3D 模型，确保精确的几何和材质表示。
• 丰富的注释：在图像、实例和身份级别提供分层注释。

数据集概览

DeepFurniture 提供三个级别的分层注释：

• 图像级别：专业渲染的室内场景，包含场景类别和深度图。
• 实例级别：场景中家具实例的边界框和逐像素掩码。
• 身份级别：3D 家具模型的高质量渲染预览。

统计数据

• 总场景数：约 24,000 张照片级真实感渲染图像
• 总家具实例数：约 170,000 个在场景中注释的实例
• 独特家具身份数：约 20,000 个 3D 模型，带有预览渲染
• 类别：11 种家具类型
• 风格标签：11 种不同风格

基准测试

该数据集支持三个主要基准测试：

1. 家具检测/分割
2. 家具实例检索
3. 家具检索

数据集结构

数据集按块组织，以便于高效分发：

data/ ├── scenes/ # 照片级真实感渲染的室内场景 ├── furnitures/ # 高质量 3D 模型预览渲染 ├── queries/ # 从场景中裁剪的家具实例图像 └── metadata/ # 数据集信息和索引 ├── categories.json # 家具类别定义 ├── styles.json # 风格标签定义 ├── dataset_info.json # 数据集统计信息 ├── furnitures.jsonl # 家具元数据 └── *_index.json # 块索引文件

使用数据集

1. 下载和解压

bash

克隆仓库

git lfs install # 确保安装了 Git LFS git clone https://huggingface.co/datasets/byliu/DeepFurniture

2. 数据格式

场景数据

• 图像：JPG 格式的 RGB 图像
• 深度：PNG 格式的深度图
• 注释：包含以下内容的 JSON 文件： json { "instances": [ { "numberID": 1, "boundingBox": { "xMin": int, "xMax": int, "yMin": int, "yMax": int }, "styleIDs": [int], "styleNames": [str], "segmentation": [int], # COCO 格式 RLE 编码 "identityID": int, "categoryID": int, "categoryName": str } ] }

家具数据

• JPG 格式的 3D 模型预览图像
• 包含类别和风格信息的 JSONL 格式元数据

查询数据

• 从场景中裁剪的家具实例图像
• 文件名格式：[furnitureID]_[instanceIndex]_[sceneID].jpg

3. 加载数据集

python from deepfurniture import DeepFurnitureDataset

初始化数据集

dataset = DeepFurnitureDataset("path/to/uncompressed_data")

访问场景

scene = dataset[0] print(f"Scene ID: {scene[scene_id]}") print(f"Number of instances: {len(scene[instances])}")

访问家具实例

for instance in scene[instances]: print(f"Category: {instance[category_name]}") print(f"Style(s): {instance[style_names]}")

4. 可视化室内场景

python visualize_html.py --dataset ./uncompressed_data --scene_idx 101 --output scene_101.html

AI搜集汇总

数据集介绍

构建方式

DeepFurniture数据集的构建依托于COOHOM和酷家乐的专业渲染引擎，通过高精度的3D家具模型生成了约24,000张照片级真实感的室内场景图像。每个场景均经过精心设计，涵盖了170,000个家具实例和20,000个独特的家具身份。数据集的注释层次丰富，包括图像级别、实例级别和身份级别的标注，确保了数据的全面性和准确性。

特点

DeepFurniture数据集以其照片级真实感的渲染效果和高品质的3D模型著称。所有室内场景均采用专业渲染引擎生成，呈现出逼真的光影和材质效果。数据集提供了丰富的层次化标注，涵盖场景类别、深度图、家具实例的边界框和像素级分割掩码，以及3D家具模型的高质量预览。此外，数据集还包含11种家具类型和11种风格标签，为家具理解和检索任务提供了多样化的数据支持。

使用方法

使用DeepFurniture数据集时，首先需通过Git LFS克隆数据集仓库，并解压缩数据文件。数据集以分块形式组织，包含场景图像、3D模型预览、查询实例图像和元数据。用户可通过提供的Python接口加载数据集，访问场景和家具实例的详细信息。此外，数据集还支持通过可视化脚本生成HTML文件，直观展示室内场景及其标注信息。

背景与挑战

背景概述

DeepFurniture数据集由COOHOM（酷家乐）于2019年推出，旨在推动室内场景中家具理解的研究。该数据集包含约24,000张照片级渲染的室内场景图像，涵盖了170,000个家具实例和20,000个独特的家具模型。通过使用行业领先的渲染引擎，DeepFurniture提供了高质量的3D模型和丰富的层次化标注，包括图像级、实例级和身份级信息。该数据集的推出为家具检测、分割和检索等任务提供了重要的基准，极大地促进了计算机视觉和室内设计领域的交叉研究。

当前挑战

DeepFurniture数据集在解决家具理解问题时面临多重挑战。首先，家具的多样性和复杂性使得检测和分割任务变得尤为困难，尤其是在不同风格和场景下的家具实例识别。其次，家具检索任务需要高精度的模型匹配，以确保检索结果的准确性和实用性。在数据构建过程中，生成照片级渲染的室内场景和高质量3D模型需要大量的计算资源和专业的技术支持。此外，数据集的层次化标注要求精细的手工操作和严格的验证流程，以确保标注的一致性和准确性。这些挑战共同构成了DeepFurniture数据集在推动家具理解研究中的核心难题。

常用场景

经典使用场景

DeepFurniture数据集在室内设计和家具理解领域具有广泛的应用。其经典使用场景包括家具检测与分割、家具实例检索以及家具风格匹配。通过提供高质量的渲染室内场景和详细的家具实例标注，该数据集为研究人员和开发者提供了一个强大的工具，用于训练和评估各种计算机视觉模型，特别是在家具识别和场景理解方面。

实际应用

在实际应用中，DeepFurniture数据集被广泛应用于室内设计、虚拟现实和电子商务等领域。设计师可以利用该数据集中的高质量渲染图像和3D模型进行室内布局规划和家具搭配，提升设计效率和客户满意度。在虚拟现实领域，数据集中的真实感场景和家具模型为虚拟环境的构建提供了丰富的素材。此外，电子商务平台可以利用该数据集中的家具检索功能，帮助用户快速找到符合其需求的家具产品，提升购物体验。

衍生相关工作

DeepFurniture数据集自发布以来，已经衍生出多项经典研究工作。例如，基于该数据集的家具检测和分割算法在多个计算机视觉竞赛中取得了优异成绩。此外，研究人员利用数据集中的多风格标签，开发了家具风格匹配和个性化推荐系统，为用户提供了更加精准的家具选择建议。还有一些研究专注于利用数据集中的3D模型和渲染图像，探索虚拟现实和增强现实技术在室内设计中的应用，进一步拓展了数据集的应用范围。