eurecom-ds/shapes3d

---
dataset_info:
features:
- name: image
dtype: image
- name: label_floor_hue
dtype:
class_label:
names:
'0': '0'
'1': '1'
'2': '2'
'3': '3'
'4': '4'
'5': '5'
'6': '6'
'7': '7'
'8': '8'
'9': '9'
- name: label_object_hue
dtype:
class_label:
names:
'0': '0'
'1': '1'
'2': '2'
'3': '3'
'4': '4'
'5': '5'
'6': '6'
'7': '7'
'8': '8'
'9': '9'
- name: label_orientation
dtype:
class_label:
names:
'0': '0'
'1': '1'
'2': '2'
'3': '3'
'4': '4'
'5': '5'
'6': '6'
'7': '7'
'8': '8'
'9': '9'
'10': '10'
'11': '11'
'12': '12'
'13': '13'
'14': '14'
- name: label_scale
dtype:
class_label:
names:
'0': '0'
'1': '1'
'2': '2'
'3': '3'
'4': '4'
'5': '5'
'6': '6'
'7': '7'
- name: label_shape
dtype:
class_label:
names:
'0': '0'
'1': '1'
'2': '2'
'3': '3'
- name: label_wall_hue
dtype:
class_label:
names:
'0': '0'
'1': '1'
'2': '2'
'3': '3'
'4': '4'
'5': '5'
'6': '6'
'7': '7'
'8': '8'
'9': '9'
- name: value_floor_hue
dtype: float32
- name: value_object_hue
dtype: float32
- name: value_orientation
dtype: float32
- name: value_scale
dtype: float32
- name: value_shape
dtype: float32
- name: value_wall_hue
dtype: float32
splits:
- name: train
num_bytes: 1676886103.0
num_examples: 480000
download_size: 1696774541
dataset_size: 1676886103.0
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

数据集信息：
特征字段：
- 名称：image（图像），数据类型：图像
- 名称：label_floor_hue（地板色调标签），数据类型：类别标签
类别名称：
'0': '0'
'1': '1'
'2': '2'
'3': '3'
'4': '4'
'5': '5'
'6': '6'
'7': '7'
'8': '8'
'9': '9'
- 名称：label_object_hue（物体色调标签），数据类型：类别标签
类别名称：
'0': '0'
'1': '1'
'2': '2'
'3': '3'
'4': '4'
'5': '5'
'6': '6'
'7': '7'
'8': '8'
'9': '9'
- 名称：label_orientation（朝向标签），数据类型：类别标签
类别名称：
'0': '0'
'1': '1'
'2': '2'
'3': '3'
'4': '4'
'5': '5'
'6': '6'
'7': '7'
'8': '8'
'9': '9'
'10': '10'
'11': '11'
'12': '12'
'13': '13'
'14': '14'
- 名称：label_scale（尺度标签），数据类型：类别标签
类别名称：
'0': '0'
'1': '1'
'2': '2'
'3': '3'
'4': '4'
'5': '5'
'6': '6'
'7': '7'
- 名称：label_shape（形状标签），数据类型：类别标签
类别名称：
'0': '0'
'1': '1'
'2': '2'
'3': '3'
- 名称：label_wall_hue（墙面色调标签），数据类型：类别标签
类别名称：
'0': '0'
'1': '1'
'2': '2'
'3': '3'
'4': '4'
'5': '5'
'6': '6'
'7': '7'
'8': '8'
'9': '9'
- 名称：value_floor_hue（地板色调数值），数据类型：32位浮点型（float32）
- 名称：value_object_hue（物体色调数值），数据类型：32位浮点型（float32）
- 名称：value_orientation（朝向数值），数据类型：32位浮点型（float32）
- 名称：value_scale（尺度数值），数据类型：32位浮点型（float32）
- 名称：value_shape（形状数值），数据类型：32位浮点型（float32）
- 名称：value_wall_hue（墙面色调数值），数据类型：32位浮点型（float32）
划分集：
- 名称：train（训练集），字节数：1676886103.0，样本数量：480000
下载大小：1696774541
数据集存储大小：1676886103.0
配置项：
- 配置名称：default（默认配置）
数据文件：
- 划分集：train（训练集），路径：data/train-*

原始信息汇总

数据集概述

数据集特征

• image

  • 数据类型: image

• label_floor_hue

  • 数据类型: class_label
  • 类别名称:
    • 0: 0
    • 1: 1
    • 2: 2
    • 3: 3
    • 4: 4
    • 5: 5
    • 6: 6
    • 7: 7
    • 8: 8
    • 9: 9

• label_object_hue

  • 数据类型: class_label
  • 类别名称:
    • 0: 0
    • 1: 1
    • 2: 2
    • 3: 3
    • 4: 4
    • 5: 5
    • 6: 6
    • 7: 7
    • 8: 8
    • 9: 9

• label_orientation

  • 数据类型: class_label
  • 类别名称:
    • 0: 0
    • 1: 1
    • 2: 2
    • 3: 3
    • 4: 4
    • 5: 5
    • 6: 6
    • 7: 7
    • 8: 8
    • 9: 9
    • 10: 10
    • 11: 11
    • 12: 12
    • 13: 13
    • 14: 14

• label_scale

  • 数据类型: class_label
  • 类别名称:
    • 0: 0
    • 1: 1
    • 2: 2
    • 3: 3
    • 4: 4
    • 5: 5
    • 6: 6
    • 7: 7
    • 8: 8
    • 9: 9

• label_shape

  • 数据类型: class_label
  • 类别名称:
    • 0: 0
    • 1: 1
    • 2: 2
    • 3: 3

• label_wall_hue

  • 数据类型: class_label
  • 类别名称:
    • 0: 0
    • 1: 1
    • 2: 2
    • 3: 3
    • 4: 4
    • 5: 5
    • 6: 6
    • 7: 7
    • 8: 8
    • 9: 9

• value_floor_hue

  • 数据类型: float32

• value_object_hue

  • 数据类型: float32

• value_orientation

  • 数据类型: float32

• value_scale

  • 数据类型: float32

• value_shape

  • 数据类型: float32

• value_wall_hue

  • 数据类型: float32

数据集分割

• train
  • 数据量: 480000 条记录
  • 数据大小: 1676886103.0 字节

数据集大小

• 下载大小: 1696774541 字节
• 数据集大小: 1676886103.0 字节

配置

• default
  • 数据文件路径: data/train-*

搜集汇总

数据集介绍

构建方式

在计算机视觉与生成模型的研究中，合成数据集因其精确可控的特性而备受青睐。Shapes3D数据集通过程序化生成方式构建，其核心在于利用三维图形引擎渲染包含基本几何形状的场景。每个样本均由六个独立潜在因子组合而成，包括物体形状、尺寸、朝向以及地板、墙壁和物体本身的色调。这些因子在预定义范围内离散采样，生成了四十八万张高质量图像，确保了数据分布的广泛性与均衡性。

特点

该数据集在表征学习领域展现出独特价值，其最显著的特点在于提供了完全解耦的生成因子标注。每个图像不仅包含像素信息，更精确记录了六种底层因子的离散类别标签与连续数值。这种结构使得数据具备完美的可解释性，为研究因子间的独立性、可控生成以及解耦表示提供了理想实验平台。数据规模庞大且因子组合覆盖全面，有效支持了复杂模型的训练与评估。

使用方法

研究人员可借助HuggingFace数据集库便捷加载Shapes3D，其标准化的接口支持直接获取图像张量与结构化标注。该数据集主要应用于无监督与自监督学习，特别是变分自编码器、解耦表示学习等模型的基准测试。通过分析模型对特定因子的编码与操控能力，可以深入评估其表征质量。同时，它也为可控图像生成、因子干预分析等任务提供了可靠的验证数据。

背景与挑战

背景概述

在计算机视觉与机器学习领域，可控生成与解耦表示学习是推动模型理解视觉世界的关键研究方向。Shapes3D数据集由欧洲通信系统学院（EURECOM）的研究团队创建，旨在为解耦表示学习提供结构化的基准测试环境。该数据集的核心研究问题聚焦于探索生成模型如何从高度结构化的合成图像中分离并独立控制多个潜在因子，如物体形状、颜色、尺寸及场景属性。通过精确标注的六类生成因子，Shapes3D为评估模型的解耦能力与可控生成性能奠定了坚实基础，对推动可解释人工智能与生成模型的发展产生了深远影响。

当前挑战

Shapes3D数据集所应对的领域挑战在于解决生成模型中的解耦表示难题，即如何从复杂视觉数据中分离出独立且可解释的潜在变量，以实现对图像属性的精细控制。构建过程中的挑战则体现在数据生成的精确性与多样性平衡上，需确保每个生成因子在严格控制的参数范围内变化，同时避免因子间的意外关联，从而保证数据集的纯净性与评估有效性。此外，合成数据与真实世界视觉复杂性之间的差距，也为模型泛化能力提出了更高要求。

常用场景

经典使用场景

在计算机视觉与机器学习领域，Shapes3D数据集以其精心设计的合成三维形状图像，成为研究解耦表示学习的经典基准。该数据集通过可控的生成过程，提供了包含形状、尺寸、朝向及多种色调等六个独立潜在因子的图像样本，使得研究者能够精确评估模型对数据生成因子的分离与识别能力。其结构化特性使得它成为验证无监督或半监督解耦学习算法的理想平台，尤其在探索如何从高维视觉数据中提取可解释的底层语义特征方面具有重要价值。

解决学术问题

Shapes3D数据集主要针对表示学习中的核心挑战——解耦，即如何让机器学习模型自动发现并分离数据中独立的潜在变异因素。它为解决模型纠缠表示、提升特征可解释性以及验证因果推断假设提供了标准化的实验环境。通过提供精确的因子标注，该数据集使得定量评估解耦性能成为可能，推动了关于因子化先验、生成模型与自监督学习等领域的基础理论研究，对理解智能系统如何构建结构化世界模型产生了深远影响。

衍生相关工作

围绕Shapes3D数据集，学术界催生了一系列探索解耦表示学习的经典工作。例如，β-VAE及其变体利用该数据集定量评估了其约束瓶颈对解耦效果的影响。后续的研究如FactorVAE、β-TCVAE等，也将其作为核心评估基准，以比较不同正则化方法在分离潜在因子方面的效能。这些工作不仅深化了对解耦机制的理解，也促进了更强大的生成模型（如解耦扩散模型）的发展，形成了从基准构建到算法创新再到理论分析的完整研究脉络。