smd_sprites

SMD Sprites数据集是一个修改过的Spoites数据集，用于顺序多因素解耦任务。它包含了id、图片序列和长度为5的整数序列等特征，并分为训练集、验证集和测试集三个部分。

原始信息汇总

SMD Sprites数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 特征提取
• 标签: 解耦、序列解耦
• 数据集名称: SMD Sprites
• 数据规模: 10K<n<100K

数据集特征

• id: int32类型，唯一标识符
• x: 图像序列
• movement: 类别标签，包含9种动作类型
  • 0: front walk
  • 1: left walk
  • 2: right walk
  • 3: front hand raise
  • 4: left hand raise
  • 5: right hand raise
  • 6: front wave
  • 7: left wave
  • 8: right wave
• body: 类别标签，包含6种身体颜色
  • 0: light
  • 1: neutral
  • 2: dark-gray
  • 3: gray
  • 4: brown
  • 5: black
• bottom: 类别标签，包含6种下装颜色
  • 0: white
  • 1: yellow
  • 2: red
  • 3: gray
  • 4: shade-green
  • 5: green
• top: 类别标签，包含6种上装颜色
  • 0: red
  • 1: blue
  • 2: white
  • 3: gray
  • 4: brown
  • 5: white-tie
• hair: 类别标签，包含6种头发颜色
  • 0: green
  • 1: blue
  • 2: orange
  • 3: white
  • 4: red
  • 5: purple

数据集划分

• 训练集(train)
  • 样本数量: 8164
  • 数据大小: 110472147.432字节
• 验证集(val)
  • 样本数量: 1750
  • 数据大小: 24037860.5字节
• 测试集(test)
  • 样本数量: 1750
  • 数据大小: 24098037.5字节

下载与存储

• 下载大小: 140877104字节
• 数据集总大小: 158608045.43199998字节

来源与引用

• 原始仓库: https://github.com/YingzhenLi/Sprites
• 参考论文:
  Y. Li, J. Yu, C. Zhang, C. Gan.
  Disentangled Sequential Autoencoder, ICML 2018.
  https://arxiv.org/abs/1803.02991
• 注意事项: 该数据集无明确开源许可证，仅限非商业研究用途，使用时需引用上述论文。

搜集汇总

数据集介绍

构建方式

SMD Sprites数据集是基于经典Sprites数据集改进而来的多因素解耦基准数据集。该数据集通过系统化重构原始精灵动画序列，将人物动作、身体特征、服饰颜色等视觉要素进行精细化标注。构建过程中采用分层采样策略，确保每个动作类别与外观属性的组合均衡分布，最终形成包含8,164训练样本、1,750验证样本和1,750测试样本的标准划分。

特点

该数据集最显著的特点是实现了序列数据的多维度解耦标注，包含6个独立标注维度：运动类型（9种肢体动作）、身体色调（6种肤色）、下装颜色（6种）、上装颜色（6种）及发型颜色（6种）。每个样本由连续的图像帧构成，精确记录了人物动作的时序变化过程。这种结构化标注方式为研究视觉特征的层次化表征提供了理想实验平台。

使用方法

研究者可通过HuggingFace平台直接加载数据集，利用预定义的train/val/test分割进行模型开发。典型应用场景包括序列自编码器训练、多因素解耦表示学习等。使用时需注意数据仅限非商业研究用途，并需引用原始论文。数据集支持图像序列输入与多标签分类任务，各标注维度可通过feature字段直接访问。

背景与挑战

背景概述

SMD Sprites数据集源于2018年ICML会议发表的《Disentangled Sequential Autoencoder》研究，由Yingzhen Li等学者基于经典Sprites数据集改造而成。该数据集专注于序列多因子解耦这一前沿课题，旨在通过包含行走、举手、挥手等9类动作序列的精灵动画，探究时间维度与外观属性（身体色调、服饰颜色、发型等）的分离表征问题。作为计算机视觉与表示学习交叉领域的基准工具，其创新性地将静态特征解耦扩展至动态场景，为视频生成、行为分析等任务提供了新的研究范式。

当前挑战

该数据集面临的核心挑战体现在两个维度：在科学问题层面，如何有效建模运动模式与静态属性之间的复杂纠缠关系，现有方法往往难以同时捕捉时序动态性与外观不变性特征；在构建技术层面，原始精灵动画需人工定义6类外观因子与9种动作的组合规则，确保数万样本在姿态连续性和属性独立性间的严格平衡，这种精确控制导致数据生成流程异常复杂。此外，缺乏明确的开源许可也限制了其工业应用场景。

常用场景

经典使用场景

在计算机视觉与机器学习领域，SMD Sprites数据集因其精心设计的序列化多因素解耦特性，成为研究解耦表示学习的经典基准。该数据集通过包含不同动作、身体特征和服饰组合的精灵动画序列，为研究者提供了探究时间维度上特征解耦的理想实验平台。其丰富的标注维度允许模型同时学习运动模式与静态外观特征的分离表示，特别适合用于验证序列自编码器、变分推理等算法的解耦能力。

解决学术问题

该数据集有效解决了时序数据中多因素解耦的核心挑战，为验证解耦表示是否真正捕捉到底层生成因子提供了标准答案。通过精确控制动作、肤色、服饰等独立变化因子，研究者能够定量评估模型对时间相关特征与静态特征的分离效果。这项工作推动了《Disentangled Sequential Autoencoder》等里程碑式研究的发展，为时序解耦理论建立了可量化的评估体系，填补了动态场景解耦研究的数据空白。

衍生相关工作

基于SMD Sprites的基准特性，学术界衍生出《Sequential Neural Processes》等时序生成模型的重要研究。其多模态标注体系启发了《Disentangled Multimodal Representation Learning》等跨模态学习工作。在元学习领域，《Meta-Learning for Few-Shot Video Prediction》将其扩展为少样本时序预测的测试平台。数据集提供的标准评估协议更成为后续《Metrics for Disentangled Sequential Models》等评估方法论研究的基石。