284-The_Shabbies-Matchbox

该数据集记录了一个SO101机械臂执行抓取火柴盒、放置到黑色方块上并最终进入休息状态的过程。数据集还包含了将火柴盒从黑色方块上移除并放置在机器人前面的动作，以及一个不需要执行任何动作的样本。数据集通过变化光线和摄像头角度来测试不同策略的泛化能力。数据集使用LeRobot创建，并支持比较不同算法（如ACT与SmolVLA）的学习效果。

原始信息汇总

数据集概述

基本信息

• 数据集名称: The_Shabbies-Matchbox
• 许可证: Apache-2.0
• 任务类别: 机器人学 (robotics)
• 相关标签: LeRobot

数据集目标

记录SO101机械臂执行以下动作的过程：

1. 拾取火柴盒
2. 将火柴盒放置在黑色方块上
3. 进入休息位置（完全闭合）

数据集特点

• 包含移除火柴盒并放回机器人前方的记录
• 包含一个无需动作的无火柴盒样本
• 光线和摄像头角度变化较大，以测试策略的泛化能力

数据集结构

• 总集数: 10
• 总帧数: 3613
• 任务数: 1
• 视频数: 10
• 数据块数: 1
• 数据块大小: 1000
• 帧率: 30 fps
• 训练集划分: 0:10

数据格式

• 数据文件路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频文件路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征描述

• 动作 (action):
  • 数据类型: float32
  • 形状: [6]
  • 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos
• 观察状态 (observation.state):
  • 数据类型: float32
  • 形状: [6]
  • 名称: 同动作特征
• 观察图像 (observation.images.front):
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 视频信息:
    • 高度: 480
    • 宽度: 640
    • 编解码器: av1
    • 像素格式: yuv420p
    • 非深度图
    • 帧率: 30 fps
    • 通道数: 3
    • 无音频
• 其他特征:
  • timestamp (float32, [1])
  • frame_index (int64, [1])
  • episode_index (int64, [1])
  • index (int64, [1])
  • task_index (int64, [1])

创建信息

• 创建工具: LeRobot
• 代码库版本: v2.1
• 机器人类型: so101_follower

引用信息

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

该数据集通过记录SO101机械臂执行拾取火柴盒并放置于黑色方块的完整动作序列构建而成，采用LeRobot框架实现多模态数据采集。实验设计包含光照条件与摄像机角度的主动变化以增强数据多样性，同时设置了无火柴盒的对照组样本。数据以30fps帧率存储为Parquet格式，每个动作片段包含6自由度关节位置信息及480×640分辨率的RGB视频流，共收录10个完整操作周期的3613帧运动轨迹。

特点

数据集突出呈现机械臂精细操作任务的时空连续性特征，其多维数据结构同步记录关节角度状态、末端执行器位置及第一视角视觉观测。独特的变光照环境设计有效提升了策略模型的泛化能力验证价值，动作空间与状态空间的严格对齐为模仿学习提供精准监督信号。6维浮点型动作向量与高帧率视频流的并行采集模式，特别适合时序建模算法的训练需求。

使用方法

使用者可通过解析Parquet文件获取机械臂运动学参数与视觉观测的同步序列，建议采用滑动窗口策略处理连续帧数据以保持时序依赖性。训练集已预分割为10个完整操作周期，每个样本包含动作指令、关节状态和对应视觉帧，可直接输入ACT等策略网络进行端到端训练。对于迁移学习场景，建议重点利用其光照变化的视觉数据增强模型鲁棒性。

背景与挑战

背景概述

The_Shabbies-Matchbox数据集由LeRobot团队创建，专注于机器人操作任务的研究。该数据集记录了SO101机械臂执行拾取火柴盒、放置于黑色方块并返回静止位置的全过程，旨在为机器人动作学习提供高质量的真实世界数据。通过引入光线和视角变化，数据集设计者着重考察了策略模型的泛化能力，并发现ACT算法在此任务上表现优于SmolVLA。作为Apache-2.0许可的开源数据集，其包含10个完整操作序列、3613帧视频数据，为机器人动作规划领域提供了新的基准测试资源。

当前挑战

该数据集主要应对机器人操作任务中动作规划与视觉感知的耦合挑战。具体而言，机械臂在变化的光照条件和多角度观测下需保持稳定的物体抓取精度，这对算法的鲁棒性提出较高要求。数据构建过程中，研究者需解决多模态数据同步采集的技术难题，包括机械臂关节角度与视觉帧的精确对齐。此外，有限的样本规模（仅10个完整操作序列）可能影响深度学习模型的训练效果，这要求后续研究者开发高效的小样本学习方法。

常用场景

经典使用场景

在机器人操作任务研究中，The_Shabbies-Matchbox数据集被广泛用于评估机械臂的物体抓取与放置能力。数据集记录了SO101机械臂完成火柴盒抓取、放置至指定位置的全过程，其多角度的视频数据与关节状态信息为研究机器人动作规划提供了丰富的训练素材。通过模拟不同光照条件和相机视角，该数据集尤其适合验证算法在复杂环境下的泛化性能。

实际应用

在工业自动化场景中，该数据集支持开发可靠的物品分拣系统，特别是对小型规则物体的精准操作。物流仓储中的包裹分拣、电子制造中的元件装配等场景均可受益于基于该数据集训练的模型。数据集包含的异常情况样本（如无火柴盒场景）进一步增强了系统应对现实复杂情况的能力，这对构建鲁棒的自动化生产线具有重要意义。

衍生相关工作

基于该数据集的开源特性，研究社区已衍生出多项创新工作。LeRobot框架的持续优化直接受益于该数据集的测试验证，相关成果推动了模块化机器人学习架构的发展。部分研究通过扩展数据集的标注体系，构建了更精细的动作分割基准；另有工作利用其多模态特性，开发了新型的视觉-动作联合表示学习方法。