two_small_cube

这是一个使用LeRobot创建的机器人操作数据集，包含230个剧集，共83852帧，1个任务。数据集以Parquet文件格式存储，并包括视频文件。数据集的特征包括动作位置、观测状态、摄像头图像等，支持机器人操作相关的研究和应用。

This is a robotic manipulation dataset created using LeRobot, which consists of 230 episodes, 83852 frames in total, and 1 single task. The dataset is stored in Parquet file format and includes video files. Its features include action positions, observation states, camera images and more, supporting research and applications related to robotic manipulation.

原始信息汇总

数据集概述

基本信息

• 数据集名称: two_small_cube
• 任务类别: 机器人技术
• 标签: LeRobot
• 许可证: Apache-2.0
• 创建工具: LeRobot

数据集规模

• 总任务数: 1
• 总回合数: 400
• 总帧数: 140,454
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB
• 帧率: 30 FPS
• 分块大小: 1000
• 数据分割: 训练集 (0:400)

数据结构

数据文件路径

• 数据文件: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

特征字段

动作特征

• 名称: action
• 数据类型: float32
• 维度: [6]
• 字段描述:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测状态

• 名称: observation.state
• 数据类型: float32
• 维度: [6]
• 字段描述:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

图像观测

跟随相机 (cam_follower):

• 名称: observation.images.cam_follower
• 数据类型: video
• 分辨率: 480×640×3
• 视频参数:
  • 编码格式: av1
  • 像素格式: yuv420p
  • 非深度图
  • 无音频

顶部相机 (cam_top):

• 名称: observation.images.cam_top
• 数据类型: video
• 分辨率: 480×640×3
• 视频参数:
  • 编码格式: av1
  • 像素格式: yuv420p
  • 非深度图
  • 无音频

索引字段

• 时间戳: timestamp (float32, [1])
• 帧索引: frame_index (int64, [1])
• 回合索引: episode_index (int64, [1])
• 索引: index (int64, [1])
• 任务索引: task_index (int64, [1])

技术信息

• 代码库版本: v3.0
• 机器人类型: so101_follower

搜集汇总

数据集介绍

构建方式

在机器人技术领域，two_small_cube数据集依托LeRobot平台构建，通过SO101型跟随机器人采集了400个完整任务序列，涵盖140,454帧数据。数据以分块形式存储于Parquet文件中，每块包含1000帧，确保了高效的数据管理与访问。采集过程中，机器人关节位置与图像观测被同步记录，形成了多模态数据流，为机器人控制研究提供了坚实基础。

特点

该数据集以多源异构数据为显著特征，整合了六维关节动作空间与双视角视觉输入，包括跟随摄像头和顶部摄像头的480x640分辨率视频流。数据帧率稳定在30fps，支持时间序列分析，同时包含任务索引与时间戳元数据，便于精确对齐动作与观测。这种结构设计使得数据集适用于复杂环境下的机器人策略学习与评估。

使用方法

研究者可通过加载Parquet格式的数据文件直接访问结构化观测与动作序列，利用帧索引和任务索引实现数据切片与回放。视频数据以MP4格式独立存储，可与状态数据协同使用，用于训练端到端机器人控制模型或进行行为克隆分析。数据集遵循Apache 2.0许可，支持学术与工业场景的灵活部署。

背景与挑战

背景概述

在机器人学习领域，高质量示范数据对策略泛化能力具有决定性作用。two_small_cube数据集由HuggingFace的LeRobot项目团队构建，采用Apache 2.0开源协议，专门面向机器人操作任务的研究需求。该数据集通过so101_follower型机器人采集了400条完整交互轨迹，包含14万帧多模态观测数据，其核心价值在于提供了关节空间动作指令与双视角视觉观测的精确对齐，为模仿学习与强化学习算法奠定了数据基础。

当前挑战

该数据集致力于解决机器人操作任务中的动作规划与视觉感知协同挑战，其构建过程面临多维度技术难点。数据采集需同步处理六自由度机械臂控制指令与双摄像头视频流，对时序对齐精度提出严苛要求；高分辨率视频数据带来的存储压力促使团队采用AV1编码与分块存储策略；而示教动作的时空一致性保障则需要克服机器人动力学约束与传感器噪声的双重干扰。

常用场景

经典使用场景

在机器人控制领域，two_small_cube数据集为强化学习算法的训练与评估提供了关键支持。该数据集通过记录六自由度机械臂操作两个小型立方体的完整轨迹，包含关节位置、视觉观测等多模态数据，成为机器人动作策略学习的标准测试平台。研究者可利用其丰富的状态-动作对序列，开发从感知到控制的端到端决策模型，推动机器人自主操作能力的发展。

实际应用

在工业自动化场景中，该数据集支撑了精密装配与物料分拣系统的智能化升级。基于数据驱动的控制策略可适应不同形状物体的抓取任务，其双视角视觉系统模拟了真实工作环境中多传感器融合的需求。这种技术路径已被应用于电子元件装配、物流包裹分拣等实际场景，有效降低了传统示教编程对人工经验的依赖。

衍生相关工作

该数据集催生了系列机器人学习领域的创新研究，包括基于时空注意力的行为克隆框架、多模态表征融合网络等经典工作。研究者通过挖掘其连续动作序列与视觉观测的关联性，开发出具有时序建模能力的策略网络架构。这些成果进一步推动了分层强化学习、元技能学习等方向的发展，形成了从数据采集到算法优化的完整技术链条。