bimanual-so101-stack-toy-pyramid-4-rings-slow

该数据集是由LeRobot创建的，包含了一个机器人类型的任务数据。数据集共有1个剧集，56帧，1个任务。数据以Parquet格式存储，并包括相应的视频文件。数据集的特征包括机器人的动作和状态，以及从前、后、左、右和上方的视角捕获的图像。所有视频的帧率为30fps，且没有音频。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot
• 创建工具: LeRobot (https://github.com/huggingface/lerobot)

数据集结构

• 总任务数: 1
• 总片段数: 1
• 总帧数: 56
• 数据切分: train (0:1)
• 帧率: 30 FPS
• 数据块大小: 1000
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB
• 代码库版本: v3.0
• 机器人类型: bi_so101_follower

数据特征

动作特征

• 数据类型: float32
• 形状: [12]
• 关节位置:
  • 左肩平移位置
  • 左肩抬升位置
  • 左肘弯曲位置
  • 左腕弯曲位置
  • 左腕旋转位置
  • 左夹爪位置
  • 右肩平移位置
  • 右肩抬升位置
  • 右肘弯曲位置
  • 右腕弯曲位置
  • 右腕旋转位置
  • 右夹爪位置

观测特征

状态观测

• 数据类型: float32
• 形状: [12]
• 关节位置: 与动作特征相同

图像观测

• 左摄像头:

  • 数据类型: 视频
  • 分辨率: 480×640×3
  • 视频编码: AV1
  • 像素格式: yuv420p
  • 非深度图
  • 帧率: 30 FPS
  • 无音频

• 右摄像头:

  • 参数与左摄像头相同

• 前摄像头:

  • 参数与左摄像头相同

• 上摄像头:

  • 参数与左摄像头相同

索引特征

• 时间戳: float32 [1]
• 帧索引: int64 [1]
• 片段索引: int64 [1]
• 数据索引: int64 [1]
• 任务索引: int64 [1]

文件结构

• 数据文件路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

引用信息

• 论文: 待补充
• 主页: 待补充
• BibTeX引用: 待补充

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，该数据集通过LeRobot平台精心构建，采用双手机器人系统记录堆叠玩具金字塔的完整操作过程。数据采集以30帧/秒的速率进行，包含单次任务执行的56个连续帧，所有数据以分块形式存储于Parquet文件中，每个数据块容量为1000帧，总数据量达100MB。视频数据采用AV1编码格式，分别从左右前后四个视角同步记录480×640分辨率的操作场景，确保动作序列的完整性与多角度可追溯性。

使用方法

研究人员可通过加载Parquet数据文件直接访问结构化数据集，利用帧索引系统提取特定时间段的操作序列。每个数据样本包含完整的动作指令、机器人状态和多视角视觉信息，支持端到端的模仿学习算法训练。数据集已预划分为训练集，可直接用于监督学习任务。用户可基于时间戳实现多模态数据的精确同步，或通过任务索引筛选特定操作阶段的数据，为双臂操作策略的验证与优化提供标准化实验基准。

背景与挑战

背景概述

在机器人操作领域，双手机器人协同控制是实现复杂任务的关键技术。bimanual-so101-stack-toy-pyramid-4-rings-slow数据集由HuggingFace的LeRobot项目创建，专注于记录双臂机器人执行堆叠玩具金字塔动作的完整过程。该数据集通过多视角视觉观测与12维关节动作数据，为研究双臂协调控制与精细操作提供了结构化实验数据。其采用Apache 2.0开源协议，包含56帧30fps的高清视频流及对应机器人状态信息，为模仿学习与机器人策略研究建立了重要基准。

当前挑战

该数据集致力于解决双臂机器人精细操作中的动作同步与空间协调难题。构建过程中面临多传感器数据对齐的技术挑战，需确保四路视觉传感器与十二关节控制器的时序一致性。数据采集环节需克服双机械臂运动学约束下的轨迹优化问题，同时维持堆叠任务中物体定位的毫米级精度。此外，大规模多模态数据的存储与处理要求开发高效的压缩算法与并行读取机制，以平衡数据质量与系统负载。

常用场景

经典使用场景

在机器人操作领域，该数据集聚焦于双手机器人协同堆叠玩具金字塔任务，通过记录双臂12个关节的位置数据和多视角视觉信息，为模仿学习算法提供精细的动作轨迹与感知映射。其经典应用体现在训练端到端策略模型，使机器人能够从人类演示中学习复杂的双手协调操作，实现环状物体的精准抓取与空间堆叠。

解决学术问题

该数据集有效解决了双手机器人操作中动作同步性与空间协调性的建模难题。通过提供完整的关节运动序列与多视角视觉对应关系，为研究双手操作动力学、跨模态感知融合等核心问题奠定基础。其意义在于突破了单臂机器人在复杂装配任务中的局限性，推动了机器人操作从简单抓取向精细协作的技术演进。

实际应用

在工业自动化与智能服务场景中，该数据集支撑的算法可应用于精密装配生产线，实现电子元件、医疗器械等细小部件的双手协同组装。其多视角视觉系统为机器人提供立体环境感知能力，在物流分拣、家居服务等领域展现出潜力，使机器人能够胜任需要双手配合的精细化操作任务。

数据集最近研究

最新研究方向

在机器人操作领域，双手机器人协同控制正成为提升复杂任务执行能力的关键路径。bimanual-so101-stack-toy-pyramid-4-rings-slow数据集通过记录双机械臂堆叠玩具金字塔的完整运动轨迹与多视角视觉数据，为模仿学习与强化学习算法提供了高维度动作空间的研究基础。当前研究聚焦于跨模态表征学习，将关节位置数据与四路摄像头视频流进行时空对齐，以解决双臂动作协调中的动态规划问题。随着具身智能研究热潮的兴起，该数据集被广泛应用于机器人动作生成模型的训练验证，特别是在端到端策略学习框架下，推动了对长时序任务中动作平滑性与环境交互稳定性的深入探索。