bimanual_stack_cup_bowl

该数据集由LeRobot项目创建，是一个面向机器人学领域的开源数据集，采用Apache-2.0许可证。数据集的核心内容是记录一个名为“bi_piper_follower”的双臂协作机器人执行任务的过程数据。数据以时间序列帧的形式组织，总计包含100个完整的任务执行回合（episodes），共44065个数据帧，对应2个不同的任务（tasks）。数据以30帧/秒的速率采集。每个数据样本包含机器人的动作指令、关节状态观测以及来自三个不同视角（左腕摄像头、顶部摄像头、右腕摄像头）的RGB视频观测。具体字段包括：14维的动作向量（控制左右机械臂的6个关节及夹爪位置）、14维的关节状态观测向量、三个分辨率为640x480或480x640的三通道视频流、时间戳、帧索引、回合索引、样本全局索引以及任务索引。数据集已预分割为训练集（包含所有100个回合），原始数据以Parquet文件格式存储，视频数据以MP4格式（AV1编码）存储，总大小约为300MB。该数据集适用于机器人模仿学习、强化学习、行为克隆、多视角视觉感知以及双臂协同控制等研究任务。

原始信息汇总

数据集概述：bimanual_stack_cup_bowl

• 任务类别：机器人学 (Robotics)
• 标签：LeRobot
• 许可协议：Apache-2.0
• 创建工具：使用 LeRobot 创建

数据集结构

核心元数据

• 代码库版本：v3.0
• 帧率 (FPS)：30
• 机器人类型：bi_piper_follower
• 总集数 (Episodes)：100
• 总帧数：44065
• 总任务数：2
• 数据分块：每块 1000 帧 (chunks_size: 1000)
• 数据文件大小：约 100 MB
• 视频文件大小：约 200 MB
• 数据路径：data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径：videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

数据集划分

• 训练集：索引 0 到 99，即全部 100 集用于训练。

数据特征 (Features)

特征名称	数据类型	形状	说明
action	float32	[14]	14 维动作向量：左右各 6 个关节位置 + 1 个夹爪位置
observation.state	float32	[14]	14 维状态向量：左右各 6 个关节位置 + 1 个夹爪位置
observation.images.l_wrist	video	[640, 480, 3]	左腕摄像头图像，高度 640，宽度 480，RGB 3 通道，AV1 编码，30 FPS
observation.images.top	video	[480, 640, 3]	顶部摄像头图像，高度 480，宽度 640，RGB 3 通道，AV1 编码，30 FPS
observation.images.r_wrist	video	[480, 640, 3]	右腕摄像头图像，高度 480，宽度 640，RGB 3 通道，AV1 编码，30 FPS
timestamp	float32	[1]	时间戳
frame_index	int64	[1]	帧索引
episode_index	int64	[1]	集索引
index	int64	[1]	全局索引
task_index	int64	[1]	任务索引 (共 2 个任务)

动作/状态命名

动作和状态向量均包含 14 个维度，名称对应如下：

• left_joint_1.pos 至 left_joint_6.pos
• left_gripper.pos
• right_joint_1.pos 至 right_joint_6.pos
• right_gripper.pos

引用

• BibTeX：暂未提供，标记为 [More Information Needed]。

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，专注于双臂机器人操作任务，具体场景为堆叠杯子和碗。数据通过实际机器人演示采集而来，机器人型号为bi_piper_follower，记录了100个完整演示片段，总计44065帧时序数据。数据以30帧每秒的频率采样，包含14维动作向量和对应的状态观测，分别对应左右臂各6个关节位置和夹爪状态。此外，数据集还集成了来自左腕、右腕和顶部三个视角的同步视频流，图像分辨率为640x480或480x640，采用AV1编码压缩存储。数据被组织为训练集，通过parquet格式存储结构化数据，视频则分片保存为MP4文件，便于高效加载和检索。

特点

该数据集的核心特性在于其多模态融合与精细化设计。动作和状态空间均为14维，涵盖左右臂的完整关节配置，为双臂协同学习提供了精准的监督信号。三视角视频捕获了操作过程的丰富视觉信息，顶部视角提供全局场景理解，腕部视角则聚焦局部操作细节，这种多角度观测有助于模型学习空间表征与手眼协调。数据包含两个子任务（堆叠杯子和碗），共100个演示，任务多样性适中，适合评估泛化能力。所有数据以30Hz高频采集，时序分辨率高，能捕捉细微的运动时序变化。此外，数据集采用标准化的LeRobot格式，特征命名与机器人关节直接对应，降低了预处理门槛。

使用方法

该数据集适用于训练模仿学习或强化学习策略，尤其针对双臂操作任务。用户可通过LeRobot库加载数据，利用其内置的DataLoader模块高效处理parquet表格和视频流。使用时需关注动作空间与机器人接口的映射关系，确保控制指令的维度对齐。建议将训练数据标准化为零均值单位方差以稳定训练。对于视频处理，可结合开源视觉编码器（如ResNet或ViT）提取特征，并与状态信息融合作为策略输入。数据集已预设训练集划分，无需额外拆分。在模型评估时，可依据任务指标（如任务成功率和运动平滑度）对比基线方法。用户亦可通过可视化工具（如提供的HuggingFace Space）观察演示轨迹，辅助调试策略行为。

背景与挑战

背景概述

在机器人操作研究中，双臂协同任务因其对运动规划与协调控制的严苛要求，始终是领域内的重要挑战。bimanual_stack_cup_bowl数据集由研究者samithva基于LeRobot框架创建，专注于双臂机器人执行杯子与碗的堆叠操作。该数据集于近期公开，采用Apache-2.0许可，旨在为双臂灵巧操作提供标准化的训练与评估资源。通过记录100个演示片段、合计44065帧数据，涵盖双机械臂的14维关节状态及三视角视觉观测（左腕、右腕、顶部），它为模仿学习与强化学习算法提供了多模态基准。作为面向真实双臂操作任务的公开数据集，它填补了精细堆叠类任务在机器人学习社区中的空白，对推动双臂协调控制与复杂操作技能泛化研究具有启发意义。

当前挑战

该数据集所解决的领域核心问题在于双臂机器人执行高精度堆叠任务时面临的固有挑战，包括两只机械臂在狭小工作空间内的运动冲突避免、复杂接触动力学下的力位混合控制，以及基于视觉反馈的实时纠错机制。构建过程中，数据采集需依赖piper双臂平台，通过人机遥操作收集高质量演示，这要求操作者具备熟练的远程操控技巧，以确保演示动作的一致性与成功性。此外，多视角视频与关节状态的高频同步采样（30 FPS）以及大量数据的存储与压缩处理，也对数据管道的鲁棒性与效率提出了严峻考验。

常用场景

经典使用场景

在双机械臂协同操作的研究领域，bimanual_stack_cup_bowl数据集为模仿学习与强化学习算法提供了理想的训练与评估平台。该数据集记录了双臂机器人执行堆叠杯子和碗等精细操作任务的完整轨迹，包含14维关节动作信息与多视角视觉观测（左腕、右腕及顶部摄像头）。研究者可借助这些数据训练机器人掌握双臂协调运动的控制策略，例如在复杂装配、物体搬运等场景中实现精准的力位混合控制，从而推动具身智能体在多任务环境中展现更流畅的物理交互能力。

实际应用

实际应用中，该数据集可直接服务于工业柔性装配线的双臂机器人编程，通过示范学习大幅降低传统示教编程的时间成本。在仓储物流领域，基于数据集训练的机器人能自主完成物品分拣与堆叠；在家庭服务场景中，双臂协作能力使机器人胜任餐具整理、厨房协助等日常任务。此外，多视角视觉数据为开发鲁棒的视觉伺服系统提供了资源，助力实现人机协作中机器人对动态环境的自适应调整，加速服务型机器人商业化落地进程。

衍生相关工作

该数据集衍生出多项开创性研究，例如基于扩散策略的双臂协同动作生成模型，通过捕捉数据中动作的随机性分布来生成更自然的操作轨迹。另外，跨视角特征对齐的视觉预训练方法被提出，利用多摄像头数据增强机器人对空间遮挡的鲁棒性。还有工作聚焦于分层强化学习框架，利用数据集的子任务标签（如堆叠与递送）构建模块化策略，显著提升了长序列任务的执行成功率，这些成果共同拓宽了双臂操作领域的研究边界。