bimanual-sandwich-assembly

该数据集是一个用于机器人学的双臂操作数据集，专注于三明治组装任务。它使用LeRobot工具创建，包含55个完整任务片段（episodes），总计168,768帧数据，对应单个任务类型。数据以parquet文件格式存储，并伴有MP4格式的视频文件，采集帧率为30 fps。数据集仅提供训练集划分。数据内容包括：动作空间（action），为12维浮点数向量，表示左右机械臂各6个关节（肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转、夹爪位置）的目标位置；观测状态（observation.state），同样是12维浮点数向量，表示上述关节的当前实际位置；多视角图像观测，包括三个摄像头视角：左上方视角（left_top）、左腕左侧视角（left_wrist_left）、右腕右侧视角（right_wrist_right），每个视角提供分辨率为480x640的RGB视频流。此外，数据还包含时间戳（timestamp）、帧索引（frame_index）、片段索引（episode_index）、数据索引（index）和任务索引（task_index）等元数据字段。该数据集适用于双臂机器人的模仿学习、行为克隆、离线强化学习等研究，特别关注基于多视角视觉和本体感知的灵巧操作任务。

This dataset is a dual-arm manipulation dataset for robotics, specifically focused on sandwich assembly tasks. It was created using the LeRobot tool and contains 55 complete task episodes, totaling 168,768 frames of data for a single task type. The data is stored in parquet file format along with MP4 video files, with a collection frame rate of 30 fps. The dataset only provides a training set split. The data content includes: action space (action), which is a 12-dimensional floating-point vector representing the target positions of six joints for each of the left and right robotic arms (shoulder translation, shoulder elevation, elbow flexion, wrist flexion, wrist rotation, gripper position); observation state (observation.state), also a 12-dimensional floating-point vector indicating the current actual positions of these joints; multi-view image observations, including three camera perspectives: left-top view (left_top), left-wrist-left view (left_wrist_left), and right-wrist-right view (right_wrist_right), each providing RGB video streams with a resolution of 480x640. Additionally, the data includes metadata fields such as timestamp, frame index (frame_index), episode index (episode_index), data index (index), and task index (task_index). This dataset is suitable for research in dual-arm robots, including imitation learning, behavior cloning, and offline reinforcement learning, with a particular focus on dexterous manipulation tasks based on multi-view vision and proprioception.

搜集汇总

数据集介绍

构建方式

在机器人操作领域，精准而复杂的双机械臂协同任务一直是研究难点，而三明治装配任务则是对此类能力的典型考验。该数据集依托LeRobot框架构建，通过远程操控一台双臂机器人（型号为bi_so_follower）执行完整的三明治组装流程，采集了55个示范轨迹，总计约16.8万帧数据。每个轨迹均以30帧每秒的速率记录，并将数据切分为1000帧的块进行高效存储。数据集以Parquet格式保存机器人关节状态与动作指令，同时以压缩视频格式记录来自左上方、左手腕和右手腕三个视角的视觉观测，为多模态行为克隆提供了丰富的原始素材。

使用方法

该数据集专为LeRobot生态系统定制，用户可通过图像界面直接可视化内容，也可通过编程方式加载与使用。在训练流程中，研究者将Parquet文件中的状态和动作序列作为输入，借助三视角视频观测数据，构建端到端的模仿学习或强化学习模型。数据预先以0:55的比例划分为训练集，未设置测试集，建议用户在复现时自行划分验证集。完整的特征维度与元数据描述位于info.json文件中，便于编程解析。通过数据集的标准化接口，可轻松实现批次加载、时序切片与数据增强，从而高效训练适用于双臂三明治装配任务的机器人操控策略。

背景与挑战

背景概述

在机器人学习领域，双臂协作操作任务因其复杂的运动协调与精细控制需求，成为具身智能研究的前沿方向。由Cortx Labs研究团队创建的bimanual-sandwich-assembly数据集，专为双臂机器人学习设计，旨在解决三明治组装这类高精度、多步骤的精细操作任务。该数据集于近期发布，依托LeRobot框架构建，包含55个演示回合、近17万帧时序数据以及多视角视觉信息，为双臂协同学习提供了关键数据支撑。其12维动作空间涵盖双臂各关节位置与夹爪状态，完整记录了从抓取、对齐到组装的连续操作流程，在推动模仿学习与策略泛化研究方面具有重要参考价值。

当前挑战

该数据集所解决的领域挑战集中于双臂机器人在非结构化环境中的精细操作问题，尤其是三明治组装这类涉及柔软物体变形和精准配合的任务，要求机器人同时管理双臂的空间约束与力控策略，复杂度显著高于单臂操作。构建过程中面临多重困难：多视角视频数据的高帧率采集与同步存储对硬件系统提出严苛要求；55个回合的演示数据中需确保任务执行的一致性与完整性，排故成本高；数据集规模相对有限，可能影响模型在复杂多变场景下的泛化能力。此外，双臂动作空间的高维耦合特性增加了策略学习的难度，对后续算法的时序建模与鲁棒性提出挑战。

常用场景

经典使用场景

在机器人操作与模仿学习的前沿探索中，双机械臂协同装配任务是极具挑战性的代表性场景。该数据集专注于三明治装配这一精细操作流程，记录了55个完整演示回合，包含近17万帧由多视角摄像头捕捉的高清视觉信息以及12维关节动作序列。研究者可基于这些数据训练机器人通过行为克隆或强化学习来复现双手协调动作，如面包片抓取、食材放置与合并，为验证双臂协同算法的鲁棒性和泛化能力提供了标准化基准。

解决学术问题

学术界长期面临双臂机器人操作任务中数据稀疏与动作耦合的难题。该数据集系统性地解决了三个核心问题：首先提供了包含左右臂各6个自由度的高精度运动轨迹，使得双向协同控制策略的研究有了可重复的量化依据；其次通过同步的多视角视频流（左顶、左腕、右腕），为视觉-运动联合表征学习创造了条件；最后公开了完整的训练/测试划分，助力对比不同模型在时序依赖性任务上的表现，推动了从单臂操作向复杂双臂协作的学术范式跃迁。

实际应用

在智能制造与餐饮自动化领域，该数据集展示出巨大的迁移潜力。实际部署场景可包括食品流水线上双臂机器人的自动分拣与装配，例如标准化三明治生产线中的食材铺设与合拢工序。此外，家庭服务机器人可借鉴该数据集学习摆盘、整理餐具等精细任务，其多视角观测的设置还适用于仓库环境中双手协同的包裹封装作业，有效降低了对高精度编程和人工示教的需求。

数据集最近研究

最新研究方向

在机器人灵巧操作领域，双臂协同完成复杂装配任务始终是极具挑战的前沿方向。bimanual-sandwich-assembly数据集聚焦于双臂机器人在食品级精细操作场景下的能力，通过55个高质量演示片段、近17万帧时序数据及多视角视觉信息（左顶、左腕、右腕三路摄像头），为模仿学习与行为克隆提供了丰富的训练素材。该数据集的发布恰逢通用机器人操作模型（如RT-2、Octo等）向多任务、多形态泛化演进的热潮，它专门针对双臂对称与不对称协同控制的算法验证需求，尤其适合用于研究双臂在动态环境下的力位混合控制、关节空间与笛卡尔空间的联合规划，以及基于视觉的端到端策略学习。作为LeRobot生态下的开源资源，bimanual-sandwich-assembly降低了双臂精细操作研究的硬件门槛，有望推动食品加工自动化、家庭服务等场景中双臂机器人的实际部署，其影响已延伸至具身智能领域对复杂接触任务泛化能力的度量基准建设。