cortx-labs/bimanual-cup-nesting

该数据集由LeRobot创建，主要用于机器人领域，特别是双手机器人的动作和状态数据。数据集包含1987帧数据，分为1个任务和1个片段。数据格式包括parquet和mp4，包含机器人的动作数据（12个关节位置）、状态数据（12个关节位置）以及三个视角的视频数据（左上方、左腕左侧、右腕右侧）。视频分辨率为480x640，帧率为30fps。数据集总大小为100MB（数据文件）和200MB（视频文件）。This dataset was created using LeRobot and is primarily used in the robotics field, specifically for bimanual robot action and state data. The dataset contains 1987 frames, divided into 1 task and 1 episode. The data formats include parquet and mp4, encompassing robot action data (12 joint positions), state data (12 joint positions), and video data from three perspectives (left top, left wrist left, right wrist right). The video resolution is 480x640 with a frame rate of 30fps. The total dataset size is 100MB (data files) and 200MB (video files).

搜集汇总

数据集介绍

构建方式

本数据集基于LeRobot框架构建，专注于双臂协作的杯嵌套任务，由cortx-labs团队采集。数据集共包含50个演示片段（episodes），总计122,650帧，所有数据统一划分至训练集。数据以Parquet格式存储于分块文件中，并辅以多视角视频记录，视频采用AV1编码，分辨率为480×640，帧率为30 FPS。每个演示片段记录了机器人双臂12维关节状态（包括左右肩关节、肘关节、腕关节及夹爪位置）以及对应的动作指令，同时保留了时间戳、帧索引、片段索引等元信息，确保了数据结构的完整性与可追溯性。

特点

该数据集最显著的特点在于其双臂协同作业的设定，机器人类型为bi_so_follower，模拟了实际工业中需要双手配合的精细操作场景。数据包含三个摄像头视角（左上方、左腕部、右腕部），提供了丰富的视觉观测信息。每个演示片段的动作与状态空间均为12维连续浮点数，精确描述了双臂各关节的位置与夹爪开合度。此外，数据仅包含单一任务（杯嵌套），但通过50个不同演示提供了任务执行过程中的多样性，总数据量约300 MB，其中视频数据占200 MB，为模仿学习与行为克隆研究提供了高质量的基准数据。

使用方法

用户可通过LeRobot库便捷地加载本数据集，使用`from lerobot import Dataset`接口，指定数据集名称`cortx-labs/bimanual-cup-nesting`即可获取。数据集按LeRobot v3.0规范组织，支持分块读取以优化内存使用。对于强化学习或行为克隆训练，可直接使用`action`字段作为策略输出目标，`observation.state`作为机器人状态输入，同时三路摄像头图像（`observation.images.left_top`、`left_wrist_left`、`right_wrist_right`）可作为视觉观测输入。数据集已自动划分为训练集（全部50个片段），用户也可根据`episode_index`和`frame_index`自定义验证集分割。

背景与挑战

背景概述

在机器人学习领域，双臂协作操作因其复杂性和高自由度而成为研究热点。由Cortx Labs创建的bimanual-cup-nesting数据集，诞生于LeRobot框架之上，聚焦于双臂机器人协同完成杯体嵌套这一精细操作任务。该数据集记录了50个演示回合，共涵盖超过12万帧的高频观测数据，包括多视角视觉输入（如左上方、左右腕部摄像头）以及12维关节动作与状态信息，为模仿学习与行为克隆提供了高质量的基准。尽管目前尚未有正式论文发表，但这一数据集凭借其完整的双臂控制参数与多模态感知信息，有望推动仿人机器人双臂协调与灵巧操作的研究进程。

当前挑战

当前数据集面临的核心挑战集中于双臂协调控制的复杂度与环境泛化能力。在领域问题层面，杯体嵌套任务要求双臂同时进行精准的位姿调整与力控配合，对关节间同步性与柔顺控制提出了极高要求，现有数据驱动的学习方法往往难以迁移至未见过的工作台布局或杯体尺寸。构建过程中，数据采集需依赖遥操作与示教复现，双臂动作的精确标注与长时序帧对齐存在显著难度，且因仅有单一任务，多样性受限。此外，从数据属性看，12维动作空间与多摄像头高分辨率视频的组合加剧了模型训练的维度灾难与计算瓶颈，亟需更优的特征提取与降维策略来解决小样本多模态下的泛化脆弱性。

常用场景

经典使用场景

在机器人操作领域，双臂协作任务因其复杂性与灵活性而备受关注。bimanual-cup-nesting数据集聚焦于双臂机器人嵌套杯子的精细操作，记录了50个示范轨迹，包含约12万帧的高频状态与视觉信息。该数据集通过同时捕捉左右机械臂的关节角度、夹爪状态以及多视角视频（如左顶、左腕、右腕视角），为模仿学习与行为克隆提供了标准化的训练与评估平台。研究者可基于此数据训练双臂协作策略，重现流畅的杯子嵌套动作，从而推动人形机器人或工业双臂系统在精密装配、家政服务等场景中的技能习得研究。

衍生相关工作

基于此数据集，研究者已衍生出多项标志性工作。在算法层面，结合Transformer的隐式策略与扩散模型的行为生成方法被频繁应用于双臂嵌套任务，验证了神经网路对高维时序依赖的建模能力。数据集本身作为LeRobot生态的组成部分，促进了数据集增强、多任务微调等通用框架的标准化。此外，其简洁的结构激励了双臂协调性能度量基准的建立，例如通过分析成功率与动作平滑度的关系，催生了对模仿学习中因果推断与鲁棒性约束的深入探讨，形成了活跃的研究分支。

数据集最近研究

最新研究方向

近年来，随着具身智能与双臂协作机器人技术的蓬勃发展，精细操作任务的自主化成为研究焦点。bimanual-cup-nesting数据集应运而生，专注于双机械臂协作完成杯具嵌套这一典型接触式装配任务。该数据集通过LeRobot框架采集了50个演示回合，包含超过12万帧高保真状态与多视角视觉信息，融合了左右臂的关节位置、夹爪状态及三路环视摄像头影像，为模仿学习与强化学习算法提供了丰富的训练素材。当前前沿方向聚焦于利用该数据集训练双臂协同策略，探索在非结构化环境中实现杯具精准对齐与柔顺插入的泛化能力，其成果将有力推动智能仓储、家庭服务等场景中复杂双手操作任务的自动化进程。