notstrober/desk-stationery-to-drawer-bimanual_v2

该数据集是一个机器人相关数据集，使用LeRobot创建。包含172个episodes和431566帧数据，主要用于记录双手机器人（bi_so_follower类型）的动作和状态观察。数据特征包括：12个关节位置（左右机械臂各6个）、三个视角的视频数据（左右前和右上方，分辨率480x640，30fps）、时间戳和索引信息。数据以parquet格式存储，总大小约300MB（数据100MB，视频200MB）。所有episodes都用于训练集。

This is a robotics dataset created using LeRobot. It contains 172 episodes and 431,566 frames, primarily recording actions and state observations of a bimanual robot (bi_so_follower type). Data features include: 12 joint positions (6 for each robotic arm), video data from three perspectives (left front, right front, and right top at 480x640 resolution, 30fps), timestamps, and index information. The data is stored in parquet format with a total size of approximately 300MB (100MB for data, 200MB for videos). All episodes are used for the training set.

搜集汇总

数据集介绍

构建方式

该数据集名为desk-stationery-to-drawer-bimanual_v2，专为机器人操作任务设计，聚焦于桌面文具收纳至抽屉的双臂协同作业。其构建依托LeRobot框架，通过远程操控或自主演示的方式采集演示数据。数据集共包含356个完整演示片段，总计约92.3万帧，采样频率为30帧每秒。每条轨迹中均同步记录了双臂12维关节角度作为动作指令与状态观测，同时采集来自左前、右前及右上方三个视角的640×480像素RGB视频流，形成多模态的机器人操作数据池。

特点

数据集的核心特征在于其高保真度的双臂操作场景还原。所有演示数据均以32位浮点数精确记录双臂各关节的位置变化，确保动作闭环的准确性。视频流采用AV1编码压缩，在保持清晰度的同时有效降低存储开销。数据按1000帧为单元进行分块存储，便于高效加载与流式处理。此外，数据集仅包含单一任务类型，保证了样本内演示策略的高度一致性，适用于模仿学习算法的训练与测评。

使用方法

使用者可通过LeRobot库中的数据集加载接口直接读取该数据集。默认配置下，所有356条演示轨迹被划分为训练集，无显式测试集划分。数据以Parquet格式存储结构化动作与状态序列，与之对应的MP4视频文件则按视角与分块索引组织。为适配常见的机器人学习管线，用户可依据meta/info.json中定义的feature结构，分别提取动作、状态与多视角图像，构建端到端的策略学习输入或进行行为克隆建模。

背景与挑战

背景概述

该数据集由研究者基于LeRobot框架创建，聚焦于双机械臂协同操作场景，具体任务为将桌面文具放入抽屉，属于机器人精细化操作领域。数据集于近年发布，依托HuggingFace平台，旨在为机器人模仿学习提供标准化训练样本。其核心研究问题在于双机械臂在有限空间内的协调动作学习，涉及视觉感知与运动控制的深度融合。数据集通过多视角摄像头（左前、右前、右顶）捕获高分辨率视频，并记录12维关节动作序列，为复现双机械臂合作策略提供了关键基准，推动了机器人从单一操作向协同作业的范式演进。

当前挑战

该数据集面临的主要挑战在于双机械臂协调中的运动规划与避碰问题，要求算法在狭窄桌面区域内同时控制两只机械臂执行不同子任务，如抓取文具与开启抽屉，这对空间位姿的实时解算提出严苛要求。构建过程中，数据采集需同步处理多视角相机帧率与机械臂执行器延迟，确保动作与视觉观测的时间对齐；同时，356次示范数据虽覆盖基本操作变异，但面对不同文具尺寸与抽屉方位时，泛化能力仍需增强，且基于parquet格式的存储与视频编码的压缩效率亦需平衡，以维持高频采样下的数据完整性。

常用场景

经典使用场景

在机器人操作研究领域，desk-stationery-to-drawer-bimanual_v2数据集专为双机械臂协同作业而设计，其经典使用场景聚焦于桌面文具收纳与抽屉开启的精细操作任务。该数据集包含356个完整演示片段，记录了双机械臂从桌面拾取文具并放入抽屉的全过程，每段演示以30帧/秒的高频采样，融合了12维关节角度状态与多视角视觉信息。研究者可基于此数据集训练模仿学习或强化学习模型，驱动机器人复现从桌面杂乱环境中识别文具、协调双臂完成抓取与收纳的连贯动作，为复杂室内场景下的双机协作提供标准化基准。

实际应用

在实际应用层面，该数据集赋能了智能家居与服务机器人领域的落地场景。例如，家庭助理机器人可学习如何平稳拉开抽屉并分类摆放学习用品，或应用于办公自动化中实现文件与办公器具的归位管理。此外，该数据集还支持仓储物流中的分拣任务，使双机械臂能协同完成小件物品的精准收纳。通过结合多视角视觉反馈与关节级控制指令，该数据为开发具备空间自适应能力的机器人系统提供了训练基石，降低了部署成本，加速了机器人在日常整理与精密操作中的商业化进程。

衍生相关工作

围绕该数据集衍生的经典工作集中在双臂模仿学习框架与跨任务泛化方法上。例如，基于LeRobot生态的扩展研究将本数据集作为训练基础，结合扩散策略或Transformer架构，实现了单手与双手任务间的动作迁移；另有工作利用该数据的十二维状态空间设计时空注意力模型，显著提升了多模态特征融合的鲁棒性。此外，该数据集也被用于验证奖励函数自生成技术在双臂场景下的有效性，并衍生出针对闭环控制策略的域随机化研究，推动了双臂机器人从演示驱动到自主适应的重要过渡。