ETHRC/yams-carton-box-closing-noe-exploring-30-04-2026

该数据集由LeRobot创建，用于机器人技术研究。包含22个episodes和21371帧数据，涵盖动作数据、观察状态数据以及右腕、左腕和俯视视角的视频数据。数据以parquet格式存储，视频以mp4格式存储。数据集适用于机器人控制和学习任务。

This dataset was created using LeRobot for robotics research. It contains 22 episodes and 21371 frames, including action data, observation state data, and video data from right wrist, left wrist, and top-down perspectives. The data is stored in parquet format, and videos are in mp4 format. The dataset is suitable for robot control and learning tasks.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，旨在服务于机器人操控任务。数据采集使用了名为bi_yams_follower的双臂机器人平台，针对“纸箱闭合”这一单一任务，共记录了22个完整回合、总计21371帧的示范数据。数据集以30帧/秒的频率同步采集机器人14维关节位姿、三路高清视频（右腕、左腕及俯视视角）以及时间戳与回合索引等结构化信息。原始数据被分块存储为Parquet格式与MP4视频文件，便于高效加载与分布式处理。

特点

数据集呈现出高度结构化与多模态融合的鲜明特征。动作与状态空间均为14维，涵盖左右双臂各6个关节与1个夹爪的位置信息，完美映射了双臂协同操作的物理约束。三路640x480分辨率的高清视频分别从不同视角捕获环境与机械臂的动态，为视觉-运动策略学习提供了丰富的观测维度。总计21371帧、22个回合的规模虽显精炼，但针对单一任务确保了数据的专注性与一致性，适合用于模仿学习范式下的初步验证与算法对比。

使用方法

借助LeRobot工具链，用户可通过HuggingFace数据集接口直接加载该数据。典型的使用流程包括：首先利用预定义的train拆分读取Parquet格式的状态与动作序列，同时按需索引对应的视频片段；随后对动作与状态数据进行归一化或差分处理，构建适用于模仿学习或强化学习的观测-动作对；最后，结合语言指令字段，可拓展至多模态条件指令跟随任务。推荐采用PyTorch DataLoader配合LeRobot的Dataset类实现高效批处理与数据增强。

背景与挑战

背景概述

该数据集由ETH Robotics Center (ETHRC)于2026年4月30日创建，旨在推动双臂机器人在精细操作任务中的学习与泛化能力。核心研究问题聚焦于如何通过多视角视觉与关节状态信息的融合，实现机器人对非刚性物体（如纸箱）的闭合操作。数据集采用LeRobot框架采集，包含22个演示回合、21371帧时序数据，涵盖14维关节动作与状态空间，以及三路摄像头（左/右腕部与俯视）的同步视频流。作为双臂机器人操作领域的高质量公开资源，它为探索模仿学习与强化学习算法的迁移性提供了关键基准，尤其适用于工业包装与物流自动化场景。

当前挑战

该数据集所解决的领域挑战在于双臂机器人在非结构化环境中的精准操作，例如纸箱闭合任务涉及多关节协同、力位混合控制及物体形变动态建模。构建过程中亦面临显著困难：首先，高维度动作空间（14维）与视觉观测的同步对齐需要精密硬件校准与时间戳一致性保障；其次，22个演示回合的有限样本量要求数据扩增策略以避免过拟合；此外，210MB的视频与100MB的parquet文件在存储与传输时需平衡压缩比与保真度，而单任务设定（仅纸箱闭合）则限制了数据集的泛化性，需后续扩展多任务与多物体场景以提升算法鲁棒性。

常用场景

经典使用场景

在机器人操作与模仿学习领域，yams-carton-box-closing-noe-exploring-30-04-2026数据集专为双臂协作任务而设计，其经典应用场景聚焦于自动化纸箱封箱操作。该数据集利用双YAMS机器人从多视角（顶部、左右腕部）采集了22个完整操作演示，包含21,371帧高分辨率视频与14维关节位置动作序列。研究者可基于此数据训练策略网络，使机器人学习闭合纸箱的精细化操作，包括双臂协调、力矩控制与轨迹规划。数据集提供的语言指令字段还可支持跨模态学习与自然语言引导的机器人操控，为工业包装场景下的机器人技能迁移奠定了数据基础。

衍生相关工作

该数据集已催生一系列衍生研究工作：基于其14维动作空间与语言指令设计，研究者提出用于双臂操作的语义条件扩散策略模型；利用多视角视频数据开发的时空注意力网络显著提升了纸箱定位与抓取点的预测精度；引入闭环校正的模仿学习框架则解决了操作过程中纸箱盖弹性形变导致的轨迹偏差问题。此外，该数据集被用于验证人机共享控制中的隐式意图推断算法，以及作为LeRobot社区中双臂任务仿真的标准测试集，推动了开源机器人研究生态的协作与复用。

数据集最近研究

最新研究方向

在具身智能与机器人操作领域，双臂协调作业已成为当前研究的热点。该数据集聚焦于纸箱封箱这一工业场景下的精细化操作，记录了基于LeRobot框架的双臂机器人完成闭合动作的完整轨迹与多视角视觉数据。其核心前沿方向在于利用14维关节状态与动作空间、同步捕捉的腕部及俯视视频流，驱动模仿学习与视觉-运动策略的端到端训练。该数据集为探索具有空间约束与力觉交互的封闭式操作任务提供了高质量的基准资源，其意义在于推动从单臂抓取向双臂协作范式迈进，并为自动化仓储与包装工艺的智能化升级提供了可复现的数据基础。