ETHRC/yams-carton-box-closing-fri-tom-mat-varing-fan-position

该数据集与机器人技术相关，特别是与LeRobot项目相关联。它包含了机器人动作和观察的各种特征，如关节位置、夹持器位置以及来自不同摄像头视角的视频数据。数据集的结构详细记录了数据文件、视频文件及其大小、帧率和分割等信息。

This dataset is associated with robotics, specifically with the LeRobot project. It contains various features related to robot actions and observations, including joint positions, gripper positions, and video data from different camera perspectives. The datasets structure is well-documented, including details about the data files, video files, and their respective sizes, as well as the frame rate and splits.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，旨在为机器人学习任务提供多模态演示数据。数据采集任务为关闭红薯纸箱，涉及双臂协同操作，机器人型号为bi_yams_follower。数据集包含8个有效片段，共计8458帧图像，采样频率为30帧每秒。数据存储采用分块方式，其中100兆字节的parquet文件用于存储动作与状态序列，200兆字节的H.264压缩视频文件则记录来自右腕、左腕及俯视三个视角的视觉信息。训练集与验证集暂未划分，默认全部片段可用于训练。每个片段均包含14维的双臂关节位置与夹爪状态信息，构成完整的动作与观测空间。

特点

该数据集的核心特点在于其丰富的多模态感知与精准的动作记录。三个独立摄像头视角（右腕、左腕及俯视）提供了480×640像素的彩色图像序列，能够全面捕捉操作过程的局部与全局动态。动作与状态空间均为14维，精确反映双臂六自由度关节及夹爪的开合位置，为模仿学习与双臂协调控制研究提供了高质量基准。数据集结构遵循LeRobot统一规范，包含时间戳、帧索引、片段索引等元信息，便于时序分析。尽管规模有限（仅8个片段），但其精心设计的单一任务聚焦于变风扇位置条件下的纸箱关闭操作，凸显了特定环境变量下的泛化潜力。

使用方法

数据集适用于基于模仿学习或强化学习的机器人操控算法开发与验证。用户可通过LeRobot库中的`load_dataset`函数直接加载，获取包含动作、机器人状态、多视角图像及时序元数据的结构化数据流。建议将数据划分为训练与验证子集以评估模型泛化能力；尽管当前仅提供单一任务，但可通过调整风扇位置进一步收集数据并扩展片段数。图像数据需解码为RGB矩阵后参与模型输入，动作序列可作为控制策略的回归目标。此外，数据集还支持可视化与回放，便于定性分析模型预测与实际操作的差异。

背景与挑战

背景概述

在机器人操作领域，模仿学习依赖于高质量、多样化的示教数据集以实现复杂技能的泛化。该数据集于近期由ETH Robotics (ETHRC) 研究团队创建，聚焦于“关闭薯片纸箱”这一精细操作任务，旨在探索环境变化（如风扇气流扰动）对机器人操作鲁棒性的影响。通过LeRobot框架采集，数据集涵盖了8个示范轨迹、超过8000帧多视角图像与14维关节动作序列，为研究动态环境下的灵巧操作提供了基准。其影响力在于推动视觉-运动策略在非结构化场景中的适应性，填补了轻工业包装操作中对抗环境干扰的数据缺口。

当前挑战

该数据集所解决的领域挑战在于如何提升机器人在受干扰环境下的操作可靠性——例如在风扇气流导致纸箱晃动时，仍能精准完成盒盖闭合。这要求算法从视觉与状态序列中提取抗干扰特征，而8个轨迹的样本量对泛化构成严峻考验。构建过程中的挑战则包括多相机同步（左腕、右腕及俯视摄像头）与视频-状态数据对齐，以保证时间一致性；此外，14维动作空间包含双臂6自由度关节与夹爪控制，其高维特性增加了策略学习的难度。环境变量的可控引入（如风扇位置变化）虽丰富了数据多样性，却也进一步放大了数据采集的噪声与标注复杂性。

常用场景

经典使用场景

在机器人操作领域，基于视觉的闭环控制是研究热点，而精细装配任务常因环境干扰而充满挑战。yams-carton-box-closing-fri-tom-mat-varing-fan-position数据集聚焦于双机械臂协同完成纸盒闭合操作，在风扇气流扰动这一动态环境下采集而成。该数据集的核心用途在于训练和评估模仿学习与强化学习算法，使机器人能够从多视角视觉输入中学习鲁棒的闭合策略。数据包含左右腕相机及俯视相机的同步视频流，配合14维关节位置与夹爪状态，为多模态感知-动作映射提供了标准基准，尤其适合研究干扰下的泛化能力与精细力控技巧。

解决学术问题

该数据集针对机器人操作中环境动态变化导致策略失灵的顽疾，系统性地研究了外部气流扰动对纸盒闭合任务的影响。通过记录风扇不同方位与风速下的操作数据，它解决了现有精细装配数据集缺乏真实环境扰动标注的空白。学术上，这一资源推动了对抗性训练在模仿学习中的应用，促使研究者关注状态分布偏移与动作鲁棒性之间的关联。其意义在于揭示了视觉反馈在非结构化环境中的关键作用，为构建抗干扰的通用操作策略提供了实验依据，并启发了动态场景下长时序决策问题的建模方法。

衍生相关工作

围绕该数据集，学界与工业界衍生出多项代表性工作。在算法层面，出现了结合时间对比学习的逆动力学建模方法，通过多视图特征对齐提升气流干扰下的动作预测精度。基于该数据集的深度强化学习研究还提出了扰动感知奖励函数，将风扇速度作为隐变量进行端到端学习。在硬件层面，边缘计算平台上的轻量化策略蒸馏工作成功在50ms内完成单步推理。这些工作进一步催生了双臂操作中的对称性约束理论，并启发了针对可变环境参数的域随机化方案在LeRobot框架中的标准化实现。