yams-carton-box-closing

该数据集使用LeRobot创建，专注于机器人技术任务。数据集包含来自双机械臂机器人系统的动作和观测数据，详细描述了各种特征的数据类型、形状和名称。数据以parquet文件格式存储，并包含视频数据。具体特征包括14个关节位置的动作数据、14个关节位置的观测状态数据、来自右腕、左腕和俯视摄像头的视频观测数据（分辨率为480x640，3通道），以及时间戳、帧索引、片段索引和任务索引等元数据。数据集的总片段数、总帧数和总任务数未明确说明，但数据文件总大小为100MB，视频文件总大小为200MB，视频帧率为30fps。数据集采用Apache-2.0许可证。

原始信息汇总

数据集概述

基本信息

• 数据集名称: yams-carton-box-closing
• 创建工具: LeRobot
• 许可证: Apache License 2.0
• 任务类别: 机器人学

数据集结构

• 数据文件格式: Parquet
• 数据文件路径模式: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径模式: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 数据块大小: 1000
• 帧率: 30 FPS

数据特征

动作空间

• 数据类型: float32
• 维度: 14
• 特征列表:
  • left_joint_1.pos
  • left_joint_2.pos
  • left_joint_3.pos
  • left_joint_4.pos
  • left_joint_5.pos
  • left_joint_6.pos
  • left_gripper.pos
  • right_joint_1.pos
  • right_joint_2.pos
  • right_joint_3.pos
  • right_joint_4.pos
  • right_joint_5.pos
  • right_joint_6.pos
  • right_gripper.pos

状态观测

• 数据类型: float32
• 维度: 14
• 特征列表: 与动作空间相同

图像观测

右腕摄像头

• 数据类型: 视频
• 图像尺寸: 480×640×3
• 通道: 高度、宽度、通道

左腕摄像头

• 数据类型: 视频
• 图像尺寸: 480×640×3
• 通道: 高度、宽度、通道

俯视摄像头

• 数据类型: 视频
• 图像尺寸: 480×640×3
• 通道: 高度、宽度、通道

元数据

• 时间戳: float32，维度1
• 帧索引: int64，维度1
• 回合索引: int64，维度1
• 数据索引: int64，维度1
• 任务索引: int64，维度1

技术信息

• 代码库版本: v3.0
• 机器人类型: bi_yams_follower
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB

数据统计

• 总回合数: 0
• 总帧数: 0
• 总任务数: 0
• 数据分割: 未指定

可视化

• 可视化地址: https://huggingface.co/spaces/lerobot/visualize_dataset?path=ETHRC/yams-carton-box-closing

引用信息

• 主页: 未提供
• 论文: 未提供
• BibTeX引用: 未提供

搜集汇总

数据集介绍

构建方式

在机器人操作领域，yams-carton-box-closing数据集依托LeRobot平台构建，专注于双机械臂协同完成纸箱封盖任务。该数据集通过记录机器人执行动作的完整轨迹生成，数据以分块形式存储为Parquet文件，每块包含1000帧数据，确保了高效的数据管理与访问。采集过程中，系统同步捕获了机械臂关节位置、夹爪状态等多维状态信息，并结合了来自腕部与俯视视角的高清视频流，形成了多模态的时序记录，为机器人模仿学习提供了丰富的原始素材。

特点

该数据集的核心特点在于其精细的多模态数据组织，不仅涵盖了14维的关节与夹爪动作向量，还集成了三路不同视角的视觉观测，每路视频分辨率均为640x480，帧率稳定在30fps。数据结构设计严谨，通过时间戳、帧索引与任务索引等元数据，实现了对操作序列的精确对齐与追溯。这种融合了高维状态空间与多视角视觉反馈的数据形态，尤其适用于需要复杂感知与动作协调的机器人策略学习，为算法验证提供了高度仿真的实验环境。

使用方法

研究人员可利用该数据集进行机器人模仿学习或强化学习算法的训练与评估。数据以标准化的Parquet格式提供，可通过Hugging Face平台直接加载，并借助LeRobot工具链进行可视化与分析。典型的使用流程包括：解析数据块中的动作与状态序列，同步读取对应的视频文件以获取视觉上下文，进而构建端到端的策略模型。数据集的结构化设计便于按任务或片段划分训练集与测试集，支持对机器人操作性能进行定量分析，推动在真实场景中泛化能力的提升。

背景与挑战

背景概述

在机器人操作领域，模仿学习与强化学习的发展亟需高质量、多模态的真实世界数据集作为支撑。yams-carton-box-closing数据集应运而生，它由Hugging Face的LeRobot项目团队创建，专注于双机械臂协同完成纸箱封箱这一精细操作任务。该数据集通过记录机械臂关节位置、夹爪状态以及多视角视觉信息，旨在为机器人灵巧操作研究提供丰富的交互数据，推动家庭服务与工业自动化中复杂物体操控技术的进步。

当前挑战

该数据集致力于解决机器人双机械臂协同操作中的序列决策与感知融合挑战，要求模型从高维视觉与状态数据中学习精确的动作策略以实现稳定封箱。在构建过程中，面临数据同步与对齐的复杂性，需确保来自不同传感器（如多个摄像头与关节编码器）的数据在时间上严格一致；同时，真实环境中的操作存在动态干扰与物体形变，增加了数据采集的鲁棒性与泛化性难度。

常用场景

经典使用场景

在机器人操作领域，yams-carton-box-closing数据集为双机械臂协同执行纸箱封口任务提供了丰富的多模态数据。该数据集通过记录机械臂关节位置、夹爪状态以及多视角视觉信息，典型应用于模仿学习与强化学习算法的训练与评估。研究人员可利用这些数据构建端到端的控制策略，模拟真实工业环境中复杂物体的精细操作过程，从而推动机器人自主执行包装任务的智能化水平。

解决学术问题

该数据集有效应对了机器人学中多臂协同操作的高维状态空间建模难题。通过提供同步的关节运动轨迹与视觉观测序列，它支持学者探究在动态环境下基于视觉的伺服控制、动作序列生成以及跨模态表征学习等核心问题。其结构化数据格式促进了仿真与真实世界之间的策略迁移研究，为减少对人工演示的依赖、提升机器人自适应能力奠定了实证基础。

衍生相关工作

围绕该数据集，衍生出了一系列专注于多臂操作与视觉运动集成的经典研究工作。这些工作通常涉及改进深度模仿学习框架、设计多传感器融合的决策网络，以及开发适用于连续动作空间的强化学习算法。部分研究进一步利用数据集的时序特性，探索长时程任务的分层规划方法，推动了机器人操作技能从单一动作向复杂作业流程的扩展。