cube_transfer

这是一个关于机器人学的数据集，包含了51个剧集，共40566帧，专注于一个任务。数据集以Parquet格式存储，并包含了相应的视频文件。数据集的特征包括机器人的动作和状态，以及正面、左侧和右侧的图像信息。每个剧集都被划分到了训练集中。数据集的版本为v3.0，使用的机器人类型为bi_so101_follower。

原始信息汇总

数据集概述

基本信息

• 数据集名称: coffeeeaa/cube_transfer
• 许可证: Apache-2.0
• 任务类别: 机器人技术
• 标签: LeRobot

数据集来源

• 使用LeRobot创建 (https://github.com/huggingface/lerobot)

数据集结构

统计信息

• 总回合数: 51
• 总帧数: 40566
• 总任务数: 1
• 代码库版本: v3.0
• 机器人类型: bi_so101_follower
• 帧率: 30 FPS

数据规模

• 数据文件大小: 100 MB
• 视频文件大小: 500 MB
• 分块大小: 1000

数据分割

• 训练集: 全部51个回合

特征结构

动作特征 (action)

• 数据类型: float32
• 维度: [12]
• 关节位置:
  • 左肩平移位置
  • 左肩抬升位置
  • 左肘弯曲位置
  • 左腕弯曲位置
  • 左腕旋转位置
  • 左夹爪位置
  • 右肩平移位置
  • 右肩抬升位置
  • 右肘弯曲位置
  • 右腕弯曲位置
  • 右腕旋转位置
  • 右夹爪位置

观测状态 (observation.state)

• 数据类型: float32
• 维度: [12]
• 关节位置 (与动作特征相同)

图像观测

前视摄像头 (observation.images.front)

• 数据类型: 视频
• 分辨率: 480×640×3
• 视频编码: AV1
• 像素格式: yuv420p
• 非深度图

左视摄像头 (observation.images.left)

• 数据类型: 视频
• 分辨率: 480×640×3
• 视频编码: AV1
• 像素格式: yuv420p
• 非深度图

右视摄像头 (observation.images.right)

• 数据类型: 视频
• 分辨率: 480×640×3
• 视频编码: AV1
• 像素格式: yuv420p
• 非深度图

索引特征

• 时间戳: float32 [1]
• 帧索引: int64 [1]
• 回合索引: int64 [1]
• 索引: int64 [1]
• 任务索引: int64 [1]

文件路径格式

• 数据文件: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

搜集汇总

数据集介绍

构建方式

在机器人技术领域，cube_transfer数据集通过LeRobot平台精心构建，采用双机械臂系统bi_so101_follower采集实际交互数据。该数据集包含51个完整任务片段，总计40566帧数据，以30帧每秒的速率记录，并以分块形式存储为Parquet文件，每个块约1000帧，确保数据高效管理和可扩展性。构建过程整合了多模态传感器信息，包括机械臂关节状态和视觉观测，为机器人学习任务提供了丰富的真实世界基础。

特点

cube_transfer数据集展现出高度结构化的多模态特性，涵盖12维浮点型动作和状态向量，精确描述左右机械臂各关节位置及夹持器状态。视觉数据方面，提供前、左、右三个视角的RGB视频，分辨率达640x480，采用AV1编码以优化存储。数据集总规模约600MB，支持大规模机器人控制与感知研究，其清晰的元数据结构和分块设计便于快速访问和分析，增强了在复杂环境下的应用潜力。

使用方法

使用cube_transfer数据集时，研究人员可通过标准数据加载工具读取Parquet格式文件，直接访问动作、观测状态和多视角图像序列。数据集已预设训练分割，涵盖全部51个片段，支持端到端机器人策略学习或行为克隆任务。用户可结合时间戳和帧索引进行时序分析，或利用任务索引聚焦特定交互场景，实现高效模型训练与评估，推动机器人自主操作能力的进步。

背景与挑战

背景概述

在机器人操作学习领域，双臂协同控制一直是实现复杂任务执行的关键研究方向。cube_transfer数据集由HuggingFace的LeRobot项目创建，专门针对双臂机器人操作任务设计。该数据集记录了双手机械臂在物体转移任务中的完整操作序列，包含51个任务片段和40566帧数据，通过多视角视觉观测与12维关节控制信号构建了机器人操作的学习基础。其采用的Apache 2.0开源协议促进了机器人学习社区的协作发展，为模仿学习与强化学习算法提供了重要的训练资源。

当前挑战

该数据集致力于解决双臂机器人精细操作中的动作规划与多模态感知融合难题。构建过程中面临多传感器时序同步的技术挑战，需要确保三路视觉传感器与关节编码器数据的精确对齐。数据采集环节需克服机械臂运动轨迹平滑性与任务完成度之间的平衡问题，同时处理高维动作空间带来的标注复杂性。在数据处理层面，如何有效压缩视频流数据并保持动作序列的连续性，成为构建大规模机器人数据集的核心技术瓶颈。

常用场景

经典使用场景

在机器人操作学习领域，cube_transfer数据集为双臂协调控制研究提供了重要支撑。该数据集通过记录双手机器人执行物体传递任务时的完整运动轨迹和视觉信息，成为模仿学习算法的理想训练素材。研究人员可利用其包含的12维关节位置数据和多视角视频序列，构建从视觉感知到动作执行的端到端学习模型，特别适用于研究复杂操作任务中的运动规划问题。

解决学术问题

该数据集有效解决了机器人操作任务中样本效率低下的核心难题。通过提供真实环境采集的高质量示范数据，显著降低了强化学习算法的探索成本。其丰富的多模态观测信息为研究感知-动作映射关系提供了坚实基础，特别是在双臂协同操作、物体抓取传递等复杂任务中，为验证各类模仿学习和逆强化学习算法提供了标准化评估平台。

衍生相关工作

基于该数据集衍生的研究推动了行为克隆算法的显著进步，特别是在处理高维视觉输入与连续动作空间的映射关系方面。相关成果催生了多模态融合网络架构的创新，将关节传感器数据与视觉信息进行有效整合。在元学习领域，该数据集支撑了跨任务技能迁移的研究，为构建通用机器人操作能力奠定了数据基础。