move_block_joint

这是一个关于机器人的数据集，包含95个剧集，共计9701帧，分为1个任务。数据集以Parquet文件格式存储，每个剧集包含一个视频文件。数据集特征包括机器人的状态、动作、RGB图像等信息。数据集的许可证为Apache-2.0。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot

数据集结构

• 总情节数: 95
• 总帧数: 9701
• 总任务数: 1
• 总视频数: 285
• 总块数: 1
• 块大小: 1000
• 帧率: 30 FPS
• 分割: 训练集（0:95）

数据文件

• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征

观察状态

• 数据类型: float32
• 形状: [32]
• 名称:
  • tcp_left_pos_x, tcp_left_pos_y, tcp_left_pos_z
  • tcp_left_quat_x, tcp_left_quat_y, tcp_left_quat_z, tcp_left_quat_w
  • tcp_right_pos_x, tcp_right_pos_y, tcp_right_pos_z
  • tcp_right_quat_x, tcp_right_quat_y, tcp_right_quat_z, tcp_right_quat_w
  • gripper_left_0, gripper_left_1, gripper_right_0, gripper_right_1
  • last_command_left_0 至 last_command_left_6
  • last_command_right_0 至 last_command_right_6

动作

• 数据类型: float32
• 形状: [16]
• 名称:
  • joint_left_0 至 joint_left_6
  • joint_right_0 至 joint_right_6
  • gripper_left, gripper_right

观察图像

RGB静态图像

• 数据类型: 视频
• 形状: [640, 640, 3]
• 名称: 高度、宽度、通道
• 信息:
  • 视频高度: 640
  • 视频宽度: 640
  • 视频编解码器: av1
  • 视频像素格式: yuv420p
  • 视频是否为深度图: 否
  • 视频帧率: 30
  • 视频通道数: 3
  • 是否有音频: 否

RGB左图像

• 数据类型: 视频
• 形状: [640, 640, 3]
• 名称: 高度、宽度、通道
• 信息: 与RGB静态图像相同

RGB右图像

• 数据类型: 视频
• 形状: [640, 640, 3]
• 名称: 高度、宽度、通道
• 信息: 与RGB静态图像相同

其他特征

• 时间戳: float32, 形状[1]
• 帧索引: int64, 形状[1]
• 情节索引: int64, 形状[1]
• 索引: int64, 形状[1]
• 任务索引: int64, 形状[1]

创建信息

• 代码库版本: v2.1
• 创建工具: LeRobot (https://github.com/huggingface/lerobot)

搜集汇总

数据集介绍

构建方式

在机器人操作任务研究领域，move_block_joint数据集通过LeRobot平台系统采集了95条完整操作序列，涵盖9701帧多维时序数据。数据以30Hz频率同步记录双机械臂的关节状态、末端位姿、夹爪开合度及三视角RGB视频流，并以分块Parquet格式高效存储，确保原始动作-观测对的精确对齐与可扩展性。

特点

该数据集的核心价值在于其多模态异构数据的深度融合，包含32维浮点型状态向量（涵盖左右机械臂的笛卡尔位姿、四元数及历史指令）和16维动作空间（关节角与夹爪控制量），辅以640x640分辨率的三路高清视频流。所有数据均带有精确时间戳与帧索引，支持端到端的模仿学习与强化学习算法验证。

使用方法

研究者可通过加载标准Parquet数据文件直接获取时序对齐的多模态序列，利用帧索引重构操作轨迹。视频数据支持逐帧解码与状态动作联合分析，适用于行为克隆、逆强化学习等任务。数据集默认划分为训练集，需注意验证泛化性能时需自行设计评估协议。

背景与挑战

背景概述

机器人操作任务数据集move_block_joint由HuggingFace的LeRobot项目构建，专注于双机械臂协同操作的复杂场景。该数据集通过记录机械臂末端执行器位姿、关节状态及多视角视觉信息，为机器人学习提供多维感知数据。其设计旨在推动模仿学习与强化学习算法在实体机器人上的应用，通过真实物理交互数据弥补仿真与现实的差距。数据集采用Apache 2.0开源协议，包含95条完整操作序列和9701帧高分辨率视频数据，为机器人灵巧操作研究提供了重要基础资源。

当前挑战

该数据集核心挑战在于解决双机械臂协同操作中的高维状态空间建模问题，需同步处理32维状态观测值与16维动作空间的复杂映射关系。构建过程中面临多传感器时序对齐的技术难点，包括机械臂关节编码器、视觉传感器与控制系统的时间戳精确同步。多视角RGB视频数据的存储与压缩同样构成挑战，需在保持640×640分辨率前提下平衡数据质量与存储效率，同时确保AV1编码格式下视频帧与机械状态数据的严格对应。

常用场景

经典使用场景

在机器人操作任务研究中，move_block_joint数据集作为双臂协同操作的典型范例，广泛应用于模仿学习与强化学习算法的训练与验证。该数据集通过记录双机械臂抓取和移动积木块的全过程，包含高维关节状态、末端执行器位姿及多视角视觉数据，为研究者在复杂操作任务中提供了丰富的状态-动作对序列。其经典使用场景包括构建端到端的策略网络，训练模型从视觉输入直接预测关节控制指令，推动机器人自主操作能力的发展。

衍生相关工作

围绕move_block_joint数据集，已衍生出一系列经典研究工作，包括基于Transformer的多模态策略学习、分层强化学习框架以及跨任务迁移方法。这些工作利用数据集中丰富的关节状态与视觉对应关系，提出了新型的模仿学习算法和实时运动生成模型。部分研究进一步扩展了数据集的应用范围，结合模拟器进行数据增强与策略泛化，推动了机器人操作技能的可转移性与适应性研究。

数据集最近研究

最新研究方向

在机器人操作学习领域，move_block_joint数据集凭借其双机械臂协同操作的多模态特性，正成为模仿学习与强化学习融合研究的重要资源。该数据集通过高精度关节控制指令与多视角视觉观测的同步记录，为双臂协同抓取与物体操控任务提供了丰富的训练样本。当前研究热点集中于利用此类数据开发端到端的神经网络策略，探索视觉-动作映射的泛化能力，特别是在少样本学习与跨任务迁移方面的应用。随着家庭服务机器人及工业自动化需求的增长，该数据集对推动复杂环境下双臂协调控制技术的发展具有显著意义，为机器人行为克隆与自主决策系统的优化提供了实证基础。