plug-usb-v4.1

该数据集是使用LeRobot框架创建的机器人操作数据集，专门针对Yamaha双臂机器人（yam_bimanual）。数据集包含99个完整的情节（episodes），总计104,774帧数据，覆盖1个任务，并包含297个视频片段。数据以30帧/秒的速率采集。每个数据点包含丰富的多模态信息：观测状态（observation.state）是一个32维的浮点向量，详细记录了左右机械臂末端执行器的位置（x, y, z）、旋转（6D表示）、夹爪开合状态以及各6个关节的角度；动作（action）是一个具有相同32维结构的向量，表示机器人执行的动作指令。观测图像来自三个视角：头部摄像头（observation.images.head）、左手腕摄像头（observation.images.left_wrist）和右手腕摄像头（observation.images.right_wrist），每个视频流为RGB格式（3通道），分辨率360x640，编码为H.264。此外，数据还包括时间戳（timestamp）、帧索引（frame_index）、情节索引（episode_index）、全局索引（index）和任务索引（task_index）等元数据。数据集主要用于机器人学习，特别是双臂协调操作任务的模仿学习或强化学习研究。数据以Parquet文件格式组织，视频以MP4格式单独存储。

This dataset is a robot manipulation dataset created using the LeRobot framework, specifically for the Yamaha bimanual robot (yam_bimanual). It contains 99 complete episodes, totaling 104,774 frames, covering 1 task, and includes 297 video clips. Data is collected at a rate of 30 frames per second. Each data point includes rich multimodal information: the observation state (observation.state) is a 32-dimensional floating-point vector that details the position (x, y, z), rotation (6D representation), gripper state, and joint angles (6 each) of the left and right robotic arm end-effectors; the action is a vector with the same 32-dimensional structure, representing the robots action commands. Observation images come from three perspectives: head camera (observation.images.head), left wrist camera (observation.images.left_wrist), and right wrist camera (observation.images.right_wrist), each video stream in RGB format (3 channels) with a resolution of 360x640 and encoded as H.264. Additionally, the data includes metadata such as timestamp, frame_index, episode_index, index, and task_index. The dataset is primarily used for robot learning, especially for imitation learning or reinforcement learning research in bimanual coordination tasks. Data is organized in Parquet file format, with videos stored separately in MP4 format.

原始信息汇总

数据集概述

• 数据集名称: plug-usb-v4.1
• 许可证: Apache-2.0
• 任务类别: 机器人学 (Robotics)
• 创建工具: 使用 LeRobot 创建

数据集结构

属性	值
代码库版本	v2.1
机器人类型	yam_bimanual
总 episode 数	99
总帧数	104,774
总任务数	1
总视频数	297
总数据块数	1
数据块大小	1000
帧率 (FPS)	30
数据分割	训练集: 0 到 98 (共 99 个 episode)

数据特征

观测状态 (observation.state)

• 数据类型: float32
• 形状: (32,)
• 包含字段:
  • 左/右机械臂位置 (x, y, z)
  • 左/右机械臂旋转 6D 表示 (rot6d_0 ~ rot6d_5)
  • 左/右夹爪状态 (gripper)
  • 左/右机械臂关节角度 (joint_0 ~ joint_5)

动作 (action)

• 数据类型: float32
• 形状: (32,)
• 字段与 observation.state 相同

图像观测

• 摄像头视角:
  1. head: 头部摄像头, 分辨率 360×640, 3 通道
  2. left_wrist: 左腕摄像头, 分辨率 360×640, 3 通道
  3. right_wrist: 右腕摄像头, 分辨率 360×640, 3 通道
• 视频编码: H.264, 像素格式 yuv420p, 30 FPS

其他特征

• timestamp: float32, 形状 (1,)
• frame_index: int64, 形状 (1,)
• episode_index: int64, 形状 (1,)
• index: int64, 形状 (1,)
• task_index: int64, 形状 (1,)

文件路径

• 数据文件: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频文件: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4