put_plate_on_the_rack

这是一个名为“put_plate_on_the_rack”的机器人操作数据集，包含301个片段，总计286,658帧，时长约2.7小时，帧率为30fps。任务是将盘子从桌子上一一拿起，并放入碗架的每个槽中。数据使用YAM双臂机器人收集，来自Flex-π项目，以LeRobot v2.1格式存储。包含三个摄像头（cam_high、cam_left_wrist、cam_right_wrist）的同步RGB和度量深度（毫米精度）数据。RGB图像为640×360分辨率，H.264编码的.mp4文件；深度图为640×360分辨率，FFV1无损编码的.mkv文件，数据类型为uint16毫米。状态和动作均为32维。This is a robot manipulation dataset named put_plate_on_the_rack, containing 301 episodes with 286,658 frames, approximately 2.7 hours at 30 fps. The task is to pick up plates one by one from the table and place them into each slot of the rack. Data was collected using the YAM dual-arm robot from the Flex-π project, stored in LeRobot v2.1 format. It includes synchronized RGB and metric depth (mm precision) from three cameras (cam_high, cam_left_wrist, cam_right_wrist). RGB images are 640×360 resolution, H.264 encoded .mp4 files; depth maps are 640×360 resolution, FFV1 lossless encoded .mkv files with uint16 millimeter data type. State and action are both 32-dimensional.

原始信息汇总

数据集概述

put_plate_on_the_rack 是一个面向机器人操作任务的真实双臂操作数据集，收集于 YAM 双臂机器人平台，作为 Flex-π 项目的一部分发布。数据以 LeRobot v2.1 格式存储，包含来自三个摄像头的同步 RGB 图像和公制深度图像。

核心信息

项目	详情
任务描述	从桌上逐一拿起盘子，并将其插入碗架上的槽位中
数据集规模	301 个回合（episodes），共 286,658 帧，时长约 2.7 小时（30 fps）
任务数量	1
机器人平台	yam（双臂）
摄像头	cam_high（顶部）、cam_left_wrist（左腕）、cam_right_wrist（右腕）
RGB 视频	640×360，H.264 编码，.mp4 格式
深度视频	640×360，FFV1 无损编码，.mkv 格式，uint16 毫米精度
状态/动作维度	32 维 / 32 维
许可证	cc-by-4.0

数据布局

meta/ info.json # 特征模式、总数、分块信息 tasks.jsonl # 任务索引到自然语言指令的映射 episodes.jsonl # 每个回合的长度和任务 episodes_stats.jsonl # 每个回合状态与动作的最小/最大/均值/标准差 camera_intrinsics.json # 各摄像头在存储分辨率下的针孔内参 K data/chunk-{NNN}/episode_{NNNNNN}.parquet videos/chunk-{NNN}/observation.images.{cam}/episode_{NNNNNN}.mp4 # RGB videos/chunk-{NNN}/observation.depth_ffv1.{cam}/episode_{NNNNNN}.mkv # 深度

回合索引为 0..300，按 1000 回合分块（本数据集仅 1 块）。parquet 中的 index 列是全局帧计数器，范围 0..286,657。

相机内参（640×360 分辨率）

相机	fx	fy	cx	cy
cam_high	262.27	262.11	320.51	183.18
cam_left_wrist	365.72	365.50	318.08	182.79
cam_right_wrist	366.89	366.67	324.67	171.96

深度数据说明

深度流是标准 LeRobot 的扩展，在 meta/info.json 中声明为 dtype: "depth_video"（而非 "video"），因此标准 LeRobotDataset 加载器会跳过深度数据，开箱即用得到纯 RGB 数据集；深度数据需要 Flex-π 代码库中的深度感知加载器来解码。每个深度帧是单通道 uint16 毫米 图，FFV1 编码为 gray16le 格式存储在 Matroska 容器中，0 表示无返回值。FFV1 为无损编码，解码值与传感器报告的值完全一致，请勿转码为有损格式。

状态与动作布局

observation.state 和 action 均为 32 维，按字段分组（而非按手臂分组）：

索引范围	内容
0:3	left_pos_{x,y,z} — 左臂末端位置
3:9	left_rot6d_{0..5} — 左臂末端旋转（6 维表示）
9:12	right_pos_{x,y,z} — 右臂末端位置
12:18	right_rot6d_{0..5} — 右臂末端旋转（6 维表示）
18:20	left_gripper、right_gripper
20:26	left_joint_{0..5}
26:32	right_joint_{0..5}

各维度的权威名称见 meta/info.json 中的 features.observation.state.names。6 维旋转表示为 3×3 旋转矩阵的前两行按行优先展开（Zhou 等人，《On the Continuity of Rotation Representations》），通过 Gram–Schmidt 正交化恢复完整的旋转矩阵 R。

加载方式

仅 RGB（使用标准 LeRobot）：

python from lerobot.common.datasets.lerobot_dataset import LeRobotDataset ds = LeRobotDataset("flex-pi/put_plate_on_the_rack")

RGB + 深度：需使用 Flex-π 代码库中的深度感知加载器。

数据来源与引用

数据源自原始录音 put_plate_to_rack_v4。使用该数据集时请引用 Flex-π 项目。