kitchen_organization

这是一个多任务厨房整理数据集，包含三个具体任务：将盘子、杯子和勺子放到餐具架上，其中包括手对手传递动作。数据是在YAM双臂机器人上采集的，作为Flex-π项目的一部分。数据集采用LeRobot v2.1格式存储，包含来自三个摄像头（高位摄像头、左腕摄像头、右腕摄像头）的同步RGB图像和度量深度图像。共包含248个episodes，146,025帧，总时长约1.4小时，帧率为30fps。状态和动作均为32维，包括左右臂末端执行器位置（3维）、旋转（6维6D表示）、夹爪状态（2维）以及左右臂关节位置（各6维）。深度图像为uint16毫米格式，无损FFV1编码。This is a multi-task kitchen organization dataset comprising three specific tasks: placing plates, cups, and spoons onto a dish rack, including hand-to-hand transfers. The data was collected on a YAM dual-arm robot as part of the Flex-π project. The dataset is stored in LeRobot v2.1 format and contains synchronized RGB images and metric depth images from three cameras (overhead camera, left wrist camera, right wrist camera). It includes 248 episodes, 146,025 frames, approximately 1.4 hours of total duration at 30 fps. The state and action are both 32-dimensional, including left and right arm end-effector positions (3D), rotations (6D representation), gripper states (2D), and left and right arm joint positions (6D each). Depth images are in uint16 millimeter format with lossless FFV1 encoding.

原始信息汇总

kitchen_organization 数据集概览

基本信息

• 许可协议：CC-BY-4.0
• 任务类型：机器人操作（Robotics）
• 数据集规模：248个episodes，共146,025帧，总时长约1.4小时（30fps）
• 任务数量：3个厨房整理任务
• 机器人平台：YAM双臂机器人
• 数据格式：LeRobot v2.1格式，包含三台相机的同步RGB和公制深度信息

任务内容

1. 从桌上拿起盘子，换手后放到碗架上
2. 从桌上拿起杯子并放到碗架上
3. 从桌上一个一个拿起勺子并放到碗架上

相机配置

相机	分辨率	类型
cam_high	640×360	RGB (H.264 .mp4) + 深度 (FFV1 .mkv)
cam_left_wrist	640×360	RGB (H.264 .mp4) + 深度 (FFV1 .mkv)
cam_right_wrist	640×360	RGB (H.264 .mp4) + 深度 (FFV1 .mkv)

相机内参（640×360分辨率下的平均针孔模型K矩阵）

相机	fx	fy	cx	cy
cam_high	262.27	262.11	320.51	183.18
cam_left_wrist	365.72	365.50	318.08	182.79
cam_right_wrist	366.90	366.67	324.67	171.96

数据组织

• 索引：episodes编号0到247，分块存储（每块1000个episodes，共1块）
• Parquet索引列：全局帧计数器，范围0至146,024
• 目录结构：包含meta/（元数据）、data/（状态和动作parquet文件）、videos/（RGB和深度视频）

状态和动作空间

• 维度：状态和动作均为32维
• 布局：按字段分组，而非按手臂排列
  • 0:3：左端执行器位置
  • 3:9：左端执行器旋转（6D表示）
  • 9:12：右端执行器位置
  • 12:18：右端执行器旋转（6D表示）
  • 18:20：左右夹爪
  • 20:26：左关节（6个自由度）
  • 26:32：右关节（6个自由度）
• 旋转表示：6D旋转为3×3旋转矩阵的前两行按行优先展平，可通过Gram-Schmidt正交化恢复完整旋转矩阵

深度数据说明

• 深度为单通道uint16毫米格式，FFV1编码（无损），存储于Matroska容器中
• 0值表示无返回信号
• 深度流在meta/info.json中声明为depth_video类型（而非video），因此标准LeRobotDataset加载器会自动跳过深度流，RGB数据集开箱即用

数据加载

• 仅RGB：使用标准LeRobot库，LeRobotDataset("flex-pi/kitchen_organization")
• RGB + 深度：需使用Flex-π代码库中支持深度的加载器

数据来源

原始录音文件包括：uniflow_pass_and_put_plate_on_the_rack、uniflow_put_cup_on_the_rack、uniflow_put_plate_on_the_rack、uniflow_put_spoon_on_rack

引用

使用此数据集时，请引用Flex-π项目。