robomme_geometry
收藏资源简介:
基于RoboMME的几何增强数据集,从原始RoboMME HDF5轨迹中提取几何信息,包括末端执行器位姿(多种旋转表示)、相机内参(3x3矩阵)和外参(世界坐标系到相机坐标系)、夹爪事件时间(关闭/打开剩余秒数)。所有原始RGB、状态、动作、注释、回合和任务列保持不变。
A geometry-enhanced dataset based on RoboMME, extracting geometric information from original RoboMME HDF5 trajectories, including end-effector poses (multiple rotation representations), camera intrinsics (3x3 matrix) and extrinsics (world-to-camera coordinate system), and gripper event times (seconds remaining for closing/opening). All original RGB, state, action, annotation, episode, and task columns remain unchanged.
RoboMME 几何增强数据集 (phicoltan/robomme_geometry)
数据集概览
该数据集是 RoboMME 的几何增强版本,基于 LeRobot 框架创建,从原始 RoboMME HDF5 轨迹中恢复几何信息,并添加了末端执行器位姿、相机参数和夹爪事件等增强特征。
- 许可证: Apache-2.0
- 任务类型: 机器人 (Robotics)
- 机器人类型: Panda (panda)
- 数据规模: 1600 个episode,768,897 帧,116 个任务
- 采样频率: 10 FPS
- 数据集分割: 训练集 1600 个episode
- 代码库版本: v3.0
数据集结构
- 数据文件:
data/*/*.parquet(约 100 MB) - 视频文件:
videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4(约 200 MB) - 视频编码: AV1,分辨率 256x256x3
- Chunk 大小: 1000
新增特征
1. 末端执行器位姿列
位姿列包含 [位置, 旋转, 夹爪],支持以下旋转表示:
rotvec(7维)quat_xyzw(8维)rot6d(10维)rot6d_rows(10维)matrix(13维)euler_xyz_extrinsic(7维)
两类末端执行器数据:
observation.state.ee_*: 记录的绝对实测末端执行器位姿action.ee_absolute.*: RoboMME 记录的绝对末端执行器目标位姿(由关节空间动作通过正向运动学计算得出)
2. 相机参数
- 内参:
observation.intrinsics.image和observation.intrinsics.wrist_image,为 3x3 OpenCV 相机矩阵 - 外参:
observation.extrinsics.image和observation.extrinsics.wrist_image,存储为世界坐标系到相机坐标系的[xyz, 四元数 xyzw]格式
3. 夹爪事件
observation.gripper.time_to_close: 距下一次夹爪关闭命令的秒数observation.gripper.time_to_open: 距下一次夹爪打开命令的秒数
夹爪动作约定:-1 表示关闭,+1 表示打开。事件搜索不会跨越episode边界或演示/执行边界。
4. 块锚定统计信息
meta/stats.json 中包含基于执行块的偏移统计信息 (action.ee_absolute.<rotation>.anchored_horizon_50),仅使用执行块,位置锚定到块起始时的实测末端执行器位置。
原始列信息
数据集保留了来自 lerobot/robomme 的原始 RGB、状态、动作、标注、episode 和任务列,包括:
image,wrist_image: 视频数据 (256x256x3)state,actions: 8维 float32 状态/动作simple_subgoal,grounded_subgoal: 子目标标注simple_subgoal_online,grounded_subgoal_online: 在线子目标标注is_demo,exec_start_idx,step_idx,epis_idx: 演示与执行标记timestamp,frame_index,episode_index,index,task_index: 索引信息



