遇见数据集

robomme_geometry

收藏
Hugging Face2026-08-31 更新2026-08-31 收录
官方服务:

资源简介:

基于RoboMME的几何增强数据集,从原始RoboMME HDF5轨迹中提取几何信息,包括末端执行器位姿(多种旋转表示)、相机内参(3x3矩阵)和外参(世界坐标系到相机坐标系)、夹爪事件时间(关闭/打开剩余秒数)。所有原始RGB、状态、动作、注释、回合和任务列保持不变。

A geometry-enhanced dataset based on RoboMME, extracting geometric information from original RoboMME HDF5 trajectories, including end-effector poses (multiple rotation representations), camera intrinsics (3x3 matrix) and extrinsics (world-to-camera coordinate system), and gripper event times (seconds remaining for closing/opening). All original RGB, state, action, annotation, episode, and task columns remain unchanged.

提供机构:
phicoltan
创建时间:
2026-08-31
原始信息汇总

RoboMME 几何增强数据集 (phicoltan/robomme_geometry)

数据集概览

该数据集是 RoboMME 的几何增强版本,基于 LeRobot 框架创建,从原始 RoboMME HDF5 轨迹中恢复几何信息,并添加了末端执行器位姿、相机参数和夹爪事件等增强特征。

  • 许可证: Apache-2.0
  • 任务类型: 机器人 (Robotics)
  • 机器人类型: Panda (panda)
  • 数据规模: 1600 个episode,768,897 帧,116 个任务
  • 采样频率: 10 FPS
  • 数据集分割: 训练集 1600 个episode
  • 代码库版本: v3.0

数据集结构

  • 数据文件: data/*/*.parquet (约 100 MB)
  • 视频文件: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4 (约 200 MB)
  • 视频编码: AV1,分辨率 256x256x3
  • Chunk 大小: 1000

新增特征

1. 末端执行器位姿列

位姿列包含 [位置, 旋转, 夹爪],支持以下旋转表示:

  • rotvec (7维)
  • quat_xyzw (8维)
  • rot6d (10维)
  • rot6d_rows (10维)
  • matrix (13维)
  • euler_xyz_extrinsic (7维)

两类末端执行器数据

  • observation.state.ee_*: 记录的绝对实测末端执行器位姿
  • action.ee_absolute.*: RoboMME 记录的绝对末端执行器目标位姿(由关节空间动作通过正向运动学计算得出)

2. 相机参数

  • 内参: observation.intrinsics.imageobservation.intrinsics.wrist_image,为 3x3 OpenCV 相机矩阵
  • 外参: observation.extrinsics.imageobservation.extrinsics.wrist_image,存储为世界坐标系到相机坐标系的 [xyz, 四元数 xyzw] 格式

3. 夹爪事件

  • observation.gripper.time_to_close: 距下一次夹爪关闭命令的秒数
  • observation.gripper.time_to_open: 距下一次夹爪打开命令的秒数

夹爪动作约定:-1 表示关闭,+1 表示打开。事件搜索不会跨越episode边界或演示/执行边界。

4. 块锚定统计信息

meta/stats.json 中包含基于执行块的偏移统计信息 (action.ee_absolute.<rotation>.anchored_horizon_50),仅使用执行块,位置锚定到块起始时的实测末端执行器位置。

原始列信息

数据集保留了来自 lerobot/robomme 的原始 RGB、状态、动作、标注、episode 和任务列,包括:

  • image, wrist_image: 视频数据 (256x256x3)
  • state, actions: 8维 float32 状态/动作
  • simple_subgoal, grounded_subgoal: 子目标标注
  • simple_subgoal_online, grounded_subgoal_online: 在线子目标标注
  • is_demo, exec_start_idx, step_idx, epis_idx: 演示与执行标记
  • timestamp, frame_index, episode_index, index, task_index: 索引信息
二维码
社区交流群
二维码
科研交流群
商业服务