robomme_lerobot_full

RoboMME训练数据集是LeRobot v3.0格式的数据集，专为memVLA模型的监督微调（SFT）设计。该数据集包含16个任务，每个任务有100个episodes，总计1,600个episodes和768,897帧数据（帧率为20 fps）。数据来源于官方H5格式数据，经过转换以对齐memVLA参考训练集的schema。机器人使用Panda单臂（具有7个关节和平行夹爪），仿真环境为ManiSkill3/SAPIEN。数据集包含116个任务字符串和5,841个子任务字符串，特征包括状态观测（如关节和夹爪状态）、动作（如关节绝对位置和夹爪命令）、前置和腕部相机视频（分辨率为3×256×256）、任务和子任务索引、以及视频演示标记。此外，还提供Video-QA辅助数据（包含多选问题的专家标注），可与动作数据联合训练。数据集可直接用于memVLA SFT，并包含训练侧配置示例。

The RoboMME training dataset is in the LeRobot v3.0 format, designed for supervised fine-tuning (SFT) of the memVLA model. It contains 16 tasks × 100 episodes, totaling 1,600 episodes and 768,897 frames (at 20 fps). The data is sourced from official H5 format data and converted to align with the schema of the memVLA reference training set. The robot uses a Panda single arm (7 joints + parallel gripper) in the ManiSkill3/SAPIEN simulation environment. The dataset includes 116 task strings and 5,841 subtask strings, with features such as state observations (joint and gripper states), actions (joint absolute positions and gripper commands), front and wrist camera videos (3×256×256 resolution), task and subtask indices, and video demonstration markers. Additionally, Video-QA auxiliary data (expert-annotated multiple-choice questions) is provided for joint training with action data. The dataset can be directly used for memVLA SFT and includes examples of training-side configurations.

原始信息汇总

RoboMME 训练数据集（LeRobot v3, memVLA-ready）

基本信息

• 许可证: Apache-2.0
• 任务类型: 机器人学（Robotics）
• 标签: LeRobot, robomme

数据集规模

• 总样本数: 1,600 episodes / 768,897 frames
• 帧率（FPS）: 20
• 控制频率: 20 Hz（ManiSkill3 默认 control_freq=20）
• 机器人: Panda 单臂机器人（7 关节 + 平行夹爪）
• 仿真器: ManiSkill3 / SAPIEN

任务与子任务

• 任务指令: 116 个 task 字符串（从 setup/task_goal[0] 提取，按 episode 参数化）
• 子任务: 5,841 个 subtask 字符串（4 个 subgoal 变体的并集）

特征维度说明

特征键	数据类型/形状	说明
observation.state	float32 (8,)	关节状态(7) + 夹爪状态[0]（米，范围 0–0.04）
action	float32 (8,)	关节动作：7 关节绝对位置 + 夹爪命令（-1 关闭 / 1 开启）
observation.images.front	video 3×256×256	前置相机，AV1 crf30 编码，20 fps
observation.images.wrist	video 3×256×256	腕部相机，编码同上
task_index → task	int64	总任务指令（LeRobot 原生机制）
subtask_index → subtask	int64	当前子目标（planner 视角）
subtask_online_index	int64	在线视角的子目标（可能提前切换）
subtask_grounded_index	int64	带像素定位的子目标（front 图 256×256 坐标）
subtask_grounded_online_index	int64	在线带像素定位的子目标
is_video_demo	bool (1,)	该帧属于执行前播放的条件视频段（action=hold）

四个 subtask index 均解析自 meta/subtasks.parquet（行位置 == index）。

Video-QA 副数据集（meta/vqa/）

RoboMME 的多选题专家标注，按 (episode_index, frame_index) 与主数据集对齐：

• meta/vqa/options.json: 每个任务的选项模板 {label, action, need_parameter}（同一任务所有 episode 恒定；need_parameter 的选项需附带 front 图 256×256 像素点 <y, x>）
• meta/vqa/choices.parquet: 699,702 行逐帧专家答案（包含 episode_index, frame_index, task_env, choice, point_y, point_x；无 point 时值为 -1）。覆盖 100% 执行帧；纯视频任务的演示段无答案，机器人演示型任务（Imitation/Reference 套件）演示段也带逐帧答案。

数据格式

• 配置名称: default
• 数据文件路径: data/*/*.parquet

转换约定

• task 取 task_goal[0]
• is_completed 帧的 subgoal 沿用上一个有效值（不引入 "All tasks completed" 哨兵）
• 视频演示帧全部保留，用 is_video_demo 标记
• 未包含 depth、相机参数、eef_action、choice_action（可从原 H5 补充）

来源

• 原始数据: Yinpei/robomme_data_h5
• Schema 对齐参考: keithyc/rmbench_lerobot_full（memVLA 参考训练集）