gr00t-n1.5-gr1-tabletop-rollouts

GR00T-N1.5-3B GR-1桌面rollout数据集（合并，38个任务）是一个用于机器人学研究的闭环仿真rollout数据集。它基于NVIDIA的GR00T N1.5（后训练检查点）在RoboCasa GR-1桌面基准测试上生成，并合并为单个多任务LeRobot v2.0数据集，可直接在LeRobot数据集可视化工具中打开。数据集包含1,826个episodes和1,314,720帧，每个episode的每一步都记录了状态、动作、奖励、完成和成功标志，并配有自我视角的mp4视频。数据同时包含成功和失败的episodes，用于测试拾放、夹具关闭、容器间操作等任务，支持任务索引过滤和特定机器人体现（Fourier GR-1人形机器人）。数据集采用CC-BY-NC-4.0许可。

The GR00T-N1.5-3B GR-1 desktop rollout dataset (merged, 38 tasks) is a closed-loop simulation rollout dataset for robotics research. It is generated based on NVIDIAs GR00T N1.5 (post-training checkpoint) on the RoboCasa GR-1 desktop benchmark and merged into a single multi-task LeRobot v2.0 dataset, which can be directly opened in the LeRobot dataset visualization tool. The dataset contains 1,826 episodes and 1,314,720 frames, with each step of an episode recording state, action, reward, completion, and success flags, accompanied by self-view mp4 videos. It includes both successful and failed episodes, used for testing tasks such as pick-and-place, gripper closing, and container manipulation, supporting task index filtering and specific robot embodiment (Fourier GR-1 humanoid robot). The dataset is licensed under CC-BY-NC-4.0.

原始信息汇总

数据集概述

该数据集是 NVIDIA GR00T N1.5 模型在 RoboCasa GR-1 桌面操作基准 上的闭环仿真 rollout 结果，合并为一个多任务 LeRobot v2.0 数据集。

基本信息

属性	值
模型	youliangtan/gr00t-n1.5-robocasa-tabletop-posttrain（基于 nvidia/GR00T-N1.5-3B 微调）
机器人	Fourier GR-1 人形机器人（双臂 + 腰部 + 手部）
基准	robocasa-gr1-tabletop-tasks
任务数	38 个（6 个 PnP-Close + 18 个 Posttrain SplitA + 14 个 Eval SplitB）
回放数	1,826 个（仅包含同时有 parquet 和视频的回放）
总帧数	1,314,720（约 72 秒/回放，10 fps，最大步数 720）
总体成功率	799 / 1826 = 0.44
数据格式	LeRobot v2.0，分为 2 个 chunk，每个 ≤1000 个回放
许可证	CC-BY-NC-4.0

任务分组

组别	task_index 范围	回放数	测试内容	平均成功率
pnp_close	0–5	283	拾取 → 放入夹具 → 关闭夹具	≈ 0.43
posttrain_novel_splitA	交错	870	容器间操作，训练实例（分布内）	≈ 0.49
eval_novel_splitB	交错	673	容器间操作，未见过实例（OOD 实例泛化）	≈ 0.45

数据结构（LeRobot v2.0）

meta/ info.json # 版本 v2.0，fps=10，38 任务，1826 回放，2 chunk，schema tasks.jsonl # 38 行：task_index → 任务名称 episodes.jsonl # 1826 行：回放索引、任务、长度、是否成功、来源组 stats.json # 状态、动作、奖励的均值/标准差/最小值/最大值/q01/q99（全数据集） task_groups.json # 任务名称 → {task_index, group} data/chunk-000/episode_000000.parquet ... chunk-001/episode_001825.parquet videos/chunk-000/observation.images.ego_view/episode_NNNNNN.mp4 ...

Parquet 列说明（每步）

列名	类型	描述
observation.state	list[float32] (29)	左臂[0:7]、右臂[7:14]、左手[14:20]、右手[20:26]、腰部[26:29]
action	list[float32] (29)	执行的动作，布局同上
next.reward / next.done / next.success	float32 / bool / bool	每步奖励；最后一帧 done 为 True；成功标志一旦达成即粘滞
timestamp、frame_index、episode_index、task_index、index	—	元数据；task_index 指定任务
annotation.human.action.task_description	int64	指向 tasks.jsonl 的索引

可视化

可通过 LeRobot 数据集可视化工具 直接查看。

记录协议

使用 gym.Wrapper 在 VideoRecordingWrapper/MultiStepWrapper 下层记录每一步的 29 维动作和匹配的观察。MultiStepWrapper 直接应用 chunk[i]，无平滑/插值/实时分块。每个回放运行完整的 720 步（仿真不会在成功时终止，next.success 会在中期变为 True）。去噪步数 denoising_steps=4。