gr00t-n1.5-gr1-tabletop-rollouts

该数据集是NVIDIA GR00T N1.5（后训练检查点）模型在RoboCasa GR-1 Tabletop基准测试上的闭环模拟rollout数据，已合并为单一的多任务LeRobot v2.0格式数据集，可直接在LeRobot数据集可视化工具中打开。数据集旨在评估机器人操作性能，包含成功和失败的rollout数据，每个episode的parquet行对应一个应用的环境步骤，记录状态、动作、奖励、完成标志和成功标志，并与每个episode的ego-view mp4视频对齐。数据集包含38个任务，分为三个组：pnp_close（6个任务，测试拾取-放置-关闭夹具）、posttrain_novel_splitA（18个任务，分布内训练实例）和eval_novel_splitB（14个任务，分布外实例泛化）。数据规模为1,826个episodes，1,314,720帧，总体成功率为0.44。数据采用LeRobot v2.0格式组织，包含meta文件（如任务映射、episode元数据、统计信息）和data/videos目录。parquet模式详细定义了观察状态（29维浮点数列表，对应左臂、右臂、左手、右手和腰部关节）、动作（29维浮点数列表）、奖励、完成标志、成功标志等字段。数据集适用于机器人操作任务的研究、模型评估和仿真分析，特别是针对GR-1人形机器人（带傅里叶手）的桌面操作场景。许可证为CC-BY-NC-4.0。

原始信息汇总

数据集概述：GR00T-N1.5-3B GR-1 Tabletop Rollout Dataset

该数据集包含了NVIDIA的GR00T N1.5模型在RoboCasa GR-1桌面基准测试上的闭环仿真 rollout 结果，并合并为一个多任务 LeRobot v2.0 数据集。

• 数据集名称: GR00T-N1.5-3B GR-1 Tabletop rollout dataset (merged, 38 tasks)
• 许可证: CC-BY-NC-4.0
• 任务类别: 机器人学
• 标签: LeRobot, 机器人学, gr00t, robocasa, 人形机器人, 操作, rollouts
• 数据规模: 1M < n < 10M

核心信息

属性	值
模型	youliangtan/gr00t-n1.5-robocasa-tabletop-posttrain
基础模型	nvidia/GR00T-N1.5-3B
机器人	Fourier GR-1 人形机器人 (双臂 + 腰部 + Fourier 灵巧手)；具身 gr1，数据配置 fourier_gr1_arms_waist
基准测试	robocasa-gr1-tabletop-tasks
任务数量	38 (6 PnP-Close + 18 Posttrain SplitA + 14 Eval SplitB)
episode 数量	1,826 (仅包含同时拥有 parquet 和视频的 episodes)
总帧数	1,314,720 (约 72 秒/ episode，10 fps，max_episode_steps=720)
整体成功率	799 / 1826 = 0.44
数据格式	LeRobot v2.0，2 个 chunks，每个 ≤ 1000 episodes

任务分组

通过 meta/episodes.jsonl 中的 src_group 字段划分。

组名	task_index 范围	Episodes	测试内容	平均成功率
pnp_close	0–5	283	抓取 → 放入夹具 → 关闭夹具	≈ 0.43
posttrain_novel_splitA	(交错排列)	870	容器到容器，训练实例 — 分布内	≈ 0.49
eval_novel_splitB	(交错排列)	673	容器到容器，保留实例 — OOD-实例泛化	≈ 0.45

数据结构 (LeRobot v2.0)

meta/ info.json # codebase_version=v2.0, fps=10, 38 tasks, 1826 episodes, 2 chunks, schema tasks.jsonl # 38 行：task_index -> task name episodes.jsonl # 1826 行：episode_index, tasks, length, is_success, src_group stats.json # 对整个数据集的 state、action、reward 计算的 mean/std/min/max/q01/q99 task_groups.json # task name -> {task_index, group} data/chunk-000/episode_000000.parquet ... chunk-001/episode_001825.parquet videos/chunk-000/observation.images.ego_view/episode_NNNNNN.mp4 ...

Parquet schema（每个应用步骤）:

列	类型	描述
observation.state	list[float32] (29)	左臂[0:7]，右臂[7:14]，左手[14:20]，右手[20:26]，腰部[26:29]
action	list[float32] (29)	应用的动作，布局同上
next.reward / next.done / next.success	float32 / bool / bool	每步奖励；最后一帧 done 为 True；目标达成后 success 持续为真
timestamp, frame_index, episode_index, task_index, index	—	记录信息；task_index 选择任务
annotation.human.action.task_description	int64	指向 tasks.jsonl 的索引

数据加载示例

通过 gr00t.data.dataset 中的 LeRobotSingleDataset 加载，支持根据 task_index 过滤单个任务。

记录协议

使用一个位于 VideoRecordingWrapper/MultiStepWrapper 下方的 gym.Wrapper 记录每个应用的 29 维动作及其匹配的前一步观察。MultiStepWrapper 直接应用 chunk[i]，无平滑 / 插值 / 实时分块。episode 运行完整的 720 步（仿真不会在成功时终止；next.success 会在 episode 中途变为 True）。服务端 denoising_steps=4。

搜集汇总

数据集介绍

构建方式

该数据集源自NVIDIA GR00T N1.5-3B模型在RoboCasa GR-1 Tabletop基准环境中的闭环仿真推演（rollout）过程。通过将后训练检查点部署于Fourier GR-1人形机器人仿真体，在38个桌面操作任务中逐帧记录环境交互数据。每一条parquet行对应一个推演步骤，严格对齐(state, action, reward, done, success)五元组与第一人称视角mp4视频，并完整保留成功与失败轨迹。全部1,826个有效回合以LeRobot v2.0格式合并为单一多任务数据集，按2个区块组织，每块不超过1,000个回合。

特点

数据集涵盖三大任务群组：6个拾取-放置-闭合（PnP-Close）任务、18个训练实例内分布任务（Posttrain SplitA）以及14个实例外分布泛化测试任务（Eval SplitB），合计38种操作场景。每回合720帧（约72秒）、10Hz采样频率，总计约131万帧观测数据。平均成功率0.44，分布从0.43至0.49不等，为域内与域外泛化能力对比提供基准。动作空间为29维向量，涵盖双臂、双手、腰部关节的连续控制指令，无平滑或插值处理。

使用方法

用户可通过LeRobot v2.0 API加载数据集，支持单任务筛选与全任务集访问。加载时需配置模态映射，包括29维状态（含左臂、右臂、左手、右手、腰部）、29维动作、第一人称视频以及语言任务描述。借助task_index列可隔离特定操作任务进行分析。视频帧采样需依赖torchcodec库。数据集的元数据文件（tasks.jsonl、episodes.jsonl、stats.json等）清晰记录任务索引、回合长度、成功标志与统计特征，便于下游训练与评估流程的快速适配。

背景与挑战

背景概述

GR00T-N1.5-GR1-Tabletop-Rollouts数据集由NVIDIA研究团队于近期创建，旨在评估和推动人形机器人在桌面操作任务中的泛化能力。该数据集以Fourier GR-1人形机器人为载体，基于RoboCasa仿真基准，汇集了38项精细操作任务的1826个闭合仿真轨迹，总计超过130万帧数据。其核心研究问题在于验证后训练检查点GR00T N1.5-3B在分布内与分布外任务上的闭环性能，尤其关注实例级别的泛化能力。作为LeRobot v2.0格式的多任务数据集，它融合了拾取-放置、夹具闭合以及未知场景的零样本泛化任务，成功率为44%。该数据集为机器人学习社区提供了一个标准化的多任务评估基准，推动了人形机器人操作策略从仿真向真实世界迁移的研究。

当前挑战

该数据集面临的挑战集中于两个方面。首先，在领域问题层面，它致力于解决人形机器人桌面操作中策略的泛化难题，包括在高度结构化的拾取-放置任务中处理实例偏移（OOD），以及确保机器人能够从部分失败轨迹中学习鲁棒的行为。其次，在构建过程中，数据集面临与仿真环境同步的挑战：需在720步的固定长度下精确记录每个时间步的状态、动作与奖励信号，同时滤除不完整的轨迹（仅保留同时具有parquet与视频的片段）。此外，多任务混合带来的标签一致性、不同任务组间成功率的不均衡（从43%至49%），以及对视频与状态模态对齐的高要求，均增加了数据集构建的复杂度。

常用场景

经典使用场景

该数据集在机器人学习领域中的经典应用是评估和验证人形机器人在桌面操作任务上的闭环控制策略。它包含了38种不同的桌面操作场景，如拾取-放置-闭合等复合动作，能够系统性地测试模型在分布内和分布外实例上的泛化能力。研究者可借助该数据集的统一多任务格式，便捷地比较不同策略在同一基准上的表现，从而推动人形机器人操作技能的标准化评估。

衍生相关工作

基于该数据集已衍生出多项重要研究工作，其中最具代表性的是性能提升超过原始模型30%以上的强化学习后训练方法。研究团队利用该数据集的回滚轨迹，开发了新的奖励调整机制，使模型在分布外实例上的成功率从0.45跃升至0.70。此外，该数据集还被用作多任务模仿学习的基准，催生了基于层次化任务分解的操作架构，为构建跨场景、跨智能体的通用操作策略奠定了基础。

数据集最近研究

最新研究方向

当前，在人形机器人操控领域，基于大规模预训练模型进行闭循环仿真验证已成为评估泛化能力的关键范式。该数据集聚焦于NVIDIA GR00T N1.5模型在38项桌面操控任务上的仿真轨迹数据，涵盖了从基础抓取放置到复杂夹具闭合操作，并明确区分了分布内与分布外实例的泛化场景。通过记录完整的状态-动作-奖励序列及第一人称视角视频，数据集为研究模型在未见任务实例上的零样本迁移能力提供了丰富素材。其合并的多任务格式与LeRobot v2.0标准兼容，便于社区直接复现和对比分析，尤其为探索人形机器人全身协调操控中的任务复杂度与成功率关系提供了基准。这一工作不仅推动了对大规模基础模型在物理世界中适应性的理解，也为开发更具鲁棒性的策略提供了实证支持。