GR1-Tabletop-Merged-300x24

GR1 Tabletop Merged LeRobot Datasets 是从 NVIDIA PhysicalAI-Robotics-GR00T-X-Embodiment-Sim 集合中合并和子采样的 GR1 桌面操作数据集，采用 LeRobot v2.0 格式。数据集包含三个变体：1000x24、300x24 和 100x24，分别包含约 40 GB、12 GB 和 4 GB 的数据。每个变体包含不同数量的演示和任务，总计 24 个任务文件夹和 185-186 个独特任务。数据集结构包括数据、视频和元数据文件夹，特征包括观察图像、状态、动作、时间戳、奖励等。数据集适用于机器人操作任务，特别是桌面物体转移任务。使用 Apache 2.0 许可证。

原始信息汇总

GR1 Tabletop Merged LeRobot Datasets 数据集概述

数据集基本信息

• 许可证: Apache 2.0
• 任务类别: 机器人学
• 标签: LeRobot, GR00T, GR1, robocasa, simulation, manipulation
• 数据规模: 10K<n<100K

数据集描述

本数据集是来自 NVIDIA PhysicalAI-Robotics-GR00T-X-Embodiment-Sim 集合的 GR1 桌面操作数据集的合并和二次采样版本，采用 LeRobot v2.0 格式。

数据集变体

变体	演示/任务	任务	总情节数	总帧数	近似大小
1000x24/	1000	24个文件夹，186个独立任务	24,000	6,020,058	~40 GB
300x24/	300	24个文件夹，186个独立任务	7,200	1,803,236	~12 GB
100x24/	100	24个文件夹，185个独立任务	2,400	602,846	~4 GB

源数据集

原始数据集下载自: nvidia/PhysicalAI-Robotics-GR00T-X-Embodiment-Sim

使用的24个源任务文件夹（每个包含1000个演示）：

• 6个 PnP 任务: Bottle→Cabinet, Can→Drawer, Cup→Drawer, Milk→Microwave, Potato→Microwave, Wine→Cabinet
• 18个 PosttrainPnPNovel 任务: 各种物体在不同表面间的转移任务（例如 Cuttingboard→{Basket,Cardboardbox,Pan,Pot,Tieredbasket}, Placemat→{Basket,Bowl,Plate,Tieredshelf}, Plate→{Bowl,Cardboardbox,Pan,Plate}, Tray→{Cardboardbox,Plate,Pot,Tieredbasket,Tieredshelf}）

处理流程

每个合并数据集的创建过程如下：

1. 二次采样: 从每个24个任务文件夹中随机采样N个情节（种子=42）。
2. 合并: 将所有采样的情节合并到单个数据集中，包含：
   • 重新索引的情节ID（0到总数-1）
   • 跨所有源文件夹的全局重新索引的任务ID
   • 更新了 episode_index、task_index 和 index 列的parquet文件
   • 合并的 meta/ 文件（info.json、episodes.jsonl、tasks.jsonl、modality.json）

关于任务数量的说明：100x24 变体有185个独立任务而非186个。这是因为某些任务文件夹包含多个任务变体（例如，PosttrainPnPNovelFromTrayToTieredbasket 文件夹有10个不同的物体变体，如茄子、番茄等）。“茄子”变体仅在1000个源情节中的58个里出现，因此当仅随机采样100个情节时，没有选中任何茄子情节。这是随机二次采样的预期行为。

数据集结构（LeRobot v2.0）

<variant>/ ├── data/ │ └── chunk-000/ │ ├── episode_000000.parquet │ ├── episode_000001.parquet │ └── ... ├── videos/ │ └── chunk-000/ │ └── observation.images.ego_view/ │ ├── episode_000000.mp4 │ ├── episode_000001.mp4 │ └── ... └── meta/ ├── info.json ├── episodes.jsonl ├── tasks.jsonl ├── modality.json ├── stats.json └── relative_stats.json

数据特征

特征	类型	形状
observation.images.ego_view	视频 (h264)	[256, 256, 3] @ 20fps
observation.state	float64	[44]
action	float64	[44]
timestamp	float64	[1]
next.reward	float64	[1]
next.done	bool	[1]
task_index	int64	[1]
episode_index	int64	[1]
annotation.human.coarse_action	int64	[1]

机器人: GR1ArmsAndWaistFourierHands (44自由度: 手臂、手、腿、颈部、腰部)

使用方式

python

下载特定变体

from huggingface_hub import snapshot_download

snapshot_download( repo_id="Joocjun/GR1-Tabletop-Merged-LeRobot", repo_type="dataset", allow_patterns="100x24/", # 或 "300x24/" 或 "1000x24/**" local_dir="./gr1_merged" )

搜集汇总

数据集介绍

构建方式

在机器人操作领域，数据集的构建质量直接影响模型泛化能力。GR1-Tabletop-Merged-300x24数据集源自NVIDIA的GR00T-X-Embodiment-Sim原始集合，通过系统化处理流程生成。具体而言，从24个任务文件夹中随机抽取300条演示轨迹，并采用固定随机种子确保可复现性。随后将采样后的多任务数据合并为统一格式，重新索引任务与轨迹标识符，并整合元数据文件，最终形成符合LeRobot v2.0规范的结构化数据集。

特点

该数据集聚焦于桌面物体操控任务，涵盖186种独特任务场景，包括基础放置与复杂跨表面转移操作。其核心特征体现在多模态数据融合：包含256x256分辨率的自我中心视角视频流、44维机器人状态与动作向量，以及人工标注的粗粒度动作标签。数据集采用GR1多自由度机器人模型，模拟真实世界中的手臂、手部及躯干协同操作，为模仿学习与强化学习算法提供了高保真仿真环境。

使用方法

研究者可通过HuggingFace Hub直接下载数据集的特定规模变体，利用LeRobot标准工具链进行加载与处理。典型使用流程包括：解析parquet格式的轨迹文件、关联视频流与状态序列，并依据任务索引构建训练批次。该数据集适用于跨任务策略学习、行为克隆算法验证，以及机器人操作模型的迁移能力评估，其标准化结构显著降低了多任务机器人学习的研究门槛。

背景与挑战

背景概述

机器人操作领域近年来致力于通过大规模仿真数据推动通用智能体发展。GR1-Tabletop-Merged-300x24数据集由NVIDIA PhysicalAI-Robotics团队于2024年前后构建，作为GR00T-X-Embodiment-Sim项目的重要组成部分，旨在解决桌面物体转移任务的多样化学习问题。该数据集整合了24类任务共186项独特操作场景，涵盖从基础抓放到复杂表面间物体迁移的广泛情境，为机器人模仿学习与强化学习算法提供了标准化、大规模的训练资源，显著促进了跨任务泛化能力的研究进程。

当前挑战

该数据集核心挑战在于如何实现机器人对多样化物体与场景的泛化操作能力。具体而言，任务涵盖从瓶罐放置到厨具转移等复杂序列操作，要求模型理解物体物理属性、空间关系及动作时序逻辑。在构建过程中，数据采集需在仿真环境中协调44自由度机器人完成高精度操作，并保持视觉、状态与动作数据的一致性；同时，数据合并与子采样需处理任务变体分布不均衡问题，例如随机采样可能导致少数物体变体缺失，影响任务覆盖的完整性。

常用场景

经典使用场景

在机器人操作领域，模拟数据对于训练智能体至关重要。GR1-Tabletop-Merged-300x24数据集通过整合GR1桌面操作任务，为机器人学习提供了丰富的演示轨迹。该数据集常用于离线强化学习与模仿学习算法的基准测试，研究者利用其包含的24个任务文件夹、186个独特任务，评估模型在多样化物体抓取与放置场景中的泛化能力。其标准化的LeRobot v2.0格式确保了数据的一致性与易用性，支持高效的大规模策略训练。

解决学术问题

机器人操作研究长期面临真实世界数据采集成本高昂、任务多样性不足的挑战。该数据集通过合并并子采样来自NVIDIA GR00T-X-Embodiment-Sim的模拟演示，有效解决了大规模、多任务操作数据稀缺的学术问题。它提供了高维状态与动作空间（44自由度）的对应关系，助力探索跨任务知识迁移、样本效率提升等核心议题。其结构化元数据与任务索引系统，为量化评估模型在复杂操作序列中的表现奠定了坚实基础。

衍生相关工作

围绕该数据集衍生的经典工作主要集中在机器人学习算法的创新上。例如，基于其多任务演示的离线强化学习研究，探索了如何从异构操作轨迹中提取通用策略；模仿学习领域则利用其标注的粗粒度动作，开发了分层决策模型。此外，该数据集作为GR00T-X-Embodiment生态的一部分，常被用于评估跨模态表示学习与具身智能框架，促进了如LeRobot等开源工具链的发展，为机器人社区提供了可复现的基准。