OpenDriveLab/EgoHumanoid

EgoHumanoid样本数据集（G1）是一个与论文《EgoHumanoid: Unlocking In-the-Wild Loco-Manipulation with Robot-Free Egocentric Demonstration》同时发布的样本数据集，用于快速实验和微调。它包含两种数据源：机器人遥操作演示（使用Unitree G1机器人）和机器人无关的以自我为中心的人类演示（使用PICO VR和ZED设备）。数据集是一个样本子集，其中机器人子集包含50个演示片段，人类子集包含1个演示片段。该数据集旨在用于测试EgoHumanoid协同训练流程（结合机器人和人类数据）、在小型G1任务上微调预训练的VLA策略，以及验证数据加载器和LeRobot兼容的存储格式。数据集结构遵循LeRobot v2约定，便于兼容LeRobot加载器。The EgoHumanoid Dataset (G1) is a sample dataset released concurrently with the paper *EgoHumanoid: Unlocking In-the-Wild Loco-Manipulation with Robot-Free Egocentric Demonstration*, intended for rapid experimentation and fine-tuning. It comprises two types of data sources: robot teleoperation demonstrations (using the Unitree G1 robot) and robot-free egocentric human demonstrations (using PICO VR and ZED devices). This dataset is a sample subset, where the robot subset contains 50 demonstration segments and the human subset contains 1 demonstration segment. This dataset is designed for testing the EgoHumanoid collaborative training pipeline (combining robot and human data), fine-tuning pre-trained VLA policies on small-scale G1 tasks, and verifying data loaders and LeRobot-compatible storage formats. The dataset structure follows the LeRobot v2 conventions to ensure compatibility with LeRobot loaders.

搜集汇总

数据集介绍

构建方式

EgoHumanoid数据集由中国科学院OpenDriveLab团队构建，旨在突破人形机器人野外操作技能获取的瓶颈。该样本子集包含两种互补的数据来源：一是通过Unitree G1机器人遥操作采集的50条示范轨迹，二是利用PICO VR与ZED相机从第一人称视角录制的1条无机器人人类演示数据。所有数据遵循LeRobot v2存储规范，每条轨迹以parquet文件记录状态与动作序列，并附有第一人称RGB视频、任务语言描述及标准化统计信息，确保结构高度规范化。

特点

该数据集最显著的特点在于融合了机器人遥操作与无机器人人类演示两种数据模态，为VLA（视觉-语言-动作）策略的模仿学习提供了多样化的训练信号。采用真人第一人称视角采集，能够捕获更加自然、开放场景下的操作行为，有效降低了对昂贵机器人硬件与复杂遥操作系统的依赖。此外，数据格式与LeRobot框架完全兼容，支持即插即用，极大简化了研究者在加载与预处理环节的工作量。

使用方法

研究者可通过HuggingFace Hub直接下载该样本子集，使用`snapshot_download`函数或`hf download`命令行工具即可快速获取数据。数据集遵照LeRobot v2格式组织，任何兼容LeRobot的数据加载器均能无缝读取，便于快速验证联合训练流水线。该样本集专用于对预训练VLA策略进行小规模微调测试，也可用于调试数据加载器与适配器，作为接入完整版EgoHumanoid数据集的入门沙盒。

背景与挑战

背景概述

EgoHumanoid数据集由OpenDriveLab团队于2026年发布，旨在通过机器人自由的自视点演示来解锁非结构化环境下的运动操控能力。核心研究人员包括Shi Modi、Peng Shijia与Chen Jin等，该数据集围绕人类与Unitree G1人形机器人的遥操作数据展开，提供50条机器人操作演示和1条人类自视点演示轨迹。其构建依托LeRobot v2格式，为视觉-语言-动作模型的预训练与微调提供了标准化接口。该数据集因其聚焦于自视点人类演示数据的低成本采集范式，有望显著降低人形机器人技能学习对昂贵遥操作系统的依赖，推动野外复杂环境中人形机器人运动与操控研究的发展。

当前挑战

该数据集面临的首要挑战在于所解决的领域问题——非结构场景中的人形机器人运动操控：传统方法依赖昂贵的遥操作系统与仿真环境，难以泛化至真实野外环境，而EgoHumanoid通过自视点人类演示提供了一种低成本替代方案。构建过程中的挑战包括：确保人体动作到人形机器人动作的准确映射，解决VR设备采集的自视点数据与机器人本体视觉之间的模态差异；仅含50条机器人示例的小样本设置，对多任务泛化能力构成考验；以及协调来自不同设备（PICO VR、ZED相机、Unitree G1）的异构数据的时间对齐与空间一致性。

常用场景

经典使用场景

在具身智能与人形机器人领域，EgoHumanoid数据集为从第一人称视角学习全身协调操作与移动技能提供了稀缺的高质量资源。该数据集的经典使用场景聚焦于模仿学习与视觉-语言-动作（VLA）模型训练，研究者可利用其中包含的双臂遥操作与人体自中心演示数据，引导人形机器人Unitree G1掌握如抓取、搬运等复杂操作任务，尤其适合探索无机器人参与的人类示范如何高效迁移至机器人本体。

实际应用

实际应用中，EgoHumanoid数据集可赋能人形机器人执行家庭服务、仓储物流、巡检救援等复杂任务。例如，机器人可借助数据集中的自中心视频与动作轨迹，学习在杂乱桌面上拾取物品、开关门把手或搬运箱子等技能。同时，该数据采用LeRobot标准格式，便于与现有机器人学习框架无缝集成，加速从仿真到真实部署的迭代流程，推动人形机器人在非结构化场景中的实用化落地。

衍生相关工作

EgoHumanoid数据集的发布催生了一系列代表性学术工作，其核心差异在于数据驱动的人形机器人策略学习方法。相关经典工作包括基于VLA的联合训练范式、跨视角域适应算法以及高效模仿学习架构，例如利用人类演示与少量机器人数据进行协同训练，以提升策略在零样本或少样本场景下的泛化能力。这些工作进一步拓展了人形机器人在动态环境中的运动鲁棒性与灵巧操作上限，为下一代具身智能体奠定了重要基础。