humanoid_everyday

Humanoid Everyday 是一个大规模、多样化的人形机器人操作数据集，专为开放世界机器人学习和具身智能研究而设计。该数据集包含超过260项任务，涵盖7个主要类别，涉及灵巧操作、人-人形机器人交互以及整合运动的操作活动。所有数据均通过人工监督的遥操作流程采集，并以30Hz的频率记录了多模态感知流，包括RGB图像、深度信息、LiDAR点云、触觉数据和IMU数据。数据集遵循LeRobot v2.0格式，便于加载和使用。

原始信息汇总

数据集名称

Humanoid Everyday — 面向开放世界人形机器人操作的综合机器人数据集。

许可协议

• Apache 2.0

任务类别

• 机器人学（Robotics）

语言

• 英语

数据规模

• 样本数量：1,000 < n < 10,000

核心概述

• 目的：为开放世界机器人学习和具身智能提供大规模、多样化的人形机器人操作数据集。
• 任务数量：包含 超过260个 任务，涵盖 7大类别，包括灵巧操作、人机交互、结合移动与操作的活动等。
• 数据采集：通过人工监督的远程操作管线收集，以 30 Hz 频率记录多模态传感器数据流。

传感器模态

• RGB 图像
• 深度图像
• LiDAR 点云
• 触觉传感器数据
• IMU 惯性测量单元数据

数据格式与访问

• LeRobot v2.0 格式：可通过 lerobot 库加载。

  • 元数据标识符：USC-GVL/humanoid-everyday
  • 加载示例： python from lerobot.datasets.lerobot_dataset import LeRobotDataset, LeRobotDatasetMetadata ds_meta = LeRobotDatasetMetadata("USC-GVL/humanoid-everyday") ds = LeRobotDataset("USC-GVL/humanoid-everyday", tolerance_s=1e-2)

• 备用访问方式：通过公开电子表格查看任务列表与下载链接。

  • 电子表格地址：https://docs.google.com/spreadsheets/d/158Wzf8Xywky3aHJSCfp3OZxf4bkhzAJdcG94eHf8gVc/edit?gid=1307250382#gid=1307250382
  • 该表格包含260个任务的任务名称、类别、机器人类型及下载URL。

• 手动数据加载器：提供于 GitHub 仓库：https://github.com/ausbxuse/Humanoid-Everyday

引用信息

• 论文：Humanoid Everyday: A Comprehensive Robotic Dataset for Open-World Humanoid Manipulation
• 作者：Zhenyu Zhao, Hongyi Jing, Xiawei Liu, Jiageng Mao, Abha Jha, Hanwen Yang, Rong Xue, Sergey Zakharor, Vitor Guizilini, Yue Wang
• 年份：2025
• arXiv 地址：https://arxiv.org/abs/2510.08807

搜集汇总

数据集介绍

构建方式

该数据集基于人类监督的遥操作流水线进行采集，以30赫兹的采样频率同步记录多种模态的传感器数据，包括RGB图像、深度信息、激光雷达点云、触觉信号及惯性测量单元(IMU)数据。数据收集涵盖了超过260项具体任务，横跨7个主要类别，如灵巧操作、人机交互及融合移动的操作活动，确保了场景的开放性与任务的广泛覆盖。

特点

Humanoid Everyday数据集以其大规模与高度多样性著称，共包含超过260个开放世界人形机器人操作任务。其数据模态丰富，集成了视觉、触觉与运动感知等多源信息，为具身智能研究提供了全面的训练资源。数据集遵循LeRobot v2.0标准格式，便于加载与集成，并通过公开电子表格列出了所有任务的详细标签与下载链接，极大提升了使用的便捷性与可扩展性。

使用方法

用户可通过LeRobot v2.0格式的Python接口直接加载该数据集，调用from lerobot.datasets.lerobot_dataset import LeRobotDataset与LeRobotDatasetMetadata模块，指定数据集标识符'USC-GVL/humanoid-everyday'即可完成初始化和数据读取。此外，数据集也提供了传统访问方式，用户可通过附带的谷歌电子表格查看全部260项任务列表、类别标签及对应的下载地址，并利用GitHub仓库提供的自定义数据加载器进行灵活的数据处理与实验配置。

背景与挑战

背景概述

在具身智能与开放世界机器人学领域，高保真、多模态的人形机器人操作数据集是推动算法突破与泛化能力提升的关键基石。2025年，由南加州大学（USC）研究团队联合Waymo、英伟达等机构的研究人员共同构建了Humanoid Everyday数据集。该数据集聚焦于人形机器人在非结构化日常环境中的灵巧操作问题，通过人类监督遥操作流水线采集了超过260项任务的多模态感知流（含RGB、深度、LiDAR、触觉与IMU信号），频率达30 Hz，覆盖灵巧操作、人机交互与运动整合等七大类别。这一大规模资源填补了现有数据集在复杂日常场景中缺乏人形机器人数据支撑的空白，为开放世界具身智能的研究提供了标准化基准与训练基础。

当前挑战

该数据集应对的核心领域挑战在于：日常开放场景中人形机器人需同时处理高维度感知融合、多指灵巧抓取与全身运动协调，而现有机器人学习方法往往因缺乏跨类别的灵巧操作数据而泛化能力不足。构建过程中亦面临多重挑战：首先，高频多传感器（如触觉与LiDAR）的同步与标定技术复杂，需确保30 Hz下的精确时序对齐；其次，260余项任务需覆盖复杂家庭场景与工具使用，数据采集耗时长且需避免人为操作偏差；最后，大规模异构数据在LeRobot v2.0兼容格式下的存储与索引设计需平衡高效读取与跨平台可复现性，这对数据组织架构提出了严苛要求。

常用场景

经典使用场景

在具身智能与人形机器人研究领域，Humanoid Everyday数据集为开放世界下的人形操作任务提供了丰富的基准资源。其经典使用场景涵盖抓取与放置、工具使用、物体递接等灵巧操作任务，并融合了人机交互与移动操作等多模态行为。研究人员可借助该数据集训练泛化性机器人策略，尤其在非结构化环境中实现从感知到动作的端到端学习。

实际应用

在实际应用中，Humanoid Everyday助力开发能够适应家庭、工业与公共服务等复杂场景的人形机器人系统。例如，机器人可依据该数据集习得物品整理、工具使用及协作搬运等技能，从而胜任助老助残、仓储分拣与精密装配等真实需求。其多模态数据特性使得部署更具鲁棒性，为机器人从实验室走向开放世界铺平了道路。

衍生相关工作

基于Humanoid Everyday数据集的广泛应用，衍生出了多项经典工作，包括多任务模仿学习框架、基于预训练模型的零样本操作策略，以及融合触觉与视觉信息的跨模态表征学习方法。这些工作进一步探索了人形机器人的行为泛化边界，推动了LeRobot等开源工具链的标准化进程，并在机器人基础模型的研究中扮演了关键角色。