USC-PSI-Lab/humanoid-everyday

Humanoid Everyday is a large-scale humanoid manipulation dataset designed for open-world robotic learning and embodied intelligence research. It contains more than 260 tasks across 7 major categories, covering dexterous manipulation, human–humanoid interaction, and locomotion-integrated activities in diverse real-world scenarios. Collected through a human-supervised teleoperation pipeline, the dataset records synchronized multimodal sensory streams at 30 Hz, including RGB images, depth, LiDAR, tactile, and IMU data. The dataset supports research on perception, decision-making, and manipulation for humanoid robots operating in open environments. It is compatible with the LeRobot v2.0 format and provides task metadata, robot type annotations, and downloadable task resources for applications in robot learning, imitation learning, embodied AI, and humanoid robotics research.

Humanoid Everyday是一款专为开放世界机器人学习与具身智能（Embodied Intelligence）研究打造的大规模人形机器人操作数据集。该数据集涵盖7大类别、超260项任务，覆盖灵巧操作、人机形交互以及多样真实场景下的运动集成式操作活动。数据集通过人工监督的遥操作流程采集，以30Hz的采样频率记录同步多模态感知流，包含RGB图像、深度数据、激光雷达（LiDAR）、触觉数据与惯性测量单元（IMU）数据。本数据集可支撑开放环境下人形机器人的感知、决策与操作相关研究。该数据集兼容LeRobot v2.0格式，并提供任务元数据、机器人类型标注与可下载任务资源，可应用于机器人学习、模仿学习、具身智能（Embodied AI）与人形机器人研究领域。

搜集汇总

数据集介绍

构建方式

在开放世界人形机器人操作的研究领域中，数据集的规模与多样性是推动具身智能发展的关键瓶颈。Humanoid Everyday 数据集通过人类监督的遥操作流水线进行采集，系统性地涵盖了超过260项任务，横跨灵巧操作、人机交互及运动集成活动等七大类别。所有数据均以30赫兹的频率同步记录多模态传感信息，包括RGB图像、深度图、激光雷达点云、触觉信号及惯性测量单元数据，从而构建出高保真的机器人操作场景。

特点

该数据集的核心优势在于其前所未有的任务广度与模态丰富性。它突破了传统机器人数据集局限于单一操作类型的局限，将灵巧操作与人形机器人特有的运动整合能力相结合，真实反映了开放世界中的复杂交互需求。此外，数据集遵循LeRobot v2.0标准化格式，便于与主流机器人学习框架无缝对接，其多模态传感信息为研究视觉-触觉融合、空间感知等前沿课题提供了坚实基础。

使用方法

使用者可通过LeRobot库便捷地加载该数据集。具体而言，利用LeRobotDatasetMetadata类获取元数据后，借助LeRobotDataset类即可高效读取标准化数据。对于需要深度定制的研究场景，数据集还提供了公开的电子表格，其中列出了全部260项任务的分类、机器人类型及下载链接，并配有手动数据加载器，支持灵活的数据筛选与预处理流程。

背景与挑战

背景概述

在具身智能与开放世界机器人学习的前沿领域，人形机器人的灵巧操作与移动整合能力被视为迈向通用人工智能的关键技术瓶颈。为突破这一局限，南加利福尼亚大学（USC）感知与智能系统实验室（PSI-Lab）于2025年发布了Humanoid Everyday数据集，由Zhenyu Zhao、Hongyi Jing等研究人员主导构建。该数据集聚焦于开放世界中人形机器人的复杂操作任务，涵盖260余项多样化任务，横跨灵巧操作、人机交互及运动整合等七大类别。通过人类监督的遥操作管道，以30Hz频率同步采集RGB、深度、LiDAR、触觉及IMU等多模态感知数据，为研究人形机器人在非结构化环境中的泛化能力提供了前所未有的资源。这一数据集的问世，不仅填补了大规模人形机器人操作数据的空白，更推动了具身智能从实验室场景向日常生活应用的跨越，对机器人学习与自主决策领域产生了深远影响。

当前挑战

Humanoid Everyday数据集所应对的核心挑战在于解决开放世界中人形机器人操作的泛化性与鲁棒性问题。具体而言，领域挑战包括：1) 灵巧操作在非结构化环境中的适应性，即机器人需应对物体形状、材质与摆放位置的无限变化；2) 人机交互中的动态协调，要求机器人理解人类意图并实时调整动作；3) 运动与操作的一体化整合，例如在行走中同时完成抓取任务。构建过程中亦面临多重困难：1) 数据多样性保障，需设计覆盖260余种任务的遥操作方案，确保任务间分布差异；2) 多模态传感器同步与标定，30Hz的高频采集对硬件同步与数据对齐提出严苛要求；3) 长尾分布处理，部分稀有任务（如精密装配）的数据获取成本极高，需平衡样本效率与任务覆盖度。这些挑战的攻克，为人形机器人在真实世界中的安全部署奠定了基础。

常用场景

经典使用场景

Humanoid Everyday 数据集为开放世界人形机器人操控研究提供了大规模、多模态的基准平台。其经典使用场景涵盖灵巧操作、人机交互以及运动与操控的协同任务，共计超过260项任务，分为7大类别。研究者可借助该数据集训练端到端的模仿学习模型，使机器人能够在复杂、非结构化的日常环境中执行如抓取、装配、开门等精细操作，从而推动人形机器人从实验室走向真实世界。

衍生相关工作

该数据集已衍生出多项经典工作，包括基于 LeRobot v2.0 格式的标准化数据加载与训练流程，以及配套的开源工具链（如 GitHub 仓库中的手动数据加载器）。此外，其多任务、多模态的设计理念促进了模仿学习、强化学习与视觉-语言-动作模型等方向的发展。后续研究可借助该数据集探索人形机器人的零样本泛化、技能迁移以及人机协同等前沿课题，推动具身智能领域的持续进步。

数据集最近研究

最新研究方向

当前，人形机器人与开放世界具身智能的交叉领域正迎来突破性进展，而大规模、多模态的操作数据集成为驱动该领域迈向通用化与自主化的关键基石。USC-PSI-Lab发布的Humanoid Everyday数据集正是这一趋势下的前沿产物，它通过涵盖260余项任务、横跨灵巧操作、人机交互与移动操作等七大类别，为构建能够适应非结构化环境的人形机器人提供了丰富的学习素材。该数据集采用人类遥操作流水线采集，同步记录RGB、深度、触觉与惯性测量单元等多模态信号，其高频率与高保真特性使其在模仿学习、策略泛化及人机协同等热点研究中具有显著价值。作为LeRobot v2.0标准格式的兼容数据集，Humanoid Everyday不仅降低了研究者的使用门槛，更推动了人形机器人在家庭服务、智能制造与应急救援等真实场景中的应用落地，对开放世界机器人学习范式的演进具有深远影响。