HIW-500

HIW500（Humanoids In-the-Wild Dataset）是一个专为自然家庭环境中全身人形机器人学习设计的大规模数据集。该数据集通过人类遥操作Unitree G1机器人，在东南亚地区的12个真实家庭环境中采集得到，其特点是环境变量（如房间布局、物体状态、照明条件、杂乱程度）以及操作者风格在每次任务片段（episode）中均存在变化。数据集旨在支持移动操作、双手交互、长时程家务技能、模仿学习以及从野外演示中进行通用机器人学习等领域的研究。数据规模方面，HIW500包含超过500小时的演示数据，涵盖23,000多个任务片段，总数据量约10TB。它覆盖了10多种不同的家务任务，并提供了161个子任务标签和超过148,000个子任务标注。数据模态丰富且同步记录，包括视觉观测（头部立体RGB相机和腕部RGB与立体红外相机，分辨率480p，帧率30 FPS）、机器人状态与动作数据（29自由度关节状态、末端执行器状态、IMU读数、里程计信息及人类全身遥操作动作轨迹），以及元数据（如语言标注、任务片段信息和相机内参外参）。数据集以原始ROS bag / MCAP格式托管在Hugging Face平台，并计划提供LeRobot格式版本。HIW500 (Humanoids In-the-Wild Dataset) is a large-scale dataset designed for whole-body humanoid robot learning in natural home environments. It is collected by human teleoperation of the Unitree G1 robot across 12 real home environments in Southeast Asia, featuring variations in environmental variables (such as room layout, object states, lighting conditions, clutter) and operator styles across each episode. The dataset aims to support research in areas such as mobile manipulation, bimanual interaction, long-horizon household skills, imitation learning, and general robot learning from in-the-wild demonstrations. In terms of scale, HIW500 contains over 500 hours of demonstration data, covering more than 23,000 episodes, with a total data volume of approximately 10TB. It covers over 10 different household tasks and provides 161 subtask labels and over 148,000 subtask annotations. The data modalities are rich and synchronously recorded, including visual observations (head stereo RGB cameras and wrist RGB and stereo infrared cameras, with 480p resolution and 30 FPS frame rate), robot state and action data (29 degrees of freedom joint states, end-effector states, IMU readings, odometry information, and action trajectories from human whole-body teleoperation), as well as metadata (such as language annotations, episode information, and camera intrinsic and extrinsic parameters). The dataset is hosted on the Hugging Face platform in raw ROS bag / MCAP formats, with plans to provide a LeRobot format version.

原始信息汇总

数据集概要

HIW500: Humanoids In-the-Wild Dataset 是一个面向人形机器人全身操作的大规模数据集，专注于在真实家庭环境中进行机器人学习研究。

数据集规模

• 演示时长: 超过 500 小时
• 演示片段: 超过 23,000 个
• 数据总量: 约 10 TB
• 家庭任务: 超过 10 种
• 真实家庭: 12 处
• 子任务标签: 161 个
• 子任务标注: 超过 148,000 条

采集环境与方式

• 机器人平台: Unitree G1
• 操作方式: 人类全身遥操作演示
• 采集地点: 东南亚地区的真实家庭环境
• 环境变化: 每段演示的房屋布局、物体状态、光照、杂乱程度以及操作员风格均存在差异

数据模态

每段演示记录包含以下同步数据：

• 相机流:
  • 头部相机: RGB 立体，480p，30 FPS
  • 腕部相机: RGB，立体红外，480p，30 FPS
• 机器人状态与动作:
  • 29 自由度关节状态
  • 末端执行器状态
  • IMU 数据
  • 里程计数据
  • 全身遥操作的动作轨迹
• 元数据:
  • 语言标注
  • 片段信息
  • 相机内参和外参

数据集用途

该数据集旨在支持以下研究领域：

• 移动操作
• 双臂交互
• 长周期家务技能
• 模仿学习
• 基于野外演示的通用机器人学习

数据访问格式

• 原始格式: ROS bag / MCAP 录制文件（托管于 Hugging Face）
• 其他格式: LeRobot 格式（即将推出）

引用信息

若使用本数据集，请引用以下文献：

bibtex @misc{hiw500_2026, title={HIW500: Humanoids In-the-Wild Dataset for Robot Learning}, author={BitRobot and Unitree and Hugging Face}, year={2026}, howpublished={url{https://bitrobot-foundation.github.io/humanoids-in-the-wild-500-hours/}} }

商业访问与定制数据

如需额外覆盖范围、商业使用权、评测数据或定制数据采集，可通过以下邮箱联系：[e-mail]

搜集汇总

数据集介绍

构建方式

HIW-500数据集以仿人机器人Unitree G1为硬件载体，通过人类全身遥操作范式在东南亚地区12个真实家庭环境中采集大规模演示数据。数据采集覆盖了超过10种家务任务，累计时长逾500小时，形成23,000余条演示片段。每条片段均同步记录头部与腕部双视角立体RGB图像（480p分辨率，30帧/秒）、29自由度关节状态、末端执行器位姿、惯性测量单元数据、里程计信息以及完整动作轨迹。此外，数据集还包含161种子任务标签与14.8万条细粒度语义注释，为多模态机器人学习提供结构化支撑。

特点

该数据集的核心特质在于其真实家庭场景中的高度非结构化特性——不同片段中房屋布局、物体状态、光照条件、杂乱程度及操作员风格均存在自然变化，充分体现野外环境的多样性。多模态数据融合视觉感知、本体感知与语言注释，形成覆盖移动操作、双臂协同、长时程任务等复杂交互行为的完整学习资源。作为目前规模最大的仿人机器人野外数据集，其逾10TB的数据量与丰富的子任务层级标注，为泛化性模仿学习与通用机器人策略研究提供了坚实基奠。

使用方法

数据集以原始ROS Bag和MCAP两种主流机器人数据格式分发，兼容常见机器人开发框架，便于研究者直接集成到现有训练管线。同步提供相机内参矩阵与标定参数以支持视觉几何校正。当前工具链支持逐帧解析多传感器时间戳对齐数据，后续将推出符合LeRobot标准化接口的格式版本以降低使用门槛。研究者可依据任务需求选取特定家庭环境或子任务子集进行训练，其包含的完整动作标签与语言注释亦支持条件生成式模仿学习与跨任务迁移研究。

背景与挑战

背景概述

人形机器人研究长期受困于数据匮乏与领域迁移难题，现有数据集多局限于实验室受控环境，缺乏真实家居场景下的大规模人机交互记录。HIW-500数据集由BitRobot团队联合Unitree与Hugging Face于2026年创建，基于Unitree G1人形机器人在东南亚12个真实家庭环境中采集，涵盖超过500小时、23,000余回合的全身遥操作演示数据。该数据集聚焦于移动操作、双臂协同、长时序家务技能及模仿学习等核心研究问题，通过提供多模态传感器信息（包括立体视觉、29自由度关节状态、动作轨迹及语言标注）和161类子任务分层标注，为通用人形机器人从野外演示中学习的能力评估与算法开发构建了重要基准平台，对推动人形机器人走出实验室迈向家庭应用具有里程碑意义。

当前挑战

该数据集主要应对两大层面的挑战。在领域问题层面，人形机器人在非结构化家庭环境中面临布局动态变化、物体遮挡、光照条件差异及操作者风格多样性等复杂因素，传统依赖单一演示或受控场景的学习方法难以泛化到真实应用场景，亟需大规模、多环境、多任务的数据支撑。在构建过程中，团队需解决人形机器人全身遥操作的高延迟与精确性矛盾，在12个真实家庭中部署传感器套件并保证跨场景数据一致性，同时处理约10TB原始数据的存储、同步与多模态对齐问题，包括ROS bag格式下的相机内外参校准、IMU与里程计数据融合，以及超过14万次子任务标注的语义一致性与质量控制。

常用场景

经典使用场景

HIW-500数据集旨在为仿人机器人在真实家庭环境中的全身控制与操作学习提供大规模示范数据。其经典使用场景集中于移动操作、双臂协同作业、长时域家务技能以及模仿学习等前沿课题，尤为适合研究基于野外演示的通用机器人学习范式。研究人员可借助该数据集训练端到端策略，使仿人机器人完成诸如整理物品、开关抽屉、取放餐具等复杂家庭任务，从而推动机器人在非结构化环境中实现灵巧、鲁棒的行为生成。

解决学术问题

该数据集直面仿人机器人在真实家庭环境中数据匮乏这一核心瓶颈，解决了跨场景、跨任务、跨操作者泛化的关键学术难题。HIW-500通过覆盖12个真实家庭、500小时超过23K条示范数据，并标注161个子任务标签与逾14.8万条细粒度注解，为研究长时域任务分解、多模态感知融合、人机示范对齐、以及行为克隆中的状态分布偏移提供了坚实的数据支撑。其所倡导的'在野'学习范式，显著提升了对光照、遮挡、物品布局变化等因素的鲁棒性，为构建通用家庭服务机器人的理论基础和实践验证奠定了重要基石。

衍生相关工作

基于HIW-500数据集已衍生出一系列具有影响力的相关工作，涵盖多任务模仿学习基线模型、跨场景迁移学习框架、以及长时域任务规划与终止条件判定方法。例如，利用其提供的161个子任务标注，研究人员开发了层次化任务分解算法，显著提升复杂家务执行的连贯性；基于其双摄像头与全身状态数据，涌现出融合视觉-关节-触觉的多模态策略，改善了对视线外物体的操作能力。此外，HIW-500还作为核心数据源催生了针对仿人机器人野外部署的评测协议，为后续诸如人机协作和零样本泛化等研究提供了高效起点。