BitRobot/HIW-500

HIW500：野外人形机器人数据集是一个用于自然家庭环境中全身人形机器人学习的大规模数据集。它捕捉了在东南亚真实家庭中使用Unitree G1进行的人类遥操作演示，其中布局、物体状态、照明、杂乱程度和操作者风格在每次演示中都有所不同。该数据集旨在研究移动操作、双手交互、长时程家庭技能、模仿学习以及从野外演示中进行通用机器人学习。HIW500: Humanoids In-the-Wild Dataset is a large-scale dataset for whole-body humanoid robot learning in natural home environments. It captures human teleoperation demonstrations on Unitree G1 across real homes in Southeast Asia, where layouts, object states, lighting, clutter, and operator styles vary from episode to episode. The dataset is designed for research on mobile manipulation, bimanual interaction, long-horizon household skills, imitation learning, and general-purpose robot learning from in-the-wild demonstrations.

原始信息汇总

数据集名称

HIW500: Humanoids In-the-Wild Dataset

数据集概览

• 总时长: 500+ 小时的人形机器人演示数据
• 总片段数: 23K+ 个片段
• 数据总量: 约 10 TB
• 任务类型: 10+ 种家庭任务
• 环境覆盖: 12 个真实家庭
• 子任务标签: 161 个子任务标签
• 子任务标注: 148K+ 个子任务标注

数据模态

每个片段记录了对 Unitree G1 人形机器人的人类全身远程操作演示，包含同步的视觉观测、机器人状态、动作和元数据。

• 相机流:
  • 头部相机: RGB 立体，480p，30 FPS
  • 腕部相机: RGB 立体红外（IR），480p，30 FPS
• 机器人状态与动作:
  • 29 个自由度（DoF）关节状态
  • 末端执行器状态
  • IMU（惯性测量单元）
  • 里程计数据
  • 人类全身远程操作的动作轨迹
• 元数据:
  • 语言标注
  • 片段信息
  • 相机内参和外参

数据集访问

数据集在 Hugging Face 上以两种格式提供：

• 原始 ROS bag / MCAP 格式: https://huggingface.co/datasets/BitRobot/HIW-500
• LeRobot 格式: 即将推出

引用信息

bibtex @misc{hiw500_2026, title={HIW500: Humanoids In-the-Wild Dataset for Robot Learning}, author={BitRobot and Unitree and Hugging Face}, year={2026}, howpublished={url{https://bitrobot-foundation.github.io/humanoids-in-the-wild-500-hours/}} }

商业访问与定制数据

如需额外覆盖范围、商业权利、评估数据或定制数据收集，请联系团队。

数据集标签

• 语言: 英语
• 标签: robotics, humanoid

搜集汇总

数据集介绍

构建方式

HIW-500数据集通过人类全身遥操作的方式，在12个真实家庭环境中采集Unitree G1人形机器人的演示数据，涵盖超过500小时、23,000余条任务轨迹。数据以原始ROS bag/MCAP格式存储，同步记录头部与腕部的RGB立体视觉信息、29自由度关节状态、末端执行器位姿、惯性测量单元数据、里程计信息以及全身遥操作的动作轨迹，并附有161种子任务标签与14.8万条细粒度标注。

特点

该数据集聚焦于自然家庭环境中的全身人形机器人学习，具有高多样性和大规模特性。其场景布局、物体状态、光照条件、杂乱程度及操作者风格均随轨迹动态变化，覆盖10余种家务任务，总数据量约10TB。数据包含多模态同步信息，既提供原始传感与控制信号，也集成结构化语言标注，为移动操作、双臂交互和长时序模仿学习研究奠定基础。

使用方法

研究人员可通过Hugging Face平台直接访问原始ROS bag/MCAP格式的完整数据，用于再现真实家庭中的人形机器人操作环境。数据集支持两种使用路径：直接解析原始记录以获取高保真传感-动作对，或待LeRobot格式化版本发布后，借助标准化接口进行模仿学习与策略训练。配套文档与子任务标注体系可辅助构建端到端学习流程，尤其适用于泛化性机器人学习算法的开发与评估。

背景与挑战

背景概述

HIW-500数据集由BitRobot、Unitree与Hugging Face于2026年联合发布，旨在推动人形机器人从实验室受控环境迈向真实家庭场景的泛化学习。该数据集聚焦于全身移动操作与双臂交互的模仿学习，通过记录操作者在东南亚12个真实家庭中对Unitree G1人形机器人进行全身远程操控的演示，累计获取超过500小时、23000余条episode的示范数据，覆盖10余种家务任务及161种子任务标签。其核心研究问题在于如何使机器人从非结构化、光照变化、杂乱布局与操作者风格各异的野外演示中习得长时序、多模态的通用技能。作为当前规模最大的野外人形机器人学习数据集，HIW-500为机器人具身智能领域提供了宝贵的基准，显著推动了从仿真到真实世界泛化的关键研究。

当前挑战

HIW-500所解决的领域核心挑战在于人形机器人在真实家庭环境中的全身移动操作与长时序任务学习。家庭场景中布局、物体状态、光照、杂乱程度及操作者风格的每一次变化，都对机器人的视觉感知、运动规划和鲁棒控制提出了严苛要求，现有算法多局限于结构化环境，难以应对这种高度非结构化与动态变化的野外条件。此外，数据集的构建过程亦面临重重难题：在12个各异的真实家中部署23K+条episode的同步数据采集，需协调多摄像头（头部RGB立体、腕部RGB立体IR）、29自由度关节状态、里程计与IMU等多模态信息的高保真记录，同时保证长时间遥操作下数据质量的一致性与完整性；加之约10TB的海量数据存储与高效访问格式（Raw ROS bag与LeRobot）的转换，均对基础设施与工程实现构成了严峻挑战。

常用场景

经典使用场景

HIW-500数据集的核心价值在于为全身仿人机器人学习提供大规模的真实家庭环境演示数据。其最经典的使用场景是基于人类遥操作示教的模仿学习，研究者可直接利用超过500小时的23K余条完整任务片段，训练机器人掌握从简单抓取到复杂双臂协作的日常家务技能。该数据集覆盖10余种家庭任务，包括物品搬运、桌面整理、厨具操作等，并细分为161个子任务标签，支持细粒度的技能分解与组合学习。配合头戴双眼与腕部立体相机的高帧率视觉流、29自由度关节状态及全身动作轨迹，HIW-500为端到端的机器人策略学习、多模态感知融合以及长时序任务规划提供了原始且丰富的训练素材。此外，数据以ROS bag格式公开，兼容主流机器人开发框架，降低了从真实遥操作数据到可部署策略的迁移门槛，有力推动了仿人机器人在非结构化家居环境中的泛化能力研究。

实际应用

在实际应用层面，HIW-500数据集直接服务于家庭服务机器人的技能泛化与自主部署。基于该数据训练的策略，人形机器人有望在真实家庭环境中完成拾取散乱物品、开关柜门、擦拭桌面以及协助烹饪等具体繁重的家务劳动，从而为老年人照护、康复辅助与家庭自动化提供切实的技术支撑。数据集的多家庭、多示教者特性增强了模型对未知环境与操作风格的鲁棒性，降低了部署时的数据采集成本。此外，数据中包含的全身遥操作痕迹可被用于优化远程操作半自主系统，使人类操作员能更高效地控制人形机器人执行精细任务。从产业视角看，该数据集可加速消费级人形机器人从实验室走向家庭应用，推动家政机器人、导盲机器人等产品的商业化进程，最终提升人们的生活品质与劳动效率。

衍生相关工作

HIW-500的发布有望孕育一系列衍生研究工作，首先最直接的是基于大规模真实演示数据的全身模仿学习框架，如将扩散策略与动作分块相结合的先进算法，以处理高维连续动作空间中的多模态分布。其次，由于数据集提供了丰富的子任务标签，可催生层次化技能库自动构建与检索方面的研究，例如利用语言嵌入进行任务分解的开放词汇规划器。同时，其多家庭异构数据特性将激发关于域自适应和鲁棒控制的研究，包括对抗性域对齐与因果表示学习方法。此外，该数据集的高保真视觉与本体感受信息为双向映射与共享自治系统的研究提供了基础，未来可能出现将人类示教中的隐含偏好注入学习策略的工作。更长远来看，HIW-500可推动通用机器人基础模型的发展，促使社区在更大规模上探索预训练-微调范式，正如自然语言处理领域的大型语言模型那样，基于海量演示数据预训练的全身控制基础模型有望成为新一代人形机器人的大脑。