BitRobot/HIW-500-LeRobot

HIW-500是一个大规模数据集，用于在自然家庭环境中进行全身人形机器人学习。它捕捉了在东南亚真实家庭中Unitree G1上的人类遥操作演示，其中布局、物体状态、光照、杂乱和操作者风格在每段演示中都有所不同。该数据集专为移动操作、双手交互、长时家庭技能、模仿学习和从野外演示中进行通用机器人学习的研究而设计。数据集包含500+小时的人形机器人演示、23K+片段、约10 TB数据、10+家庭任务、12个真实家庭、161个子任务标签和148K+子任务注释。数据模态包括同步视觉观察（如头部和手腕摄像头流）、机器人状态（29自由度关节状态、末端执行器状态等）、动作轨迹和元数据（如语言注释和相机内外参）。HIW-500 is a large-scale dataset for whole-body humanoid robot learning in natural home environments. It captures human teleoperation demonstrations on Unitree G1 across real homes in Southeast Asia, where layouts, object states, lighting, clutter, and operator styles vary from episode to episode. The dataset is designed for research on mobile manipulation, bimanual interaction, long-horizon household skills, imitation learning, and general-purpose robot learning from in-the-wild demonstrations. It includes 500+ hours of humanoid robot demonstrations, 23K+ episodes, around 10 TB of data, 10+ household tasks, 12 real homes, 161 subtask labels, and 148K+ subtask annotations. Data modalities encompass synchronized visual observations (e.g., head and wrist camera streams), robot states (29-DoF joint states, end-effector state, etc.), action traces from human whole-body teleoperation, and metadata (such as language annotations and camera intrinsics and extrinsics).

搜集汇总

数据集介绍

构建方式

HIW-500-LeRobot数据集源自对宇树G1人形机器人在东南亚真实家庭环境中进行的全身遥操作演示记录。研究者通过人类操作员远程操控机器人，在12个布局、光照、杂乱程度及操作风格各异的家庭内，完成了超过10种家务任务，采集了500余小时的示范数据。该数据集采用LeRobot v3.0格式进行标准化转换，将原始的ROS bag/MCAP录制数据整理为包含视觉、状态、动作及元数据的结构化样本，并以Parquet文件和压缩视频的形式存储，确保了数据的高效访问与兼容性。

使用方法

该数据集专为模仿学习、移动操作及全身控制等研究设计。用户可通过Hugging Face的LeRobot框架直接加载数据，利用其提供的可视化界面预览样本。数据的特征空间已明确划分，包括observation.images（多视角图像）、observation.state（机器人状态）和action（遥操作动作）等键值。研究者可基于其预定义的训练集（0至23743片段）进行模型训练，并使用语言注释（language_persistent与language_events）进行条件设定或多任务学习，方便地开展从感知到动作的端到端策略研究。

背景与挑战

背景概述

HIW-500数据集由BitRobot、Unitree与Hugging Face联合创建，于2026年公开发布，旨在解决仿人机器人在非结构化家庭环境中的全身控制与灵巧操作难题。该数据集通过遥操作方式采集宇树G1仿人机器人在东南亚12户真实住宅中执行超过10种家务任务的数据，涵盖23,000余个片段及500余小时演示，为移动操作、双臂协调及长时序技能学习提供了大规模、多模态的基准资源。其发布填补了仿人机器人野外操作数据的空白，推动了模仿学习与通用机器人策略研究的发展。

当前挑战

当前仿人机器人领域面临的核心挑战包括：在动态家庭环境中实现全身协调的移动操作，即同时控制29个自由度感知与动作；跨场景泛化时应对光照、物体布局和遮挡的剧烈变化；大规模数据采集的高成本与标注复杂性，如161个细粒度子任务标签的获取。HIW-500在构建中需解决多模传感器（RGB视频与本体状态）的同步融合问题，并确保10TB规模数据的存储与处理效率，同时维持自然住宅环境中的操作多样性以避免策略过拟合。

常用场景

经典使用场景

HIW-500-LeRobot数据集为仿人机器人的全身操控学习提供了丰富的野外演示数据，经典使用场景涵盖移动操纵与双手协作任务。在家庭环境中，机器人需要执行开门、取物、整理物品等长时域操作，该数据集通过采集Unitree G1在东南亚12个真实家庭中的遥操作演示，覆盖了物体布局、光照变化、杂乱程度及操作者风格等复杂变量。研究者和工程师可利用多模态信息（头部与腕部立体视觉、29维关节状态、23维动作轨迹）进行模仿学习或行为克隆，训练机器人从高维观测中泛化出稳健的操控策略，尤其适用于居家服务机器人从示教中自主习得全身体技能的研究。

解决学术问题

该数据集致力于解决仿人机器人在非结构化家庭场景中学习泛化性全身技能的学术难题。传统仿真数据集缺乏真实环境的物理多样性与突发干扰，而HIW-500提供了500小时以上的真实家庭演示，其中包含161个子任务标签与14.8万条细粒度注释，为长时域任务分解、跨域迁移学习、多任务联合训练提供了基准。研究者可借助此资源探索如何在视觉-运动耦合下应对环境变迁，避免过拟合特定布局，并推动全身协调控制、双手协作策略、以及基于语言指令的动态任务调度等前沿方向的发展，为构建通用型家用机器人奠定数据基础。

实际应用

在实际应用层面，HIW-500-LeRobot数据集直接服务于家用仿人机器人的商业化落地。通过训练机器人在真实厨房、客厅等杂乱环境中执行端到端操作，如整理餐具、搬运杂物、开关抽屉，其数据涵盖的多样化场景与操作风格有助于提升机器人部署的鲁棒性。数据集还支持远程监控与自动化标注流程，降低数据采集成本；结合LeRobot开源工具链，研发团队能快速复现与微调模型，加速产品迭代。

数据集最近研究

最新研究方向

在人形机器人具身智能的浪潮中，HIW-500-LeRobot数据集以500小时野外家庭环境下的全身遥操作数据，为移动操作、双手协作与长时程家务技能的学习提供了前所未有的规模化资源。该数据集依托Unitree G1平台，覆盖12个真实住宅与161种子任务标签，其多模态视觉与全身状态信息深度融合，正推动模仿学习从实验室受控场景迈向自然、非结构化环境。依托如此海量且细粒度的野外演示数据，研究者得以探索人形机器人在复杂家居场景中的泛化能力与鲁棒策略，为通用机器人从感知到行动的端到端学习树立了新的里程碑。