hoi-retarget

HOI-Retarget 是一个用于人形机器人运动重定向的大规模数据集，旨在将从人类-物体交互（HOI）运动捕捉数据重定向到双足人形机器人上。该数据集通过接触中心的轨迹优化方法（HOI-Retarget），将人类交互动作转换为机器人兼容的运动参考，从而支持机器人从演示中学习（LfD）并扩展至人机交互场景。数据集包含来自5个源数据集（OMOMO、ParaHome、NeuralDome、CoRoleHOI、IMHD²）的13,904条人形机器人轨迹，覆盖6,952个不同运动片段。每个运动片段均被重定向至Unitree G1（29自由度，物体缩放0.83）和Unitree H2（31自由度，物体缩放1.0）两种机器人，因此每个运动对应两条轨迹。数据字段包括机器人关节角度（弧度）、浮动基座位姿、物体的6自由度位置（米）以及每帧的手掌和脚掌接触标志。数据集还包含75个不同的物体网格，其中OMOMO的13个网格直接随数据集发布，其他数据集网格需通过InterAct获取（遵循CC BY-NC-SA 4.0许可）。质量控制方面，95.4%的G1轨迹和91.9%的H2轨迹通过质量控制（总体93.6%），未通过的行带有qc_flags标志说明违规原因（如手腕关节持续饱和、躯干折叠过大或关节限位饱和）。数据集的许可证为CC BY-NC-SA 4.0（非商业用途、署名、相同方式共享）。该数据集适用于机器人学习、运动重定向、人机交互、双臂协作等任务。每条轨迹还附带320×320的视频渲染。HOI-Retarget is a large-scale dataset for humanoid robot motion retargeting, aiming to retarget human-object interaction (HOI) motion capture data onto bipedal humanoid robots. The dataset uses a contact-centered trajectory optimization method (HOI-Retarget) to convert human interaction motions into robot-compatible motion references, supporting robot learning from demonstration (LfD) and extending to human-robot interaction scenarios. The dataset contains 13,904 humanoid robot trajectories from 5 source datasets (OMOMO, ParaHome, NeuralDome, CoRoleHOI, IMHD²), covering 6,952 different motion segments. Each motion segment is retargeted to both Unitree G1 (29 DOF, object scaling 0.83) and Unitree H2 (31 DOF, object scaling 1.0), resulting in two trajectories per motion. Data fields include robot joint angles (radians), floating base pose, object 6-DOF position (meters), and per-frame palm and foot contact flags. The dataset also includes 75 different object meshes, of which 13 meshes from OMOMO are directly released with the dataset; other meshes need to be obtained via InterAct (licensed under CC BY-NC-SA 4.0). In terms of quality control, 95.4% of G1 trajectories and 91.9% of H2 trajectories pass quality control (overall 93.6%); failed rows carry qc_flags indicating violation reasons (e.g., sustained wrist joint saturation, excessive trunk folding, or joint limit saturation). The dataset is licensed under CC BY-NC-SA 4.0 (non-commercial, attribution, share-alike). This dataset is suitable for tasks such as robot learning, motion retargeting, human-robot interaction, and bimanual manipulation. Each trajectory is accompanied by a 320×320 video rendering.

原始信息汇总

HOI-Retarget — Humanoid Human–Object Interaction Motion

数据集简介

HOI-Retarget 是一个以接触为中心的重定向方法生成的语料库，将人-物交互（HOI）动作迁移到人形机器人上，用于大规模运动数据生成。数据集页面地址：https://huggingface.co/datasets/leggedrobotics/hoi-retarget

每行数据为一个 (motion, robot) 对，包含关节角度、浮动基座、物体的 6-DoF 位姿，以及标识每帧哪些手掌和脚与物体接触的逐连杆接触标志。

相关链接

• 项目主页：https://shinben0327.github.io/hoi-retarget
• 代码：https://github.com/leggedrobotics/hoi-retarget
• 3D 查看器：https://huggingface.co/spaces/leggedrobotics/hoi-retarget-viewer
• 论文 PDF：https://arxiv.org/pdf/2609.34674
• arXiv：https://arxiv.org/abs/2609.34674

数据规模

项目	数值
源数据集	5 个 — OMOMO、ParaHome、NeuralDome、CoRoleHOI、IMHD²
不同动作数	6,952
机器人-动作行数	13,904（6,952 G1 + 6,952 H2）
物体	75 个不同网格
时长	每个机器人通道 828.1 分钟 · 13.80 小时
协作数据	912 行；每个 CoRoleHOI 动作是一对中的一半（每个机器人 228 对）
通过 QC	6,632 G1（95.4%）· 6,386 H2（91.9%）· 13,904 行中 13,018 行（93.6%）

机器人配置

机器人	DoF	object_scale	数据集	行数	qc_pass
unitree_g1	29	0.83	全部 5 个	6,952	6,632（95.4%）
unitree_h2	31	1.0	全部 5 个	6,952	6,386（91.9%）

H2 更高，保留比例更低：OMOMO 91.8%、ParaHome 97.6%、NeuralDome 93.2%、CoRoleHOI 77.9%、IMHD² 90.0%。

各数据集统计（G1，object_scale 0.83）

dataset	motions	objects	minutes	qc_pass	keep %
OMOMO	4,421	13	447.7	4,218	95.4
ParaHome	980	12	179.1	969	98.9
NeuralDome	915	20	127.8	852	93.1
CoRoleHOI	456	23	49.1	425	93.2
IMHD²	180	7	24.4	168	93.3
总计	6,952	75	828.1	6,632	95.4

数据集配置

• default：data/*/*/train-*.parquet
• omomo：data/omomo/*/train-*.parquet
• parahome：data/parahome/*/train-*.parquet
• neuraldome：data/neuraldome/*/train-*.parquet
• corolehoi：data/corolehoi/*/train-*.parquet
• imhd2：data/imhd2/*/train-*.parquet

快速开始

bash pip install datasets

python from datasets import load_dataset import numpy as np

ds = load_dataset("leggedrobotics/hoi-retarget", split="train") # everything ds = load_dataset("leggedrobotics/hoi-retarget", "omomo", split="train") # one source dataset

clean = ds.filter(lambda r: r["qc_pass"]) # the curated subset g1 = ds.filter(lambda r: r["robot"] == "unitree_g1")

r = clean[0] dof = np.array([np.asarray(x) for x in r["dof_pos"]]) # (T, 29) joint angles, radians obj = np.array([np.asarray(x) for x in r["object_pos"]]) # (T, 3) object position, metres print(r["clip_id"], dof.shape, r["object"], r["qc_flags"])

每一列的描述见 docs/SCHEMA.md。

物体网格

• 13 个 OMOMO 物体随数据集提供于 assets/objects/（44 MB 的 URDF、网格和表面采样），因此 4,421 个 OMOMO 动作可直接使用。
• 设置环境变量：export HOI_RETARGET_OBJECT_ROOTS=<this download>
• 该变量添加搜索根；不要使用 HOI_RETARGET_ASSETS，它会替换整个资源根并隐藏机器人模型。
• 其他四个数据集的网格通过 InterAct 以 CC BY-NC-SA 4.0 授权提供，需书面授权，不在此重新分发。将其放置在相同根目录下：
  • <root>/assets/objects/<object>.urdf — OMOMO（已包含）
  • <root>/<dataset>/_assets/<object>.urdf — ParaHome、NeuralDome、CoRoleHOI、IMHD²
• 物体名称在不同数据集间会重复，但网格不重复，因此物体以 <dataset>__<object> 为键。

质量控制

qc_pass 按 (motion, robot) 评估，两个机器人有不同的关节限制：

qc_pass = False if wrist_runfrac > 0.50 # wrist_sustained or foldx_p80 >= 50 # body_folded or (limit_sat_pct >= 15 and foldx_p80 >= 15) # body_folded

• foldx_p80 为源相对值——机器人躯干折叠减去人类的——因此真正蹲下或坐着的人得分接近零。
• 标志捕捉物理上不合理的运动，而非不寻常的交互。
• 失败行带标志发布，qc_flags 命名触发的规则（wrist_sustained、body_folded）。
• 一个手动设置的标志：object_floating 标记 18 行 IMHD² 滑板数据（9 个动作 × 2 个机器人）。

动作查看

• 每行在 video 列中携带该轨迹的渲染，表格预览以 320 × 320（约 50 kB）播放每个片段。
• CoRoleHOI 行显示该对中的两个机器人（本行机器人为正常颜色，伙伴着色）。
• HOI-Retarget Contact Playback（https://huggingface.co/spaces/leggedrobotics/hoi-retarget-viewer）可在浏览器中以 3D 播放任意片段，支持按数据集、机器人和 QC 结果搜索和过滤。

许可

CC BY-NC-SA 4.0：非商业、署名，衍生作品需采用相同许可。这是来源中最严格的条款，且会传播。

源数据集	其许可
OMOMO	MIT
ParaHome	CC BY-NC-SA 4.0
NeuralDome / HODome	CC BY-NC-SA 4.0
CoRoleHOI	CC BY 4.0
IMHD²	CC BY-NC-SA 4.0

• 这些轨迹是源动作捕捉的衍生作品，其优化所依据的接触标注源自 InterAct（https://github.com/wzyabcas/InterAct），采用 CC BY-NC-SA 4.0。
• 使用任何片段时请引用源数据集；dataset 列命名它，NOTICE.md 给出参考。
• OMOMO 物体网格从 InterMimic（https://github.com/Sirui-Xu/InterMimic）以 MIT 重新分发（几何 © 2023 Jiaman Li，资源 © 2025 Sirui Xu），通知见 assets/objects/LICENSE-OBJECTS。
• 机器人模型为 Unitree 所有，BSD-3-Clause（docs/LICENSE-unitree.txt）。
• 重定向代码（https://github.com/leggedrobotics/hoi-retarget）为 BSD-3-Clause。

引用

bibtex @article{shin2026hoiretarget, title = {HOI-Retarget: Contact-Centric Retargeting for Human-Object Interaction}, author = {Shin, Jihwan and L'opez Escoriza, Adri`a and He, Junzhe and Heyrman, Matthias and Hutter, Marco}, journal = {arXiv preprint arXiv:2609.34674}, year = {2026}, url = {https://arxiv.org/abs/2609.34674} }

同时引用片段来源的源数据集——dataset 列命名它，NOTICE.md 列出所有参考。

搜集汇总

数据集介绍

构建方式

在机器人学习领域，人-物交互（HOI）数据的稀缺长期制约着人形机器人全身操作技能的发展。为突破这一瓶颈，该数据集依托一种以接触为中心的重定向方法，将多源人类动作捕捉数据迁移至Unitree G1与H2两款人形机器人平台。其核心机制在于窗口化轨迹优化：将每一帧的接触标注转化为物体坐标系下的优化目标，在机器人运动学约束下协同平衡身体跟踪、足部支撑与运动平滑性。由此，来自OMOMO、ParaHome、NeuralDome、CoRoleHOI及IMHD²五个采集集的原始动作被系统性地转化为机器人可执行的轨迹，最终生成13,904条人形机器人运动序列，构成一套规模可观且物理可用的交互参考语料。

特点

该语料库在多个维度上呈现出鲜明的结构化特征。每一行数据对应一个“动作—机器人”配对，囊括关节角度、浮动基座、物体六自由度位姿以及逐链接触标志，完整刻画了交互过程中的运动学与接触状态。数据覆盖75种不同物体网格，总时长约13.8小时，并同时支持G1与H2两种机型，其中H2因体型更高而通过质量筛选的比例略低。协同操作场景亦有体现，CoRoleHOI的每条动作均为双机器人配对的一半，共912行。每条轨迹附带320×320的渲染视频，并配有qc_pass质量标志与具体失败规则标记，便于使用者快速甄别物理合理性。

使用方法

在实践层面，该数据集可通过HuggingFace的datasets库便捷加载，支持一次性获取全部数据或按源数据集分别载入。使用者可利用filter方法筛选出通过质量控制的子集，或按机器人型号提取特定平台的轨迹。每条记录的dof_pos与object_pos等字段以数组形式存储，可直接转换为NumPy数组用于后续分析或训练。配套的3D查看器空间支持在浏览器中交互式回放任意片段，并可按数据集、机器人及质量控制结果进行检索过滤。此外，OMOMO的物体网格已随包分发，其余数据集的网格需依据指定目录结构自行获取，环境变量HOI_RETARGET_OBJECT_ROOTS用于指向这些资源。

背景与挑战

背景概述

人形机器人的全身技能习得长期受益于示范学习范式，然而该范式向人—物交互（HOI）领域的延伸，始终受制于机器人兼容交互参考数据的匮乏。2026年，苏黎世联邦理工学院Legged Robotics实验室的Jihwan Shin、Adrià López Escoriza、Junzhe He、Matthias Heyrman与Marco Hutter提出了以接触为中心的重定向方法HOI-Retarget，并发布同名大规模运动语料库。该数据集整合OMOMO、ParaHome、NeuralDome、CoRoleHOI与IMHD²五个源捕获集，生成13,904条人形机器人轨迹，覆盖6,952个独特动作与75个物体网格，单机累计时长逾13.8小时。其核心研究问题在于如何将人体交互运动在满足机器人运动学约束的前提下迁移至Unitree G1与H2平台，从而为具身智能的接触丰富操作研究提供可扩展的数据基础设施，对机器人学习与运动生成领域具有显著推动作用。

当前挑战

人—物交互重定向所面对的领域问题，在于交互运动的可行性高度依赖接触关系与物体几何约束，而人体与机器人在连杆长度、关节自由度及关节限位上的系统性差异，使得直接映射极易产生穿模、浮空或姿态折叠等物理不可行结果。构建过程中的挑战具体体现为：其一，接触标注的稀疏与噪声使优化目标难以稳定收敛，需逐帧逐连杆判定手掌与足端的接触状态；其二，不同源数据集在物体网格、骨架定义与许可证条款上彼此异构，物体名称跨数据集重复而网格并不一致，须以“数据集—物体”键加以区分；其三，机器人间差异显著，H2因身高更高在OMOMO与CoRoleHOI上质检通过率降至91.8%与77.9%；其四，IMHD²滑板数据中物体悬浮于地面20至30厘米，暴露了源数据自身的物理不一致，构成当前难以通过重定向消解的固有挑战。

常用场景

经典使用场景

在具身智能与机器人学习领域，人形机器人全身操作技能的获取长期依赖高质量的交互参考数据。HOI-Retarget数据集最经典的使用场景在于为Unitree G1与H2人形机器人提供大规模、接触感知的全身人-物交互运动轨迹，研究者可将其直接用于模仿学习与强化学习的策略训练。数据集中每一行不仅包含关节角度与浮动基座位姿，还附带物体六自由度位姿及逐链接接触标志，使机器人得以在仿真环境中复现人类推箱、搬运、协作操作等复杂行为，从而弥合人类演示与机器人执行之间的形态鸿沟。

衍生相关工作

围绕HOI-Retarget，研究者已衍生出一系列经典工作。其重定向代码库leggedrobotics/hoi-retarget被广泛用于将新采集的动捕数据快速适配至不同人形平台，而基于InterAct接触标注的优化流程亦被后续交互生成研究借鉴。数据集中CoRoleHOI子集所蕴含的协作交互结构，催生了双机器人协同操作的运动规划与多智能体模仿学习工作。三维接触播放器与质量控制标志体系，则为交互数据集的标准化评估提供了可复用的范式，推动了人形机器人交互数据生态的持续扩展。

数据集最近研究

最新研究方向

在具身智能与机器人学习领域，从人类演示中学习人形机器人全身技能已取得显著进展，然而将这一范式拓展至人–物交互（HOI）却长期受制于机器人兼容交互参考数据的匮乏。HOI-Retarget数据集以接触为中心的重定向方法，将五个人类–物体交互捕捉集（OMOMO、ParaHome、NeuralDome、CoRoleHOI、IMHD²）中的动捕数据迁移至Unitree G1与H2两款人形机器人，生成了13,904条包含关节角度、浮动基座、物体6-DoF位姿及逐帧接触标志的大规模轨迹，并配有严格的质量控制与三维可视化工具。该工作与当前人形机器人操作、接触丰富型操作以及跨具身泛化等热点方向深度关联，为基于演示学习的人–物交互研究提供了可扩展的数据生成方案。其影响在于，通过窗口化轨迹优化与接触约束平衡，突破了传统重定向对物体尺寸与机器人形态的依赖，使单次演示可泛化至不同物体尺度并支持多机器人协同操作，为人形机器人在真实场景中习得复杂交互技能奠定了数据基础，推动了具身智能从仿真到物理世界的迁移进程。