hoi-retarget-sapiens-k1

HOI-Retarget — ROBOTIS AI Sapiens K1是一个专门为ROBOTIS AI Sapiens K1人形机器人重新定位的人-物交互运动数据集。该数据集基于HOI-Retarget（针对Unitree G1和H2）的原始数据，采用相同的方法、设置和质量控制流程，将运动重新定位到K1机器人上。数据集包含6,952个运动序列，总时长约828.1分钟，涉及75种不同的物体网格。每个样本记录了一组关节角度、浮动基座位姿、物体的6自由度位姿，以及双手和双脚每个连杆的接触标志。数据来源于5个公开数据集：OMOMO、ParaHome、NeuralDome、CoRoleHOI和IMHD²，其中CoRoleHOI包含协作运动对（228对，共456行）。机器人模型为ROBOTIS AI Sapiens K1，具有23个自由度，物体缩放比例为0.833。整体质量通过率为96%（6,672个样本）。数据集以parquet文件形式存储，支持按源数据集划分加载。提供视频预览列，每个样本包含一个320×320的渲染视频。适用于机器人运动重定向、人-物交互模拟、接触感知控制等研究。许可协议为CC BY-NC-SA 4.0。HOI-Retarget — ROBOTIS AI Sapiens K1 is a human-object interaction (HOI) motion dataset specifically retargeted to the humanoid robot ROBOTIS AI Sapiens K1. It is based on the original data from HOI-Retarget (for Unitree G1 and H2), using the same method, setup, and quality control pipeline to retarget motions to the K1 robot. The dataset contains 6,952 motion sequences with a total duration of approximately 828.1 minutes, involving 75 different object meshes. Each sample records a set of joint angles, floating base pose, 6-DoF object pose, and contact flags for each link of both hands and feet. Data originates from five public datasets: OMOMO, ParaHome, NeuralDome, CoRoleHOI, and IMHD², where CoRoleHOI includes collaborative motion pairs (228 pairs, 456 sequences). The robot model is ROBOTIS AI Sapiens K1 with 23 degrees of freedom, and object scaling ratio is 0.833. The overall quality pass rate is 96% (6,672 samples). The dataset is stored in parquet files and supports loading by source dataset splits. A video preview column is provided, with each sample containing a 320×320 rendered video. It is suitable for research in robot motion retargeting, human-object interaction simulation, and contact-aware control. The license is CC BY-NC-SA 4.0.

原始信息汇总

HOI-Retarget — ROBOTIS AI Sapiens K1 数据集

基本信息

• 数据集地址：https://huggingface.co/datasets/shinben0327/hoi-retarget-sapiens-k1
• 许可证：CC BY-NC-SA 4.0
• 任务类别：robotics（机器人）
• 数据规模：1K < n < 10K
• 标签：robotics、humanoid、robotis-k1、ai-sapiens、motion-retargeting、human-object-interaction、motion-capture、contact

数据集概述

该数据集为 HOI-Retarget 动作（原针对 Unitree G1 和 H2），使用相同的方法、设置和质量控制（QC）重定向至 ROBOTIS AI Sapiens K1 机器人。其列结构、文件布局与加载代码均与公开版本一致，仅机器人不同。每一行代表一次动作，包含关节角度、浮动基座、物体的 6-DoF 位姿，以及双掌和双脚的逐连杆接触标志。

内容统计

项目	数值
源数据集	5 个 — OMOMO、ParaHome、NeuralDome、CoRoleHOI、IMHD²
动作数量	6,952
物体数量	75 个不同网格
总时长	828.1 分钟
协作动作	456 行（228 对 CoRoleHOI）
机器人	ROBOTIS AI Sapiens K1，robotis_k1（23 自由度，物体缩放 0.833）
通过 QC	6,672（96.0%）

各源数据集明细

数据集	动作数	物体数	时长（分钟）	QC 通过	保留率 %
OMOMO	4,421	13	447.7	4,232	95.7
ParaHome	980	12	179.1	978	99.8
NeuralDome	915	20	127.8	851	93.0
CoRoleHOI	456	23	49.1	443	97.1
IMHD²	180	7	24.4	168	93.3
总计	6,952	75	828.1	6,672	96.0

配置（Configs）

• default：data///train-*.parquet
• omomo：data/omomo//train-.parquet
• parahome：data/parahome//train-.parquet
• neuraldome：data/neuraldome//train-.parquet
• corolehoi：data/corolehoi//train-.parquet
• imhd2：data/imhd2//train-.parquet

机器人模型

assets/robots/k1/ 存放求解所用模型：k1_hoi_mocap.xml（MuJoCo）、k1_hoi.urdf 及网格文件，来自 ROBOTIS 的 ai_sapiens_description 0.2.2。为接触目标添加了固定的手腕、掌垫和脚趾坐标系；assets/robots/k1/NOTICE 列出了所有更改。物体按机器人根缩放比例 0.833 缩放（scale_object_mesh 与 scale_object_trajectory 均为 true）。

物体网格

• 13 个 OMOMO 物体随 assets/objects/ 提供。通过 export HOI_RETARGET_OBJECT_ROOTS=<this download> 指向该下载。
• 其余四个数据集的网格不重新分发；需按 <root>/<dataset>/_assets/<object>.urdf 布局放置。
• 物体名称在不同数据集间会重复，因此需以 (dataset, object) 作为键。

快速开始

仓库为私有，需先登录（huggingface-cli login）且账户具有访问权限。

python from datasets import load_dataset import numpy as np

ds = load_dataset("shinben0327/hoi-retarget-sapiens-k1", split="train") # everything ds = load_dataset("shinben0327/hoi-retarget-sapiens-k1", "omomo", split="train") # one source dataset

clean = ds.filter(lambda r: r["qc_pass"]) r = clean[0] dof = np.array([np.asarray(x) for x in r["dof_pos"]]) # (T, 23) joint angles, radians obj = np.array([np.asarray(x) for x in r["object_pos"]]) # (T, 3) object position, metres print(r["clip_id"], dof.shape, r["object"], r["qc_flags"])

• 各列描述见 docs/SCHEMA.md；examples/to_pkl.py 可将一行还原为流水线的 contact_window.pkl。
• examples/smplx_to_k1.json：所用 IK 配置；可用 HOI-Retarget --robot robotis_k1 复现。

质量控制

公开版本的规则未变：

qc_pass = False if wrist_runfrac > 0.50 # wrist_sustained or foldx_p80 >= 50 # body_folded or (limit_sat_pct >= 15 and foldx_p80 >= 15) # body_folded

K1 的两处适配：

• K1 手腕滚转范围为 ±180°，无机械限位，因此 wrist_runfrac 以 G1 的半量程衡量（“接近限位”线同样位于 90.4°）。
• limit_sat_pct 仅统计 14 个具有真实限位的铰链。
• object_floating 在 IMHD² 滑板行上手动设置，与公开版本一致：源数据中滑板漂浮于地面之上 20–30 cm。

预览

video 列包含每行一个 320 × 320 渲染视频。CoRoleHOI 行显示一对中的两个 K1，本行机器人为正常颜色，协作为着色显示。

许可

采用 CC BY-NC-SA 4.0，为各源数据集中最严格的条款。

源数据集	其许可证
OMOMO	MIT
ParaHome	CC BY-NC-SA 4.0
NeuralDome / HODome	CC BY-NC-SA 4.0
CoRoleHOI	CC BY 4.0
IMHD²	CC BY-NC-SA 4.0

• 轨迹为源动作捕捉的衍生作品；接触标注源自 InterAct（CC BY-NC-SA 4.0）。
• 使用任一片段需引用其源数据集；NOTICE.md 提供参考文献。
• OMOMO 物体网格从 InterMimic 以 MIT 许可重新分发（assets/objects/LICENSE-OBJECTS）。
• K1 模型为 ROBOTIS 所有，Apache-2.0（assets/robots/k1/LICENSE、assets/robots/k1/NOTICE）。

引用

bibtex @article{shin2026hoiretarget, title = {HOI-Retarget: Contact-Centric Retargeting for Human-Object Interaction}, author = {Shin, Jihwan and L'opez Escoriza, Adri`a and He, Junzhe and Heyrman, Matthias and Hutter, Marco}, journal = {arXiv preprint arXiv:2609.34674}, year = {2026}, url = {https://arxiv.org/abs/2609.34674} }

搜集汇总

数据集介绍

构建方式

该数据集以人-物交互运动重定向为技术路径，将OMOMO、ParaHome、NeuralDome、CoRoleHOI与IMHD²五个来源的运动捕捉数据，经由与HOI-Retarget公开版本一致的求解流程映射至ROBOTIS AI Sapiens K1人形机器人。重定向过程沿用同一套IK配置与质量管控规则，并针对K1腕部无机械限位的结构特性作出适配。每条轨迹同时携带机器人关节角、浮动基座位姿、物体六自由度位姿以及双掌与双足的逐连杆接触标志，最终汇为6,952条运动片段。

特点

数据集涵盖75个独立物体网格与828.1分钟运动时长，其中456条为CoRoleHOI的双机协作序列。全部样本经统一质控筛选，保留率达96.0%。其显著特征在于接触标注的细粒度与机器人形态的针对性，手腕、掌垫与足端均设有固定帧用于接触目标，物体网格与轨迹按机器人根尺度0.833同步缩放。数据按来源数据集分设配置，便于按域检索与隔离使用。

使用方法

使用者可通过HuggingFace datasets库加载默认配置或任一来源子集，并借助qc_pass字段筛选通过质控的样本。关节角与物体位置以嵌套数组形式存储，可按行解析为时间序列矩阵。视频列提供每行320×320的渲染预览。OMOMO物体网格随数据集分发，其余来源网格需自行放置于指定根目录并以数据集与物体名联合索引。仓库为私有，需先登录并申请访问权限。

背景与挑战

背景概述

人机交互与具身智能的蓬勃发展，使人类-物体交互动作向人形机器人迁移成为机器人学习领域的前沿议题。HOI-Retarget-Sapiens-K1数据集由苏黎世联邦理工学院机器人系统实验室的Jihwan Shin、Adrià López Escoriza、Junzhe He、Matthias Heyrman与Marco Hutter等人于2026年构建，依托HOI-Retarget框架，将OMOMO、ParaHome、NeuralDome、CoRoleHOI及IMHD²五个源数据集的6,952段人类-物体交互动作，以统一方法与质量控制重定向至ROBOTIS AI Sapiens K1人形机器人。该数据集为接触感知的机器人运动重定向研究提供了迄今规模最大、对象多样性最丰富的基准，有力推动了人形机器人操作与交互技能的学习与迁移。

当前挑战

本数据集所应对的核心领域难题在于，人类-物体交互动作蕴含丰富的接触语义与全身协调模式，如何将其保真地迁移至自由度与形态迥异的人形机器人，同时维持物理可行性与接触一致性，至今仍缺乏通用解法。构建过程中的具体挑战包括：跨源数据集在动作风格、对象表示与标注规范上的异质性协调；K1机器人腕部滚转无机械限位导致的关节范围判定歧义；浮空滑板等源数据中固有的物理不合理性对重定向的干扰；以及通过接触约束求解时须兼顾96%质量通过率与全身折叠、关节饱和等失效模式的甄别，从而在保真重定向与机器人可执行性之间取得平衡。

常用场景

经典使用场景

在人形机器人运动重定向与操作学习领域，该数据集最经典的使用场景是将人类-物体交互动作捕捉数据迁移至ROBOTIS AI Sapiens K1人形机器人平台。研究者可直接加载6,952条运动序列，每条包含23自由度关节角、浮动基座位姿、物体6自由度轨迹以及手掌与足端的逐连杆接触标志，用于训练机器人模仿人类操作行为。其涵盖OMOMO、ParaHome、NeuralDome、CoRoleHOI与IMHD²五个来源数据集，提供1,000至10,000规模的运动样本，为接触密集型操作策略学习提供了标准化的数据基础。

实际应用

在实际应用层面，该数据集支撑人形机器人在家庭服务、协作装配与物体搬运等场景中的技能迁移。开发者可利用其物体网格与轨迹信息，在MuJoCo仿真中训练强化学习策略，再将策略部署至ROBOTIS AI Sapiens K1实体机器人。协作类数据（456行，228对CoRoleHOI）尤其适用于双机器人协同操作任务，而手部与足部接触标志则可用于接触丰富的抓取与步态规划。视频预览列进一步降低了数据筛选与调试成本。

衍生相关工作

该数据集衍生自HOI-Retarget项目，其核心方法已发表于arXiv论文并开源代码仓库。基于此数据，研究者已开展跨机器人形态的重定向对比研究（Unitree G1与H2），以及接触感知的运动生成与策略学习工作。InterAct提供的接触标注与InterMimic重分发的OMOMO物体网格构成其技术基础，而ParaHome、NeuralDome、CoRoleHOI与IMHD²等源数据集则拓展了其在家庭、协作与极端动态场景中的应用边界。