HumanTracker

HumanTracker是一个面向人形机器人运动跟踪的基准数据集，旨在解决传统逐帧运动学误差指标无法捕捉不稳定支撑、脚滑、触地时机错误等视觉可感知物理伪影的问题。该数据集包含两个互补的子集：motions/评估测试集，包含2500个经过重定向的29自由度参考轨迹，分为四个运动家族（Daily日常、Interaction交互、HighlyDynamic高动态、Ground地面），每个轨迹以50Hz的qpos轨迹存储，并提供关键点姿态、速度、触地等数据；preference_pair/包含6000对人类偏好比较对，每对存储了两个跟踪器（GMT、TWIST2、SONIC、Humanoid-GPT）的闭环滚动输出以及对应的源运动片段，偏好标签为严格偏好、相似或无法比较（bad_traj），该子集用于训练HumanScore奖励模型，数据以parquet格式提供，每个样本包含完整的候选轨迹、参考轨迹和元数据。数据集的训练/测试划分基于运动ID分组，确保同一源运动的所有片段位于同一分区，训练集4800对，测试集1200对，共5298个源运动片段。该数据集适用于跟踪器评估、奖励模型/人类评分研究、细粒度错误诊断等任务。论文发表于ECCV 2026，许可证为Apache 2.0。HumanTracker is a benchmark dataset for humanoid robot motion tracking, designed to address the issue that traditional frame-by-frame kinematic error metrics cannot capture visually perceptible physical artifacts such as unstable support, foot sliding, and incorrect foot contact timing. The dataset consists of two complementary subsets: motions/ evaluation test set, containing 2500 redirected 29-DOF reference trajectories, divided into four motion families (Daily, Interaction, HighlyDynamic, Ground), each stored as 50Hz qpos trajectories with keypoint pose, velocity, foot contact, etc.; preference_pair/ contains 6000 human preference comparison pairs, each storing closed-loop rollout outputs of two trackers (GMT, TWIST2, SONIC, Humanoid-GPT) and corresponding source motion clips, with preference labels of strict preference, similar, or incomparable (bad_traj). This subset is used to train the HumanScore reward model, provided in parquet format, with each sample containing complete candidate trajectories, reference trajectories, and metadata. The training/test split is based on motion ID grouping, ensuring all clips from the same source motion are in the same partition. Training set has 4800 pairs, test set 1200 pairs, totaling 5298 source motion clips. The dataset is suitable for tracker evaluation, reward model/human scoring research, fine-grained error diagnosis, etc. The paper is published at ECCV 2026, licensed under Apache 2.0.

原始信息汇总

HumanTracker 数据集概述

基本信息

• 数据集名称： HumanTracker
• 许可证： Apache 2.0
• 任务类型： 机器人学、强化学习
• 规模： 1K < n < 10K
• 语言： 英语
• 标签： humanoid, motion-tracking, mocap, preference, reward-model

数据集简介

HumanTracker 是一个仿人机器人运动跟踪基准数据集，旨在解决传统逐帧运动学误差评估无法捕捉视频中物理伪影（如不稳定支撑、脚部滑动、接触时机不准）的问题。该数据集将大规模、带运动族标签的运动测试集与基于成对人类比较训练的偏好对齐度量（HumanScore）相结合。

子集构成

1. motions/（评估测试集）

• 角色： 跟踪器评估参考轨迹
• 规模： 2,500 个片段
• 内容： 重定位至 29 自由度 Unitree G1 风格仿人机器人的参考轨迹，以 50 Hz 频率存储为 qpos 轨迹

运动族	测试片段数	测试重点
Daily	974	稳定行走、轻度接触
Interaction	1,094	手-身体协调
HighlyDynamic	268	冲击、空中阶段、快速步法
Ground	164	低姿态、多接触转换
总计	2,500

2. preference_pair/（人类偏好标签数据集）

• 规模： 6,000 对人类偏好比较（训练 4,800 / 测试 1,200），约 10 GB
• 内容： 每对包含两个被比较的跟踪器轨迹以及对应的源运动片段
• 基础模型： 比较了 GMT、TWIST2、SONIC 和 Humanoid-GPT 四种跟踪器对相同参考窗口（通常为 250 帧 / 5 秒）的轨迹
• 标签类型： 严格偏好（preference）、相似（similar）、无法比较（bad_traj）
• 划分方式： 按 motion_id 分组，确保同一源运动的所有片段保持在同一个分区

数据集结构

HumanTracker/ README.md motions/ test.json Daily/ Ground/ HighlyDynamic/ Interaction/ preference_pair/ train.json test.json train/train-00000-of-00020.parquet ... train-00019-of-00020.parquet test/test-00000-of-00005.parquet ... test-00004-of-00005.parquet

数据格式

motions/ 文件格式

每个 .npz 文件包含：

键	形状	描述
qpos	(T, 36)	广义位置（浮动基座 + 29 自由度）
qvel	(T, 35)	广义速度
kpt2gv_pose	(T, 14, 4, 4)	重力对齐坐标系下 14 个关键点姿态
kpt_cvel_in_gv	(T, 14, 6)	关键点空间速度
gv_vel	(T, 3)	重力对齐坐标系下的根部线速度
gv2wrd_pose	(T, 4, 4)	重力对齐坐标系到世界坐标系的变换
foot_contact	(T, 2)	左脚/右脚接触状态

preference_pair/ 数据列

列名	描述
record_id / pair_id	匿名配对 ID
motion_id	匿名化源运动 ID
category	运动族
tracker_pair_key	无序跟踪器对，如 `gmt
candidate_0_tracker / candidate_1_tracker	各候选槽位对应的跟踪器
choice_type	preference / similar / bad_traj
preferred_candidate_idx	偏好选择（当 choice_type 为 preference 时为 0 或 1，否则为空）
source_start_frame / source_end_frame	原始采集中的片段范围
num_frames / fps	片段长度及 50 Hz 采样率
candidate_0_npz / candidate_1_npz	两个跟踪器轨迹（字节存储）
motion_npz	源运动片段（字节存储）
annotation_json	完整清洗记录

候选轨迹数据块

数据块	数组	维度
跟踪器跟随的参考轨迹	ref_pose, ref_root_navi_vel, ref_joint_pos, ref_joint_vel, ref_foot_contact	70
模拟轨迹	sensor_pose, imu_pose, action, motor_target, joint_pos, joint_vel, foot_contact, foot_force, foot_vel, foot_acc, linvel_pelvis, root_navi_vel, acu_root2gv_lin_vel, acu_root2gv_ang_vel, acu_kpt2gv_pose, acu_kpt_cvel_in_gv	469
未来参考残差	next_ref2acu_gv_vel, next_ref2acu_kpt_pose, next_ref2acu_kpt_cvel	311
渲染	qpos, qvel	71

划分统计

划分	配对数	源运动数	preference / similar / bad_traj
train	4,800	4,486	3,850 / 759 / 191
test	1,200	812	958 / 190 / 52
总计	6,000	5,298	4,808 / 949 / 243

• 六个无序跟踪器对（gmt|hgpt, gmt|sonic, gmt|twist2, hgpt|sonic, hgpt|twist2, sonic|twist2）各平衡为 1,000 对
• bad_traj 对被排除在训练之外，实际训练对数为 5,757
• preference 使用 Bradley–Terry 损失，similar 使用对称 0.5 目标
• train.json 中包含 model_selection（461 条记录），用于确保重新训练时选择与已发布模型相同的检查点

使用场景

1. 跟踪器评估： 在 motions/ 上运行策略，并按运动族报告 Succ / MPJPE / HumanScore 指标
2. 奖励模型 / HumanScore 研究： 直接从 preference_pair/ 复现或扩展 HumanScore
3. 诊断分析： 利用运动族标签和保留的动作名称（如 burpee、Tennis）进行细粒度错误分析

注意事项

• 文件名已匿名化处理，移除了日期、表演者姓名、采集系统标签和采样率后缀
• 运动族级别名称（Daily、Interaction、HighlyDynamic）已编号（如 Daily_1.npz）
• 本身即为运动类型的动作标签予以保留，如 Ground 动作 burpee、sit-lie，HighlyDynamic 动作 Tennis 或具名武术技能
• 该发布不是完整的训练运动数据转储；2,500 个评估片段是官方测试集，偏好片段是标记的 5 秒窗口，而非完整源片段

引用信息

bibtex @misc{liu2026humantrackercomprehensivehumanalignedmotion, title={HumanTracker: Towards Comprehensive and Human-Aligned Motion Tracking Benchmark}, author={Dairu Liu and Zekun Qi and Jiayu Zeng and Ruixi Yu and Yu Guan and Yintianrun Zhang and Xuchuan Chen and Sikai Liang and Zekai Li and Chenghuai Lin and Xinqiang Yu and Wenyao Zhang and He Wang and Li Yi}, year={2026}, eprint={2608.13555}, archivePrefix={arXiv}, primaryClass={cs.RO}, url={https://arxiv.org/abs/2608.13555}, }

搜集汇总

数据集介绍

构建方式

HumanTracker数据集由两个互补的子集构成：motions子集包含2,500个重定向至29自由度Unitree G1类人形机器人的参考运动轨迹，涵盖日常生活、交互、高动态和地面动作四类运动族，并以qpos轨迹形式存储于50Hz频率下；preference_pair子集则包含6,000对人类偏好对，每对包含两个追踪器的闭环 rollout 及对应的源运动片段，这些 rollout 通过 GMT、TWIST2、SONIC 和 Humanoid-GPT 四种追踪器在相同参考窗口（通常为250帧/5秒）下生成，并由人工标注为严格偏好、相似或不可比较三类。数据划分按运动ID分组，确保同一源运动的所有片段不会跨划分出现。

特点

该数据集的核心特点在于其人类对齐的评估视角：传统逐帧运动学误差忽略了视频中人类感知到的物理瑕疵，而 HumanTracker 通过大规模人工偏好对训练出 HumanScore 奖励模型，直接度量追踪质量。数据集包含丰富的标注信息，如轨迹候选、偏好标签、源运动窗口及注释元数据，并提供了内联的 rollout 数据，无需重新仿真即可复现奖励模型训练。此外，数据文件名经匿名化处理，保留动作类别，支持细粒度的诊断分析，六大追踪器对组合平衡分布，为奖励模型训练提供了全面的对比基础。

使用方法

研究者可通过 HuggingFace Datasets 库直接加载 preference_pair 配置，或直接读取 parquet 分片以获取偏好对及轨迹数据。对于追踪器评估，可使用代码仓库中的评估器，指定 motions 路径和 test.json 清单，得到各运动族的成功率、MPJPE 和 HumanScore 指标。对于奖励模型研究，可将 preference_pair 目录作为训练数据，通过提供的训练脚本复现或扩展 HumanScore 模型。该数据集还支持基于运动族标签和保留动作名称的误差细粒度分析，便于诊断追踪器在特定场景下的不足。

背景与挑战

背景概述

HumanTracker数据集由北京大学等机构的研究者于2026年创建，旨在解决人形机器人运动跟踪评估中依赖逐帧运动学误差、忽视人类感知质量的问题。该数据集包含2500条运动参考轨迹和6000对人类偏好标注，覆盖日常、交互、高动态及地面动作四大类，并配套训练了HumanScore奖励模型，实现了与人类主观判断高度对齐的评估指标。其构建融合了GMT、TWIST2、SONIC等先进跟踪算法，通过匿名化处理和严格的数据划分，确保了数据集的客观性与可复现性。这一开创性工作为具身智能运动跟踪领域树立了新标杆，推动了评估标准向更全面、更人性化的方向演进，对后续研究与实际应用产生了广泛而深远的影响。

当前挑战

领域层面，传统运动跟踪评估仅关注关节角度误差，无法捕捉支撑不稳、脚部滑移、接触时机失当等人类视觉显著缺陷，导致评估结果与主观感受严重脱节。构建过程中，数据采集需精确重定目标至29自由度人形机器人，并处理多传感器同步、坐标系统一及运动学一致性等复杂工程问题；偏好标注环节面临主观差异、长视频疲劳及标注尺度不一致等挑战，需设计严格的特权偏好、相似或劣质轨迹选项以降低噪声。此外，生成涵盖四类动作族、兼具代表性与挑战性的测试集，并平衡各跟踪算法对的样本数量，亦为数据均衡性与训练效率带来了显著困难。

常用场景

经典使用场景

HumanTracker数据集作为人形机器人运动跟踪领域的综合性基准，其经典使用场景聚焦于对运动跟踪策略的评估与对比。该数据集提供了2,500段涵盖日常、交互、高度动态及地面动作四类运动族谱的参考轨迹，并配套统一的评估工具链。研究者可借此在标准化条件下运行不同算法（如GMT、TWIST2、SONIC、Humanoid-GPT），并依据成功率、平均每关节位置误差（MPJPE）及人类对齐评分（HumanScore）等指标，对跟踪器的性能进行多维度细致剖析，从而推动运动跟踪技术的量化进步。

衍生相关工作

HumanTracker数据集的发布催生了一系列扩展性研究。围绕其preference_pair子集，研究者可复现并重构HumanScore奖励模型，探索基于优化偏好对比的奖励建模新方法。数据集中的运动族谱标签与动作名称保留设计，为细粒度的误差分析及跨域迁移学习提供了数据温床，进而衍生出一批关于运动鲁棒性、多任务泛化及人类对齐控制的相关工作。此外，其评估架构鼓励引入新跟踪器并进行公平比较，进一步激发了诸如集成学习、元学习等更优跟踪策略的探索与涌现。

数据集最近研究

最新研究方向

在机器人运动追踪与具身智能领域，HumanTracker数据集的发布标志着评估范式从传统的运动学误差指标向人类感知对齐的深刻转变。该基准通过整合大规模带家族标签的运动测试集与基于人类成对比较的奖励模型HumanScore，攻克了现有方法在支撑稳定性、足部滑移及接触时序等物理伪影上的感知盲区。为捕捉复杂交互与高动态场景中的细微差异，该数据集精心设计了涵盖日常、地面、高动态及交互四类运动的2500条参考轨迹，并收集了6000对人类偏好标注，这些标注直接用于训练偏好对齐的奖励模型，从而为仿人机器人跟踪策略的评估提供了更贴近人类直觉的度量标准。其前沿性在于巧妙融合了运动重定向技术（如GMR）与多智能体对比框架（GMT、TWIST2、SONIC、Humanoid-GPT），为开发更鲁棒、更自然的仿人运动生成模型奠定了数据基础，预期将推动人机协同与物理交互领域的研究迈向新高度。