HumanTracker

HumanTracker是一个全面且符合人类感知的人形运动跟踪基准，包含约153小时从24位专业表演者新捕获的光学运动数据，组织为四个运动家族（日常、高度动态、交互、地面），每个片段带有文本标签，用于细粒度诊断。HumanTracker is a comprehensive and human-perception-aligned human motion tracking benchmark, containing approximately 153 hours of newly captured optical motion capture data from 24 professional performers. It is organized into four motion families: everyday, highly dynamic, interactive, and ground-based, with each segment annotated with text labels for fine-grained diagnostic purposes.

原始信息汇总

HumanTracker 数据集详情

数据集概述

HumanTracker 是一个面向人形机器人运动跟踪的综合性基准测试数据集，旨在解决现有评估中运动学误差指标（如逐帧姿态差异）未能捕捉物理伪影（如不稳定支撑、脚打滑、触地时机错误）的问题。该数据集提供约153小时新捕捉的光学运动数据，来自24位专业表演者，并通过HumanScore偏好对齐指标实现与人类感知一致的可扩展评估。

数据规模与结构

运动类别	时长（小时）	片段数	典型挑战
日常活动	89	9.7k	稳定行走、轻度接触
高动态	11	2.7k	冲击、腾空阶段、快速步法
交互	48	10.9k	类人、稳定、流畅的手-身体协调
地面动作	5	1.6k	低姿态、多接触转换
总计	153	25K	—

每个片段包含运动类别标签、自然语言描述、SMPL拟合序列及机器人空间参考轨迹（qpos格式）。数据集按9：1划分训练集与测试集，保持类别分布一致。

HumanScore 评估指标

HumanScore 是一种基于偏好的度量，通过12K人类标注偏好对（涵盖24K同步跟踪器轨迹）训练轨迹奖励模型获得。评估时，滚动轨迹被分割为250帧（5秒）窗口，通过sigmoid映射至(0,1)区间，并计算帧数加权平均值（0-100分）。该指标能揭示运动学指标常忽略的接触和稳定性失效问题。

零样本结果对比

方法	Daily Succ/MPJPE/HScore	高动态 Succ/MPJPE/HScore	交互 Succ/MPJPE/HScore	地面 Succ/MPJPE/HScore
GMT	17.0 / 0.250 / 2.4	36.2 / 0.196 / 7.0	81.4 / 0.205 / 11.7	0.0 / 0.456 / 4.0
TWIST2	60.1 / 0.105 / 10.1	39.9 / 0.112 / 16.9	91.3 / 0.111 / 28.3	0.0 / 0.341 / 4.5
SONIC	93.8 / 0.102 / 49.5	82.1 / 0.118 / 41.0	97.6 / 0.128 / 54.6	20.1 / 0.231 / 26.5
Humanoid-GPT	94.4 / 0.046 / 54.7	86.9 / 0.047 / 49.2	97.2 / 0.070 / 56.8	32.9 / 0.216 / 24.9

数据集特点

• 统一评估框架：所有跟踪器转换为相同的29自由度（DoF）qpos表示，使用统一的MuJoCo评估入口，标准化动作列表、机器人模型、参考索引和指标计算。
• 评估指标：成功率达到条件（骨盆、踝或腕垂直位置误差≤0.25m，骨盆旋转误差≤1rad）、MPJPE（29个驱动关节角度平均绝对误差）、HumanScore。
• HumanScore模型：采用Transformer架构，输入为539维帧token（70维参考信息+469维模拟滚动信息），通过Bradley-Terry损失训练，支持严格偏好和"相似"软目标。
• 数据工具：包含偏好数据构建管线（rm_pipeline）和运动注释界面工具（motion_annotation）。

使用与获取

• 项目主页：https://dairuliu.github.io/humantracker/
• 论文：https://arxiv.org/abs/2608.13555
• 数据集（Hugging Face）：https://huggingface.co/datasets/GalaxyGeneralRobotics/HumanTracker
• 代码仓库：https://github.com/GalaxyGeneralRobotics/HumanTracker
• 许可证：Apache License 2.0（第三方跟踪器和策略保留其原始许可证）

搜集汇总

数据集介绍

构建方式

HumanTracker数据集的构建过程严谨而系统，旨在捕获人形机器人运动跟踪中难以量化的物理与感知细节。研究团队利用光学动作捕捉系统，从24位专业表演者处采集了约153小时的高精度运动数据，涵盖了日常活动、高度动态、人际交互及地面接触四类运动族，总计25K个片段。每段动作均配有详细的自然语言描述、拟合的SMPL序列及机器人空间参考轨迹（qpos格式）。为保障数据质量，团队采用GMR方法将人体运动重定向至基准人形机器人，并剔除存在漂浮、地面穿透或接触不连续等伪影的片段。数据集以9:1比例划分训练与测试集，并保持各运动族分布的一致性。

特点

HumanTracker的核心创新在于其人类对齐的评估体系。传统运动跟踪基准依赖运动学误差指标，却难以反映人类对动态物理现象的直觉判断，如脚部滑动或接触时机不当。为此，团队构建了HumanScore奖励模型，它基于12K条人工标注的偏好对，通过轨迹奖励模型学习人类对跟踪质量的偏好。该模型能够捕捉传统指标忽视的接触稳定性与支撑平衡等关键问题。此外，数据集按运动族分类报告评估结果，揭示不同跟踪器在特定场景下的优势与不足，为人形机器人运动跟踪研究提供了更具洞察力的评估维度。

使用方法

HumanTracker提供了完整的评估与训练流程。用户可通过安装脚本配置环境，并利用setup_thirdparty.sh集成四个主流跟踪器（SONIC、Humanoid-GPT、TWIST2、GMT）。统一评估入口将各跟踪器的输出转换为29自由度qpos格式，采用SONIC终止准则及标准化指标（成功率、MPJPE、HumanScore）进行测评。HumanScore奖励模型可独立训练与验证，通过Transformer架构对轨迹窗口打分。数据集的偏好数据构建工具包支持可视化标注，便于研究者扩展新任务。整个代码库强调可复现性，支持CPU上的位级确定性运行，并提供了详细的配置文档与命令行接口。

背景与挑战

背景概述

HumanTracker是由南开大学、清华大学、北京大学及上海期智研究院等多家顶尖学术机构于ECCV 2026联合推出的具身智能运动跟踪基准。该数据集针对人形机器人遥操作与全身模仿学习中的评估痛点，构建了包含约153小时、由24位专业表演者采集的光学运动捕捉数据，涵盖日常、高动态、交互及地面四大运动类别，并配套文本标注用于细粒度诊断。核心贡献在于提出了HumanScore评估指标，该指标基于12K人工标注的偏好对和24K同步跟踪轨迹训练而成，能够更精准地反映人类对运动质量的感知，显著优于传统运动学误差指标。该基准的发布为运动跟踪领域提供了规模化、人类对齐的评估平台，对推动人形机器人控制与学习研究具有重要影响。

当前挑战

HumanTracker面临的挑战集中于两方面。领域内，传统运动学指标（如MPJPE）仅度量逐帧位姿差异，无法捕捉步态滑动、落地时序错误等物理伪影，且现有测试集规模小、多样性不足，难以评估接触丰富、长时间跨度的行为。构建过程中，需将人体运动重定向至标准人形机器人，并人工剔除漂浮、地面穿透等捕捉伪影，确保数据质量；同时，偏好数据的标注需要专业研究人员对大量轨迹进行主观比较，工作量巨大且需保持标注一致性。此外，评估流程需统一不同跟踪器的接口和终止条件，保证公平可比，并在GPU非确定性条件下实现可重复的度量，均构成工程与算法层面的双重难题。

常用场景

经典使用场景

HumanTracker数据集作为人形机器人全身运动跟踪的综合性评估基准，其经典使用场景在于对各类运动跟踪算法进行标准化的性能度量与横向对比。研究者利用其包含约153小时、涵盖日常、高动态、交互及地面运动四大类别的光学动作捕捉数据，为算法提供统一的机器人空间参考轨迹，并采用统一的评估框架（如SONIC终止准则）在相同条件下测试不同跟踪器的成功率、MPJPE等指标。该基准尤其强调对接触丰富、长时程行为的压力测试，适用于验证算法在复杂人体运动下的鲁棒性与物理合理性。

解决学术问题

该数据集解决了人形机器人运动跟踪评估中普遍存在的感知不一致与基准规模不足两大核心难题。传统运动学指标如MPJPE仅反映逐帧位姿差异，却无法捕捉足部打滑、触地时机错误等物理层面的关键伪影，而HumanTracker通过提出HumanScore偏好对齐指标，结合12K人类标注的偏好对，实现了与人类直觉高度相关的质量评估。其大规模、多样化的数据分布有效缓解了现有测试集规模小、缺乏压力场景的问题，为运动跟踪算法的学术研究提供了更为严谨且全面的评测基础，推动了该领域评价体系的范式转变。

衍生相关工作

围绕HumanTracker数据集，已衍生出多项经典工作。其一，HumanScore奖励模型的提出，开创了基于人类偏好的轨迹质量评估新方向，其Transformer架构与软目标Bradley-Terry损失被后续研究广泛借鉴。其二，该数据集为四种代表性跟踪器（GMT、TWIST2、SONIC、Humanoid-GPT）提供了统一评测平台，催生了针对接触不稳定、高动态运动等挑战的算法改进研究。其三，构建的数据预处理与重定向管线（基于GMR）成为人形机器人动作数据处理的标准范式，相关工具被集成至机器人学开源生态，促进了跨实验室的数据共享与结果对比，推动了运动跟踪研究向人类对齐化方向发展。