MoCapAct

该数据集名为MoCapAct，包含了超过50万个专家MoCap追踪策略生成的模拟人形角色的运动轨迹，总计涉及6700万个环境转换。这些策略涵盖了广泛的人类运动行为，如走路、跑步以及更复杂的动作，如侧手翻等。该数据集被用于评估H-GAP在表示运动先验以及在模仿学习和控制任务中的性能。其规模宏大，包含超过50万个回放和6700万个环境转换，旨在应对模仿学习及相关下游控制任务。The dataset is named MoCapAct. It contains over 500,000 motion trajectories of simulated humanoid characters generated by expert MoCap tracking policies, totaling 67 million environment transitions. These policies cover a wide range of human locomotor behaviors, including walking, running, and more complex movements such as cartwheels. This dataset is utilized to evaluate the performance of H-GAP in representing motion priors, as well as in imitation learning and control tasks. Boasting its large scale with over 500,000 replays and 67 million environment transitions, it is designed to address imitation learning and related downstream control tasks.

搜集汇总

数据集介绍

构建方式

在模拟人形机器人控制领域，运动捕捉数据虽能提供丰富的运动学信息，却因缺乏物理控制信号而难以直接应用。为突破这一瓶颈，MoCapAct数据集应运而生。其构建过程首先将CMU MoCap数据集中长达3.5小时的836个运动片段切分为4至6秒的短片段，并设置1秒重叠，共生成2589个片段。随后，针对每个片段，采用基于PPO算法的强化学习方法训练一个时间索引的高斯策略，以追踪该片段的参考运动。训练过程中引入早期终止条件与随机初始状态以增强探索，最终获得高质量的单片段追踪专家策略。在此基础上，通过向专家策略的动作注入高斯噪声，反复从不同初始状态滚动执行，收集包含本体感知观测、动作及参考位姿等信息的轨迹数据，形成规模达600GB（大型版本）或50GB（小型版本）的专家滚动数据集。

特点

该数据集的核心特色在于其双重结构：既包含2589个可直接加载的高质量单片段追踪专家策略，又囊括了超过6700万条环境转换的专家滚动轨迹。专家策略在绝大多数片段上表现卓越，平均归一化片段长度达0.997，每关节平均角度误差仅为0.062弧度，生成的动画与原始运动捕捉参考几乎无法区分。滚动数据集通过噪声注入策略有效覆盖了更广泛的状态空间，缓解了后续学习策略中的分布偏移问题。此外，数据集中还录入了专家动作均值、估计价值与优势函数等丰富信息，为离线强化学习、模仿学习及层次化策略训练提供了坚实的基座。

使用方法

MoCapAct数据集为模拟人形机器人研究提供了极低门槛的切入点。研究者可直接加载专家策略用于基准测试，或利用滚动轨迹数据训练多片段层次化策略，该策略通过编码器-解码器架构将运动参考压缩为低维意图向量，再解码为动作，最终达到专家性能的80%至84%。此外，该数据集还可用于训练自回归GPT模型，通过给定32步长的运动提示，GPT能自主生成数秒甚至数倍于原片段长度的自然运动。更重要的是，训练好的低层级策略可作为环境的一部分被复用于新任务的高层级强化学习，显著加速学习过程并生成更真实的步态，例如在目标到达与速度控制任务中均展现出远超从头训练的性能。

背景与挑战

背景概述

MoCapAct数据集由微软研究院和佐治亚理工学院的研究人员于2022年创建，旨在解决仿真人形机器人控制领域的关键瓶颈。尽管运动捕捉数据广泛可用，但其仅包含运动学信息，导致在物理仿真器中恢复驱动力矩需要大量计算资源。该数据集提供了针对dm_control环境中CMU人形机器人的高质量跟踪策略，覆盖CMU MoCap数据集中超过3.5小时的运动片段。通过释放这些专家策略及其轨迹数据，MoCapAct显著降低了该领域的研究门槛，使更多机构能够探索基于学习的仿人控制，其影响力体现在多任务学习和层次化策略等下游应用的推动上。

当前挑战

当前挑战主要集中于两大方面。领域问题方面，仿真人形机器人控制面临不稳定、非连续和高维度的物理系统，传统方法需从零学习复杂行为，而现有MoCap数据仅提供运动学信息，难以直接转化为物理动作。构建过程中，训练单个片段跟踪策略需要约50年的累积计算时间，资源消耗巨大；同时，数据集的噪声注入策略虽缓解了分布偏移，但长片段跟踪中策略易因累积误差导致摔倒。此外，现有专家策略仅适用于平坦地面，缺乏与物体或他人的交互场景，限制了其在复杂环境中的泛化能力。

常用场景

经典使用场景

在物理仿真环境中，模拟人形机器人的运动控制一直是极具挑战的研究领域，其核心难点在于高维非线性的动力学系统与不稳定的控制需求。MoCapAct数据集为这一难题提供了突破性解决方案，它包含了超过三小时的高质量运动捕捉（MoCap）轨迹及其对应的专家策略动作序列。该数据集最经典的使用场景是作为多任务模仿学习的基准，研究者可基于其中的专家轨迹和动作数据，训练单一分层策略来跟踪整个MoCap数据集中的多样化运动，如行走、奔跑、跳跃乃至复杂体操动作，从而在人形机器人控制中实现从单一片段到全局运动的泛化能力。

实际应用

在实际应用中，MoCapAct数据集为游戏与影视行业的自然人体动画生成提供了高效工具。基于该数据集训练的GPT模型能够根据给定的运动提示（如一段行走轨迹）自动完成后续动作序列，生成逼真且物理合理的角色动画，从而大幅减少手工调整运动的工作量。此外，数据集中的分层策略可被重用于下游任务，例如在仿真环境中实现机器人导航、速度控制或目标追踪，展现出从虚拟角色控制到具身智能机器人训练的巨大潜力。

衍生相关工作

MoCapAct数据集的发布催生了多项经典衍生工作。其中最具代表性的是基于奖励加权回归（RWR）的多片段跟踪策略，该策略通过蒸馏专家轨迹实现了对全部MoCap数据的统一控制，其性能达到大规模强化学习方法的96%。另一项重要工作是使用该数据集训练的自回归GPT模型，该模型在运动补全任务中展现出卓越的泛化能力，可基于32步提示生成长达15秒的连贯动作。这些工作不仅验证了数据集在模仿学习与序列建模中的有效性，还启发了后续关于决策Transformer与离线强化学习的研究方向。