MotionPRO

MotionPRO是一个大规模人体运动捕获数据集，由南京大学电子科学与工程学院创建，包含70名志愿者执行的400种动作类型，共计1240万帧姿态数据。数据集利用压力、RGB和光学传感器进行采集，覆盖了日常活动、传统练习、有氧运动、柔韧性训练以及专为仿人机器人设计的特殊动作，旨在推动运动捕捉方法的研究。

MotionPRO is a large-scale human motion capture dataset developed by the School of Electronic Science and Engineering, Nanjing University. It encompasses 400 distinct motion types performed by 70 volunteers, totaling 12.4 million pose frames. The dataset is collected using pressure, RGB and optical sensors, covering daily activities, traditional exercises, aerobic training, flexibility training, and special motions specifically designed for humanoid robots. It aims to advance research in motion capture methodologies.

搜集汇总

数据集介绍

构建方式

MotionPRO数据集通过多模态传感器系统构建，包括12台光学运动捕捉相机、4台RGB相机和1个全身压力垫，以捕捉70名志愿者执行400种动作的12.4M姿态帧。数据采集过程中，光学系统以120Hz频率追踪50个身体标记点，压力垫以100Hz采样，RGB视频以30Hz录制。通过硬件级同步和基于压力垫触发的跨模态对齐策略，实现了亚毫秒级时间同步。空间配准则利用光学标记确定各传感器在世界坐标系中的位姿，构建了精确的多视角几何关系。数据集特别设计了覆盖日常活动、传统运动和有氧训练等5大类动作的层次化分布，并通过Mosh++算法从原始标记数据计算SMPL参数作为真值。

特点

该数据集的核心价值在于首次实现了全身压力分布与多视角视觉数据的时空对齐，压力垫的160×120分辨率可精确反映足底至躯干的力学交互。相较于现有数据集，其创新性体现在三方面：动作多样性涵盖从静态瑜伽到动态跑跳的400种动作；参与者 demographic 覆盖17-61岁不同体型人群；多模态耦合性通过严格时空对齐实现了压力-视觉-光学数据的像素级映射。特别地，压力数据通过阈值化处理生成全身接触标签，为物理合理性研究提供了量化依据。12.4M帧的规模与同步精度使其成为当前最全面的物理交互运动数据库。

使用方法

该数据集支持三类典型应用范式：基于纯压力的姿态估计任务可利用连续压力帧序列，通过设计的LSAM模块提取时空特征；多模态融合任务可采用FRAPPE框架，以压力特征为Query、视觉特征为Key/Value进行跨注意力融合，通过正交投影约束解决2D-3D矛盾；机器人运动模仿任务可将SMPL估计结果通过运动重定向管道转化为机器人指令，利用压力数据优化质心轨迹。评估时建议按5:1划分受试者无关的训练测试集，采用MPJPE、GTraj等指标时需注意固定SMPL形状参数以保证公平性。压力数据特别适用于改善下肢运动物理合理性和全局轨迹精度。

背景与挑战

背景概述

MotionPRO是由南京大学和清华大学的研究团队于2025年提出的一个多模态人体运动捕捉数据集，旨在探索压力信号在人体运动捕捉中的关键作用。该数据集包含70名志愿者执行的400种动作类型，总计1240万帧姿态数据，集成了压力垫、RGB相机和光学运动捕捉系统等多种传感器。MotionPRO的创建填补了现有运动捕捉数据集中物理交互信息缺失的空白，为虚拟人驱动和人形机器人控制等下游任务提供了重要的数据支持。该数据集通过引入压力信号，显著提升了运动捕捉的物理合理性和全局轨迹精度，对计算机视觉、机器人学和虚拟现实等领域产生了深远影响。

当前挑战

MotionPRO面临的挑战主要体现在两个方面：领域问题挑战和构建过程挑战。在领域问题方面，传统运动捕捉方法主要关注视觉相似性而忽略物理合理性，导致虚拟人驱动和人形机器人控制中存在时序漂移、滑动穿透等问题。MotionPRO通过引入压力信号解决这些物理交互建模的难题，但如何有效融合多模态传感器数据仍是一个关键挑战。在构建过程中，研究团队需要克服大规模数据采集的复杂性，包括多传感器时空对齐、志愿者动作多样性控制等难题。特别是压力垫数据的稀疏性和噪声问题，以及不同采样率传感器的数据同步问题，都为数据集的构建带来了显著挑战。

常用场景

经典使用场景

MotionPRO数据集在人体运动捕捉领域具有广泛的应用场景，特别是在需要高精度和物理合理性的任务中。该数据集通过整合压力、RGB和光学传感器数据，为研究者提供了丰富的多模态信息。在虚拟现实和增强现实应用中，MotionPRO能够显著提升虚拟人物的动作逼真度，减少时间漂移和抖动现象。此外，该数据集在人体姿态估计和全局轨迹预测方面表现出色，尤其适用于需要精确捕捉人体与地面交互的场景。

实际应用

MotionPRO数据集在实际应用中展现出广泛潜力。在虚拟现实领域，该数据集能够驱动虚拟人物在3D场景中实现逼真的动作，提升用户体验。在人形机器人控制方面，MotionPRO通过压力信号优化了机器人的下肢运动稳定性和精确性，使其能够更自然地模仿人类动作。此外，该数据集还可用于健康监测和运动训练，通过分析压力分布和运动轨迹，为用户提供个性化的反馈和指导。

衍生相关工作

MotionPRO数据集的发布推动了多项相关研究的发展。基于该数据集，研究者提出了FRAPPE基线方法，通过融合压力信号和RGB图像实现了高精度的姿态和轨迹估计。此外，MotionPRO还启发了关于压力信号在运动捕捉中作用的新研究，例如利用压力数据优化人形机器人的动作控制。这些衍生工作不仅扩展了数据集的应用范围，还为未来研究提供了新的方向和工具。