MI-Motion

MI-Motion数据集由杭州电子科技大学创建，专注于3D多人交互动作预测。该数据集包含超过167,000帧的序列，涵盖3至6个交互主体，分为5种不同的日常活动场景。数据集通过动作捕捉系统收集，使用游戏引擎进行精炼和合成，确保动作的自然性和真实性。MI-Motion数据集不仅提供了丰富的交互动作样本，还为多人动作预测研究提供了基准，旨在推动对多人交互行为的深入理解和模型开发。

The MI-Motion dataset, created by Hangzhou Dianzi University, focuses on 3D multi-person interactive motion prediction. This dataset contains over 167,000 frame sequences, covering 3 to 6 interactive agents, and is divided into 5 distinct daily activity scenarios. The dataset is collected via a motion capture system and refined and synthesized using game engines, ensuring the naturalness and authenticity of the motions. The MI-Motion dataset not only provides rich interactive motion samples but also serves as a benchmark for multi-person motion prediction research, aiming to advance the in-depth understanding of multi-person interactive behaviors and the development of relevant models.

搜集汇总

数据集介绍

构建方式

在三维多人运动预测领域，数据集的构建需兼顾个体行为与交互关系的复杂性。MI-Motion数据集通过融合动作捕捉系统与游戏引擎技术，实现了高质量数据的合成。具体而言，研究团队首先从虚幻引擎资产库及开源社区获取了大量交互动作包，同时利用基于标记点的动作捕捉系统录制了特殊动作序列。随后，在虚幻引擎5环境中，将这些动作模板绑定至标准化骨骼网格，并通过蓝图脚本实时提取每帧中20个关节点的全局坐标。为避免随机混合导致的运动碰撞问题，研究团队精心设计了五种日常活动场景，并依据交互强度分为高-高、低-高、低-低三个等级，最终合成了包含210个序列、逾16.7万帧的多人在交互运动数据。

特点

MI-Motion数据集在三维多人运动预测领域展现出鲜明的特色。其核心优势在于涵盖了3至6人参与的交互场景，突破了以往数据集中仅限双人交互的局限。数据集依据日常活动类型划分为公园、街道、室内、特殊场所和复杂人群五大场景，每个场景均包含不同交互强度的样本，从而提供了丰富的运动多样性。此外，数据集以75帧/秒的速率记录骨骼姿态，并提供了18个主要身体关节的三维坐标，确保了运动细节的精确捕捉。与现有数据集相比，MI-Motion在规模、交互复杂性和场景覆盖度上均具有显著提升，为建模多人动态交互提供了更贴近真实世界的数据基础。

使用方法

为促进三维多人运动预测研究的标准化比较，MI-Motion数据集提供了明确的基准使用框架。数据集已按场景划分为训练集与测试集，其中80%的序列用于模型训练，20%用于性能评估。研究团队设定了短期、长期和超长期三种预测场景，分别对应400毫秒、1000毫秒和2000毫秒的预测时长。评估时可采用全局关节位置误差、对齐关节位置误差和根关节最终位移误差三类指标，同时引入了基于功率谱的分布度量以衡量长时预测的多样性。用户可通过公开的代码库加载预处理后的骨骼序列数据，并利用提供的基准模型进行训练与验证，从而在统一框架下推动算法创新与性能提升。

背景与挑战

背景概述

在人工智能与计算机视觉领域，理解与预测人体运动具有深远意义，其应用涵盖机器人规划、自动驾驶及视频监控等多个前沿方向。随着研究深入，多人体运动预测逐渐成为焦点，该任务旨在基于历史观测，综合考虑个体间交互与依赖关系，预测多人未来姿态。尽管单人体运动预测已取得显著进展，但多人体场景因交互复杂性而面临独特挑战。为此，杭州电子科技大学、国防科技大学与网易伏羲AI实验室的研究团队于2023年联合推出了MI-Motion数据集，该数据集通过动作捕捉系统采集并结合游戏引擎合成，包含超过16.7万帧骨架序列，涵盖5类日常活动场景，涉及3至6名交互对象，为核心研究问题——三维多人体运动预测提供了标准化训练环境与评估基准。

当前挑战

MI-Motion数据集致力于解决三维多人体运动预测领域的核心挑战，即如何精准建模个体行为与复杂人际交互。现有数据往往规模有限或交互样本单一，难以反映真实场景中多人动态互动的多样性。在构建过程中，研究团队面临两大挑战：其一，随机混合动作易导致运动碰撞，损害数据真实性与准确性；其二，需精心设计不同交互强度（如高-高、低-高、低-低交互）以模拟自然行为，并通过游戏引擎细化动画，确保合成运动的合理性与流畅性。这些挑战的克服，为多人体运动预测研究奠定了坚实数据基础。

常用场景

经典使用场景

在三维多人运动预测领域，MI-Motion数据集作为一项精心设计的基准资源，其经典使用场景聚焦于模拟日常活动中多人之间的复杂交互行为。该数据集涵盖了公园、街道、室内、特殊地点和复杂人群等五种不同场景，通过游戏引擎合成超过16.7万帧的骨架序列，涉及3至6名交互主体。研究者可利用这些数据训练和评估模型在短时、长时及超长时预测任务中的表现，特别是在建模个体运动轨迹与社交互动之间的动态关联方面，为算法提供了丰富且真实的测试环境。

解决学术问题

MI-Motion数据集主要解决了三维多人运动预测研究中长期存在的若干学术问题。传统数据集如CMU-Mocap或ExPI在样本规模、交互多样性和场景覆盖方面存在局限，难以支撑复杂多人交互的建模需求。本数据集通过合成大规模、多层次的交互动作，有效弥补了现有数据在多人互动样本不足的缺陷，为模型提供了标准化的训练与评估基准。其意义在于推动了社交动力学建模的发展，使研究者能够更精准地捕捉个体间相互依赖关系，从而提升预测的准确性与自然度，对自动驾驶、机器人规划等应用领域具有深远影响。

衍生相关工作

自MI-Motion数据集发布以来，已衍生出一系列重要的相关研究工作。例如，Social Temporal Graph Convolutional Network（SocialTGCN）作为该数据集提出的基准方法，结合图卷积与时间卷积网络，显著提升了多人运动预测的性能。同时，诸如TBIFormer等基于Transformer的框架也在此数据集上进行了深入验证，进一步优化了身体部位交互建模的策略。这些工作不仅推动了多人在线轨迹预测算法的发展，还促进了社交注意力机制、时空图神经网络等技术的创新，为后续研究提供了坚实的理论基础与实验平台。