OmniMoCap-X

OmniMoCap-X是最大的统一多模态全身人体运动生成运动捕捉数据集，支持10种不同的任务，包括T2M、M2D、S2G、HOI、HSI和HHI。包含286.2小时高质量运动捕捉数据，6430万帧，统一为SMPL-X格式，30 FPS，具有通过GPT-4o生成的层次化结构化描述

OmniMoCap-X is the largest unified multimodal full-body human motion generation motion capture dataset supporting 10 distinct tasks including T2M, M2D, S2G, HOI, HSI and HHI. It contains 286.2 hours of high-quality motion capture data, totaling 64.3 million frames, with all data unified into the SMPL-X format at 30 FPS, and is equipped with hierarchical structured descriptions generated by GPT-4o.

原始信息汇总

OmniMocap-X 数据集概述

数据集简介

OmniMoCap-X 是最大的统一多模态运动捕捉数据集，专注于全身人体运动生成，支持10种不同的任务。

核心特征

• 数据规模：286.2小时高质量运动捕捉数据，包含6430万帧
• 数据来源：整合28个公共运动捕捉数据集
• 数据格式：统一采用SMPL-X格式，帧率为30 FPS
• 任务支持：支持10种运动生成任务
  • T2M（文本到运动）
  • M2D（音乐到舞蹈）
  • S2G（语音到手势）
  • HOI（人-物交互）
  • HSI（人-场景交互）
  • HHI（人-人交互）
  • 运动预测
  • 中间帧生成
  • 运动补全
  • 轨迹引导合成

技术特点

• 通过GPT-4o在渲染视频上生成分层结构化描述
• 支持自回归生成的参考运动

发布计划

第一阶段（即将发布）

• 来自宽松许可数据集的处理后的SMPL-X运动序列
• 结构化描述（JSON/文本格式）
• 数据加载和预处理脚本

第二阶段（仅代码）

• 无法重新分发数据集的处理流程
• 从原始来源复现OmniMoCap-X的说明

使用许可

使用者需遵守每个组成数据集的原始许可协议。

引用信息

bibtex @article{xu2025omnimotion, title={OmniMotion-X: Versatile Multimodal Whole-Body Motion Generation}, author={Xu, Guowei and Bian, Yuxuan and Zeng, Ailing and Shi, Mingyi and Huang, Shaoli and Li, Wen and Duan, Lixin and Xu, Qiang}, journal={arXiv preprint arXiv:2510.19789}, year={2025} }

搜集汇总

数据集介绍

构建方式

在人体运动生成研究领域，OmniMoCap-X通过整合28个公开运动捕捉数据集构建而成，采用统一的SMPL-X模型格式并以30帧率进行标准化处理。该数据集运用GPT-4o模型对渲染视频生成层次化结构化描述文本，同时保留参考运动序列以支持自回归生成任务，最终形成包含6430万帧的286小时高质量运动数据。

使用方法

研究者可通过分阶段发布策略获取数据集资源，第一阶段提供经许可的运动序列与结构化标注文件，配合专门开发的数据加载脚本实现快速接入。对于受版权限制的原始数据，第二阶段将提供完整处理流程指南，使用者需遵循各组成数据集的许可协议，通过标准化接口可灵活调用不同模态数据开展多任务生成研究。

背景与挑战

背景概述

随着数字人体建模技术的快速发展，全身运动生成已成为计算机视觉与图形学交叉领域的核心研究方向。OmniMoCap-X作为当前规模最大的统一多模态运动捕捉数据集，由研究团队于2025年基于28个公开动捕数据集整合构建，其核心目标在于解决复杂场景下人体运动生成的统一表征问题。该数据集通过标准化SMPL-X格式整合了286.2小时的运动序列，覆盖文本驱动、轨迹引导等十类生成任务，为人体运动合成研究提供了前所未有的基准平台。

当前挑战

在全身运动生成领域，模型需同时解决运动物理合理性、多模态条件对齐以及长序列时序一致性等核心难题。数据集构建过程中面临多重技术挑战：原始动捕数据存在坐标系差异与采样频率不统一问题，需通过复杂预处理流程实现标准化；多数据集授权协议的限制使得数据分发必须采用分阶段策略；此外，基于GPT-4o生成层次化标注时，需确保运动语义与视觉表现的精确对应，这对标注质量提出了极高要求。

常用场景

经典使用场景

在人体运动生成研究领域，OmniMoCap-X作为规模最大的统一多模态运动捕捉数据集，其经典应用场景集中于文本到动作生成任务。研究者通过该数据集提供的结构化动作序列与GPT-4o生成的层次化文本描述，能够训练深度学习模型实现自然语言指令到人体动作的精准映射。这种端到端的生成范式不仅支持舞蹈编排、体育训练等专业场景，更为虚拟角色动画制作提供了标准化数据支撑。

解决学术问题

该数据集有效解决了多模态运动生成领域长期存在的标注不一致问题。通过整合28个公开数据集并统一至SMPL-X格式，研究者可系统探索文本-动作对齐、运动预测、动作补全等核心学术问题。其286.2小时的运动数据为建模复杂人体动力学提供了充足样本，特别是对于人机交互中的动作意图理解、社交互动中的群体行为建模等前沿课题具有重要推动意义。

实际应用

在虚拟现实与游戏开发领域，OmniMoCap-X支撑着实时动作生成系统的开发实践。基于该数据集训练的动作生成模型可应用于智能虚拟助手的情感表达、数字人的自然交互等场景。医疗康复领域则利用其高质量运动数据构建评估体系，通过对比患者动作与标准动作序列的差异，为运动功能障碍提供量化分析依据。

数据集最近研究

最新研究方向

在人体运动生成领域，OmniMoCap-X作为当前规模最大的统一多模态运动捕捉数据集，正推动着生成式人工智能技术的边界拓展。该数据集通过整合28个公开动捕数据源的286小时高质量运动序列，并统一转换为SMPL-X格式，为文本到运动生成、运动到描述转换等十类任务提供了标准化测试平台。其采用GPT-4o生成的层次化结构化描述文本，有效解决了多模态对齐的瓶颈问题，为构建端到端的运动生成系统奠定了基础。随着数字人技术在全球元宇宙热潮中的持续升温，该数据集通过支持人机交互、社交互动等复杂场景建模，正在成为推动虚拟现实、智能医疗康复等跨学科应用的关键基础设施。