PerMo (PersonaMotion) Dataset

PerMo是一个包含多个演员独特人物动作捕捉的数据集，最初创建作为PersonaBooth的基准。数据集包括标记数据、骨骼数据、网格数据、渲染视频和文本描述。数据集由五位专业动作捕捉演员表演34种风格，共170个角色，6610个片段。

PerMo is a dataset containing unique motion capture data for multiple actors' characters, initially created as a benchmark for PersonaBooth. The dataset includes annotated data, skeletal data, mesh data, rendered videos, and textual descriptions. It comprises 6610 motion capture segments, featuring 170 distinct characters performing 34 different styles, with all performances delivered by five professional motion capture actors.

原始信息汇总

PerMo (PersonaMotion) 数据集概述

数据集简介

PerMo 数据集是一个包含多演员独特人物动作捕捉的数据集，主要用于 PersonaBooth 的基准测试。数据集由五名专业动作捕捉演员表演 34 种风格，共生成 170 个人物和 6610 个片段。数据集包括标记数据、骨骼数据、网格数据、渲染视频和文本描述。

数据集内容

• 风格：34 种风格，涵盖年龄、角色、状态、情感、特征和环境等类别。
• 内容：10 种动作内容，包括跳跃、踢、跑、投掷等。

数据类别

父类别	风格类别
年龄	幼稚、中性、老年、青少年
角色	芭蕾舞演员、绿巨人、猴子、忍者、企鹅、机器人、特警、服务员、僵尸
状态	手臂疼痛、醉酒、疲惫、头痛、健康、腿部疼痛、低头族
情感	愤怒、恐惧、快乐、悲伤、紧张、惊讶
特征	优雅、害羞、愚蠢、傲慢
环境	寒冷、拥挤、泥泞地板、不愉快地板

数据类型

数据类型	文件名称格式	描述
标记数据 (C3D)	[style][content][actor]_[take].c3d	每帧包含 41 个标记
骨骼数据 (BVH)	[style][content][actor]_[take].bvh	每帧包含 20 根骨骼
网格数据 (SMPL-H)	[style][content][actor]_[take].npz	SMPL-H 姿势数据
网格形状数据	shape_[style][content][actor].npz	每个处理组的 SMPL-H 形状数据
渲染视频	[style][content][actor]_001.mp4	网格数据的渲染视频
文本描述	[content].txt	每种动作内容的文本描述

数据预处理

1. 从 Google Drive 下载 Mesh 文件 (SMPL-H.zip) 并放置在数据文件夹中。
2. 使用以下命令解压文件并预处理数据： bash python preprocess_data.py --data_dir [Data Directory]

数据收集

数据集由五名不同性别和体型的专业演员在动作捕捉工作室中捕捉。每位演员在录制过程中配备了 41 个光学标记。从标记数据中生成包含 20 根骨骼的骨骼信息，并使用 OptiTrack 软件保存为 BVH 文件。光学标记数据通过 MoSh++ 转换为标准化的 SMPL 模型。

引用

如果直接或间接使用此数据集，请引用以下论文： bibtex @article{kim2025personabooth, title={PersonaBooth: Personalized Text-to-Motion Generation}, author={Kim, Boeun and Jeong, Hea In and Sung, JungHoon and Cheng, Yihua and Lee, Jeongmin and Chang, Ju Yong and Choi, Sang-Il and Choi, Younggeun and Shin, Saim and Kim, Jungho and Chang, Hyung Jin}, journal={arXiv preprint arXiv:2503.07390}, year={2025} }

许可证

数据集和软件仅供非商业科学研究使用。下载和使用前请仔细阅读 许可条款。

搜集汇总

数据集介绍

构建方式

PerMo数据集通过雇佣五位专业动作捕捉演员，每位演员分别演绎34种风格，共计170种人物角色和6610个动作片段。数据采集在动作捕捉工作室进行，每位演员配备41个光学标记点，利用OptiTrack软件生成包含20块骨骼的骨架信息，并通过MoSh++将光学标记数据转换为标准化的SMPL格式。数据集涵盖标记数据、骨架数据、网格数据、渲染视频及文本描述，构建过程严谨且数据丰富。

特点

PerMo数据集以其多样化的风格和内容著称，包含34种风格和10种动作内容，如跳跃、踢腿、跑步等。风格涵盖年龄、角色、状态、情感、特质及环境等多个维度，如儿童、机器人、醉酒、愤怒等。数据集不仅提供动作捕捉的原始数据，还包含渲染视频和文本描述，支持多模态研究。其数据结构的统一性使得各类数据（如C3D、BVH、SMPL-H等）能够无缝衔接，为个性化文本到动作生成提供了高质量基准。

使用方法

使用PerMo数据集时，首先需从Google Drive下载所需的网格文件（SMPL-H.zip），并将其放置在数据目录中。随后，通过运行预处理脚本`preprocess_data.py`，解压文件并生成运行PersonaBooth代码所需的数据。数据集支持多种数据格式，如C3D、BVH、SMPL-H及渲染视频，用户可根据研究需求选择合适的数据类型。数据集的文本描述文件为每种动作内容提供了详细的说明，便于用户理解动作背景。

背景与挑战

背景概述

PerMo（PersonaMotion）数据集是一个专注于捕捉人类运动并从中提取独特人格特征的数据集，旨在为个性化文本到运动生成任务提供基准。该数据集由Boeun Kim等研究人员于2025年创建，作为PersonaBooth研究项目的一部分。数据集通过五名专业动作捕捉演员的表演，涵盖了34种风格和10种动作内容，生成了总计170种人格和6610个运动片段。数据形式包括标记数据、骨架数据、网格数据、渲染视频以及文本描述，为个性化运动生成研究提供了丰富的多模态数据支持。PerMo数据集的发布推动了文本驱动运动生成领域的发展，为研究人员提供了高质量的数据资源。

当前挑战

PerMo数据集在构建和应用过程中面临多重挑战。首先，捕捉和标注多样化的人格化运动需要高度专业化的动作捕捉技术和复杂的后处理流程，以确保数据的准确性和一致性。其次，数据集的多样性依赖于演员的表演能力和风格化表达，这对演员的选择和指导提出了较高要求。此外，将原始标记数据转换为标准化的SMPL-H模型格式，涉及复杂的算法和计算资源，增加了数据处理的复杂性。在应用层面，如何从文本描述中生成符合特定人格特征的运动序列，仍然是一个具有挑战性的任务，尤其是在保持运动自然性和风格一致性的同时，满足个性化需求。这些挑战推动了相关领域的技术创新和方法改进。

常用场景

经典使用场景

PerMo数据集在个性化文本到动作生成领域具有重要应用，尤其是在模拟不同人物特征和情感状态下的运动行为时。该数据集通过捕捉五位专业演员的多样化动作，涵盖了34种风格和10种内容，为研究者提供了一个丰富的基准，用于开发和评估个性化动作生成模型。

实际应用

在实际应用中，PerMo数据集可用于虚拟现实、游戏开发、电影制作等领域，帮助开发者创建更加真实和个性化的角色动作。例如，在虚拟现实环境中，利用该数据集可以生成具有特定情感和风格的角色动作，提升用户体验。

衍生相关工作

PerMo数据集衍生了一系列相关研究，特别是在个性化动作生成和动作捕捉技术方面。例如，基于该数据集的研究工作PersonaBooth提出了一种新的个性化文本到动作生成方法，显著提升了生成动作的多样性和个性化程度。此外，该数据集还推动了动作捕捉技术在虚拟现实和游戏开发中的应用研究。