PerMo (PersonaMotion)

PerMo是一个由多位演员捕捉的独特个性化动作的新大规模数据集，由伯明翰大学等研究机构创建。该数据集包含多种类型的动作，旨在支持动作个性化任务。通过特定的捕捉技术和数据处理方法，PerMo能够捕捉到每位演员独特的个性化特征。数据集的应用领域主要是虚拟现实和元宇宙中的动作生成，旨在解决如何通过文本描述生成与个人特质相匹配的独特动作的问题。PerMo is a novel large-scale dataset that captures unique personalized motions from multiple actors, developed by research institutions including the University of Birmingham. This dataset includes a diverse range of motion types, aiming to support motion personalization tasks. By adopting specialized motion capture technologies and data processing methods, PerMo is able to capture the distinct personalized traits of each actor. The primary application areas of this dataset are motion generation in virtual reality (VR) and the metaverse, where it addresses the challenge of generating unique motions that align with an individual's inherent traits based on textual descriptions.

搜集汇总

数据集介绍

构建方式

PerMo数据集的构建方式是通过捕捉多名演员的独特个性和动作风格来实现的。该数据集包含了34种不同的风格类别，如年龄、角色、条件、情绪、特征和周围环境，每个类别都有10种不同的动作内容。数据集的捕捉过程在配备了33台OptiTrack相机的专业动作捕捉工作室中进行，每位演员都配备了41个光学标记点。为了确保数据的一致性和质量，所有数据都经过了专家的清理和验证，并转换成了SMPL-H格式，以与其他动作数据集兼容。

特点

PerMo数据集的特点在于其多样性和全面性。它是第一个从多名演员收集数据的数据集，提供了最高的视频剪辑总数和内容类别数量。PerMo数据集包含了动作捕捉数据、标记数据、网格数据以及文本描述，为动作个性化任务提供了丰富的数据支持。此外，该数据集还采用了对比学习技术，以增强同一演员在不同动作内容中的一致性。

使用方法

PerMo数据集的使用方法是通过PersonaBooth框架进行的。PersonaBooth是一个多模态微调方法，用于预训练的动作扩散模型。在训练过程中，PersonaBooth通过引入个性标记来接受新的个性特征，并执行文本和视觉的多模态适应。在推理过程中，Context-Aware Fusion模块会根据输入提示与输入动作之间的相似性为多个输入动作生成权重，并进行加权组合。此外，PersonaBooth还采用了分类器无关的引导方法，以实现高效的训练过程。

背景与挑战

背景概述

PerMo (PersonaMotion) 数据集的创建旨在支持运动个性化任务，该任务利用包含个人特征的几个基本动作来生成与文本描述相一致的个人化运动。该数据集由来自韩国电子技术研究院、韩国建国大学、英国伯明翰大学等研究机构的Boeun Kim等研究人员于2025年3月10日首次提出。PerMo数据集的创建不仅填补了现有数据集在个性化运动生成方面的空白，还为运动风格迁移提供了新的基准。该数据集的引入，对于推动虚拟现实、游戏和元宇宙等领域的个性化交互体验具有重要意义。

当前挑战

PerMo数据集和相关研究面临的主要挑战包括：1) PerMo数据集与预训练数据集之间存在着显著的分布差异，后者缺乏个人特征相关的数据；2) 难以从内容各不相同的运动中捕捉到一致的个性特征。为了解决数据集分布差异的问题，研究人员引入了一个个性标记，以接受新的个性特征，并在微调过程中对文本和视觉进行多模态适配。为了捕捉一致的个性特征，他们采用了对比学习方法，以增强具有相同个性的样本之间的内部凝聚力。此外，他们还引入了一种上下文感知融合机制，以最大限度地整合来自多个输入运动的个性线索。

常用场景

经典使用场景

PerMo数据集被广泛用于生成与文本描述相匹配的个性化动作。通过捕捉多个演员的独特个性和动作风格，PerMo为研究人员提供了一个强大的工具，用于开发能够根据文本描述生成逼真动作的模型。例如，在虚拟现实游戏中，PerMo可以用于创建能够模仿玩家个性化动作风格的虚拟角色，从而提供更加沉浸式的游戏体验。此外，PerMo还可以用于创建视频内容，无需使用真实的特技演员，只需记录几个关键的基本动作即可。

实际应用

PerMo数据集在实际应用中具有广泛的应用前景。除了在虚拟现实游戏和视频内容创建中的应用外，PerMo还可以用于电影和电视制作中的角色动作设计，以及动画和特效制作中的动作捕捉和动作生成。此外，PerMo还可以用于开发个性化健身应用程序，通过分析用户的动作风格，提供更加个性化的健身指导。

衍生相关工作

PerMo数据集的引入还衍生了许多相关的研究工作。例如，PersonaBooth框架的提出，为文本到动作生成任务提供了一种新的解决方案，并取得了显著的性能提升。此外，PerMo数据集的引入还促进了对比学习技术在动作生成任务中的应用，从而提高了动作生成模型的一致性和准确性。