Coral79/frankenstein-dataset

Frankenstein数据集是第一个具有异步、部分级别文本注释的运动数据集，这些注释在精细的时间分辨率下捕捉了身体各部分的语义独立运动。该数据集在论文《FrankenMotion: Part-level Human Motion Generation and Composition》（CVPR 2026）中引入。与之前提供序列级或动作级描述的数据集不同，Frankenstein数据集独立地为每个身体部分捕获了语义上不同的部分运动，并具有精确的时间边界。数据集包含16,097个注释的运动序列，分为训练集（12,845个序列）、验证集（1,651个序列）和测试集（1,601个序列）。每个运动序列都有针对每个身体部分的文本描述，包括全局运动轨迹、躯干/脊柱运动、头部运动、左右臂运动、左右腿运动、整体动作标签和全局序列描述。数据集的结构包括注释文件、预计算的文本嵌入和句子嵌入。运动数据来自AMASS数据集，需要单独下载。

The Frankenstein Dataset is the first motion dataset with asynchronous, part-level text annotations at fine temporal resolution. It is introduced in the paper [FrankenMotion: Part-level Human Motion Generation and Composition](https://arxiv.org/abs/2601.10909) (CVPR 2026). Unlike prior datasets that provide sequence-level or action-level descriptions, the Frankenstein Dataset captures semantically distinct part movements independently for each body part with precise temporal boundaries. The dataset contains 16,097 annotated motion sequences, divided into training (12,845 sequences), validation (1,651 sequences), and test (1,601 sequences) sets. Each motion sequence is annotated with per-bodypart text descriptions, including global movement trajectory, torso/spine motion, head motion, left/right arm motion, left/right leg motion, overall action label, and global sequence description. The dataset structure includes annotation files, pre-computed text embeddings, and sentence embeddings. The motion data is sourced from the AMASS dataset and must be obtained separately.

搜集汇总

数据集介绍

构建方式

Frankenstein数据集是首个具备细粒度时间分辨率异步部位级文本标注的人体运动数据集，由CVPR 2026论文《FrankenMotion》提出。其构建依托于AMASS数据集中的SMPL-H G格式运动序列，通过将人体划分为轨迹、脊柱、头部、左臂、右臂、左腿、右腿七个独立部位，并为每个部位赋予自然语言描述、精确的起止时间戳及置信度评分，形成了16,097条序列的标注集合。数据集的文本标注来源多样，融合了HumanML3D等既有资源与人工推理，确保了语义的丰富性与准确性。

使用方法

使用者需先获取AMASS原始运动数据，并利用FrankenMotion代码库中的预处理脚本将其转化为205维SMPL-RiFKE格式特征（20 FPS）。随后可直接加载JSON格式标注文件与预计算嵌入（如clip.npy），结合训练/验证/测试划分列表，轻松索引带部位标签的文本描述与对应运动路径。示例代码展示了如何遍历单条序列的各部位注释，提取动作文本与时间区间，支撑下游如部位级运动生成、组合与检索等任务的快速实现。

背景与挑战

背景概述

Frankenstein数据集是首个在精细时间分辨率下提供异步、部位级文本标注的人体运动数据集，由Chuqiao Li、Xianghui Xie、Yong Cao、Andreas Geiger和Gerard Pons-Moll等研究人员于2026年在CVPR会议上提出。该数据集源自论文《FrankenMotion: Part-level Human Motion Generation and Composition》，旨在解决现有运动数据集中仅提供序列级或动作级描述、无法捕捉人体不同部位独立语义运动的问题。通过为轨迹、躯干、头部、四肢等七个身体部位以及整体动作和序列描述提供精确的时间边界标注，Frankenstein数据集为部位级人体运动生成与组合研究奠定了关键数据基础，显著推动了人体运动理解与生成领域的细粒度建模能力。

当前挑战

Frankenstein数据集所应对的核心挑战在于现有数据集缺乏对身体部位独立运动语义的细粒度描述，导致模型难以生成或理解包含异步、多部位协同的人体运动。具体而言，传统数据集如AMASS仅提供全局动作标签，无法支持部位级运动组合与控制。在构建过程中，研究者面临两大挑战：一是从AMASS等原始数据中提取并标注16,097段运动序列中各个部位的时间边界，需要设计精确的标注协议以确保语义一致性；二是处理因AMASS许可证限制而无法直接分发运动数据的问题，必须提供预处理脚本以将原始数据转换为统一格式（SMPL-RiFKE，205维特征，20 FPS），从而保持数据集的可复现性与科研可用性。

常用场景

经典使用场景

在人体运动生成与合成领域，Frankenstein数据集以其独特的部分级异步文本标注机制，为研究者提供了一个精细刻画身体各部位运动的宝贵资源。该数据集对轨迹、躯干、头部、四肢等八个身体部位分别赋予带有明确时间边界的自然语言描述，打破了传统数据集仅提供整体动作标签的局限。经典的利用方式是将该数据与AMASS运动捕捉数据结合，训练能够依据不同身体部位的独立文本描述同步或异步地生成连贯人体运动的模型，例如通过条件扩散模型实现多部位运动的可控合成。

解决学术问题

该数据集精准回应了人体运动生成研究中长期存在的细粒度语义控制难题。传统方法受限于序列级或动作级标注，难以处理运动中不同部位在时间上的异步性和语义独立性，导致生成的复杂运动常出现肢体不协调或语义不一致。Frankenstein数据集通过提供时间上对齐的部位级文本标签，使得模型能够学习到各部位独立的运动规律及其协同关系，从而在探索人体运动的自然多样性与组合生成方面开辟了新路径。这项工作对推动具身智能、数字人与动画制作等领域的基础研究具有里程碑式的意义。

实际应用

该数据集搭建的桥梁将学术前沿与真实应用紧密结合。在影视特效和游戏开发中，创作者可通过分割描述肢体与躯干的动作（如“右手挥剑”的同时“左腿后退”），借助基于该数据集训练的模型高效生成逼真且富有细节的角色动画。在虚拟现实与元宇宙领域，它赋能了个性化虚拟形象的实时运动控制，使得用户能以更自然的语言指令操控虚拟身体的局部行为。此外，在机器人模仿学习和康复训练中，该数据集提供的部位级运动语义也为理解与复现复杂人体动作提供了参考标准。

数据集最近研究

最新研究方向

Frankenstein数据集的问世标志着人体运动生成领域迈入了细粒度、部位级文本语义建模的新纪元。该数据集突破传统全局动作描述的局限，首次为每段运动序列中七个人体部位（如头部、四肢、躯干）标注异步的、具有精确时间边界的文本描述，从而支撑起部位级运动生成与组合的前沿研究。结合CLIP与Sentence-BERT等多模态嵌入技术，该数据集不仅助推了复杂人体运动合成与编辑任务的突破，更为人机交互、数字人动画、虚拟现实等热点应用中实现更精细、更可控的运动表达提供了关键基础设施。作为CVPR 2026的研究成果，Frankenstein数据集在推动运动生成从粗粒度向细粒度演进的过程中，具有里程碑式的学术与产业意义。