FineMotion

FineMotion提供了严格对齐的、对人体部位运动的细粒度描述（BPM），适用于运动片段（运动序列的短片段）和整个运动序列，运动来源自HumanML3D。

FineMotion provides strictly aligned, fine-grained descriptions of human body part motions (BPM), applicable to both motion clips (short segments of motion sequences) and full motion sequences, with motion data sourced from HumanML3D.

原始信息汇总

FineMotion 数据集概述

数据集简介

FineMotion 是一个包含人体部位运动（BPM）的细粒度描述的数据集，这些描述与运动片段（短运动序列的片段）和整个运动序列严格对齐。数据来源于 HumanML3D。

数据集统计

• 21,346 人工标注的 BPM 描述。
• 420,968 自动生成的 BPM 描述。
• 4,492 人工标注的 BPM 段落（BPMP）。
• 89,940 自动生成的 BPM 段落。

对于 BPM 描述，平均长度为 18 词，中位数长度为 19 词。对于 BPM 段落，平均长度为 244 词，中位数长度为 220 词。

数据质量

待完善。

数据获取

• 运动序列数据可在 HumanML3D 获取。
• 文本描述数据可在本仓库的 "./FineMotion" 文件夹下直接下载。

数据结构

数据集包含以下四个压缩文件：

• BPMP_auto.zip：自动生成的 BPM 段落。
• BPMSD_auto.zip：自动生成的 BPM 描述。
• BPMP_human.zip：人工标注的 BPM 段落（即将推出）。
• BPMSD_human.zip：人工标注的 BPM 描述（即将推出）。

解压后得到四个 JSON 文件：BPMP_auto.json, BPMSD_auto.json, BPMP_human.json, 和 BPMSD_human.json。JSON 文件使用字典格式，键与 HumanML3D 的命名协议一致，值包含对应运动序列的细粒度文本描述。

引用

如果使用 FineMotion 数据集，请考虑引用以下信息：

@misc{Wu_FineMotion_Dataset, author = {Wu, Bizhu and Xie, Jinheng and Ding, Meidan and Kong, Zhe and Ren, Jianfeng and Bai, Ruibin and Qu, Rong and Shen, Linlin}, title = {{FineMotion Dataset}}, url = {https://github.com/BizhuWu/FineMotion} }

致谢

感谢 HumanML3D，本仓库部分借鉴了其内容。

搜集汇总

数据集介绍

构建方式

FineMotion数据集通过整合来自HumanML3D数据库的运动序列，辅以人类标注和自动生成的细粒度人体动作描述，构建了一个既包含运动片段又包含完整运动序列的描述数据集。该数据集严格对齐文本描述与运动数据，确保了描述的精确性和一致性。

特点

该数据集的特点在于其提供了丰富的时空注释，使得数据集在动作生成与编辑任务中具有高度的应用价值。包含21,346条人工标注的动作描述和420,968条自动生成的动作描述，涵盖了29,232个运动序列，为细粒度动作分析提供了全面的数据支持。

使用方法

使用FineMotion数据集时，用户可以从指定文件夹中直接下载经过人工标注和自动生成的动作描述文件。数据集以JSON格式存储，其中包含了与HumanML3D命名协议一致的关键字，其对应的值则包含了对应运动序列的详细文本描述。用户可以依据这些描述进行动作识别、编辑等研究工作。

背景与挑战

背景概述

FineMotion数据集，创立于近年来，由Wu Bizhu等研究人员构建，旨在为细粒度运动生成与编辑提供具有时空标注的严格对齐的人类身体部分运动描述。该数据集汇集了来自HumanML3D的动态片段，包含21,346个由人类标注的身体部分运动描述（BPM）以及420,968个自动生成的描述，为29,232个运动序列提供了全面的覆盖。FineMotion数据集的创建，对细粒度运动理解和生成领域产生了显著影响，推动了相关技术的进步。

当前挑战

该数据集在构建过程中遇到的挑战主要包括：1)如何确保时空标注的精确性与一致性；2)如何高效地从原始运动数据中自动生成细粒度的文本描述；3)在细粒度运动描述的生成与编辑中，如何平衡标注质量和数据量。此外，FineMotion数据集所解决的领域问题是细粒度运动的生成与编辑，其面临的挑战包括如何利用这些细粒度描述来生成更加自然和丰富的运动序列，以及如何提高自动生成描述的准确性和可靠性。

常用场景

经典使用场景

在精细运动生成与编辑研究领域，FineMotion数据集以其时空标注的精确性，成为一项不可或缺的资源。该数据集通过提供人体部位运动描述，支持研究者对短暂运动片段及完整运动序列进行深入分析，从而在动作识别、动画制作等领域得到广泛应用。

解决学术问题

FineMotion数据集解决了传统运动数据集在细粒度动作描述方面的不足，为学术研究提供了丰富的时空标注信息。它不仅有助于提升运动序列的理解精度，还为细粒度动作的生成与编辑提供了基准，推动了相关算法的发展。

衍生相关工作

基于FineMotion数据集，研究者们衍生出了一系列相关工作，如细粒度动作识别、运动风格迁移等。这些工作进一步拓展了数据集的应用范围，推动了计算机视觉与图形学领域的交叉融合。