BRACE

BRACE数据集由上海人工智能实验室创建，专注于复杂的街舞动作合成。该数据集包含超过3小时的高质量2D关键点标注，数据来源于Red Bull BC One比赛视频，涵盖了64位舞者的动态舞蹈序列。数据集创建过程中，采用了混合标注流程，结合深度估计模型和人工标注，以降低成本并提高标注质量。BRACE数据集特别适用于推动舞蹈动作合成技术的发展，尤其是在处理复杂的人体结构和运动方面。The BRACE dataset was created by the Shanghai AI Laboratory, focusing on complex hip-hop dance motion synthesis. It contains over 3 hours of high-quality 2D keypoint annotations sourced from Red Bull BC One competition videos, covering dynamic dance sequences from 64 dancers. During the dataset construction process, a hybrid annotation pipeline combining depth estimation models and manual annotation was adopted to reduce costs and improve annotation quality. The BRACE dataset is particularly suitable for advancing the development of dance motion synthesis technologies, especially in handling complex human body structures and motions.

搜集汇总

数据集介绍

构建方式

在舞蹈动作合成领域，现有数据集通常基于受控环境或简单姿态，而BRACE数据集则通过创新性的混合标注流程，突破了这一局限。该数据集源自Red Bull BC One霹雳舞竞赛视频，针对其中复杂的姿态、快速运动及多摄像机动态拍摄带来的挑战，设计了一套融合自动估计与人工标注的流程。首先采用多模型集成进行姿态估计，随后通过主动舞者检测与轨迹追踪筛选关键帧，并对低置信度帧实施人工标注。通过异常检测机制识别并修正自动估计中的错误，最终利用贝塞尔曲线插值融合自动与人工标注，在保证标注质量的同时显著降低了人工成本，形成了超过3.5小时的高质量二维关键点序列。

使用方法

BRACE数据集主要用于推动音频条件舞蹈动作合成模型在复杂场景下的研究。研究者可利用其提供的二维关键点序列与对应的音频特征，训练并评估生成模型在弱音乐-舞蹈关联及复杂姿态下的性能。数据集支持对生成序列进行定量评估，如使用弗雷歇起始距离衡量生成动作的真实性，以及节拍对齐分数等指标分析音舞同步性。同时，其精细的动作类别标签可用于分析生成动作的组成分布，或作为条件信息注入模型以引导生成过程。该数据集亦适用于姿态估计任务的模型微调，提升模型在极端姿态和运动模糊条件下的鲁棒性。使用时应遵循数据拆分建议，并注意其音乐版权归属，模型评估可基于公开发布的关键点与音频特征进行。

背景与挑战

背景概述

在舞蹈动作合成领域，生成模型通常通过将音乐特征映射到舞蹈动作序列来学习模态间的关联，这一范式依赖于音乐与舞蹈间存在强相关性、运动数据受控以及姿态相对简单等前提假设。为挑战这些普遍认知，爱丁堡大学与南洋理工大学等机构的研究团队于2022年联合推出了BRACE数据集。该数据集聚焦于霹雳舞这一以高动态、杂技式动作为特征的舞蹈形式，其源视频取自Red Bull BC One全球竞赛录像，涵盖了超过3.5小时、64位舞者的密集姿态标注序列。BRACE的构建旨在推动生成模型超越浅层的模态映射，促使其更有效地推理人体结构与运动规律，从而在复杂真实场景下提升舞蹈合成的鲁棒性与真实性。

当前挑战

BRACE数据集所应对的核心领域挑战在于复杂舞蹈动作的合成。与传统数据集不同，霹雳舞包含大量快速旋转、倒立及空中翻转等杂技式动作，导致姿态极度复杂且运动轨迹非线性，这要求生成模型必须深入理解人体运动学约束而非仅学习音频-动作的统计关联。在构建过程中，研究团队面临多重技术挑战：首先，从竞赛视频中提取人体关键点极为困难，因多机位移动拍摄、频繁镜头切换、动态光照及运动模糊等因素严重干扰了姿态估计算法的精度；其次，舞者的缠绕姿态与高速动作使得自动标注质量显著下降，迫使团队设计混合标注流程，结合自动估计与人工修正，在保证标注质量的同时控制成本。这些挑战共同凸显了在非受控环境下构建高质量舞蹈数据集的复杂性。

常用场景

经典使用场景

在舞蹈动作合成领域，BRACE数据集以其复杂的姿态和动态运动为特征，成为评估音频条件生成模型性能的基准。该数据集通过收录来自Red Bull BC One比赛的霹雳舞视频，提供了超过3.5小时的高质量二维关键点序列，涵盖了快速旋转、倒立支撑等高难度动作。研究者通常利用BRACE测试模型在弱音乐-舞蹈关联性下的表现，推动算法超越简单的模态映射，深入理解人体结构与运动规律。

解决学术问题

BRACE数据集主要解决了舞蹈动作合成中模型对简单姿态和受控运动数据的过度依赖问题。传统方法假设音乐与舞蹈存在强相关性，且运动数据较为规范，这限制了模型在真实复杂场景下的泛化能力。BRACE通过引入动态光照、运动模糊和多摄像机拍摄等挑战性条件，迫使生成模型更有效地推理身体结构和运动模式，从而提升了算法对复杂姿态和弱关联音频的适应能力，推动了该领域向更现实场景的演进。

实际应用

在实际应用中，BRACE数据集为动画制作、虚拟现实和游戏开发提供了丰富的训练资源。其密集标注的霹雳舞动作序列可用于生成逼真的数字角色动画，尤其在需要高动态性和复杂姿态的交互式娱乐场景中表现出色。此外，该数据集还能辅助体育训练分析，通过关键点轨迹帮助教练和运动员优化动作技巧，提升表演的艺术性与技术性。

数据集最近研究

最新研究方向

在舞蹈动作合成领域，BRACE数据集的推出标志着研究重心正从受控环境下的简单姿态生成转向复杂、动态场景下的多模态推理。该数据集以霹雳舞为焦点，其独特的杂技式动作、缠绕姿态及弱音乐-舞蹈关联性，挑战了传统生成模型仅依赖音频-运动映射的假设。前沿研究围绕如何利用BRACE的细粒度标签（如舞蹈元素分类）增强模型对身体结构和运动逻辑的显式建模，同时探索在弱相关性条件下结合时序模式与对抗性生成网络以提升动作多样性与真实性。此外，数据集的“战斗格式”时序结构为模拟竞技舞蹈的交互式生成提供了新范式，推动了动画与游戏产业中用户可控合成技术的发展。

相关研究论文

• BRACE: The Breakdancing Competition Dataset for Dance Motion Synthesis

  上海人工智能实验室 · 2022年