X-Dance

X-Dance是一个专门设计用于评估SteadyDancer模型在现实世界场景下泛化能力的数据集。它包含了12个驱动视频，涵盖复杂的舞蹈动作和日常活动，以及为模拟现实世界非理想因素而设计的多样化参考图像。

X-Dance is a dataset specifically designed to evaluate the generalization ability of the SteadyDancer model in real-world scenarios. It contains 12 driving videos covering complex dance movements and daily activities, as well as diverse reference images designed to simulate non-ideal factors in real-world scenarios.

原始信息汇总

X-Dance 数据集概述

数据集基本信息

• 名称：X-Dance
• 许可证：Apache-2.0
• 任务类别：图像到视频
• 标签：人体图像动画、视频生成、姿态引导

数据集性质

• 定位：论文"SteadyDancer: Harmonized and Coherent Human Image Animation with First-Frame Preservation"的测试数据集
• 评估目的：专门用于评估模型在现实世界空间-时间不对齐场景下的泛化能力

数据集构成

驱动视频

• 包含12个不同的驱动视频序列
• 8个序列为复杂高动态舞蹈动作
• 4个序列为低幅度日常活动
• 包含运动模糊、严重遮挡、剧烈姿态变化等真实世界非理想因素

参考图像

专门设计用于模拟现实世界不对齐情况的多样化参考图像集合：

• 动漫角色：引入风格域差距
• 半身拍摄：代表构图不一致性
• 跨性别或动漫角色：模拟显著骨骼结构差异
• 不同姿态的主体：最大化初始动作差距

数据集特点

评估挑战

通过系统配对参考图像与驱动视频，模拟两个关键现实世界挑战：

• 空间姿态结构不一致性
• 时间不连续性

创新性

• 采用"不同来源"评估数据集设计
• 区别于标准基准测试中参考图像和姿态序列来自同一视频的理想化设置

相关资源

• 论文：https://arxiv.org/abs/2511.19320
• 项目页面：https://mcg-nju.github.io/steadydancer-web
• 模型：https://huggingface.co/MCG-NJU/SteadyDancer-14B
• 数据集：https://huggingface.co/datasets/MCG-NJU/X-Dance

机构信息

• 南京大学多媒体计算组
• 腾讯平台与内容事业群

搜集汇总

数据集介绍

构建方式

在人类图像动画研究领域，X-Dance数据集通过精心设计的异构数据采集策略构建而成。研究团队首先选取了12段驱动视频，其中包含8段高动态舞蹈序列和4段日常活动视频，这些素材涵盖了运动模糊、严重遮挡和剧烈姿态变化等真实场景干扰因素。针对这些运动模式，团队专门筛选了多组参考图像，涵盖动漫角色、半身人像、跨性别形象以及不同初始姿态的人物，通过系统配对构建出模拟空间姿态结构不一致性和时间不连续性的评估样本。

特点

该数据集的核心特征在于其突破性地模拟了真实应用中的时空错位挑战。与传统同源数据集不同，X-Dance创新性地采用异源数据构建方式，通过动漫角色与真实姿态的驱动组合制造风格域差异，利用半身图像引入构图不一致性，并设计跨性别样本以模拟骨骼结构差异。特别值得注意的是，数据集通过参考姿态与初始驱动姿态的显著差距，有效还原了实际应用中常见的时间不连续性现象。

使用方法

在人类图像动画模型的评估实践中，X-Dance数据集主要服务于泛化能力的系统性验证。研究者可将训练完成的图像到视频生成模型在该数据集上进行测试，通过输入精心设计的参考图像与驱动视频组合，观察模型在存在时空错位情况下的表现。该数据集特别适用于评估模型在保持第一帧一致性的同时，处理风格差异、构图变化和姿态鸿沟等复杂场景的鲁棒性，为算法在真实世界的应用提供可靠基准。

背景与挑战

背景概述

在计算机视觉领域，人体图像动画技术致力于将静态人物图像转化为动态视频序列，其核心在于实现姿态引导下的自然运动生成。X-Dance数据集由南京大学多媒体计算组与腾讯平台与内容事业群联合研发，作为2025年提出的SteadyDancer研究框架的测试数据集，旨在突破传统同源数据评估的局限。该数据集通过构建参考图像与驱动视频的异源配对机制，系统模拟真实场景中的时空错位问题，为人体动画模型的泛化能力评估建立了新的基准。

当前挑战

该数据集主要应对人体图像动画领域的两大核心挑战：其一是空间姿态结构不一致性，如动漫角色驱动真实人体姿态时存在的骨骼结构差异；其二是时序不连续性，表现为参考姿态与初始驱动姿态间的显著动作鸿沟。在构建过程中，研究团队需克服高动态舞蹈动作的运动模糊、严重遮挡及剧烈姿态变化等非理想因素，同时精心设计包含动漫角色、半身像、跨性别样本等多样化参考图像，以全面覆盖现实应用中的复杂场景。

常用场景

经典使用场景

在计算机视觉领域，X-Dance数据集专为评估人像动画模型的泛化能力而设计。该数据集通过精心构建的驱动视频与参考图像配对，模拟真实场景中的时空错位问题，涵盖舞蹈动作与日常活动等多种复杂情境。其经典使用场景聚焦于测试模型在风格差异、构图不一致及骨骼结构变化等挑战下的表现，为图像到视频生成任务提供了标准化评估基准。

解决学术问题

X-Dance数据集有效解决了人像动画研究中因时空错位导致的身份漂移问题。传统方法在参考图像与驱动序列同源设定下性能理想化，难以应对现实应用中的动态模糊、遮挡和姿态突变。该数据集通过引入跨域风格、半身构图及性别转换等多样化参考图像，系统性验证模型在空间结构不一致与时间不连续性场景下的鲁棒性，推动了生成视频的保真度与连贯性研究。

衍生相关工作

基于X-Dance数据集衍生的经典工作包括SteadyDancer框架及其对比研究。该框架通过首帧保持机制与图像到视频范式，在跨域姿态驱动任务中实现了资源高效训练与高保真生成。相关研究进一步探索了时空对齐算法在舞蹈教学系统、虚拟试衣平台的应用，推动了基于姿态引导的生成模型在多模态交互中的技术演进。