FantasyPortrait-Multi-Expr

Multi-Expr Dataset是一个多肖像面部表情视频数据集，用于增强多角色肖像动画。

The Multi-Expr Dataset is a multi-portrait facial expression video dataset designed for enhancing multi-character portrait animation.

原始信息汇总

FantasyPortrait-Multi-Expr 数据集概述

数据集基本信息

• 许可证: Apache-2.0
• 发布日期: 2025年8月10日
• 相关论文: FantasyPortrait: Enhancing Multi-Character Portrait Animation with Expression-Augmented Diffusion Transformers

数据集内容

• 名称: Multi-Expr Dataset
• 描述: 首个多肖像面部表情视频数据集
• 下载链接: FantasyPortrait-Multi-Expr

相关模型

• 基础模型: Wan2.1-I2V-14B-720P
  • 下载链接:
    • Huggingface
    • ModelScope
• 表情条件权重: FantasyPortrait
  • 下载链接:
    • Huggingface
    • ModelScope

性能指标

• 测试环境: 单张A100显卡
• 性能数据:

  torch_dtype	num_persistent_param_in_dit	速度	所需显存
  torch.bfloat16	None (无限制)	15.5s/it	40G
  torch.bfloat16	7*10^9 (7B)	32.8s/it	20G
  torch.bfloat16	0	42.6s/it	5G

引用信息

bibtex @article{wang2025fantasyportrait, title={FantasyPortrait: Enhancing Multi-Character Portrait Animation with Expression-Augmented Diffusion Transformers}, author={Wang, Qiang and Wang, Mengchao and Jiang, Fan and Fan, Yaqi and Qi, Yonggang and Xu, Mu}, journal={arXiv preprint arXiv:2507.12956}, year={2025} }

致谢

• 参考项目:
  • Wan2.1
  • PD-FGC
  • DiffSynth-Studio

搜集汇总

数据集介绍

构建方式

在数字人像动画领域，FantasyPortrait-Multi-Expr数据集通过精心设计的采集流程构建而成。研究团队采用高精度摄像设备捕捉多人物面部表情动态，构建了首个包含多角色肖像的表情视频数据集。数据采集过程严格遵循标准化协议，确保视频帧率、分辨率和光照条件的一致性，并通过专业标注团队对表情类别进行细致标注，为后续模型训练提供高质量基准数据。

特点

该数据集在数字人像合成领域展现出显著优势，其核心特点在于包含丰富的多角色表情动态序列。数据集涵盖不同年龄、性别和种族的人物肖像，表情类别覆盖基本情绪到复杂微表情，视频分辨率达到720P标准。每个样本均配有精确的时间对齐标注，支持跨角色表情迁移研究，为多人物肖像动画生成提供了前所未有的数据支持。

使用方法

研究人员可通过HuggingFace平台直接下载该数据集，配套提供详细的预处理脚本和标注说明。使用前需配置Python环境并安装FFmpeg等依赖库，数据集目录结构按人物ID和表情类别分层组织。典型应用场景包括加载特定人物的表情序列作为驱动信号，或提取关键帧训练扩散模型。官方提供的infer_multi.sh脚本可直接调用预训练模型进行多人物肖像动画生成实验。

背景与挑战

背景概述

FantasyPortrait-Multi-Expr数据集由阿里巴巴集团的研究团队于2025年发布，旨在推动多角色肖像动画生成领域的发展。该数据集作为首个专注于多肖像面部表情视频的数据资源，通过结合扩散变换器与表情增强技术，显著提升了动画生成的真实性与表现力。研究团队在arXiv上发表的论文详细阐述了其核心技术框架，为数字娱乐、虚拟现实等领域的动态肖像合成提供了新的解决方案。该数据集的推出填补了多角色协同动画生成的数据空白，为相关算法的训练与评估建立了重要基准。

当前挑战

在解决多角色肖像动画生成问题时，该数据集面临两大核心挑战：一是如何精准捕捉并迁移不同角色的多样化面部表情，确保生成动画的自然协调性；二是如何处理高分辨率视频数据中的复杂时空关联，维持细节真实性与运动连贯性。数据构建过程中，研究团队需克服多源数据对齐、表情标签标注一致性等技术难题，同时平衡计算资源消耗与模型性能的关系。这些挑战直接影响了生成动画的视觉质量与计算效率，成为该领域持续优化的关键方向。

常用场景

经典使用场景

在数字娱乐和虚拟现实领域，FantasyPortrait-Multi-Expr数据集为多角色肖像动画生成提供了丰富的表情数据支持。该数据集广泛应用于角色动画生成、虚拟主播表情驱动以及游戏角色表情设计等领域。通过结合扩散变换器技术，研究人员能够生成高度逼真且富有情感表现力的动画效果，为数字内容创作提供了新的可能性。

衍生相关工作

FantasyPortrait-Multi-Expr数据集衍生了一系列经典工作，包括基于扩散变换器的动画生成模型、多角色表情同步算法以及高分辨率动画生成技术。这些工作进一步推动了数字内容创作领域的发展，例如Wan2.1-I2V-14B-720P模型和DiffSynth-Studio等项目，均在FantasyPortrait-Multi-Expr数据集的基础上进行了优化和扩展。

数据集最近研究

最新研究方向

在数字媒体与人工智能交叉领域，FantasyPortrait-Multi-Expr数据集作为首个多角色面部表情视频数据集，正推动生成式模型在肖像动画中的技术边界。其基于扩散变换器的增强框架，通过融合表情条件机制，显著提升了多角色动态生成的细腻度与真实感。当前研究聚焦于跨模态情感迁移、高分辨率视频合成的计算优化，以及个性化风格适配等方向，为虚拟偶像、互动娱乐等产业提供了关键技术支撑。该数据集的开放不仅填补了多角色协同动画的数据空白，更在2025年ACM Multimedia等顶会引发了对可控生成式AI伦理标准的广泛讨论。