awesome-3d-face

github2026-01-14 更新2026-06-04 收录

人脸重建

说话头生成

数据链接：

https://github.com/winterbloooom/awesome-3d-face 数据链接链接失效反馈

官方服务：

资源简介：

这是一个关于3D人脸（重建、说话头等）的数据集合集，收集和整理了多个数据集资源，涵盖3D人脸重建和音频驱动人脸动画等领域，包括论文、面部/头部模型、排行榜、基准和数据集列表。

This is a dataset collection focused on 3D human faces (including 3D face reconstruction, talking heads, etc.). It collects and organizes multiple dataset resources, covering domains such as 3D face reconstruction and audio-driven facial animation, and encompasses papers, facial/head models, leaderboards, benchmarks, and dataset lists.

创建时间：

2024-01-03

原始信息汇总

数据集总结：Awesome 3D Face (Kor.)

这是一个由 GitHub 仓库维护的、专注于 3D 人脸重建 和 3D 人脸动画（语音驱动说话头） 两大领域的论文、模型、基准测试和数据集精选列表。

一、核心领域

3D 人脸重建 (3D Face Reconstruction): 从单张或多张图像恢复 3D 人脸模型。
3D 人脸动画 (3D Facial Animation): 利用语音/音频驱动生成 3D 人脸动画（说话头）。

二、主要子类别与内容

1. 3D 人脸重建

📑 论文 (Papers): 收录了从 2017 年至 2024 年的核心论文，按年份逆序排列。重要论文以 ✨ 标记。示例包括：
- DECA (2021): 学习可动画化的详细 3D 人脸模型，细节用位移图表示。
- EMOCA (2022): 面向情感驱动的单目人脸捕捉和动画。
- MICA (2022): 实现公制（尺度准确）的人脸重建。
- SPECTRE (2023): 视觉语音感知的 3D 面部表情重建。
- 其他关键技术如 HRN、TokenFace、HiFace 等也包含在内。
🫥 人脸/头部模型 (Facial/Head Models):
- 3DMM (1999): 经典的可变形模型。
- BFM (2009): 巴塞尔人脸模型。
- FLAME (2017): 常用的 3DMM 式面部模型，用形状、表情和姿态参数表示人脸。
- LYHM (2020): 颅面形状和纹理的统计模型。
🎖️ 排行榜/基准 (Leaderboards, Benchmarks):
- NoW (2019): 最常用的基准之一，通过比较扫描（真值）与重建网格之间的点-网格距离来评估。
- REALY (2022): 另一个 3D 人脸重建基准。
📦 数据集 (Datasets):
- MICA Dataset (2022): 由 MICA 作者汇总并进行 FLAME 拟合的多个数据集合并。
- LYHM & Headspace Dataset (2020): 基于 LYHM 模型的数据集。
- FRGC (2005): 人脸识别大挑战数据集。
- FaceWarehouse (2013): 用于视觉计算的 3D 面部表情数据库。
- 其他数据集包括 D3DFACS、Florence 2D/3D、AR database 等。

2. 3D 人脸动画 (语音驱动说话头)

📑 论文 (Papers): 收录了从 2016 年至 2023 年的核心技术，按年份逆序排列。重要论文以 ✨ 标记。示例包括：
- FaceFormer (2022): 基于 Transformers 的语音驱动 3D 面部动画。
- CodeTalker (2023): 使用离散运动先验的语音驱动 3D 面部动画。
- EMOTE (2023): 情感语音驱动的动画。
- VOCA (2019): 经典的说话风格捕捉、学习与合成框架。
📦 数据集 (Datasets):
- VOCA / VOCASET (2019): 包含语音的 4D 人脸扫描数据集。
- MEAD (2019): 大型音频-视觉情感说话人脸数据集，在演播室拍摄，包含多视角和多种情绪强度。
- VoxCeleb2 (2018): 从 YouTube 收集的大规模说话人识别视频数据集。
- CelebV-HQ (2022): 大规模人脸视频属性数据集。
- BIWI (2010): 包含 3D 头部姿势的数据集。
- CoMA (2018): 用于卷积网格自编码器的人脸数据。

三、数据集详情与用途

数据集名称	所属领域	核心用途	关键特征
MICA Dataset	3D 人脸重建	训练公制人脸重建模型	由多个数据集合并并拟合至 FLAME 模型
VOCA / VOCASET	3D 人脸动画	训练、评估语音驱动 3D 面部动画	包含同步语音的 4D 人脸扫描；支持说话人无关的动画生成
MEAD	3D 人脸动画	研究情感对说话脸生成的影响	多视角、包含多种情绪及强度、在演播室拍摄
VoxCeleb2	3D 人脸动画	大规模说话人识别与视频理解	从 YouTube 收集的大规模自然场景视频
CelebV-HQ	3D 人脸动画	大规模人脸视频属性分析	高质量、带丰富属性的名人视频片段
FaceWarehouse	3D 人脸重建	视觉计算与面部表情研究	包含多种 3D 面部表情的数据库
BIWI	3D 人脸动画	头部姿态估计	包含 RGB-D 数据和 3D 头部姿态标注

注意: 列表中部分数据集（如 FRGC、Stirling 等）也包含其他研究用途，但在该精选集中主要服务于 3D 人脸重建或动画任务。

四、注意事项

该列表的论文按 发表年份逆序 排列。
尽管部分模型或数据集有独立代码仓库（已列出），但列表的评价标准基于论文本身。
*논문까지 읽을 필요는 없음* (无需阅读论文) 的注释仅针对所列模型本身，而非其研究背景。

搜集汇总

数据集介绍

构建方式

该数据集以GitHub仓库的形式构建，系统性地整合了三维人脸重建与动画领域的核心资源。构建者通过广泛检索顶级会议与期刊（如CVPR、ICCV、SIGGRAPH等）的文献，精心筛选并收录了自1999年3DMM模型提出以来的代表性研究成果。仓库内容被划分为三维人脸重建与语音驱动人脸动画两大主题，每个主题下又细分为论文、面部/头部模型、排行榜与基准、以及数据集等多个模块。所有条目均按照发表年份逆序排列，并附有论文标题、作者、官方链接及代码仓库地址，重要工作以星标标记，构建了一个结构清晰、便于学术追踪的知识体系。

特点

该数据集最显著的特点是其高度的结构化与专业性。它并非原始数据的集合，而是一个精心策划的知识索引，覆盖了从经典模型（如BFM、FLAME）到最新方法（如EMOCA、SPECTRE）的完整发展脉络。仓库特别注重资源的可复现性，为绝大多数论文提供了官方代码或项目主页链接。此外，数据集还整合了多个权威基准测试（如NoW、REALY）的评估协议，并针对韩国研究者提供了韩文注释，降低了非英语母语者的使用门槛。这种以GitHub为载体的动态更新机制，使其成为一个活态的、持续演进的学术资源库。

使用方法

使用者可直接通过GitHub仓库的目录结构进行浏览与检索。对于三维人脸重建任务，可从'3D Face Reconstruction'分区下的论文列表中获取最新方法，并通过附带的代码链接复现实验；若需要评估模型性能，可参考'Leaderboards, Benchmarks'部分提供的NoW等基准测试协议。对于语音驱动人脸动画研究，则可转向'Face Animation with Audio'分区。仓库还列出了LYHM、VOCASET等关键数据集，方便研究者获取训练与测试数据。建议用户结合仓库顶部的目录折叠功能快速定位所需资源，并关注星标论文以把握领域前沿。

背景与挑战

背景概述

三维人脸重建与动画生成是计算机视觉与图形学领域长期关注的核心课题，其研究可追溯至1999年Blanz与Vetter提出的经典三维形变模型（3DMM）。随着深度学习技术的蓬勃发展，该领域在近十年间取得了显著突破，涌现出如DECA、EMOCA、MICA等代表性工作，以及FLAME、BFM等广泛使用的人脸参数化模型。awesome-3d-face数据集资源库由研究者系统整理，涵盖了从单图像三维人脸重建到语音驱动面部动画的完整技术栈，收录了CVPR、ICCV、SIGGRAPH等顶级会议与期刊的论文、基准测试（如NoW、REALY）及配套数据集（如VOCASET、MEAD）。该资源库聚焦于解决无约束环境下的人脸几何与表情重建问题，推动了从实验室可控场景向自然场景的迁移，对提升人脸分析技术在虚拟现实、人机交互、影视制作等领域的实用价值具有重要影响。

当前挑战

当前三维人脸研究面临多重挑战。首先，在领域问题层面，从单张图像或语音信号中恢复高保真三维人脸几何与纹理仍受限于深度模糊、光照变化及极端表情等复杂场景，现有方法在遮挡、大姿态及非正面视角下的重建精度与鲁棒性亟待提升。其次，构建过程中存在显著困难：高质量三维扫描数据获取成本高昂，导致真实标注数据稀缺，多数方法依赖合成数据或弱监督学习，可能引入域偏移；多数据集融合时面临尺度、拓扑及标签不一致的问题，如MICA需将不同来源数据统一拟合至FLAME模型；此外，动态面部细节（如皱纹、微表情）的建模需要时序一致性约束，而现有基准测试（如NoW）主要评估静态几何，对动态序列的评估标准尚不完善。

常用场景

经典使用场景

在计算机视觉与图形学领域，三维人脸重建是连接二维图像与三维几何的核心桥梁。该数据集系统梳理了从传统三维形变模型（如BFM、FLAME）到深度学习时代（如DECA、MICA）的演进脉络，为研究者提供了从单张图像或视频中恢复高保真三维人脸几何、纹理与表情的经典范式。其最经典的使用场景聚焦于弱监督或自监督学习框架下的单目三维人脸重建，通过引入姿态、光照、表情解耦的标准化流程，实现了在无三维标注的情况下从自然图像中准确估计人脸形状与细节，成为该领域方法验证与性能对比的基准平台。

衍生相关工作

该数据集催生了一系列具有里程碑意义的衍生工作，深刻影响了三维人脸研究的发展方向。其中，DECA提出的可动画化细节置换图机制，使得重建结果支持跨表情细节迁移，成为后续众多生成模型（如AlbedoGAN、HRN）的基础框架。EMOCA通过引入情感感知重建损失，开创了表情保真度优化的新范式，并衍生出如EMOTE等语音驱动情感动画工作。在基准层面，RingNet伴随的NoW Benchmark确立了度量级重建的标准化评估协议，而MICA通过融合多数据集构建大规模训练库，推动了监督学习方法在三维人脸重建中的实质性突破。这些工作共同构建了从重建到动画再到评估的完整技术链条。

数据集最近研究