IMavatar Synthetic Dataset

我们通过渲染摆姿势和纹理化的火焰网格来对合成数据集进行受控实验。对于训练集，我们渲染代表语音序列的视频。我们从VOCA语音数据集中获取火焰表达参数，并从真实视频中获取头部姿势。我们用从昏迷中提取的看不见的、更强的表达式来构建测试集。我们的合成数据集由10个具有不同面部形状和外观的受试者组成，平均每个受试者5,368帧用于训练和1876帧用于测试。为了测试，我们每10帧进行一次采样。出于研究目的，我们发布了合成数据集。

搜集汇总

背景与挑战

背景概述

该数据集由苏黎世联邦理工学院与马克斯普朗克智能系统研究所于2022年发布，专为CVPR 2022的IMavatar项目设计。它通过渲染FLAME网格生成了10位不同面部特征的受试者数据，训练集平均每人5368帧，测试集1876帧，数据源自VOCA语音和真实视频，用于语音驱动的人头化身研究。