面向音频驱动生成的多模态音视频特征对齐数据集

该数据是一个高度结构化的多模态音视频深度学习数据集数据集组成以英文演讲视频为基础，在时序上严格统一为25fps的视频与16000Hz的音频。数据以固定帧数（如16帧）被切分为序列片段，核心特征包含:(1)基于Mediapipe算法动态计算半径并裁剪的高清人脸图像序列。(2)提取自110个面部关键点的唇部及下颌 Mask凸包坐标数组。(3)与视觉帧在时序上逐帧/严格对齐的 Whisper 特征、Mel 频谱及DeepSpeech多维声学特征。应用场景为专为计算机视觉与跨模态生成任务设计。其高精度的时空耦合特性可直接赋能语音驱动的数字人生成（Talking Head）、3D面部动作合成等前沿音频驱动视频配音框架的端到端模型训练、测试与验证，具有极高的工程落地与知识产权复用价值。

搜集汇总

背景与挑战

背景概述

该数据集是一个面向音频驱动生成任务的多模态音视频特征对齐数据集，基于英文演讲视频构建，视频与音频严格统一为25fps和16000Hz，并按固定帧数切分为序列片段。其核心特征包括Mediapipe裁剪的人脸图像序列、110个面部关键点的唇部及下颌Mask凸包坐标，以及逐帧对齐的Whisper、Mel和DeepSpeech声学特征，可直接用于Talking Head、3D面部动作合成等跨模态生成模型的训练与验证。