Chinese Talking-Face Dataset

该数据集由京东和香港大学的研究团队构建，旨在促进中文环境下的说话人脸生成研究。数据集包含约1100个高质量视频，总时长达130小时，视频来源于Bilibili和抖音平台。数据经过严格筛选，确保每个视频仅包含一个可见人脸，且音频与说话者身份一致。数据集的应用领域主要集中在说话人脸视频生成，特别是唇音同步和视觉质量的提升。通过该数据集，研究者可以训练模型以实现更精确的唇音同步和高质量的视频生成。This dataset was constructed by a research team from JD.com and The University of Hong Kong, aiming to facilitate research on talking face generation in Chinese-language contexts. It contains approximately 1,100 high-quality videos with a total duration of 130 hours, sourced from Bilibili and Douyin platforms. The dataset underwent strict screening to ensure that each video contains only one visible human face, and the audio matches the speaker's identity accurately. The primary application domains of this dataset center on talking face video generation, particularly lip synchronization and visual quality enhancement. With this dataset, researchers can train models to achieve more precise lip synchronization and high-quality video generation.

搜集汇总

数据集介绍

构建方式

Chinese Talking-Face Dataset的构建过程体现了对高质量数据的严格筛选与精心处理。该数据集从Bilibili和Douyin平台采集了约1.1k个中文视频，总时长达到130小时。为确保数据的多样性和质量，每个账号仅选取一个视频，且每个视频中仅包含一个清晰可见的面部，音频与说话者身份严格对齐。此外，视频中的嘴部区域或牙齿清晰可见，且音频中无显著背景音乐或噪音干扰。通过这一系列严格的筛选标准，数据集在多样性和质量上均达到了较高的标准。

使用方法

Chinese Talking-Face Dataset的使用方法主要围绕音频驱动的面部生成任务展开。研究者可以通过该数据集训练模型，实现从音频到面部运动的精确映射。具体而言，数据集中的视频被分割为仅包含单个面部的片段，并通过3D重建模型提取面部关键点和深度信息。这些信息与音频特征结合，用于生成与音频同步的唇部运动。此外，数据集还可用于评估模型在唇音同步和视觉质量方面的表现，为相关研究提供了可靠的基准数据。

背景与挑战

背景概述

Chinese Talking-Face Dataset 是由京东（JD.com）和香港大学的研究团队于2025年构建的一个高质量中文说话人脸视频数据集，旨在推动中文语境下的说话人脸生成研究。该数据集包含130小时的高清视频，涵盖了多样化的中文语音内容，视频来源包括Bilibili和Douyin等平台。通过严格的筛选流程，确保了视频中仅包含单一可见人脸、清晰的嘴部区域以及无背景噪音的中文语音。该数据集的构建为中文说话人脸生成任务提供了重要的数据支持，尤其是在音频驱动的唇部运动生成和视觉外观合成方面，显著提升了模型的训练效果。

当前挑战

Chinese Talking-Face Dataset 面临的挑战主要集中在两个方面：首先，在领域问题方面，尽管现有技术在说话人脸生成领域取得了显著进展，但如何实现精确的唇部-音频同步以及高质量的视频生成仍然是一个核心难题。特别是在中文语境下，语音与唇部运动的复杂关系增加了模型训练的难度。其次，在数据集构建过程中，研究人员需要克服视频来源的多样性和质量不一致问题，确保数据集的多样性和高质量。此外，如何从海量视频中筛选出符合要求的样本，并对其进行标注和预处理，也是一个耗时且复杂的过程。这些挑战不仅影响了数据集的构建效率，也对后续模型的训练和优化提出了更高的要求。

常用场景

经典使用场景

Chinese Talking-Face Dataset 主要用于音频驱动的面部视频生成研究，特别是在中文语境下的唇音同步问题。该数据集通过提供高质量的中文视频，帮助研究人员训练和验证模型在生成自然面部表情和精确唇音同步方面的能力。其经典使用场景包括基于音频的面部动画生成、视频编辑中的唇形修正以及虚拟人物的实时对话生成。

解决学术问题

该数据集解决了音频驱动面部生成中的两大核心问题：唇音同步的精确性和视觉质量的高保真度。通过结合3D重建模型和音频特征，研究人员能够生成与输入音频高度同步的唇形动作，同时保持面部表情的自然性和细节的丰富性。这一突破为虚拟人物生成、视频编辑和人机交互等领域提供了重要的技术支持。

实际应用

在实际应用中，Chinese Talking-Face Dataset 被广泛用于虚拟主播、在线教育、视频会议等场景。例如，在虚拟主播领域，该数据集可以帮助生成与音频高度同步的虚拟人物面部动画，提升观众的沉浸感。在教育领域，教师可以通过该技术生成与教学内容同步的虚拟形象，增强教学效果。此外，视频会议中的实时唇音同步功能也能显著提升沟通效率。

数据集最近研究

最新研究方向

近年来，随着生成式模型在图像、视频和音频生成领域的快速发展，基于音频驱动的面部视频生成技术逐渐成为研究热点。特别是在中文语境下，如何实现高精度的唇音同步和高质量的视觉表现，成为了该领域的前沿挑战。JoyGen框架的提出，通过两阶段生成策略，结合3D重建模型和音频特征，显著提升了唇音同步的精度和视觉质量。此外，构建的中文面部视频数据集（Chinese Talking-Face Dataset）为中文语境下的研究提供了重要支持，推动了该领域的技术进步。未来，结合深度信息的多步预测模型以及更复杂的网络架构，有望进一步提升生成视频的视觉质量和唇音同步效果。

相关研究论文

• JoyGen: Audio-Driven 3D Depth-Aware Talking-Face Video Editing

  京东（JD.Com, Inc.）和香港大学 · 2025年