MultiTalk

MultiTalk数据集是由韩国科学技术院创建，包含超过420小时的2D视频，涵盖20种不同语言，旨在解决多语言环境下3D说话头生成的问题。该数据集通过自动化管道从YouTube收集，每段视频都配有语言标签和伪转录，部分视频还包含伪3D网格顶点。数据集的创建过程包括视频收集、主动说话者验证和正面人脸验证，确保数据质量。MultiTalk数据集的应用领域主要集中在提升多语言3D说话头生成的准确性和表现力，通过引入语言特定风格嵌入，使模型能够捕捉每种语言独特的嘴部运动。

The MultiTalk dataset was developed by the Korea Advanced Institute of Science and Technology (KAIST). It contains over 420 hours of 2D videos spanning 20 distinct languages, and is designed to address the challenges of 3D talking head generation in multilingual scenarios. Collected from YouTube via an automated pipeline, each video in the dataset is paired with language labels and pseudo-transcripts, and a portion of the videos additionally include pseudo-3D mesh vertices. The dataset creation process encompasses video collection, active speaker verification, and frontal face verification to guarantee data quality. The primary application scenarios of the MultiTalk dataset focus on improving the accuracy and expressiveness of multilingual 3D talking head generation: by introducing language-specific style embeddings, models can capture the unique lip movements of each language.

搜集汇总

数据集介绍

构建方式

MultiTalk数据集的构建方法是通过从YouTube上收集20种不同语言的2D谈话视频，并使用TalkNet模型识别并提取出说话者正面且清晰的短句视频。接着，使用Whisper模型为每个视频片段生成伪文本，并利用SPECTRE模型为部分视频生成伪3D网格顶点。通过这种方式，数据集不仅包含了丰富的面部动作，还涵盖了多样的语言和语调。

使用方法

使用MultiTalk数据集的方法包括两个阶段：首先，使用向量量化的自动编码器（VQ-VAE）学习一个离散的运动代码簿，以捕捉各种语言中的面部运动；然后，训练一个时间自回归模型，根据输入的语音和可学习的语言嵌入，生成序列的3D面部运动。通过这种方式，模型可以生成准确且富有表现力的3D面部，与输入的语音同步。

背景与挑战

背景概述

在语音驱动三维说话人头生成的研究中，已经取得了令人信服的言语表达成果。然而，当应用于其他语言的输入语音时，精确的唇同步效果会下降，这可能是由于缺乏涵盖跨语言面部运动广泛范围的数据集。为了应对这一挑战，我们介绍了一个新颖的任务，即从不同语言的语音中生成三维说话人头。我们收集了一个新的多语言二维视频数据集，包含超过420小时的20种语言的说话视频。通过我们提出的这个数据集，我们展示了一个多语言增强模型，它包含语言特定的风格嵌入，使其能够捕捉到每种语言独特的口型运动。此外，我们提出了一种在多语言环境下评估唇同步准确性的指标。我们证明了使用我们提出的这个数据集训练三维说话人头模型可以显著提高其多语言性能。

当前挑战

1) 解决的领域问题是：现有的三维说话人头模型在应用于其他语言的输入语音时，精确的唇同步效果会下降。2) 构建过程中遇到的挑战包括：缺乏涵盖跨语言面部运动广泛范围的数据集，现有的数据集规模小、表达能力有限、多样性和语言范围（仅限英语）有限，以及缺乏能够处理多种语言的数据集。

常用场景

经典使用场景

在多媒体应用中，3D说话头是虚拟化身的关键组成部分，其真实性和用户参与度对于增强虚拟化身的互动性至关重要。MultiTalk数据集的引入为3D说话头的多语言生成提供了新的视角，它通过包含超过420小时的20种语言的谈话视频，极大地丰富了数据集的语言多样性。这个数据集可以用于训练模型，使3D说话头能够准确地从多种语言中生成逼真的面部动作，从而在虚拟现实、动画和游戏等领域中实现更自然的语言交互。

解决学术问题

MultiTalk数据集解决了现有3D说话头模型在处理非英语语言时性能下降的问题。现有的数据集规模较小，表达能力有限，且语言范围狭窄（仅限于英语）。MultiTalk数据集的引入为研究提供了更广泛的语言覆盖，使模型能够学习并捕捉与每种语言相关的独特口型动作。此外，MultiTalk数据集还提出了一种新的评估指标，即音频-视觉唇读性（AVLR），用于衡量多语言语音下3D说话头的唇同步准确性，从而为多语言3D说话头生成的研究提供了新的方向。

实际应用

MultiTalk数据集在实际应用中具有广泛的前景。例如，在电影和动画制作中，多语言3D说话头可以用于生成不同语言的虚拟角色，从而提高内容的国际吸引力。在教育和培训领域，3D说话头可以用于创建多语言的虚拟教师，为学生提供个性化的语言学习体验。此外，在虚拟现实和游戏开发中，多语言3D说话头可以用于创建更具沉浸感和交互性的虚拟世界，使用户能够以自然的方式与虚拟角色进行交流。

数据集最近研究

最新研究方向

在语音驱动的3D说话人头生成领域，MultiTalk数据集的提出标志着对多语言能力探索的重要进展。该数据集包含了超过420小时的20种语言的2D视频数据，以及相应的伪3D网格和语音转录。通过引入语言特定的风格嵌入，MultiTalk模型能够捕捉与每种语言相关的独特口型运动，从而显著提高多语言环境下的3D说话人头生成性能。此外，研究团队还提出了一个新的评估指标，即音频-视觉唇读准确性（AVLR），用于评估多语言语音中3D说话人头的唇同步准确性。实验结果表明，与现有方法相比，MultiTalk在多语言能力方面表现出色，生成的3D说话人头不仅唇同步准确，而且表情丰富。这些成果为虚拟形象、多媒体应用等领域提供了新的可能性，同时也为未来研究多语言3D说话人头生成技术奠定了基础。

相关研究论文

• MultiTalk: Enhancing 3D Talking Head Generation Across Languages with Multilingual Video Dataset

  韩国科学技术院 · 2024年