Tongue Mocap dataset

我们收集了一个大规模的语音到舌头mocap数据集，该数据集专注于捕获语音期间的舌头，下巴和嘴唇运动。此数据集可以研究用于逼真的内口动画的数据驱动技术。我们提出了一种利用最近基于深度学习的音频特征表示来构建健壮且可推广的语音到动画管道的方法。

We collected a large-scale speech-to-tongue mocap dataset that focuses on capturing the movements of the tongue, jaw, and lips during speech. This dataset facilitates research on data-driven techniques for realistic intra-oral animation. We propose a method to construct a robust and generalizable speech-to-animation pipeline by leveraging recent deep learning-based audio feature representations.

搜集汇总

背景与挑战

背景概述

该数据集是一个大规模语音到舌头运动捕捉数据集，专注于记录语音过程中的舌头、下巴和嘴唇动作，旨在支持数据驱动的逼真内口动画技术研究。它由多个学术和行业机构于2022年发布。