超写实虚拟数字人多模态训练数据集

本数据集采用多模态分层存储架构，按模态类型与样本类别组织数据，语音、视频、文本、图像分别存放于独立数据表或文件目录中。数据涵盖数字人语音样本、面部及肢体动作样本、文本语料和图像样本四类，覆盖情感标注、表情参数、姿态信息、领域分类等多元属性。主要数据表包括语音样本表，含sample_id样本唯一标识、speaker_id数字人角色ID、audio_path音频路径、text对应文本、duration时长、sample_rate采样率16k或44.1k、emotion情感标签、snr信噪比。视频动作样本表含clip_id片段标识、avatar_id角色ID、video_path视频路径、expression_params表情参数、blendshape面部混合形状权重、pose姿态、fps帧率、resolution分辨率。文本语料表含doc_id文档标识、domain领域、text文本内容、lang语言、token_count词元数量。图像样本表含img_id图像标识、avatar_id角色ID、img_path图像路径、attributes属性包括分辨率光照姿态等。

搜集汇总

背景与挑战

背景概述

该数据集采用多模态分层存储架构，按模态类型与样本类别组织语音、视频、文本和图像数据，包含数字人语音样本、面部及肢体动作样本、文本语料和图像样本四类，并标注了情感、表情参数、姿态、领域分类等多元属性，为超写实虚拟数字人训练提供多维度数据支撑。