dramabox-voice-acting-data-annotated

DramaBox Voice Acting Data - Annotated是laion/dramabox-voice-acting-data数据集的后续处理版本，专门设计用于语音表演和情感转换研究。该数据集包含来自同一说话者的两个情感场景样本，这些场景通过CUT TO:过渡分隔。经过系统化处理流程，包括使用NVIDIA RE-USE进行非歌唱样本的语音增强降噪、LavaSR超分辨率将音频扩展至48kHz、Whisper Turbo ASR生成带词级时间戳的完整转录、在CUT TO:过渡处将音频分割为两部分，以及使用VoiceCLAP Large提取每个部分的3584维语音嵌入。通过这种分割处理，数据集创建了同一语音身份但不同情感的配对音频片段，使研究人员能够训练在情感转换过程中保持说话者一致性的语音表演系统。数据以MP3文件(256kbps单声道48kHz)和JSON注释文件的形式提供，每个样本包含两个音频文件(part1.mp3和part2.mp3)和一个包含ASR转录、时间戳、嵌入向量和元数据的JSON文件。数据集适用于音频分类、文本转语音、语音增强和语音表演系统开发等任务。DramaBox Voice Acting Data - Annotated is a follow-up processed version of the laion/dramabox-voice-acting-data dataset, specifically designed for voice acting and emotion transfer research. The dataset contains two emotional scene samples from the same speaker, separated by a CUT TO: transition. It undergoes a systematic processing pipeline, including denoising with NVIDIA RE-USE for non-singing samples, upsampling to 48kHz using LavaSR super-resolution, generating full transcriptions with word-level timestamps via Whisper Turbo ASR, splitting audio at the CUT TO: transition into two parts, and extracting 3584-dimensional voice embeddings for each part using VoiceCLAP Large. This segmentation creates paired audio segments with the same vocal identity but different emotions, enabling researchers to train voice acting systems that maintain speaker consistency during emotion transfer. The data is provided as MP3 files (256kbps mono 48kHz) and JSON annotation files, with each sample containing two audio files (part1.mp3 and part2.mp3) and a JSON file with ASR transcriptions, timestamps, embedding vectors, and metadata. The dataset is suitable for tasks such as audio classification, text-to-speech, speech enhancement, and voice acting system development.

原始信息汇总

数据集名称

DramaBox Voice Acting Data - Annotated

许可证

• CC-BY-4.0

任务类型

• 音频分类
• 文本转语音

语言

• 英语
• 德语

标签

• 配音
• 语音增强
• 音频

数据集来源

该数据集是对 laion/dramabox-voice-acting-data 的后处理版本。

处理流程

1. 语音增强：使用 nvidia/RE-USE 对非歌唱样本进行降噪处理。
2. 超分辨率：通过 YatharthS/LavaSR 将音频带宽扩展至 48kHz。
3. 自动语音识别：使用 Whisper Turbo 生成完整转录及单词级时间戳。
4. 场景分割：在“CUT TO:”转场处将音频分割为两部分（Part 1 和 Part 2）。
5. 语音嵌入：使用 laion/voiceclap-large 为每部分生成 3584 维语音嵌入向量。

数据集目的

每个 DramaBox 样本包含同一位说话者的两个情感场景，场景之间由“CUT TO:”分隔。通过分割，创建同一语音身份在不同情感下的配对音频片段，从而支持训练在情感转换中保持说话者一致性的配音系统。

数据格式

• 音频文件：MP3 格式，256kbps，单声道，48kHz
• 标注文件：每个样本对应一个 JSON 文件，包含 ASR 转录、时间戳、嵌入向量和元数据
• 打包方式：按源数据集结构打包为 tar 文件

每个样本包含的文件

• {prompt_id}_seed{NN}_part1.mp3：场景 1 音频
• {prompt_id}_seed{NN}_part2.mp3：场景 2 音频
• {prompt_id}_seed{NN}.json：完整标注信息

使用的模型

• nvidia/RE-USE：语音增强
• YatharthS/LavaSR：超分辨率
• openai/whisper turbo：自动语音识别
• laion/voiceclap-large：语音嵌入
• ResembleAI/DramaBox：源文本转语音模型

搜集汇总

数据集介绍

构建方式

本数据集为DramaBox语音表演数据的后处理版本，其构建依托一套精心设计的流水线。首先，利用nvidia/RE-USE模型对非歌唱样本进行降噪处理，以提升语音清晰度；随后，借助YatharthS/LavaSR模型将音频带宽扩展至48kHz，实现超分辨率重建。在此基础上，采用Whisper Turbo模型进行自动语音识别，生成包含词级时间戳的完整转录文本。针对每个样本中由“CUT TO:”过渡分隔的两个情感场景，系统自动实施音频分割，将原始片段划分为Part 1与Part 2两部分。最后，通过laion/voiceclap-large模型为每个部分提取3584维语音嵌入向量，从而构建出结构化的配对数据。所有音频均以256kbps、单声道、48kHz的MP3格式存储，并辅以包含ASR、时间戳、嵌入向量及元数据的JSON注释文件，最终打包为与源数据集结构一致的tar文件。

使用方法

研究者可直接从HuggingFace平台获取该数据集，其文件结构遵循源数据集的tar打包格式，便于批量下载与处理。每个样本包含Part 1与Part 2的MP3音频文件及对应的JSON注释文件，用户可依据任务需求灵活调用。在语音分类任务中，可利用JSON中的Whisper转录文本与VoiceCLAP嵌入向量作为输入特征；在文本转语音场景中，可将配对音频作为训练数据，用以学习同一说话人在不同情感下的声学映射关系。建议使用Python的torchaudio或librosa库加载音频，并通过json模块解析注释文件，同时可参考HuggingFace Datasets库的加载脚本以简化数据流处理。模型训练时，应特别注意利用Part 1与Part 2的成对结构设计损失函数，以强化说话人身份的一致性约束。

背景与挑战

背景概述

DramaBox Voice Acting Data Annotated数据集由LAION研究机构于近期构建，旨在推动语音表演（voice acting）系统的发展，尤其是在跨情感场景中保持说话人身份一致性的任务上。该数据集源于ResembleAI开发的DramaBox文本到语音（TTS）模型生成的合成语音样本，每个样本包含同一说话人在“CUT TO”过渡前后的两个情感片段。通过后处理流水线，研究人员应用了RE-USE语音增强、LavaSR超分辨率、Whisper Turbo自动语音识别以及VoiceCLAP嵌入提取等技术，生成了配对的高质量语音片段与详细标注。该数据集的影响力在于为语音合成、情感转换与说话人验证等交叉领域提供了标准化的实验基准，尤其适用于训练能够忠实维持音色特征并自然切换情感的语音表演系统。

当前挑战

该数据集所解决的领域核心挑战在于语音表演中的情感一致性维持：传统语音合成系统往往在情感切换时出现音色漂移或身份不连贯问题，而DramaBox通过提供同一说话人的配对情感片段，使得模型能够学习跨情感的身份不变性。此外，构建过程中面临多重技术挑战：源语音样本来自TTS模型，存在噪声和伪影，需借助RE-USE和LavaSR进行增强和升采样至48kHz；混响和背景干扰对嵌入提取造成困难，需要精确的Whisper ASR时间戳对齐；场景分割依赖于“CUT TO”标记，但实际样本中过渡边界模糊，需手动验证；大规模嵌入计算（3584维）以及tar打包存储亦对硬件和工程效率提出严苛要求。

常用场景

经典使用场景

在语音合成与配音领域，dramabox-voice-acting-data-annotated数据集被广泛用作训练跨情感语音转换与角色一致性配音系统的核心资源。通过将同一说话人的两个情绪场景音频配对，研究者能够构建在情感过渡中保持音色恒定的模型，例如用于戏剧配音、有声书制作或虚拟角色对话生成等任务。该数据的场景分割与细粒度标注机制，特别适合支撑基于韵律、情感与说话人身份的多条件语音合成研究。

解决学术问题

该数据集直面语音合成中“情感切换时说话人一致性难以保持”的关键学术难题。传统多情感语音数据集多采集自不同说话人或独立录音，缺乏同一说话人在连续情感变化下的对比样本。该数据通过“CUT TO:”结构将同一段表演中的两个情感片段配对，为研究说话人嵌入在情感空间中的稳定表达、语音风格迁移的保真度以及情感感知与声学特征之间的映射关系提供了高质量对比基础，显著推动了情感语音合成与多模态说话人建模的进展。

实际应用

在实际产业应用中，该数据集可用于构建面向游戏、虚拟现实及智能助手的动态情感配音系统。例如，游戏角色在剧情中从愤怒转为悲伤时，系统可利用该数据学习到的情感转换模式，自动生成自然连贯的语音。此外，有声书或广播剧制作团队可借助此类数据训练的工具，快速为同一配音演员在不同章节或情绪段落间生成风格适配的音频，大幅降低人工录制与后期编辑成本，并提升内容生产的规模化与灵活性。

数据集最近研究

最新研究方向

围绕语音身份在情感转换中的一致性保持，该数据集通过精细的后处理管线，将同一说话人两个情感迥异的场景音频拆分配对，并融入了语音增强、超分辨率和时序对齐的ASR转录，为基于说话人嵌入的情感迁移与语音风格控制研究提供了高质量训练资源。结合当前多模态生成与情感计算的热潮，这类跨情感语音身份保持的数据集正成为构建更具表现力与细节还原力的语音合成系统的关键基础，尤其在戏剧与有声内容制作领域具有前瞻性应用价值。