gemini-2.5-pro-tts-voice-profiles-dramabox

该数据集是原始laion/gemini-2.5-pro-tts-voice-profiles数据集的增强版本，专门用于文本到语音（TTS）任务，特别关注语音表演、情感表达和语音配置文件生成。核心改进在于为每个样本新增了两个由google/gemma-3-12b-it模型生成的DramaBox风格表演提示词，这些提示词基于样本原有的标注（如BUD-E Whisper转录、Empathic-Insight情感分数、Gemini词级转录/描述和发声行为描述）生成，避免了重新运行自动语音识别（ASR）或Whisper模型的需求。每个样本的JSON文件在保留原始所有字段的基础上，新增了以下字段：1) `dramabox_prompt_full`：完整的DramaBox表演提示词，包含说话者的人口统计信息（如年龄、性别、音色）、情感舞台指示、对话，并将发声行为（如呼吸声、叹息）融入舞台指示中；2) `dramabox_prompt_focused`：聚焦的DramaBox提示词，不包含人口统计信息，仅关注音质、情感表达和对话，适用于需要参考音频或无偏TTS的场景；3) `dramabox_model`：生成提示词的模型ID；4) `dramabox_meta.full_starter` / `focused_starter`：用于增加提示词开头多样性的随机起始词或短语。提示词遵循固定格式：首先是一个以...delivering this high-quality studio voice recording with no background noise.结尾的说话者/声音描述段落，随后是交替出现的`(舞台指示)`和`"对话"`。示例展示了多样化的说话者角色、复杂的情感状态（如优越感/悲伤、愠怒/嫉妒、羞怯/厌恶、愉悦/满足、勇气/失望等）以及丰富的非语言发声行为（如咳嗽、啜泣等）。该数据集旨在为高质量、富有表现力的语音合成提供丰富的、带有详细表演指导的文本输入，适用于需要控制语音情感、风格和表演细节的TTS研究和应用。This dataset is an enhanced version of the original laion/gemini-2.5-pro-tts-voice-profiles dataset, specifically designed for text-to-speech (TTS) tasks, with a focus on voice performance, emotional expression, and voice profile generation. The core improvement involves adding two DramaBox-style performance prompts generated by the google/gemma-3-12b-it model for each sample. These prompts are based on the samples original annotations (such as BUD-E Whisper transcriptions, Empathic-Insight emotion scores, Gemini word-level transcriptions/descriptions, and vocal behavior descriptions), eliminating the need to rerun automatic speech recognition (ASR) or Whisper models. Each samples JSON file retains all original fields and includes new fields: 1) `dramabox_prompt_full`: a complete DramaBox performance prompt containing speaker demographic information (e.g., age, gender, timbre), emotional stage directions, dialogue, and integrating vocal bursts (e.g., breathing, sighs) into the stage directions; 2) `dramabox_prompt_focused`: a focused DramaBox prompt without demographic information, emphasizing only voice quality, emotional expression, and dialogue, suitable for scenarios requiring reference audio or unbiased TTS; 3) `dramabox_model`: the model ID used to generate the prompts; 4) `dramabox_meta.full_starter` / `focused_starter`: random starting words or phrases to increase prompt diversity. Prompts follow a fixed format: starting with a speaker/voice description paragraph ending with ...delivering this high-quality studio voice recording with no background noise., followed by alternating `(stage directions)` and `"dialogue"`. Examples showcase diverse speaker roles, complex emotional states (e.g., superiority/sadness, resentment/jealousy, shyness/disgust, joy/satisfaction, courage/disappointment), and rich non-verbal vocal behaviors (e.g., coughing, sobbing). The dataset aims to provide rich, detailed performance-guided text input for high-quality, expressive speech synthesis, applicable to TTS research and applications that require control over voice emotion, style, and performance details.

原始信息汇总

数据集名称

Gemini 2.5 Pro TTS Voice Profiles — with DramaBox prompts

许可证

CC-BY-4.0

任务类别

文本转语音（text-to-speech）

标签

voice-acting, emotion, gemini-tts, dramabox, voice-profiles

数据集描述

该数据集是 laion/gemini-2.5-pro-tts-voice-profiles 的增强版本。原始数据集中的每个样本都通过 google/gemma-3-12b-it 模型，利用已有的标注（BUD-E Whisper 字幕、Empathic-Insight 分数、Gemini 词级转录/字幕以及发声爆发描述）生成了两个 DramaBox 性能提示，无需重新运行 ASR 或 Whisper 专家模型。

新增字段

每个样本的 .json 文件新增了以下字段：

字段	描述
dramabox_prompt_full	包含说话者人口统计学信息（年龄、性别、音色）+ 情感舞台指令 + 对话的 DramaBox 性能提示。发声爆发被编织进舞台指令中。
dramabox_prompt_focused	不包含人口统计学信息的 DramaBox 提示——仅保留声音质量 + 情感表达 + 对话（适用于参考音频/无偏 TTS）。
dramabox_model	生成该提示的模型 ID。
dramabox_meta.full_starter / focused_starter	用于开场白的随机单词或短语（确保开场多样性，避免所有提示以相同方式开头）。

提示格式

提示以一段说话者/声音描述段落结尾，内容为“delivering this high-quality studio voice recording with no background noise.”，之后交替出现 (stage directions) 和 "dialogue"。

示例提示

数据集 README 中提供了多个示例，包括带有说话者人口统计学信息的“FULL”提示和不带人口统计学信息的“FOCUSED”提示，涵盖了不同的情感（如 superiority/mournfulness、sullenness/jealousy & envy、pleasure/fulfillment、courage/disappointment 等）和发声爆发（如 breath_catch、teeth_click、pain_gasp、pleading_whine 等）。

搜集汇总

数据集介绍

构建方式

该数据集基于LAION发布的gemini-2.5-pro-tts-voice-profiles原始语音档案，通过引入Google的Gemma-3-12b-it模型，对每一条样本的现有标注信息（包括BUD-E Whisper字幕、Empathic-Insight情感评分、Gemini词级转录及发声描述）进行增强，在不重新运行语音识别或Whisper模型的前提下，为每条样本生成两条DramaBox风格的表演提示。原始数据的所有字段均予以保留，每条样本的JSON文件新增了包含说话者人口统计学信息的完整提示、不含人口统计学信息的聚焦提示、生成模型ID以及用于增加提示起始多样性的随机开场短语。

特点

数据集最显著的特点在于其高度戏剧化的语音描述体系，将语音样本转化为包含舞台指示与对话交替结构的可执行脚本。每个提示均以一段说话者描述段落起首，固定以'在高品质无噪声录音室环境中录制'结尾，随后嵌入括号标注的情感动作与引号包裹的对白。完整版提示融入了年龄、性别、音色等说话者画像信息，聚焦版则仅保留音质与情感传递要素，为参考音频和无偏文本转语音任务提供了差异化支持。

使用方法

该数据集适用于情感语音合成、角色配音及戏剧化文本转语音等场景。使用者可直接调用每条样本JSON中的dramabox_prompt_full字段进行含说话者画像的完整语音生成，或使用dramabox_prompt_focused字段进行仅依赖音质与情感描述的纯净合成。提示中的舞台指示为情感波动与发声细节提供了精确的时间锚点，建议结合现有文本转语音模型中的情感控制参数或旁白式语音合成方法，以实现更具表现力的语音输出。

背景与挑战

背景概述

Gemini-2.5-pro-tts-voice-profiles-dramabox数据集由LAION机构于近期创建，旨在推动文本到语音（TTS）合成技术向具有丰富情感表现力和角色扮演能力的表演级语音生成演进。核心研究问题聚焦于如何从现有语音标注（如Whisper转录、情感评分及发声描述）中自动生成高保真的戏剧性表演提示，从而赋予合成语音以细腻的情绪层次、舞台指示和个性化音色。该数据集基于gemini-2.5-pro-tts-voice-profiles扩充，通过Gemma-3-12b-it模型注入DramaBox风格的双重表演提示（含与不含人口统计信息），为多模态语音生成研究提供了标准化基准。其影响力体现在为情感TTS、语音角色化及零样本语音合成领域开辟了新的标注范式，促进了从平淡语音到戏剧化表演的技术跨越。

当前挑战

该数据集面临的挑战包括：1) 领域问题方面，传统TTS系统难以捕捉语音中微妙的情感渐变、角色性格及舞台表演感，导致合成语音缺乏自然节奏与戏剧张力，无法满足有声书、虚拟角色及互动叙事场景中对高保真表演级语音的需求；2) 构建过程中，需确保从原有标注（如Whisper转录、BUD-E描述）到DramaBox提示的自动转换不引入语义偏差或丢失原始情感细微差异，同时平衡人口统计信息（年龄、性别、音色）与纯语音质量/情感传达提示的区分度，避免提示同质化。此外，如何维持发声片段（如啜泣、叹息）在戏剧性上下文中的自然嵌入，且保证生成的提示对话具有多样性的起始词组而不刻板，也是一大构建难点。

常用场景

经典使用场景

Gemini 2.5 Pro TTS Voice Profiles — DramaBox 数据集的核心用途在于为文本到语音（TTS）系统提供高度细粒度的多模态配音指令。它通过将说话人的年龄、性别、音色等人口统计学特征与精细的情感状态、舞台指示及声音爆发（如叹息、哽咽、轻咳）相结合，生成结构化的配音提示。研究者常利用该数据集训练或评估能够感知并复现复杂情感变化与表演语气的语音合成模型，推动从冰冷的合成音向富有生命力的戏剧化语音演进。

解决学术问题

该数据集直面传统TTS在处理情感与表演性语音时的两大瓶颈：一是如何将离散情感标签无缝融入连续的语音生成中，二是如何使模型理解并执行类似舞台剧中的‘舞台指示’。它通过提供带有情感属性、拟声爆发和上下文对话的详尽提示，为细粒度情感可控的语音合成、基于指令的零样本语音风格迁移以及多说话人情感调节等学术难题提供了标准化基准。其意义在于提升了合成语音的自然度与表现力，为情感计算与人机交互领域开辟了新路径。

衍生相关工作

该数据集衍生出的经典工作包括基于大语言模型（如Gemma-3）的语音提示自动生成流水线，以及将DramaBox提示格式应用于多说话人情感语音合成模型的微调框架。此外，相关研究还探索了如何从原始标注（如BUD-E Whisper字幕、Empathic-Insight评分）反向还原并泛化出新的表演提示，推动了提示增强（Prompt Augmentation）与情感语音表征学习领域的进步。这些工作共同构建了一个从精细情感标注到高质量语音生成的全链条研究生态。