laion/character-voices

该数据集是一个角色语音数据集，包含14个不同角色（如精灵、怪物、机器人等）的2184个情感条件语音样本。语音通过Echo-TTS生成，使用Parakeet-TDT-0.6B-v3进行转录，经过静音感知修剪，过滤至词错误率（WER）为0.00，并采用RE-USE和LavaSR 48 kHz技术增强。每个样本都通过Gemini标注为DramaBox表演提示，包括角色原型、可听情感、表达方式和具体台词（用双引号标注）。数据以每个角色一个文件夹和一个WebDataset tar文件的形式组织，每个样本包含一个MP3音频文件（160 kbps单声道）和一个JSON文件，其中JSON文件包含转录文本、自动语音识别结果、DramaBox提示、感知情感、原型描述器和情感标签。This dataset is a character voices dataset containing 2184 emotion-conditioned speech samples across 14 different characters (e.g., fairy, monster, robot). The speech is generated using Echo-TTS, transcribed with Parakeet-TDT-0.6B-v3, silence-aware trimmed, filtered to a word error rate (WER) of 0.00, and enhanced using RE-USE and LavaSR 48 kHz. Each sample is annotated with Gemini into DramaBox performance prompts, including archetype, audible emotions, delivery, and the exact line in double quotes. The data is organized with one folder and one WebDataset tar file per character, where each sample includes an MP3 audio file (160 kbps mono) and a JSON file containing transcription, ASR, DramaBox prompt, perceived emotions, archetype descriptor, and emotion.

搜集汇总

数据集介绍

构建方式

该数据集通过Echo-TTS系统生成情感条件化的角色语音，随后利用Parakeet-TDT-0.6B-v3模型进行转录，并经过静默感知修剪和筛选，确保词错误率（WER）严格为零。为提升音频质量，采用了RE-USE与LavaSR技术将采样率提升至48千赫兹。最终，借助Gemini模型为每段语音标注了DramaBox表演提示，包括角色原型、可感知的情感状态及其表达方式，从而构建出一个高度结构化的多角色语音数据集。

特点

数据集涵盖了14个风格迥异的虚构角色，包括精灵、哥布林、龙、僵尸、机器人等，共计2184个样本。每个样本均以高保真MP3格式（160 kbps单声道）存储，并配有两个关键文件：转录文本与包含丰富元数据的JSON文件。该元数据详细记录了ASR结果、DramaBox提示、感知情感、角色原型描述及具体情感标签，为情感语音合成、角色扮演对话系统及多模态研究提供了高质量、多样化的数据支撑。

使用方法

数据以每个角色独立的文件夹及WebDataset tar归档形式组织，开发者可通过HuggingFace Datasets库直接加载。使用时，根据角色名称索引对应的tar文件或文件夹，即可获取键-value对形式的音频和JSON元数据。该数据集特别适用于训练条件文本到语音模型、情感语音识别系统或构建具有个性特征的对话代理。由于采用开放许可证，研究人员可在非商业用途下自由使用，但需遵循CC-BY-NC-SA 4.0协议条款。

背景与挑战

背景概述

Character Voices数据集由LAION团队于近期创建，专注于情感条件化的角色语音合成。该数据集利用Echo-TTS模型生成多种奇幻角色的语音样本，如精灵、地精、巨龙、僵尸等，共计14个角色、2184条语音。每个样本均通过Parakeet-TDT-0.6B-v3进行转录并筛选至词错误率为零，再经RE-USE和LavaSR技术增强至48千赫兹，最后使用Gemini模型标注DramaBox表演提示，涵盖原型、可听情感和传递方式。这一精细流程不仅提升了语音质量，还为角色驱动的文本到语音研究提供了高质量、标准化的数据基础，填补了情感表达与角色语音结合领域的空白，对数字娱乐、虚拟助手和互动叙事等应用具有重要推动作用。

当前挑战

该数据集所解决的领域问题在于，文本到语音合成常面临情感表达单一、角色个性匮乏的挑战，难以满足多样化应用场景的需求。构建过程中，团队需克服语音生成与转录的精度瓶颈，确保每个样本的转录误差为零，同时通过多阶段增强处理来维持音频保真度。此外，情感标注的客观性与一致性也是一大难题，依赖大型语言模型从谐波和韵律中自动推断可听情感，需避免主观偏差。数据集规模有限且角色类型集中于奇幻主题，可能限制其泛化能力，未来需扩展至更多角色类别和语言，以提升在真实世界叙事中的实用性与鲁棒性。

常用场景

经典使用场景

在文本到语音（TTS）与情感语音合成领域，该数据集作为一项条件约束下的角色语音生成资源，其经典用途在于为多样化的虚构角色赋予富有情感层次的语音表达。通过整合Echo-TTS生成的原始语音、Parakeet-TDT严格转录的零错误文本、RE-USE与LavaSR联合增强的高保真音频，以及基于Gemini标注的DramaBox表演提示，该数据集为研究者提供了横跨精灵、哥布林、僵尸、机器人等14种奇幻与科幻原型的144至181条不等的语音样本。每条样本都精细标注了感知情感与原型描述，使得在可控情感维度下训练角色一致性语音合成模型成为可能，进而推动从机械朗读向人格化、戏剧化语音生成的范式转变。

实际应用

在实际应用中，该数据集最直接的落地场景集中于交互式娱乐与虚拟数字人领域。在电子游戏中，它使非玩家角色（NPC）能够依据剧情脉络即时切换语调，例如哥布林发现黄金时声音从窃喜转为狂喜，显著提升沉浸式叙事体验；在虚拟主播与有声读物制作中，数据集中的多角色语料可支撑自动化广播剧配音流水线，大幅降低专业配音演员的录制成本。此外，面向情感计算与智能助手的创新应用亦浮现视野——机器人角色基于电流感的愉悦发声模式，为设计具有拟人化情感反馈的物联网设备语音界面提供了可复用的声学模板，从而弥合合成语音与人类自然情感表达之间的鸿沟。

衍生相关工作

该数据集的发布已催生出一系列围绕情感对齐与角色迁移的衍生工作。基于其中零错误转录的高质量音频，后续研究探索了将预训练语音模型（如Whisper）与情感嵌入模块耦合的微调方案，开发出能在保持角色身份的前提下，通过输入文本中的情感关键词动态调控表达强度的轻量级适配器。同时，戏剧表演提示（DramaBox prompts）的出现启发了基于大语言模型的语音风格代理构建，研究者利用Gemini生成的文本描述训练跨模态检索模型，实现了从自然语言指令到角色语音参数的端到端映射。此外，WebDataset格式的便捷性促进了分布式训练框架下的大规模情感语音模型预训练实验，为TTS领域注入了兼顾角色多样性与情感细粒度的全新研究范式。