zhaochenyang20/seed-tts-eval

--- license: cc-by-4.0 task_categories: - text-to-speech language: - en - zh tags: - tts - speech-synthesis - voice-cloning - seed-tts-eval - sglang pretty_name: seed-tts-eval size_categories: - 1K<n<10K --- # seed-tts-eval A preprocessed copy of the [seed-tts-eval](https://github.com/BytedanceSpeech/seed-tts-eval) test set, used by [SGLang Omni](https://github.com/sgl-project/sglang-omni) for TTS benchmarking (WER and speed evaluation). We thank the researchers of ByteDance for releasing the original evaluation data and methodology. This dataset simply reorganizes their test sets into a single Hugging Face repository for convenience. ## Evaluation Sets This dataset contains 5 evaluation sets across English and Chinese: | # | File | Language | Samples | Columns | Difficulty | Description | |---|---|---|---|---|---|---| | 1 | `en/meta.lst` | English | 1,088 | 4 | Standard | Same-speaker voice cloning (CommonVoice) | | 2 | `zh/meta.lst` | Chinese | 2,020 | 4 | Standard | Same-speaker voice cloning (DiDiSpeech-2) | | 3 | `en/non_para_reconstruct_meta.lst` | English | 1,086 | 5 | Hard | Cross-speaker voice cloning | | 4 | `zh/non_para_reconstruct_meta.lst` | Chinese | 2,018 | 5 | Hard | Cross-speaker voice cloning | | 5 | `zh/hardcase.lst` | Chinese | 400 | 4 | Hard | Tongue twisters and repetition patterns | Sets 1 and 2 (`en/meta.lst` and `zh/meta.lst`) are the standard evaluation sets used by SGLang Omni benchmarks. Note: Hugging Face may display ~5K samples on this page. That number comes from the auto-detected `audiofolder` format counting every `.wav` file (both prompt wavs and target wavs) individually. The actual evaluation sample counts are listed in the table above. ## File Format ### Standard sets (4 columns) In `en/meta.lst`, `zh/meta.lst`, and `zh/hardcase.lst`, each line contains the following columns: ``` utterance_id | prompt_text | prompt_wav_path | target_text ``` | Column | Description | |---|---| | `utterance_id` | Unique sample identifier | | `prompt_text` | Transcript of the prompt (reference) audio | | `prompt_wav_path` | Relative path to the prompt audio file (e.g., `prompt-wavs/xxx.wav`) | | `target_text` | Text to be synthesized by the TTS model | ``` common_voice_en_10119832-common_voice_en_10119840|We asked over twenty different people, and they all said it was his.|prompt-wavs/common_voice_en_10119832.wav|Get the trust fund to the bank early. ``` ### Cross-speaker sets (5 columns) In `en/non_para_reconstruct_meta.lst` and `zh/non_para_reconstruct_meta.lst`, each line contains the following columns: ``` utterance_id | prompt_text | prompt_wav_path | target_text | target_wav_path ``` In addition to the 4 columns, these files have an additional 5th column: | Column | Description | |---|---| | `target_wav_path` | Relative path to the ground-truth target audio (for reconstruction-based evaluation) | In cross-speaker sets, the prompt speaker and the target speaker are different people, making voice cloning significantly harder. ## Set Details ### English Standard (`en/meta.lst`) 1,088 samples from [CommonVoice](https://commonvoice.mozilla.org/). The prompt audio and the target text come from the same speaker, testing parallel (same-speaker) voice cloning. ### Chinese Standard (`zh/meta.lst`) 2,020 samples from [DiDiSpeech-2](https://arxiv.org/abs/2010.14956). Same-speaker voice cloning, analogous to the English set. ### English Cross-Speaker (`en/non_para_reconstruct_meta.lst`) 1,086 samples. The prompt and target are from different speakers -- the model must synthesize the target text in the prompt speaker's voice, without having heard that speaker say anything similar. Shares the same target texts as set 1. ### Chinese Cross-Speaker (`zh/non_para_reconstruct_meta.lst`) 2,018 samples. Cross-speaker Chinese evaluation, analogous to set 3. Shares the same target texts as set 2. ### Chinese Hard Cases (`zh/hardcase.lst`) 400 samples split into two categories: - Tongue twisters (绕口令, `raokouling-*`): 200 samples with phonetically challenging sentences designed to stress-test pronunciation accuracy. - Repetition patterns: 200 samples with repetitive or stutter-prone text patterns. ## Usage ```bash # Download the full dataset huggingface-cli download zhaochenyang20/seed-tts-eval \ --repo-type dataset --local-dir seedtts_testset ``` For CI testing, a minimal subset is available at [`zhaochenyang20/seed-tts-eval-mini`](https://huggingface.co/datasets/zhaochenyang20/seed-tts-eval-mini). ## Directory Structure ``` seed-tts-eval/ ├── en/ │ ├── meta.lst # Standard English eval (1,088 samples) │ ├── non_para_reconstruct_meta.lst # Cross-speaker English eval (1,086 samples) │ ├── prompt-wavs/ # Reference audio clips (1,007 files) │ └── wavs/ # Ground-truth target audio (1,092 files) └── zh/ ├── meta.lst # Standard Chinese eval (2,020 samples) ├── non_para_reconstruct_meta.lst # Cross-speaker Chinese eval (2,018 samples) ├── hardcase.lst # Tongue twisters + repetition (400 samples) ├── prompt-wavs/ # Reference audio clips (1,010 files) └── wavs/ # Ground-truth target audio (2,020 files) ``` ## Citation If you use this dataset, please cite the original seed-tts-eval work: ```bibtex @article{anastassiou2024seed, title={Seed-TTS: A Family of High-Quality Versatile Speech Generation Models}, author={Anastassiou, Philip and others}, journal={arXiv preprint arXiv:2406.02430}, year={2024} } ```license: cc-by-4.0 任务类别： - 文本转语音（text-to-speech） 语言： - 英语 - 汉语 标签： - tts - 语音合成（speech-synthesis） - 语音克隆（voice-cloning） - seed-tts-eval - sglang 展示名称：seed-tts-eval 样本量级： - 1K<n<10K --- # seed-tts-eval 本数据集为[seed-tts-eval](https://github.com/BytedanceSpeech/seed-tts-eval)测试集的预处理副本，由[SGLang Omni](https://github.com/sgl-project/sglang-omni)用于文本转语音（TTS）基准测试（词错误率（WER）与速度评估）。 我们感谢字节跳动的研究者发布原始评估数据与评估方法，本数据集仅将其测试集整合至单个Hugging Face仓库以方便使用。 ## 评估集 本数据集包含覆盖英语与汉语的5个评估集： | 序号 | 文件路径 | 语言 | 样本数 | 列数 | 难度等级 | 描述 | |---|---|---|---|---|---|---| | 1 | `en/meta.lst` | 英语 | 1,088 | 4 | 标准 | 同说话人语音克隆（源自CommonVoice） | | 2 | `zh/meta.lst` | 汉语 | 2,020 | 4 | 标准 | 同说话人语音克隆（源自DiDiSpeech-2） | | 3 | `en/non_para_reconstruct_meta.lst` | 英语 | 1,086 | 5 | 困难 | 跨说话人语音克隆 | | 4 | `zh/non_para_reconstruct_meta.lst` | 汉语 | 2,018 | 5 | 困难 | 跨说话人语音克隆 | | 5 | `zh/hardcase.lst` | 汉语 | 400 | 4 | 困难 | 绕口令与重复模式文本 | 评估集1与2（`en/meta.lst`与`zh/meta.lst`）为SGLang Omni基准测试所使用的标准评估集。 注：Hugging Face在此页面显示的样本数约为5000，该数值来自自动检测的`audiofolder`格式对每个.wav文件（包括提示音频与目标音频）的单独计数。实际评估样本数详见上表。 ## 文件格式 ### 标准评估集（4列） 在`en/meta.lst`、`zh/meta.lst`与`zh/hardcase.lst`中，每行包含以下列： utterance_id | prompt_text | prompt_wav_path | target_text | 列名 | 描述 | |---|---| | `utterance_id` | 唯一样本标识符 | | `prompt_text` | 提示（参考）音频的转录文本 | | `prompt_wav_path` | 提示音频文件的相对路径（例如`prompt-wavs/xxx.wav`） | | `target_text` | 待TTS模型合成的目标文本 | 示例行： common_voice_en_10119832-common_voice_en_10119840|We asked over twenty different people, and they all said it was his.|prompt-wavs/common_voice_en_10119832.wav|Get the trust fund to the bank early. ### 跨说话人评估集（5列） 在`en/non_para_reconstruct_meta.lst`与`zh/non_para_reconstruct_meta.lst`中，每行包含以下列： utterance_id | prompt_text | prompt_wav_path | target_text | target_wav_path 相较于4列标准集，此类文件新增第5列： | 列名 | 描述 | |---|---| | `target_wav_path` | 真实目标音频的相对路径（用于基于重构的评估） | 在跨说话人评估集中，提示说话人与目标说话人为不同个体，大幅提升了语音克隆的任务难度。 ## 集详细说明 ### 英语标准集（`en/meta.lst`） 1,088个样本源自[CommonVoice](https://commonvoice.mozilla.org/)。提示音频与目标文本来自同一说话人，用于测试同说话人语音克隆任务。 ### 汉语标准集（`zh/meta.lst`） 2,020个样本源自[DiDiSpeech-2](https://arxiv.org/abs/2010.14956)，与英语标准集类似，为同说话人语音克隆任务。 ### 英语跨说话人集（`en/non_para_reconstruct_meta.lst`） 1,086个样本。提示与目标文本来自不同说话人——模型需以提示说话人的音色合成目标文本，且未听过该说话人说出类似内容。与评估集1共享相同的目标文本。 ### 汉语跨说话人集（`zh/non_para_reconstruct_meta.lst`） 2,018个样本，为汉语跨说话人评估任务，与评估集3类似。与评估集2共享相同的目标文本。 ### 汉语困难案例集（`zh/hardcase.lst`） 400个样本分为两类： - 绕口令（`raokouling-*`）：200个语音复杂度较高的句子，用于压力测试发音准确率； - 重复模式文本：200个带有重复或易卡顿文本模式的样本。 ## 使用方法 bash # 下载完整数据集 huggingface-cli download zhaochenyang20/seed-tts-eval --repo-type dataset --local-dir seedtts_testset 对于CI测试，可使用位于[`zhaochenyang20/seed-tts-eval-mini`](https://huggingface.co/datasets/zhaochenyang20/seed-tts-eval-mini)的精简子集。 ## 目录结构 seed-tts-eval/ ├── en/ │ ├── meta.lst # 英语标准评估集（1,088个样本） │ ├── non_para_reconstruct_meta.lst # 英语跨说话人评估集（1,086个样本） │ ├── prompt-wavs/ # 参考音频片段（1,007个文件） │ └── wavs/ # 真实目标音频（1,092个文件） └── zh/ ├── meta.lst # 汉语标准评估集（2,020个样本） ├── non_para_reconstruct_meta.lst # 汉语跨说话人评估集（2,018个样本） ├── hardcase.lst # 绕口令与重复模式文本集（400个样本） ├── prompt-wavs/ # 参考音频片段（1,010个文件） └── wavs/ # 真实目标音频（2,020个文件） ## 引用 若使用本数据集，请引用原始seed-tts-eval相关工作： bibtex @article{anastassiou2024seed, title={Seed-TTS: A Family of High-Quality Versatile Speech Generation Models}, author={Anastassiou, Philip and others}, journal={arXiv preprint arXiv:2406.02430}, year={2024} }

搜集汇总

数据集介绍

构建方式

在语音合成与声音克隆领域，评测数据集的构建质量直接关乎模型性能评估的可靠性。该数据集源自ByteDance研究团队发布的seed-tts-eval原始测试集，经由重新组织与格式标准化后，整合至Hugging Face平台以提升可访问性。其构建过程保留了原始评测方法论的精髓，涵盖英语与中文两种语言，共包含五个评测子集：标准同说话人声音克隆集（英语1,088条、中文2,020条）、跨说话人声音克隆集（英语1,086条、中文2,018条）以及中文困难案例集（400条）。每个子集均以元数据列表（.lst）形式存储，其中标准集每条样本包含话语ID、提示文本、提示音频路径及目标文本四列信息，而跨说话人集则额外添加目标音频路径列以支持重建式评估。

特点

该数据集的核心特点在于其多层次、多维度的评测设计，能够全面检验文本转语音模型的综合能力。标准评测集聚焦于同说话人场景下的声音克隆，通过保持提示音频与目标文本的说话人一致性，评估模型对音色、韵律等声学特征的复现精度。跨说话人评测集则引入说话人身份转换的挑战，要求模型在未见过目标说话人相关语音样本的条件下，将目标文本以提示说话人的音色合成，显著提升了任务难度。尤为值得一提的是中文困难案例集，它针对性设计了绕口令与重复模式两类测试样本，前者通过密集的相似音素序列考验发音准确性，后者则利用重复性文本模式检测模型在长时序预测中的鲁棒性。

使用方法

该数据集的使用便捷且灵活，尤其适合集成到自动化评测流水线中。研究人员可通过Hugging Face CLI工具执行完整下载命令，将数据集保存至本地目录，随后依据评测需求选择对应的元数据文件。对于标准评测，可直接读取meta.lst文件中的提示音频与目标文本，驱动TTS模型生成语音后，采用词错误率（WER）等指标评估合成质量。跨说话人评测则需额外利用target_wav_path列提供的真实音频，通过重建误差度量模型的声音克隆保真度。为便于持续集成测试，项目还提供了精简版子集（seed-tts-eval-mini），支持快速验证模型性能而无须加载全量数据。

背景与挑战

背景概述

seed-tts-eval数据集由字节跳动研究团队于2024年创建，旨在为文本到语音（TTS）领域提供标准化的评估基准。该数据集聚焦于语音克隆任务，特别是同说话人与跨说话人场景下的语音合成性能评测。其核心研究问题在于如何客观衡量TTS模型在自然度、准确性和鲁棒性上的表现，尤其是面对复杂语音模式时的生成能力。通过整合CommonVoice和DiDiSpeech-2等开源语料库，该数据集覆盖中英文双语环境，包含标准与困难两种难度等级，为Seed-TTS等前沿模型提供了统一的测试平台。自发布以来，seed-tts-eval已成为TTS研究领域的重要基准，推动了语音克隆技术的可重复性评估与横向对比。

当前挑战

seed-tts-eval数据集所解决的领域挑战主要集中于语音克隆的三大难点：首先，同说话人语音克隆需确保模型在给定少量参考音频时，能精准复现目标文本的发音与韵律；其次，跨说话人场景要求模型将目标文本以提示说话人的音色合成，而无需该说话人预先朗读相似内容，这对音色解耦与泛化能力构成严峻考验；最后，中文绕口令与重复模式等硬例测试了模型对高难度语音模式的处理极限，如发音清晰度与流畅度。在构建过程中，数据集的挑战包括从多源语料库中筛选高质量音频并确保标注一致性，以及设计跨说话人评估方案以分离音色与内容特征，从而避免评估偏差。

常用场景

经典使用场景

Seed-TTS-Eval数据集的核心应用场景在于为文本到语音（TTS）模型提供标准化的性能评估基准，尤其聚焦于语音克隆（voice cloning）任务的评测。该数据集精心设计了英汉双语的五个子集，涵盖了同说话人语音克隆、跨说话人语音克隆以及中文绕口令与重复模式等高难度测试用例。通过统一的元数据格式（如utterance_id、prompt_text、prompt_wav_path和target_text），研究者能够便捷地计算词错误率（WER）和合成速度，从而系统性地衡量模型在发音准确性与韵律自然度上的表现。这一场景已成为SGLang Omni等先进推理框架的默认TTS评测流程，推动了语音合成领域的标准化进展。

实际应用

在实际产业应用中，Seed-TTS-Eval被广泛用于智能助手、有声读物生成和个性化语音定制等产品的质量把控。例如，TTS模型开发者可借助该数据集快速筛选出在跨说话人克隆任务中表现优异的模型，以服务于多角色对话系统或虚拟主播场景。中文硬案例集对绕口令和重复模式的测试，直接关系到语音助手在播报复杂新闻或绕口令等趣味内容时的用户体验。此外，该数据集与SGLang等推理框架的深度集成，使得企业能够在大规模部署前高效完成模型选型与性能调优，从而降低人工评测成本，加速语音合成技术从实验室到产品的落地进程。

衍生相关工作

Seed-TTS-Eval的发布催生了一系列衍生研究，其中最引人注目的是Seed-TTS系列模型（Anastassiou et al., 2024）本身的迭代优化。该数据集作为Seed-TTS官方评测基准，直接验证了其所提出的多尺度语音生成架构在自然度和可控性上的突破。此外，SGLang Omni项目基于该数据集成为了首个支持TTS基准测试的端到端推理框架，通过集成词错误率与速度评估模块，推动了语音与语言模型的协同优化。后续工作如跨语言语音克隆、零样本TTS等方向，也纷纷引用该数据集作为标准评测集，进一步巩固了其在语音合成领域的标杆地位。