irodori-clones-3m-v2

Irodori TTS Clones v2 是一个大规模日语文本转语音（TTS）合成数据集，包含3,290,000个克隆语音样本。该数据集使用Aratako/Irodori-TTS-500M-v2模型生成，基于来自配套数据集SynData-2/irodori-refs-10k-v2的10,000个参考语音。每个参考语音对应生成329个克隆语音，每个克隆都配有一段独特的日语对话文本。数据集以Apache 2.0许可证发布，适用于文本转语音模型的训练与评估。数据以训练集形式组织，每个样本包含三个字段：48kHz采样率的音频、对应的文本内容以及说话人ID。Irodori TTS Clones v2 is a large-scale Japanese text-to-speech (TTS) synthesis dataset containing 3,290,000 cloned speech samples. This dataset is generated using the Aratako/Irodori-TTS-500M-v2 model, based on 10,000 reference speech samples from the supporting dataset SynData-2/irodori-refs-10k-v2. Each reference voice corresponds to 329 cloned speech samples, with each clone paired with a unique piece of Japanese dialogue text. The dataset is released under the Apache 2.0 license and is suitable for the training and evaluation of text-to-speech models. The data is structured as a training set, where each sample includes three fields: audio at a 48kHz sampling rate, corresponding textual content, and speaker ID.

原始信息汇总

数据集概况

• 名称: Irodori TTS Clones v2 (3.29M)
• 许可证: Apache-2.0
• 任务: 文本转语音 (text-to-speech)
• 语言: 日语

数据集规模

• 总样本数: 3,290,000 条克隆语音
• 类别: 1M < n < 10M

数据集构成

• 参考语音来源: 10,000 个参考说话人 (来自 SynData-2/irodori-refs-10k-v2)
• 克隆模型: Aratako/Irodori-TTS-500M-v2
• 生成方式: 每个参考语音对应 329 条克隆语音，每条包含独特的日语对话文本
• 数据划分: 仅训练集 (train)，包含 3,290,000 个样本

数据特征

• audio: 音频数据，采样率 48,000 Hz
• text: 文本内容 (字符串)
• speaker_id: 说话人标识 (字符串)

文件格式

• 数据文件路径: data/train-*.parquet (Parquet 格式)

搜集汇总

数据集介绍

构建方式

该数据集名为irodori-clones-3m-v2，其构建方式基于先进的文本转语音技术。利用Aratoko/Irodori-TTS-500M-v2模型，从SynData-2/irodori-refs-10k-v2中选取10,000个参考声音，通过语音克隆技术为每个参考声音生成329个克隆语音样本，每个样本均配以独特的日语会话文本，总计产出3,290,000个克隆语音片段。数据以Parquet格式存储，包含音频、文本与说话人ID三个核心字段，采样率为48kHz，确保了音频的高保真度。

特点

该数据集的核心特点在于其大规模与多样性。拥有超过329万个克隆语音样本，覆盖10,000个独立的说话人身份，每个说话人贡献329个不同句式的日语会话语音，显著增强了语音的多样性和覆盖范围。音频以48kHz高采样率录制，保证了录音的清晰度和细节丰富性。此外，数据集遵循Apache-2.0许可，便于学术界和工业界自由使用，为多说话人语音合成研究提供了坚实的资源基础。

使用方法

使用该数据集时，可通过HuggingFace的datasets库加载。配置为default，以Parquet文件格式提供，训练集包含全部3,290,000个样本。用户可按照标准流程，利用audio、text和speaker_id字段进行模型训练或评估，适用于构建高保真度的多说话人文本转语音系统。建议结合配套的参考声音数据集SynData-2/irodori-refs-10k-v2使用，以实现更精准的语音克隆与合成任务。

背景与挑战

背景概述

iRodori-Clones-3M-v2数据集诞生于文本到语音（Text-to-Speech, TTS）合成领域对大规模、高质量、多说话人语音数据日益增长的需求背景之下。该数据集由SynData-2机构的研究人员于近期创建，其核心研究问题在于如何利用先进的TTS模型（Aratako/Irodori-TTS-500M-v2）和充足的参考语音，大规模生成具有多样性和自然度的克隆语音数据，以解决真实多说话人语音语料库构建成本高昂、版权受限等难题。该数据集包含329万个克隆话语，源自1万个参考说话人，每个说话人对应329个不同的日语对话文本，总计超过300万的庞大规模，为日语TTS研究提供了前所未有的数据支撑，显著推动了大规模多说话人语音合成、说话人自适应及语音克隆等研究方向的发展。

当前挑战

该数据集所应对的领域核心挑战在于：真实多说话人语音语料库的获取极为困难，涉及高昂的录制成本、复杂的语音版权、以及稀有的特定说话人语音资源，严重制约了TTS模型在多说话人场景下的泛化能力和自然度。为此，数据集的构建过程本身亦面临严峻挑战：首先，需确保从1万个参考说话人中克隆出的语音在保持原有说话人音色一致性的同时，具备足够的韵律和情感多样性；其次，329个不同日语对话文本的选取与分配需兼顾语料的均衡性与代表性，以避免模型产生语言模式偏见；最后，大规模合成语音的质量验证与筛选机制是保证数据集整体可用性的关键，任何细微的音频瑕疵或文本-语音不匹配都可能损害后续模型的训练效果。

常用场景

经典使用场景

经典使用场景方面，irodori-clones-3m-v2数据集专为日语文本到语音（TTS）任务而生，尤其服务于需要大规模高质量克隆语音数据的学术与工程研究。通过利用1万条参考语音和32.9倍扩增的克隆话语，研究者可系统性地训练声学模型与神经声码器，以捕捉日语对话中的韵律、语调及音色多样性。该数据集最显著的贡献在于为低资源语音合成场景提供了充足的监督信号，使得模型在保持自然度的同时，能够泛化至未见过的说话人特征，从而在零样本语音克隆等前沿方向中发挥核心作用。

解决学术问题

在解决学术问题层面，该数据集有效应对了日语语音合成领域两大经典困境：一是高质量标注语音数据稀缺，二是单说话人数据过拟合导致的泛化能力不足。通过构建覆盖330万条克隆语句的大规模平行语料，研究人员得以深入探索说话人解耦表示学习、韵律迁移以及多风格语音生成等关键议题。其意义在于打破了传统TTS系统对数十小时专业录音的依赖，为计算机语音学与跨说话人生成任务提供了可复现的基准，进而推动了日语低资源语音合成技术从实验阶段走向实证评估的范式转变。

衍生相关工作

衍生相关工作方面，该数据集直接催生了一系列围绕日语弱监督语音合成与说话人泛化的经典研究。基于其克隆语音特性，学者们开发了结合对比学习与对抗训练的说话人解耦方法，以提升零样本声音克隆的质量。此外，该数据集与配套的参考语音集共同构成了评估迁移学习框架的标准协议，衍生了诸如基于Teacher-Student蒸馏的轻量级TTS模型以及跨注意力机制的韵律对齐策略。在音色编辑与多说话人可控生成任务中，该数据集亦被用作种子数据，促使了后续关于语义感知语音生成与端到端非自回归模型等创新工作的涌现。