malaysia-ai/Multilingual-TTS

数据集包含多种配置，支持多种语言，每个配置都有训练数据文件路径、示例数量和数据大小等信息。每个配置都包含音频文件名、文本和说话者等特征。数据集信息部分提供了每个配置的训练数据集大小、示例数量和下载大小。这些数据可以用于训练和测试各种语音相关的模型和任务。

The dataset includes multiple configurations supporting various languages, with each configuration providing the path, number of examples, and size for the training split. Each configuration has features such as audio filename, text, and speaker. The dataset_info section provides the dataset size, number of examples, and download size for the training split of each configuration. These data can be used for training and testing various speech-related models and tasks.

原始信息汇总

数据集概述：Multilingual-TTS

• 维护方：malaysia-ai
• 规模：总计 141,718.73 音频小时，涵盖 超过 150 种语言。
• 模态：文本
• 格式：Parquet 和优化的 Parquet 格式。
• 语言：中文、英语、马来语等 14 种以上语言。
• 大小：10M 至 100M 之间。
• 许可证：cc-by-nc-4.0（非商业性使用）。
• 支持库：Datasets、Dask、Polars 等。

技术细节

语音分词器 (Speech Tokenizer)

• 使用 neuphonic/neucodec 50Hz 模型将音频转换为语音令牌。
• 总计生成 23,262,140,693 个语音令牌（约 232.6 亿个）。

音频准备

• 所有音频已转换为 MP3 格式 并压缩为 ZIP 文件，以便于提取和处理。

数据来源

数据集汇集自 230 多个独立来源，包括但不限于：

• IndicTTS 系列（泰米尔、孟加拉、泰卢固、旁遮普等语言）
• Common Voice 22.0
• AISHELL-3（中文）
• WenetSpeech4TTS
• Emilia 系列（马来西亚语等）
• voxbox、VoxPopuli、LibriTTS 等
• 以及众多社区贡献的 TTS/ASR 数据集（涉及日语、韩语、阿拉伯语、波斯语、越南语、土耳其语、匈牙利语、冰岛语等多语言）。

伪说话人处理

• 使用 nvidia/speakerverification_en_titanet_large 模型进行说话人验证。
• 通过 FAISS 聚类，阈值 0.1 进行伪说话人分组（标记为 + 的来源）。
• 部分来源（标记为 ++）使用 Emilia 管线的伪说话人流程。

用途

本数据集专为 预训练大规模 TTS 模型 和 基于 LLM 的语音生成任务 设计，尤其适用于需要多语言、高音频小时数及丰富说话人多样性的场景。

搜集汇总

数据集介绍

构建方式

Multilingual-TTS数据集构建于海量异构语音资源的聚合之上，整合了涵盖中文、英文、马来语、泰米尔语、孟加拉语、泰卢固语、荷兰语、法语、德语、意大利语、波兰语、葡萄牙语、西班牙语、阿拉伯语等数十种语言的子集。每个子集均以独立配置项（config）形式存在，数据文件统一采用Parquet格式按训练集分片存储，路径清晰指向如AISHELL3、CommonVoice、IndicTTS等知名语料库。这种多源汇流的结构设计，通过标准化接口将不同来源、不同领域、不同风格的音频-文本对融为一炉，从而构建起一个规模宏大、语种覆盖广泛的语音合成训练资源库。

使用方法

使用该数据集时，用户可通过HuggingFace的datasets库加载指定配置，例如调用load_dataset('Multilingual-TTS', 'AISHELL3', split='train')以获取特定子集。各子集数据以音频文件和对应文本转录配对呈现，支持直接用于训练端到端TTS模型。建议根据目标语言选择相应子集，并利用数据集内置的train分片进行训练。对于多语言或低资源场景，可灵活组合多个配置，构建自定义训练队列，从而充分发挥该语料库的跨语言潜力。

背景与挑战

背景概述

多语言文本转语音（TTS）技术是语音合成领域的研究热点，旨在使机器能够以自然、流畅的语音朗读不同语言的文本。Multilingual-TTS数据集由社区众包构建，整合了来自全球各地的海量语音数据，涵盖中文、英语、马来语、泰米尔语、孟加拉语、泰卢固语等数十种语言及方言，如豪萨语、伊博语、约鲁巴语等非洲语言，以及阿拉伯语、波斯语、越南语等低资源语言。该数据集的出现，为训练跨语言、多说话人的TTS模型提供了前所未有的数据基础，显著推动了语音合成技术在全球化应用中的发展，尤其对保护语言多样性和促进人机交互的普及具有深远影响。

当前挑战

该数据集所解决的领域挑战在于，传统TTS系统严重依赖特定语言的标注数据，难以覆盖全球数千种语言，导致大量语言缺乏高质量的语音合成能力。Multilingual-TTS通过汇聚多源异构语料，直接回应了语音合成领域对低资源语言支持不足的痛点。在构建过程中，数据集面临的挑战包括：1）从不同来源收集的音频质量参差不齐，存在背景噪声、录音设备差异等问题；2）各子数据集的标注格式、采样率、时长不一，需进行标准化处理；3）部分语言（如阿德拉姆富拉语、藏语）语料极其稀缺，甚至需通过录音、转录等耗时手段补充；4）确保多语言文本与音频的精确对齐，涉及复杂的语音学与语言处理技术。

常用场景

经典使用场景

Multilingual-TTS数据集作为一项汇聚了数十种语言语音资源的庞大语料库，其最核心的应用场景在于支撑多语种文本转语音（Text-to-Speech, TTS）模型的训练与评估。该数据集囊括了从主流语言如中文、英文、法文、德文，到资源稀缺语种如豪萨语、伊博语、约鲁巴语，乃至多种方言和口音数据，为构建能够流畅切换与自然生成多语言语音的TTS系统提供了坚实的数据基础。研究者可据此开发统一的跨语言声学模型，或针对特定语种进行精细调优，极大地推动了多语种语音合成技术的边界拓展。

解决学术问题

在学术研究中，Multilingual-TTS数据集系统性地解决了因语料匮乏而导致的多语种语音合成研究不平衡问题。过去，大量TTS研究集中在英语等资源丰富的语言上，而占世界语言绝大多数的小语种与方言则长期处于技术边缘。该数据集的发布，使得学者能够系统性地探索跨语言迁移学习、零样本语音合成（zero-shot TTS）、语种自适应（language adaptation）等前沿课题。其意义在于促进了语音技术在地域和文化覆盖上的公平性，为构建真正普适的、包容性的语音交互界面奠定了理论与实验基石。

实际应用

在实际应用中，Multilingual-TTS数据集赋能了全球化的语音产品与服务。它可被用于开发面向多元市场的智能语音助手，实现在金融、医疗、教育等领域中不同语言间的无缝语音播报；在导航系统中，提供精准的多语种地名发音；在辅助通讯产品里，帮助语言障碍者或阅读困难用户通过自然语音获取信息。此外，该数据集还能改善跨语言的内容创作工具，如自动生成多语言有声读物或新闻播报，极大提升了语音技术的落地广度与用户体验的沉浸感。

数据集最近研究

最新研究方向

Multilingual-TTS数据集凭借其覆盖数十种语言及方言的庞大体量，正成为推动多语言语音合成技术革新的核心基石。当前前沿研究聚焦于利用该数据集训练零样本或少样本的跨语言语音合成模型，使其能在资源稀缺的语言上实现高质量语音生成。同时，结合热点事件如生成式AI的伦理与包容性倡议，研究者致力于通过海量多语种数据消除语音技术中的语言偏见，赋能全球范围内的无障碍交流与数字文化保护。该数据集深刻影响着人机交互的泛化能力与公平性，其丰富性预示着未来语音助手能无缝切换语种和适应地域口音，从而促进用户在不同场景下的自然融入。