fleurs-mn

FLEURS Mongolian (cleaned) 是一个经质量过滤和归一化的蒙古语（喀尔喀西里尔）语音数据集，源自 google/fleurs 的 mn_mn 子集，专为训练文本转语音（TTS）模型而设计，特别是与 oron-tts 项目配合使用。数据集由 oron-cleaner 工具构建，所有过滤阈值均基于该语料库校准，且每个数据点都保留了原始测量值，允许用户根据自身需求重新过滤。 数据集包含 1,908 个音频片段，总时长约 4.30 小时，涵盖 1,285 个不同句子。音频以 24 kHz 单声道 WAV 格式内联存储（原始音频为 16 kHz，因此带宽上限约为 7.7 kHz）。数据以 Parquet 分片形式提供，所有片段位于同一文件集中，通过 `split` 列区分训练集和保留集（`train`: 1,708 片段，3.84 小时；`withheld`: 200 片段，0.46 小时）。保留集在句子级别与训练集互斥，确保评估文本的不可见性。性别信息已解析，女性片段 1,012 个（2.33 小时），男性片段 896 个（1.97 小时），且通过 `gender_resolved` 和 `gender_source` 字段记录来源（声明、传播或基于基频推断）。 每条记录包含 31 个字段，包括：`audio`（音频数据）、`text`（归一化后的训练目标转录）、`transcription`（纯文本转录）、`raw_transcription`（原始转录）、`asr_transcript`（ASR 识别结果）、`clip_id`（唯一标识符）、`duration_s`（时长）、`snr_db`（信噪比）、`bandwidth_hz`（实测带宽）、`dnsmos_sig/bak/ovr/p808`（感知质量分数）、`align_score`（强制对齐置信度）、`cer`（字符错误率）、`len_ratio`（长度比）、`mean_f0_hz` 和 `pitch_confidence`（基频相关）、`gender`、`gender_resolved`、`gender_source`、`split` 等。所有字段均保留，以便用户自定义过滤。 清洗过程依次通过 8 个门控：时长（1-20 秒）、削波和直流偏移检测、Silero VAD（语音活动检测）、SNR（信噪比，仅当可测量时）、带宽、DNSMOS（感知质量）、MMS-FA 强制对齐（主转录门控）、ASR CER（辅助检查）。文本归一化使用 `oron_tts.text.MongolianNormalizer`，包括数字扩展、小写折叠（如 ЭЗЭНий → Эзэний）以及缩写和单位扩展。所有归一化结果同时作为发布的文本、CER 参考和训练目标。 适用任务：文本转语音（TTS）、自动语音识别（ASR）训练与评估，尤其适用于蒙古语零样本 TTS 系统。注意事项：数据集采用 CC-BY-4.0 许可，需署名；适合训练语音克隆，但禁止未经本人同意合成特定可识别个体的声音；仅覆盖阅读式语音，未测试方言、口音和自发言语；推断的性别标签（基于基频）可能不准确，可根据 `gender_source` 过滤。FLEURS Mongolian (cleaned) is a quality-filtered and normalized Mongolian (Khalkha Cyrillic) speech dataset derived from the mn_mn subset of google/fleurs, specifically designed for training text-to-speech (TTS) models, particularly in conjunction with the oron-tts project. The dataset was built using the oron-cleaner tool, with all filtering thresholds calibrated on this corpus, and each data point retains raw measurements to allow users to re-filter according to their own needs. It contains 1,908 audio clips totaling approximately 4.30 hours, covering 1,285 unique sentences. Audio is stored inline as 24 kHz mono WAV (original audio is 16 kHz, thus bandwidth cap around 7.7 kHz). Data is provided as Parquet shards, with all clips in the same file set, split into train and withheld sets via the split column (train: 1,708 clips, 3.84 hours; withheld: 200 clips, 0.46 hours). The withheld set is sentence-level disjoint from the training set, ensuring unseen evaluation text. Gender information has been resolved: 1,012 female clips (2.33 hours) and 896 male clips (1.97 hours), with source recorded via gender_resolved and gender_source fields (declared, propagated, or inferred from pitch). Each record has 31 fields including: audio, text (normalized training target transcription), transcription (plain text), raw_transcription, asr_transcript, clip_id, duration_s, snr_db, bandwidth_hz, dnsmos_sig/bak/ovr/p808, align_score, cer, len_ratio, mean_f0_hz, pitch_confidence, gender, gender_resolved, gender_source, split, etc. All fields are retained to allow custom filtering. The cleaning process passes through 8 gates: duration (1-20s), clipping and DC offset detection, Silero VAD, SNR (when measurable), bandwidth, DNSMOS, MMS-FA forced alignment (primary transcription gate), ASR CER (auxiliary check). Text normalization uses oron_tts.text.MongolianNormalizer, including digit expansion, lowercasing (e.g., ЭЗЭНий → Эзэний), and expansion of abbreviations and units. All normalized results serve as published text, CER reference, and training targets. Applicable tasks: Text-to-Speech (TTS), Automatic Speech Recognition (ASR) training and evaluation, especially for Mongolian zero-shot TTS systems. Notes: Licensed under CC-BY-4.0, requires attribution; suitable for training voice cloning, but synthesizing voices of identifiable individuals without consent is prohibited; covers only read speech, not tested on dialects, accents, or spontaneous speech; inferred gender labels (based on pitch) may be inaccurate, can filter by gender_source.

原始信息汇总

FLEURS Mongolian (cleaned) 数据集详情

基本信息

• 数据集名称：FLEURS Mongolian (cleaned)
• 语言：蒙古语（喀尔喀方言，西里尔字母）
• 许可证：CC-BY-4.0（需注明来源）
• 任务类型：文本转语音（TTS）、自动语音识别（ASR）
• 数据规模：约 1,908 条音频（1K-10K 之间），总时长约 4.30 小时
• 样本量：整体约 4.3 小时，男性约 2.0 小时，女性约 2.3 小时
• 创建方式：基于 google/fleurs 数据集的 mn_mn 子集，经过质量过滤和文本规范化处理

数据集构成

属性	数值
音频片段总数	1,908 条
音频总时长	4.30 小时
独特句子数	1,285 句
已识别说话人数	0 人
数据格式	Parquet 分片，音频内联存储为 24 kHz 单声道 WAV
音频来源	上游原生 16 kHz，最高带宽约 7.7 kHz
音频中位时长	7.76 秒
中位带宽	7,734 Hz
中位 DNSMOS OVR	3.90
中位对齐分数	0.899
中位 ASR CER	0.112

数据划分

划分	片段数	小时数	说话人数
train	1,708	3.84	0
withheld	200	0.46	0

所有数据行存储在同一文件集中，通过 split 列区分片段所属划分，用户可自行过滤而无需重新下载。withheld 划分中句子的文本已从 train 中移除，确保评估目标文本真正不可见（文本留出，而非说话人留出）。

性别分布

性别	片段数	小时数
女性	1,012	2.33
男性	896	1.97

gender_resolved 字段：贡献者声明时优先采用声明值，同一说话人的其他片段若其一有声明则传播该声明值，否则根据中位基频（F0）推断。gender_source 字段记录使用以上三种方法中的哪一种，不可信时可过滤掉推断标签。

数据列说明

列名	类型	说明
audio	音频	24 kHz 单声道 WAV，内联存储
align_score	float64	MMS-FA 强制对齐与 text 的置信度
asr_transcript	string	ASR 识别结果
audio_path	string	源语料库中的路径，用于溯源
bandwidth_hz	float64	实测低通滤波频率，非容器采样率
cer	float64	ASR 与 text 的字符错误率
clip_id	string	稳定标识符，本语料库内唯一
dnsmos_bak	float64	DNSMOS 背景噪声质量
dnsmos_ovr	float64	DNSMOS 总体质量
dnsmos_p808	float64	DNSMOS P.808 分数
dnsmos_sig	float64	DNSMOS 语音质量
duration_s	float64	剪切后音频时长（秒）
gender	string	贡献者声明的性别
gender_resolved	string	解析后的性别（声明、传播或推断）
gender_source	string	性别标注来源（declared/propagated/f0）
id	int64	内部 ID
lang_group_id	int64	语言组 ID
lang_id	int64	语言 ID
language	string	语言名称
len_ratio	float64	长度比率
mean_f0_hz	float64	平均基频，用于性别推断
num_samples	int64	采样数
path	string	数据缓存路径
pitch_confidence	float64	基频置信度
raw_transcription	string	原始转写文本
snr_db	float64	语音区域与真实非语音区域的均方根信噪比
speaker_known	bool	是否已知说话人
split	string	数据划分（train/validation/test/withheld）
text	string	规范化转写——训练目标
transcription	string	转写文本

清洗流程

每条音频需通过以下全部过滤门控，任一失败即被移除，按顺序执行：

1. 时长过滤：时长不在 1–20 秒内则丢弃
2. 削波与直流偏移检测
3. Silero VAD：大部分为静音的片段判定为无效录音
4. 信噪比（SNR）：对未修剪信号测量语音与非语音区域 RMS；若整段均为语音则记录为不可测量而非失败
5. 带宽检测：实测低通滤波频率
6. DNSMOS（SIG/BAK/OVR）：学习感知质量评估
7. MMS-FA 强制对齐（主要转写门控）：低分表示音频不包含对应的词
8. ASR CER 作为次级检查

所有测量值均保留为数据列，用户可根据自身阈值重新过滤。文本使用 oron_tts.text.MongolianNormalizer 规范化：数字扩展对格后缀采用“拒绝而非猜测”策略、小写大写折叠（ЭЗЭНий 转为 Эзэний）、缩写和单位扩展。规范化字符串同时作为发布的文本、CER 参考值和训练目标。

文本多样性

• 独特句子 1,285 句（重复率 1.48 倍）
• 覆盖 34/35 个字母（щ 从未出现，ъ 出现次数低于 100 次）
• 字母二元组 714 个独特组合

数据用途与适用性

该数据集专为使用 oron-tts 训练蒙古语（喀尔喀西里尔字母）文本转语音模型而准备，由 oron-cleaner 工具构建。数据加载示例： python from datasets import load_dataset ds = load_dataset("btsee/fleurs-mn", split="train") print(ds[0]["text"], ds[0]["audio"]["sampling_rate"])

注意事项

• 许可：CC-BY-4.0，需注明来源。原始语料为公共基准朗读语音数据。
• 语音克隆风险：适合训练零样本 TTS，可能从数秒音频中克隆声音。贡献者同意的是“语音研究”用途，未经本人同意不应合成可识别的个人声音。
• 范围覆盖：仅包含单一语言变体的朗读语音，口音、方言和自发语音覆盖未经测试。
• 推断性别标签：当 gender_source 为 f0 时，性别标签是基于音高的推测而非自我报告。
• 门控阈值：阈值在此语料上校准过，其他应用场景可能需要不同阈值。

引用信息

bibtex @misc{orontts_fleurs_mn, title = {FLEURS Mongolian (cleaned)}, author = {Badral, Battseren}, year = {2026}, url = {https://huggingface.co/datasets/btsee/fleurs-mn} }

同时应引用上游数据集 google/fleurs 的 mn_mn 子集。

相关资源

该数据集被 btsee/oron-tts（蒙古语文本转语音模型）使用。

搜集汇总

数据集介绍

构建方式

该数据集是从Google FLEURS蒙古语子集（mn_mn）中经过严格质量筛选与标准化处理而衍生出的高质量语音语料。构建流程依托oron-cleaner工具，通过顺序的多重门控机制，涵盖时长范围、削波与直流偏移、静音检测、信噪比、真实带宽、DNSMOS感知质量、强制对齐置信度及ASR词错误率等指标，每项阈值均针对本语料校准。文本经专有Normalizer规范化，实现数字、缩写及大小写的统一转换，并记录每项测量值及来源元数据，确保数据可追溯性与用户自定义过滤能力。

使用方法

使用者可通过HuggingFace Datasets库直接加载，例如`load_dataset("btsee/fleurs-mn", split="train")`，并利用内嵌的`split`列区分训练与留出子集。该语料为oron-tts系统微调设计，亦可用于一般蒙古语文本转语音任务的训练与评估。每条样本提供原始转录、规范化文本及多种质量度量，支持用户按需自定义阈值重新过滤。数据附有manifest.jsonl便于与构建脚本集成，且每个音频的元数据字段（如性别来源、带宽、语音质量）允许进行细粒度的数据筛选与公平性分析，确保研究过程的透明性与可复现性。

背景与挑战

背景概述

FLEURS Mongolian (cleaned) 数据集由 Badral, Battseren 于 2026 年创建，源自 Google 的 FLEURS 多语言语音基准，针对蒙古语（喀尔喀方言，西里尔字母）进行了精细清洗与标准化处理。该数据集旨在为低资源语言的文本转语音（TTS）模型训练提供高质量音频-文本对，其核心研究问题在于如何通过系统性质量控制，从众包语音数据中筛选出可用于语音合成的高保真样本。该数据集的出现填补了蒙古语开源 TTS 训练数据的空白，为后续的 oron-tts 系统提供了基础，对低资源语音技术研究具有推动作用。

当前挑战

该数据集面临多重挑战。领域层面，蒙古语 TTS 受限于语料稀缺、文本规范化复杂（如数字后缀处理）以及音频质量参差不齐等问题。构建过程中，研究者需依次经过时长、削波、静音检测、信噪比、带宽、DNSMOS 感知质量、强制对齐和 ASR 字符错误率等多重门槛，仅保留约 4.3 小时的音频，且文本多样性有限（仅 1,285 个不同句子），并出现字母“щ”缺失、部分字词频次过低等覆盖不足现象。说话人识别与性别标注亦依赖 F0 推断，存在标签不确定性。

常用场景

经典使用场景

在语音合成与自动语音识别的研究版图中，蒙古语作为资源稀缺的语言之一，长期受限于高质量语料匮缺的困境。FLEURS Mongolian (cleaned) 数据集正是针对这一缺口而精心打造，其经典用途在于为蒙古语文本到语音合成模型提供经过严格质量筛选与文本规范化的训练素材。借助该数据集，研究者能够以 24kHz 采样率的干净语音样本为基础，开展端到端 TTS 模型的训练与微调，尤其适用于零样本语音合成等前沿范式。数据集中同步附带的多种声学与质量评估指标（如 DNSMOS、带宽、基频等），使得其亦可用于语音质量预测、语音识别鲁棒性测试等多项经典研究任务。

解决学术问题

该数据集直面低资源语言语音研究中常见的两大核心痛点：其一为语料噪声与文本错配问题，通过多重门控机制（包括强制对齐评分、ASR 交叉验证、SNR 与带宽检测等）系统性地滤除了低质语音片段，显著提升了训练数据的纯净度；其二为文本规范化难点，针对蒙古语中特有的数字后缀、缩写及大小写折叠现象，设计了不猜测的保守策略，避免了传统盲目扩展带来的错误传播。这些精细处理手段有效解决了以往研究中因数据质量低下而导致的 TTS 输出音质劣化、发音不准确等学术难题，为低资源语境下的语音建模设立了新的数据准备标准。

实际应用

在实际应用层面，该数据集直接支撑了蒙古语语音合成系统的开发与落地，可服务于智能语音助手、有声内容自动生成、无障碍阅读辅助等多元场景。通过对性别、说话人、录音环境等元数据的清晰标注，它同样为构建多说话人自适应语音界面、个性化语音定制等应用提供了宝贵素材。值得强调的是，数据集中附带的清洗流程及已标定的评估指标使得工业界团队能够按需进行二次筛选，从而灵活适配具体产品对音色、清晰度或自然度的不同要求，加速蒙古语语音技术从实验室走向实际部署的进程。

数据集最近研究

最新研究方向

针对低资源语种语音合成与识别任务，FLEURS Mongolian (cleaned)的推出代表了数据集清洗与质量评估体系在蒙古语（喀尔喀方言，西里尔文）领域的精细化发展。该数据集通过对原始FLEURS语料进行多维度质量门控筛选，包括时长、削波、静音检测、信噪比、带宽、DNSMOS感知质量、强制对齐置信度及ASR CER等逐项指标，构建了可复现的语音数据清洗管线。其研究前沿聚焦于如何在高噪声、不完美采集条件下，利用可解释的音频特征与模型预测分数来实现数据集的自动净化与标准化，并针对语音克隆风险、性别标注偏差等伦理问题提供了数据溯源与元数据层面的解决方案。这一工作为蒙古语TTS和ASR模型的训练提供了高质量基准，也推动了多语种语音数据集建设中质量评估与标准化流程的规范化。