ankur02/fleurs

FLEURS是FLoRes机器翻译基准的语音版本，包含102种语言的2009个并行句子。该数据集用于评估跨语言、任务、领域和数据制度的语音表示，涵盖了语音识别、翻译、分类和检索四个任务家族。训练集大约有10小时的监督数据，训练集的说话者与开发/测试集的说话者不同。数据集支持多语言微调，并提供了详细的地区分类。FLEURS数据集旨在鼓励全球更多语言的语音技术发展，目标是让每个人都能平等地获得语音识别或语音翻译等技术。

原始信息汇总

FLEURS 数据集概述

数据集描述

• 数据集名称: FLEURS
• 数据集类型: 语音数据集
• 数据集用途: 用于自动语音识别、语言识别和检索任务
• 数据集版本: 包含102种语言，覆盖10+语言家族，3个不同领域和4个任务家族
• 数据集大小: 约350 GB
• 数据集许可: CC-BY-4.0

数据集结构

数据实例

• 示例语言: 南非荷兰语 (af_za)
• 数据实例大小: 下载文件大小1.47 GB，生成数据大小1 MB，总磁盘使用1.47 GB
• 数据实例示例: json { "id": 91, "num_samples": 385920, "path": "/path/to/audio/file.wav", "audio": { "path": "/path/to/audio/file.wav", "array": [...], "sampling_rate": 16000 }, "raw_transcription": "Dit is nog nie huidiglik bekend watter aantygings gemaak sal word of wat owerhede na die seun gelei het nie maar jeugmisdaad-verrigtinge het in die federale hof begin", "transcription": "dit is nog nie huidiglik bekend watter aantygings gemaak sal word of wat owerhede na die seun gelei het nie maar jeugmisdaad-verrigtinge het in die federale hof begin", "gender": 0, "lang_id": 0, "language": "Afrikaans", "lang_group_id": 3 }

数据字段

• id: 音频样本ID
• num_samples: 浮点值数量
• path: 音频文件路径
• audio: 包含音频数组、采样率和音频路径的音频对象
• raw_transcription: 非规范化的音频文件转录
• transcription: 音频文件转录
• gender: 性别类别ID
• lang_id: 语言类别ID
• lang_group_id: 语言组类别ID

数据分割

• 训练集: 约1000个样本
• 验证集: 约400个样本
• 测试集: 约400个样本

数据集创建

• 数据收集: 每个句子收集1到3个录音，平均2.3个录音
• 数据分割: 训练集1509个句子，验证集150个句子，测试集350个句子

使用数据集的注意事项

社会影响

• 目标: 促进全球更多语言的语音技术发展，提供平等的技术访问

偏见讨论

• 语言覆盖: 虽然覆盖多种语言，但仍有许多重要语言未被包含
• 语音类型: 主要关注朗读语音，与实际生产中的噪声环境存在差异

其他已知限制

• 语音类型: 主要关注朗读语音，与实际生产中的噪声环境存在差异

附加信息

引用信息

• 论文: FLEURS: Few-shot Learning Evaluation of Universal Representations of Speech
• 引用格式: bibtex @article{fleurs2022arxiv, title = {FLEURS: Few-shot Learning Evaluation of Universal Representations of Speech}, author = {Conneau, Alexis and Ma, Min and Khanuja, Simran and Zhang, Yu and Axelrod, Vera and Dalmia, Siddharth and Riesa, Jason and Rivera, Clara and Bapna, Ankur}, journal = {arXiv preprint arXiv:2205.12446}, url = {https://arxiv.org/abs/2205.12446}, year = {2022}, }

贡献者

• 贡献者: @patrickvonplaten, @aconneau

搜集汇总

数据集介绍

构建方式

FLEURS数据集是基于FLoRes机器翻译基准的语音版本构建而成，利用了FLoRes公开的2009条n向平行句子，覆盖102种语言。每个句子平均收集2.3条录音，并划分为训练集（1509句）、开发集（150句）和测试集（350句），训练集提供约10小时的标注语音数据，且说话人与开发/测试集不重叠。数据集通过专家生成、众包和机器生成相结合的方式完成标注，确保了多语言语音资源的丰富性和可靠性。

特点

该数据集涵盖102种语言，分属10余个语系，并依据地理区域划分为西欧、东欧、中亚/中东/北非、撒哈拉以南非洲、南亚、东南亚和CJK语言七大组别。每个语言配置包含约1000条训练样本和400条验证/测试样本，提供音频数组、原始转录、标准化转录、语言ID、性别及语系组别等字段。多语言微调采用字符级错误率（单元错误率）作为评估指标，支持语音识别、语言识别和检索等多种任务。

使用方法

用户可通过HuggingFace Datasets库便捷加载数据，例如使用`load_dataset("google/fleurs", "hi_in", split="train")`加载印地语配置，或通过`streaming=True`参数实现流式加载以节省磁盘空间。数据集支持直接与PyTorch DataLoader结合使用，并提供本地和流式两种数据加载方式。此外，HuggingFace Transformers库提供了完整的微调脚本，可用于训练CTC或Seq2Seq语音识别模型以及音频分类模型，覆盖ASR、LangID和检索三大任务场景。

背景与挑战

背景概述

FLEURS（Few-shot Learning Evaluation of Universal Representations of Speech）是由Alexis Conneau、Min Ma等研究人员于2022年提出的多语言语音基准数据集，其核心研究问题在于评估语音表示在跨语言、多任务及不同数据场景下的泛化能力。该数据集源自机器翻译基准FLoRes，精选了2009条n路平行句子，覆盖102种语言、10余个语系，并细分为七大地理区域，如西欧、撒哈拉以南非洲等。训练集每语言约10小时监督数据，且说话人与验证/测试集互异，旨在推动语音识别、翻译、分类与检索等任务的公平比较。FLEURS的出现填补了低资源语言语音评估的空白，为多语言语音技术的普适性研究提供了关键测试床，其影响力体现在XTREME-S基准的构建中，激励了跨语言语音编码器的开发。

当前挑战

FLEURS面临的挑战首先体现在领域问题上：多语言语音识别需解决102种语言间的声学与音系差异，尤其是低资源语言如乌姆本杜语或卢奥语的训练数据稀缺，导致模型在跨语系泛化时易出现性能偏差。此外，数据集构建过程中遭遇多重困难——确保2009条句子在102种语言中的语义等价性需人工专家与众包协作，而录音环境虽受控，但说话人性别、口音等变量仍需平衡，以避免性别或地域偏见。同时，读取语音与噪声环境失配问题突出，因为基准聚焦于朗读语音，与实际生产中的嘈杂场景存在鸿沟。最后，大规模数据存储（约350GB）与流式加载的优化亦构成技术瓶颈，需高效处理音频采样与转录对齐。

常用场景

经典使用场景

FLEURS数据集作为跨语言语音表征评估的基石，其最经典的使用场景聚焦于多语言自动语音识别（ASR）系统的训练与评测。该数据集覆盖102种语言，涵盖10余个语系，为研究者提供了在统一框架下评估模型泛化能力的平台。通过利用其2009句平行语句和约10小时的监督训练数据，研究者能够微调端到端或连接主义时序分类（CTC）模型，并在验证集与测试集上衡量字符错误率（CER），从而深入探究语音编码器在不同语言族系上的表现差异。这一场景不仅推动了多语言ASR技术的标准化评估，还揭示了低资源语言在语音识别任务中的独特挑战与机遇。

衍生相关工作

FLEURS数据集催生了一系列开创性学术工作，其中最引人注目的是XTREME-S基准的提出，该基准整合了语音识别、翻译、分类与检索四大任务，成为多语言语音评估的权威平台。在此基础上，研究者利用FLEURS探究了自监督模型（如wav2vec 2.0、XLS-R）的跨语言迁移能力，揭示了预训练策略对低资源语言性能的显著影响。此外，FLEURS还被用于验证多任务学习框架的有效性，例如联合训练ASR与语种分类模型以共享表征。在语音翻译领域，基于FLEURS的平行语句特性，研究者开发了端到端跨语言语音翻译系统，并对比了级联方案与直接方案的优劣。这些衍生工作不仅深化了对语音编码器通用性的理解，还推动了多语言语音技术的理论突破与工程创新。

数据集最近研究

最新研究方向

当前，FLEURS数据集正被广泛用于推动多语言语音表征学习的前沿探索，尤其是在低资源语言场景下。该数据集覆盖102种语言，跨越10余个语系，为评估语音识别、翻译、分类和检索等任务的跨语言泛化能力提供了关键基准。随着XTREME-S基准的提出，研究者们聚焦于构建统一的语音编码器，旨在通过少样本学习实现跨语言知识迁移，从而缓解数据稀缺问题。这一方向与全球语音技术普惠化的热点紧密相连，例如在Sub-Saharan Africa和South-Asia等地区，FLEURS为开发适用于当地语言的语音助手和翻译系统奠定了数据基础。其影响不仅体现在推动学术研究从单一高资源语言向多语言生态转变，更在于通过开源许可（CC-BY）促进技术民主化，为缩小数字语言鸿沟提供了可复现的评估框架。