Helloworld668/fleurs_clean

FLEURS是FLoRes机器翻译基准的语音版本，包含102种语言的2009个并行句子。该数据集用于评估语音表示在不同语言、任务、领域和数据机制下的表现，支持自动语音识别、语言识别和检索等任务。数据集涵盖了102种语言，分为7个地理区域，训练集包含约10小时的监督数据，且训练集和开发/测试集的说话者不同。数据集的使用方法包括加载、预处理和流式处理，支持多语言微调。

原始信息汇总

FLEURS 数据集概述

数据集描述

基本信息

• 数据集名称: FLEURS
• 数据集类型: 语音识别
• 数据集版本: 最新
• 数据集大小: 约 350 GB
• 语言覆盖: 102 种语言
• 许可证: CC-BY-4.0

数据集创建

• 标注创建者: 专家生成、众包、机器生成
• 语言创建者: 众包、专家生成
• 数据收集方式: 使用 2009 年 n-way 并行句子从 FLoRes dev 和 devtest 公开可用集，每个句子平均录制 2.3 次

数据集结构

• 数据实例: 每个配置（如 af_za）包含约 1000 个训练样本，400 个验证和测试样本
• 数据字段:
  • id: 音频样本 ID
  • num_samples: 浮点值数量
  • path: 音频文件路径
  • audio: 包含音频数组、采样率和音频路径的字典
  • raw_transcription: 非标准化转录文本
  • transcription: 标准化转录文本
  • gender: 性别类别 ID
  • lang_id: 语言类别 ID
  • lang_group_id: 语言组类别 ID

数据分割

• 训练集: 约 1509 个句子
• 验证集: 约 150 个句子
• 测试集: 约 350 个句子

使用方法

加载数据集

python from datasets import load_dataset fleurs = load_dataset("google/fleurs", "hi_in", split="train")

流式加载数据集

python from datasets import load_dataset fleurs = load_dataset("google/fleurs", "hi_in", split="train", streaming=True) print(next(iter(fleurs)))

示例脚本

• 语音识别 (ASR): 示例脚本
• 语言识别 (LangID): 示例脚本

数据集创建考虑

社会影响

• 旨在鼓励全球更多语言的语音技术发展，提供平等的技术访问

偏见讨论

• 数据集覆盖多种语言，但仍有许多重要语言未被包含

已知限制

• 主要关注朗读语音，与实际生产环境中的噪声场景可能存在性能差异

附加信息

引用信息

@article{fleurs2022arxiv, title = {FLEURS: Few-shot Learning Evaluation of Universal Representations of Speech}, author = {Conneau, Alexis and Ma, Min and Khanuja, Simran and Zhang, Yu and Axelrod, Vera and Dalmia, Siddharth and Riesa, Jason and Rivera, Clara and Bapna, Ankur}, journal={arXiv preprint arXiv:2205.12446}, url = {https://arxiv.org/abs/2205.12446}, year = {2022}, }

贡献者

• @patrickvonplaten
• @aconneau