mattlc/voxpopuli-fr-duration

---
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: validation
path: data/validation-*
- split: test
path: data/test-*
dataset_info:
features:
- name: audio_id
dtype: string
- name: language
dtype:
class_label:
names:
'0': en
'1': de
'2': fr
'3': es
'4': pl
'5': it
'6': ro
'7': hu
'8': cs
'9': nl
'10': fi
'11': hr
'12': sk
'13': sl
'14': et
'15': lt
'16': en_accented
- name: audio
dtype:
audio:
sampling_rate: 16000
- name: raw_text
dtype: string
- name: normalized_text
dtype: string
- name: gender
dtype: string
- name: speaker_id
dtype: string
- name: is_gold_transcript
dtype: bool
- name: accent
dtype: string
- name: text
dtype: string
- name: duration
dtype: float64
splits:
- name: train
num_bytes: 23745666020.0
num_examples: 73561
- name: validation
num_bytes: 572949218.0
num_examples: 1727
- name: test
num_bytes: 565049155.0
num_examples: 1742
download_size: 24820746555
dataset_size: 24883664393.0
---
# Dataset Card for "voxpopuli-fr-duration"

[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

配置项：
- 配置名称：default
数据文件：
- 拆分集：训练集（train），路径：data/train-*
- 拆分集：验证集（validation），路径：data/validation-*
- 拆分集：测试集（test），路径：data/test-*
数据集信息：
特征字段：
1. audio_id：音频ID（audio_id），数据类型为字符串
2. language：语言（language），数据类型为类别标签，类别映射关系为：
'0': 英语（en）
'1': 德语（de）
'2': 法语（fr）
'3': 西班牙语（es）
'4': 波兰语（pl）
'5': 意大利语（it）
'6': 罗马尼亚语（ro）
'7': 匈牙利语（hu）
'8': 捷克语（cs）
'9': 荷兰语（nl）
'10': 芬兰语（fi）
'11': 克罗地亚语（hr）
'12': 斯洛伐克语（sk）
'13': 斯洛文尼亚语（sl）
'14': 爱沙尼亚语（et）
'15': 立陶宛语（lt）
'16': 带口音英语（en_accented）
3. audio：音频（audio），数据类型为音频数据，采样率为16000Hz
4. raw_text：原始文本（raw_text），数据类型为字符串
5. normalized_text：归一化文本（normalized_text），数据类型为字符串
6. gender：性别（gender），数据类型为字符串
7. speaker_id：说话人ID（speaker_id），数据类型为字符串
8. is_gold_transcript：是否为金标准转录文本（is_gold_transcript），数据类型为布尔值
9. accent：口音（accent），数据类型为字符串
10. text：文本（text），数据类型为字符串
11. duration：时长（duration），数据类型为双精度浮点数
数据集拆分详情：
- 训练集（train）：字节数23745666020.0，样本量73561
- 验证集（validation）：字节数572949218.0，样本量1727
- 测试集（test）：字节数565049155.0，样本量1742
下载大小：24820746555
数据集总大小：24883664393.0

---
# "voxpopuli-fr-duration"数据集卡片
[更多信息待补充](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

配置

• 默认配置：
  • 训练集：路径为 data/train-*
  • 验证集：路径为 data/validation-*
  • 测试集：路径为 data/test-*

数据集信息

• 特征：

  • audio_id：字符串类型
  • language：类别标签类型，包含以下语言：
    • 0: en
    • 1: de
    • 2: fr
    • 3: es
    • 4: pl
    • 5: it
    • 6: ro
    • 7: hu
    • 8: cs
    • 9: nl
    • 10: fi
    • 11: hr
    • 12: sk
    • 13: sl
    • 14: et
    • 15: lt
    • 16: en_accented
  • audio：音频类型，采样率为 16000
  • raw_text：字符串类型
  • normalized_text：字符串类型
  • gender：字符串类型
  • speaker_id：字符串类型
  • is_gold_transcript：布尔类型
  • accent：字符串类型
  • text：字符串类型
  • duration：浮点数类型

• 拆分：

  • 训练集：
    • 字节数：23745666020.0
    • 样本数：73561
  • 验证集：
    • 字节数：572949218.0
    • 样本数：1727
  • 测试集：
    • 字节数：565049155.0
    • 样本数：1742

• 下载大小：24820746555

• 数据集大小：24883664393.0

搜集汇总

数据集介绍

构建方式

在语音处理与自然语言理解领域，精准的时长信息对于语音合成与识别任务至关重要。mattlc/voxpopuli-fr-duration数据集基于广受认可的VoxPopuli多语言语音语料库构建，专为法语语音时长建模而设计。该数据集从原始VoxPopuli的法语子集中提取音频片段，通过精细的预处理流程，为每一条语音样本标注了精确的持续时间（duration）字段。数据划分遵循标准的三元组结构，包含训练集73561条、验证集1727条以及测试集1742条样本，确保模型评估的可靠性与泛化能力。所有音频均统一重采样至16kHz采样率，并保留了原始文本、规范化文本、说话人ID、性别、口音及是否为黄金转录等丰富元信息，为时长预测任务提供了坚实的结构化基础。

特点

该数据集的核心特色在于其专注于法语语音时长预测这一细分任务，填补了现有资源中缺乏专门时长标注法语语料的空白。每个样本均携带精确到浮点数的时长标签，可直接用于回归或分类模型的训练。数据集保留了原始VoxPopuli中17种语言标签的类目结构，虽仅使用法语子集，但为多语言扩展研究提供了可能性。音频特征与文本特征并存的设计，支持基于声学特征和基于文本特征的两种时长建模范式。验证集与测试集规模虽小但经过精心挑选，能够有效反映模型在真实法语语音上的表现。此外，黄金转录标记（is_gold_transcript）的存在，使得研究者可以筛选出高质量标注的子集进行精细调优。

使用方法

研究者可通过HuggingFace Datasets库直接加载该数据集，指定split参数为'train'、'validation'或'test'即可获取对应划分。每个样本以字典形式返回，包含audio_id、language、audio（含波形数组与采样率）、raw_text、normalized_text、gender、speaker_id、is_gold_transcript、accent、text及duration字段。对于时长预测任务，可将audio特征经声学模型提取中间表示后与duration标签配对，或直接利用text特征通过文本编码器进行预测。建议使用批次加载方式处理大规模音频数据，并利用采样率信息进行必要的重采样对齐。数据集兼容PyTorch与TensorFlow框架，便于集成至现有深度学习流水线中。

背景与挑战

背景概述

在语音处理与自然语言理解领域，大规模、多语种的数据集是推动模型性能提升的关键基础设施。mattlc/voxpopuli-fr-duration 数据集作为 VoxPopuli 系列的一个衍生版本，聚焦于法语语音数据的时长标注，由研究团队在2021年前后构建，旨在支持语音识别、语音合成及韵律分析等任务。该数据集以欧洲议会演讲录音为原始素材，涵盖了丰富的说话人特征（如性别、口音）与转录文本，其核心研究问题在于如何通过精确的时长信息提升语音模型的时序建模能力。作为多语种语音资源的重要补充，该数据集为法语语音技术的研究提供了标准化基准，促进了跨语言语音系统的泛化性能评估。

当前挑战

当前，mattlc/voxpopuli-fr-duration 数据集面临多重挑战。首先，在领域问题层面，语音时长标注的精确性直接影响语音识别中的对齐精度与合成自然度，而该数据集的时长信息可能受到原始录音环境噪声、说话人语速差异及转录误差的影响，难以完全满足高鲁棒性模型的需求。其次，在构建过程中，数据来源于议会演讲场景，其语体正式、口音分布不均，导致数据集在非正式口语或方言场景下的泛化能力受限；同时，训练集（73561条）与验证/测试集规模差距悬殊（约42:1），可能引发模型过拟合或评估偏差。此外，多语言标签（17种）的混合使用增加了跨语种特征解耦的复杂度，对模型架构设计提出了更高要求。

常用场景

经典使用场景

VoxPopuli-FR-Duration数据集聚焦于法语语音的时长预测任务，其经典使用场景涵盖语音合成中的韵律建模与语音识别中的时间对齐。该数据集提供了精细到音频片段的持续时间标注，结合多语种标签与说话人属性，为构建端到端的语音时长预测模型提供了可靠基准。研究者常利用其训练基于Transformer或卷积神经网络的时长预测器，以提升语音生成的自然度与连贯性。

衍生相关工作

围绕该数据集衍生了多项经典工作，包括基于注意力机制的时长预测模型与跨语种迁移学习框架。研究者利用其多语种标注开发了语言无关的时长编码器，并探索了对抗训练以消除说话人差异对时长预测的干扰。此外，该数据集被整合到语音合成预训练基线中，推动了如FastSpeech和VITS等主流模型在法语场景下的适应与优化。

数据集最近研究

最新研究方向

近年来，随着多语言语音处理技术的迅猛发展，语音时长预测在自动语音识别（ASR）与语音合成（TTS）系统中扮演着日益关键的角色。mattlc/voxpopuli-fr-duration数据集聚焦于法语语音片段，通过提供精细化的音频时长标注，为语音时长建模与韵律分析开辟了前沿研究方向。该数据集源自大规模多语种语音语料库VoxPopuli，其特色在于涵盖多种语言、性别与口音信息，特别适用于研究非母语法语口音（如en_accented）对语音时长的影响。在当前热点事件如多语言语音助手普及和实时语音翻译需求激增的背景下，该数据集为优化端到端语音系统中的时长对齐与自然度评估提供了宝贵资源，推动了跨语言语音处理技术的落地与性能提升。