projecte-aina/commonvoice_benchmark_catalan_accents

该数据集是基于加泰罗尼亚语的语音识别和音频分类任务，旨在为加泰罗尼亚语的不同口音（如巴利阿里、中部、北部、西北部、瓦伦西亚）和性别（男性和女性）提供基准测试。数据集来源于Common Voice项目的加泰罗尼亚语版本，并经过专家团队的注释和重新划分，以创建适合自动语音识别（ASR）模型的基准数据集。数据集包含约2700小时的训练数据和每个口音和性别组合的2.5小时测试数据。

原始信息汇总

Common Voice Benchmark Catalan Accents 数据集概述

数据集描述

数据集摘要

该数据集是对 Catalan Common Voice v17 - metadata annotated version 语料库的新呈现，重新定义了分割以评估具有不同加泰罗尼亚口音的ASR模型。从验证的录音分割中，我们为语言的主要口音（巴利阿里、中央、北部、西北部、瓦伦西亚）选择了必要的男性和女性说话者，以收集大约两个半小时的多样化语音录音。因此，我们创建了十个基准分割，这些分割是由考虑的5个口音和2个性别（女性和男性）的组合产生的。

未包含在这些分割中的说话者的录音已被分组到训练分割中。

支持的任务和排行榜

自动语音识别（Automatic Speech Recognition）。

语言

该数据集是加泰罗尼亚语（ca）。

数据集结构

数据实例

json { "client_id": "69dafb41ddc0ea2785719305fdc5c8d79c4b2829d9f3325bda707dcaa553f95c5fbf4b072970d9004d3e31543fcb2c55e252dc904c4fb5aee2a5e5500df90967", "path": "common_voice_ca_19909748.mp3", "sentence": "En el carrer de lesglésia es troben bona part dels edificis importants de la vila.", "up_votes": 2, "down_votes": 0, "age": "thirties", "gender": "male_masculine", "accent": "balear", "variant": "", "locale": "ca", "segment": "", "mean quality": "4.0", "stdev quality": "0.0", "annotated_accent": "balearic", "annotated_accent_agreement": "100.0", "annotated_gender": "male", "annotated_gender_agreement": "100.0", "propagated_gender": "male_masculine", "propagated_accents": "balear", "propagated_accents_normalized": "balearic", "assigned_accent": "balearic", "assigned_gender": "male_masculine" }

数据字段

数据字段保留自 Catalan Common Voice v17 - metadata annotated version。

详细解释请参考该数据集的 README 文件。

主要数据字段包括：

• client_id(string): 录音的客户端ID
• path(string): 音频文件的路径
• sentence_id(string): 文本句子的ID
• sentence(string): 用户被提示说的句子
• sentence_domain(string): 句子的语义域
• up_votes(int64): 音频文件获得的赞数
• down_votes(int64): 音频文件获得的踩数
• age(string): 说话者的自我报告年龄
• gender(string): 说话者的自我报告性别
• accent(string): 说话者的自我报告口音
• locale(string): 说话者的地区
• segment(string): 通常为空字段

在标注版本中，添加了以下字段：

• annotated_gender(string): 专家团队标注的性别
• annotated_gender_agreement(float): 标注团队对说话者性别的共识
• annotated_accent(string): 专家团队标注的口音
• annotated_accent_agreement(float): 标注团队对说话者口音的共识
• mean quality(float): 说话者录音的平均标注质量
• stdev quality(float): 标注者之间质量标注的偏差
• propagated_gender(string): 用户在某些录音中自我声明的性别
• propagated_accents(string): 用户在某些录音中自我声明的口音
• propagated_accents_normalized(string): 传播的口音，标准化为直到版本7使用的封闭选项列表
• assigned_accent(string): 分配给说话者的口音
• assigned_gender(string): 分配给说话者的性别

数据分割

分割已重新调整，以获得每个考虑的5个口音和2个性别组合的两个半小时的录音。

分割	句子数	说话者数	时长（毫秒）	时长（小时）
balearic_female.tsv	1665	131	9066912	2.52
balearic_male.tsv	1616	112	9129120	2.54
central_female.tsv	1742	301	9028276	2.51
central_male.tsv	1701	342	9011986	2.50
northern_female.tsv	1627	55	9402612	2.61
northern_male.tsv	1615	68	9249720	2.57
northwestern_female.tsv	1618	120	9136129	2.54
northwestern_male.tsv	1626	133	9055302	2.51
train.tsv	1801369	32894	9730691599	2702.97
valencian_female.tsv	1744	119	9107568	2.53
valencian_male.tsv	1631	151	9003500	2.50

数据集创建

策划理由

鉴于缺乏多样口音的数据来评估加泰罗尼亚ASR模型，我们重新调整了 Catalan Common Voice v17 - metadata annotated version 的数据，以创建一个基准数据集。

我们希望这个语料库能为加泰罗尼亚语说话者，一种少数语言，在其所有口音中提供语音技术的访问。

源数据

初始数据收集和规范化

原始数据来自 Catalan Common Voice v17 - metadata annotated version。

详细解释请参考该数据集的 README 文件。

源语言生产者

Common Voice项目是Mozilla基金会的一项倡议，旨在收集各种语言和口音的声音。这些声音由志愿者提供。

更多信息请访问 项目网站。

标注

标注过程

为了创建这个基准，我们使用了 Catalan Common Voice v17 - metadata annotated version 的标注。

详细信息请参见该数据集的 README 文件。

标注者

数据集 Catalan Common Voice v17 - metadata annotated version 包含 Common Voice项目 的自有标注和巴塞罗那大学（UB）专家团队的一些标注。详细信息请参见该数据集的 README 文件。

个人和敏感信息

该数据集由在线捐赠其声音的人组成。您同意不尝试确定Common Voice数据集中说话者的身份。

使用数据的注意事项

数据集的社会影响

该数据集由在线捐赠其声音的人组成。您同意不尝试确定Common Voice数据集中说话者的身份。

我们希望这个语料库能为加泰罗尼亚语说话者，一种少数语言，在其所有口音中提供语音技术的访问。

偏见的讨论

Common Voice中大多数加泰罗尼亚语的声音对应于40至60岁之间的男性，具有中央口音。我们重新调整了Common Voice中的数据，以创建一个考虑最常见性别（女性和男性）和口音（巴利阿里、中央、北部、西北部、瓦伦西亚）的ASR基准数据集。

由于缺乏数据，基准目前不评估其他性别和口音。我们希望将来能扩展它。

关于录音句子的内容，我们认为Common Voice的验证系统在移除可能产生有毒内容的句子方面是有效的。

其他已知限制

[N/A]

附加信息

数据集策展人

巴塞罗那超级计算中心（BSC）的语言技术单元（[e-mail]）

这项工作由数字和公共职能部资助，由欧盟资助的 项目ILENIA 在参考号2022/TL22/00215337下进行。

许可信息

该数据集可用于任何目的，无论是学术还是商业，根据 CC BY 4.0 许可条款。提供适当的信用，提供许可证链接，并指示是否进行了更改。

引用信息

DOI []

贡献

Catalan Common Voice v17 - metadata annotated version 的手动标注委托给巴塞罗那大学（UB）的 STeL 团队。

搜集汇总

数据集介绍

构建方式

在加泰罗尼亚语自动语音识别（ASR）模型评估中，不同口音数据的匮乏是一个显著瓶颈。为应对这一挑战，本数据集基于已标注元数据的加泰罗尼亚语Common Voice v17语料库，重新定义了数据划分策略。具体而言，从经过验证的录音子集中，针对加泰罗尼亚语的五大主要口音（巴利阿里、中部、北部、西北部、瓦伦西亚），分别筛选出足够数量的男性和女性发音人，以收集约两个半小时的多样化语音样本。由此，生成了十个基准测试子集，对应5种口音与2种性别的组合。未入选这些子集的发音人录音则被归入训练集，从而构建出一个专门用于评估ASR模型口音鲁棒性的基准数据集。

特点

该数据集的核心特点在于其精细化的口音与性别平衡设计。每个口音-性别组合（如巴利阿里女性、中部男性）均包含约2.5小时的录音，确保各子集在规模上具有可比性。数据字段不仅保留了Common Voice原有的自报告元数据（如年龄、性别、口音），还融入了专家团队标注的口音一致性分数（如annotated_accent_agreement）和录音质量指标（如mean quality），提供了多维度的质量控制信息。此外，通过propagated_gender和assigned_accent等字段，数据集解决了自报告信息可能存在的歧义问题，为模型训练与评估提供了更可靠的标签基础。

使用方法

本数据集专为加泰罗尼亚语ASR模型的基准测试而设计，尤其适用于评估模型在不同口音和性别条件下的识别性能。用户可直接加载预定义的十个测试子集（如balearic_female、valencian_male）进行特定场景的评估，或使用包含约180万条录音的训练集进行模型微调。数据以TSV格式提供，包含音频文件路径、转录文本及丰富的元数据字段，便于与HuggingFace Datasets库集成。推荐在评估时按口音和性别分组计算词错误率（WER），以全面分析模型的鲁棒性。需注意，数据集遵循CC BY 4.0许可，使用时应引用相关DOI（10.57967/hf/4501）。

背景与挑战

背景概述

在加泰兰语这一少数族裔语言的语音技术发展中，口音多样性对自动语音识别（ASR）系统的鲁棒性提出了严峻挑战。由巴塞罗那超级计算中心（BSC）语言技术团队于2023年创建的Common Voice Benchmark Catalan Accents数据集，旨在系统性地评估ASR模型在加泰兰语五种主要口音（巴利阿里、中央、北部、西北部、瓦伦西亚）上的表现。该数据集基于Mozilla Common Voice v17语料库，经过巴塞罗那大学专家团队精细标注，重新划分了训练与基准测试集，确保每种口音与性别组合均包含约2.5小时的均衡语音样本。其核心研究问题聚焦于揭示不同口音特征对语音识别准确率的影响，为多口音ASR系统的公平性评估提供了标准化工具，对推动低资源语言的包容性技术发展具有里程碑意义。

当前挑战

该数据集所解决的领域挑战主要体现为加泰兰语ASR系统在面对口音变异时的性能退化问题——现有模型往往偏向中央口音，导致其他口音群体的识别错误率显著上升。在构建过程中，研究人员面临多重困难：首先，Common Voice原始数据中口音与性别分布严重不均，男性中央口音占比过高，需通过专家标注从超2700小时语料中精准筛选出每种口音与性别的代表性样本；其次，不同口音间语音特征差异细微（如西北部与瓦伦西亚口音的元音弱化模式），需确保标注一致性与高信度（标注者间一致性达100%）；此外，非二元性别及少数口音因数据稀缺暂未被纳入基准，暴露出当前数据集在覆盖全面性上的局限，未来需拓展以更完整地反映社会语言现实。

常用场景

经典使用场景

Common Voice Benchmark Catalan Accents 数据集的核心应用场景在于为加泰罗尼亚语的自动语音识别（ASR）模型提供一套标准化的多口音评测基准。研究者可利用该数据集对模型在巴利阿里、中部、北部、西北部和瓦伦西亚五种主要方言上的识别性能进行系统性评估，并通过划分男性和女性说话人子集，深入探究性别与口音因素对语音识别准确率的交互影响。该基准设计精良，每个口音-性别组合均包含约2.5小时的高质量语音数据，确保了评估结果的统计可靠性与可比性。

解决学术问题

该数据集直面加泰罗尼亚语作为低资源语言在口音多样性研究中的关键瓶颈——缺乏标注精细、覆盖全面的评测基准。传统ASR研究多聚焦于主流语言，对少数民族语言的方言变体关注不足，导致模型在口音迁移场景下的泛化能力难以量化。通过提供专家标注的口音和性别元数据，该数据集使研究者能够系统性地分析不同口音对识别精度的衰减效应，并探索数据增强、域适应等技术在缓解口音偏差中的有效性，从而推动多口音语音识别理论的发展。

衍生相关工作

该数据集衍生了一系列聚焦于低资源语言口音鲁棒性的经典工作。研究者基于此基准，探索了多任务学习框架以联合优化口音识别与语音转写任务，或利用对抗训练消除口音特征对声学模型的干扰。此外，该数据集还催生了面向加泰罗尼亚语的音素级口音迁移研究，以及基于自监督预训练模型（如wav2vec 2.0）在方言数据上的微调策略比较，为后续构建更通用的跨方言语音系统奠定了实证基础。