SEACrowd/covost2

CoVoST2是一个大规模多语言语音翻译语料库，涵盖了从21种语言到英语以及从英语到15种语言的翻译。该数据集基于Mozilla的开源Common Voice数据库创建，包含2900小时的语音数据。

CoVoST2 is a large-scale multilingual speech translation corpus covering translation tasks from 21 source languages into English, as well as from English into 15 target languages. Developed based on Mozilla's open-source Common Voice database, this dataset contains 2900 hours of speech data.

原始信息汇总

CoVoST2 数据集概述

基本信息

• 名称: CoVoST2
• 语言: 印度尼西亚语 (ind), 英语 (eng)
• 任务类别: 语音转文本翻译 (speech-to-text-translation), 机器翻译 (machine-translation)
• 标签: 语音转文本翻译, 机器翻译

数据集描述

CoVoST2 是一个大规模多语种语音翻译语料库，涵盖从 21 种语言到英语以及从英语到 15 种语言的翻译。该数据集使用 Mozilla 的开源 Common Voice 数据库创建，包含 2,900 小时的语音数据。

支持任务

• 语音转文本翻译
• 机器翻译

数据集使用

使用 datasets 库

python from datasets import load_dataset dset = datasets.load_dataset("SEACrowd/covost2", trust_remote_code=True)

使用 seacrowd 库

python import seacrowd as sc

使用默认配置加载数据集

dset = sc.load_dataset("covost2", schema="seacrowd")

检查数据集的所有可用子集（配置名称）

print(sc.available_config_names("covost2"))

使用特定配置加载数据集

dset = sc.load_dataset_by_config_name(config_name="<config_name>")

数据集版本

• 源版本: 1.0.0
• SEACrowd 版本: 2024.06.20

数据集许可证

CC BY-NC 4.0

引用

如果您在使用 Covost2 数据加载器，请引用以下内容：

bibtex @article{wang2020covost, title={Covost 2 and massively multilingual speech-to-text translation}, author={Wang, Changhan and Wu, Anne and Pino, Juan}, journal={arXiv preprint arXiv:2007.10310}, year={2020} }

@inproceedings{wang21s_interspeech, author={Wang, Changhan and Wu, Anne and Pino, Juan}, title={{CoVoST 2 and Massively Multilingual Speech Translation}}, year=2021, booktitle={Proc. Interspeech 2021}, pages={2247--2251}, url={https://www.isca-speech.org/archive/interspeech_2021/wang21s_interspeech} doi={10.21437/Interspeech.2021-2027} }

@article{lovenia2024seacrowd, title={SEACrowd: A Multilingual Multimodal Data Hub and Benchmark Suite for Southeast Asian Languages}, author={Holy Lovenia and Rahmad Mahendra and Salsabil Maulana Akbar and Lester James V. Miranda and Jennifer Santoso and Elyanah Aco and Akhdan Fadhilah and Jonibek Mansurov and Joseph Marvin Imperial and Onno P. Kampman and Joel Ruben Antony Moniz and Muhammad Ravi Shulthan Habibi and Frederikus Hudi and Railey Montalan and Ryan Ignatius and Joanito Agili Lopo and William Nixon and Börje F. Karlsson and James Jaya and Ryandito Diandaru and Yuze Gao and Patrick Amadeus and Bin Wang and Jan Christian Blaise Cruz and Chenxi Whitehouse and Ivan Halim Parmonangan and Maria Khelli and Wenyu Zhang and Lucky Susanto and Reynard Adha Ryanda and Sonny Lazuardi Hermawan and Dan John Velasco and Muhammad Dehan Al Kautsar and Willy Fitra Hendria and Yasmin Moslem and Noah Flynn and Muhammad Farid Adilazuarda and Haochen Li and Johanes Lee and R. Damanhuri and Shuo Sun and Muhammad Reza Qorib and Amirbek Djanibekov and Wei Qi Leong and Quyet V. Do and Niklas Muennighoff and Tanrada Pansuwan and Ilham Firdausi Putra and Yan Xu and Ngee Chia Tai and Ayu Purwarianti and Sebastian Ruder and William Tjhi and Peerat Limkonchotiwat and Alham Fikri Aji and Sedrick Keh and Genta Indra Winata and Ruochen Zhang and Fajri Koto and Zheng-Xin Yong and Samuel Cahyawijaya}, year={2024}, eprint={2406.10118}, journal={arXiv preprint arXiv: 2406.10118} }

搜集汇总

数据集介绍

构建方式

CoVoST2数据集是一项涵盖21种语言至英语翻译以及英语至15种语言翻译的大型多语种语音翻译语料库。该数据集的构建采用Mozilla开源的Common Voice数据库，这是一个由大众贡献的语音录音数据库，其中包含了2900小时的语音数据，充分体现了数据集构建过程中对多样性和大规模性的重视。

特点

CoVoST2数据集以其多语种覆盖范围和大规模语音数据而显著。它支持语音到文本翻译和机器翻译任务，为研究者提供了一个宝贵的资源，特别是在多语言语音识别和翻译领域。此外，数据集遵循CC BY-NC 4.0许可，保证了数据的开放性和可访问性。

使用方法

用户可以通过HuggingFace的`datasets`库或`seacrowd`库来加载和使用CoVoST2数据集。使用`datasets`库时，仅需一行代码即可加载整个数据集。而`seacrowd`库提供了更多配置选项，允许用户根据特定需求加载不同的数据子集。详细的加载指南和使用说明可在相关库的文档中找到，确保了数据集使用的便捷性和灵活性。

背景与挑战

背景概述

SEACrowd/covost2数据集，简称CoVoST2，是一项涵盖从21种语言到英语以及从英语转译至15种语言的大规模多语种语音翻译语料库。该数据集基于Mozilla开源的Common Voice数据库构建，该数据库包含了由大众贡献的语音录音。CoVoST2数据集的创建，旨在推动语音识别与翻译技术的融合，为多语言语音识别与翻译领域的研究提供了丰富的资源。该数据集由Wang, Changhan等研究人员于2020年创建，并在学术界产生了广泛影响，为相关研究提供了宝贵的语料支持。

当前挑战

在构建CoVoST2数据集的过程中，研究人员面临着多方面的挑战。首先，多语言语音数据的收集与标注本身就是一项复杂且耗时的任务。其次，不同语言之间的语音特征差异巨大，为语音识别与翻译模型的泛化能力提出了挑战。此外，数据集的构建还需克服技术难题，如确保语音数据的准确性、多样性和平衡性，以及如何在尊重数据隐私的前提下进行数据共享。在研究领域问题方面，CoVoST2数据集解决了多语言语音翻译中的实时性和准确性问题，这对于提升跨语言交流的便捷性具有重要意义。

常用场景

经典使用场景

在多语言语音翻译领域，CoVoST2数据集被广泛用于训练和评估语音识别与机器翻译模型。该数据集支持从21种语言到英语的翻译，以及从英语到15种语言的翻译，其覆盖的语言范围和规模使之成为研究多语言语音翻译的基准资源。

衍生相关工作

基于CoVoST2数据集，学术界衍生出了一系列相关工作，包括构建多语言多模态数据集、语音翻译模型评估和低资源语言翻译技术的改进。这些工作进一步拓展了语音翻译技术的边界，并推动了相关领域的进步。

数据集最近研究

最新研究方向

在多语言语音翻译领域，SEACrowd/covost2数据集以其大规模的众包语音录音成为研究的热点。该数据集不仅涵盖了从21种语言到英语的翻译，还包括从英语翻译到15种语言的资料，为语音到文本翻译及机器翻译任务提供了丰富的资源。近期的研究方向主要集中在利用该数据集进行跨语言的语音识别与翻译模型的开发与优化，以及探索其在低资源语言处理中的应用。这些研究对于推动全球化语言技术的普及，特别是在东南亚语言的处理上，具有深远的影响和意义。