Pratik/Gujarati_OpenSLR

OpenSLR is a site devoted to hosting speech and language resources, such as training corpora for speech recognition, and software related to speech recognition. They intend to be a convenient place for anyone to put resources that they have created, so that they can be downloaded publicly. They aim to provide a central, hassle-free place for others to put their speech resources. see there http://www.openslr.org/contributions.html #Supported Task Automatic Speech Recognition #Languages Gujarati Identifier: SLR78 Summary: Data set which contains recordings of native speakers of Gujarati. Category: Speech License: Attribution-ShareAlike 4.0 International Downloads (use a mirror closer to you): about.html [1.5K] (Information about the data set ) Mirrors: [China] LICENSE [20K] (License information for the data set ) Mirrors: [China] line_index_female.tsv [423K] (Lines recorded by the female speakers ) Mirrors: [China] line_index_male.tsv [393K] (Lines recorded by the male speakers ) Mirrors: [China] gu_in_female.zip [917M] (Archive containing recordings from female speakers ) Mirrors: [China] gu_in_male.zip [825M] (Archive file recordings from male speakers ) Mirrors: [China] About this resource: This data set contains transcribed high-quality audio of Gujarati sentences recorded by volunteers. The data set consists of wave files, and a TSV file (line_index.tsv). The file line_index.tsv contains a anonymized FileID and the transcription of audio in the file. The data set has been manually quality checked, but there might still be errors. Please report any issues in the following issue tracker on GitHub. https://github.com/googlei18n/language-resources/issues See LICENSE file for license information. Copyright 2018, 2019 Google, Inc. If you use this data in publications, please cite it as follows: @inproceedings{he-etal-2020-open, title = {{Open-source Multi-speaker Speech Corpora for Building Gujarati, Kannada, Malayalam, Marathi, Tamil and Telugu Speech Synthesis Systems}}, author = {He, Fei and Chu, Shan-Hui Cathy and Kjartansson, Oddur and Rivera, Clara and Katanova, Anna and Gutkin, Alexander and Demirsahin, Isin and Johny, Cibu and Jansche, Martin and Sarin, Supheakmungkol and Pipatsrisawat, Knot}, booktitle = {Proceedings of The 12th Language Resources and Evaluation Conference (LREC)}, month = may, year = {2020}, address = {Marseille, France}, publisher = {European Language Resources Association (ELRA)}, pages = {6494--6503}, url = {https://www.aclweb.org/anthology/2020.lrec-1.800}, ISBN = "{979-10-95546-34-4}, }OpenSLR是一个致力于托管语音与语言资源的平台，涵盖语音识别训练语料库以及相关语音识别软件。该平台旨在为所有用户提供便捷的资源上传渠道，令创作者发布的资源可被公开下载。 其目标是为用户搭建一个集中化、无冗余流程的语音资源上传平台，相关贡献指引可参见：http://www.openslr.org/contributions.html # 支持任务：自动语音识别（Automatic Speech Recognition） # 支持语言：古吉拉特语（Gujarati） 数据集标识符：SLR78 数据集摘要：本数据集收录古吉拉特语母语者的语音录制内容。 数据集类别：语音 许可协议：署名-相同方式共享4.0国际版（Attribution-ShareAlike 4.0 International） 下载项（请选择距离您较近的镜像站点）： about.html [1.5K] （数据集说明文件） 镜像：[中国] LICENSE [20K] （数据集许可信息文件） 镜像：[中国] line_index_female.tsv [423K] （女性录制者对应的语音行索引文件） 镜像：[中国] line_index_male.tsv [393K] （男性录制者对应的语音行索引文件） 镜像：[中国] gu_in_female.zip [917M] （包含女性录制者语音的压缩包） 镜像：[中国] gu_in_male.zip [825M] （包含男性录制者语音的压缩包） 镜像：[中国] 本资源说明： 本数据集包含志愿者录制的古吉拉特语语句的高质量转录语音。数据集由波形音频文件与TSV格式索引文件line_index.tsv构成。line_index.tsv文件包含匿名化处理后的文件ID以及对应音频的转录文本。 本数据集已通过人工质量校验，但仍可能存在疏漏。 若发现任何问题，请前往以下GitHub问题追踪页面提交反馈：https://github.com/googlei18n/language-resources/issues 许可条款详见LICENSE文件。 版权所有 © 2018、2019 谷歌公司（Google, Inc.） 若您在学术出版物中使用本数据集，请按以下格式引用： @inproceedings{he-etal-2020-open, title = {{Open-source Multi-speaker Speech Corpora for Building Gujarati, Kannada, Malayalam, Marathi, Tamil and Telugu Speech Synthesis Systems}}, author = {He, Fei and Chu, Shan-Hui Cathy and Kjartansson, Oddur and Rivera, Clara and Katanova, Anna and Gutkin, Alexander and Demirsahin, Isin and Johny, Cibu and Jansche, Martin and Sarin, Supheakmungkol and Pipatsrisawat, Knot}, booktitle = {Proceedings of The 12th Language Resources and Evaluation Conference (LREC)}, month = may, year = {2020}, address = {Marseille, France}, publisher = {European Language Resources Association (ELRA)}, pages = {6494--6503}, url = {https://www.aclweb.org/anthology/2020.lrec-1.800}, ISBN = "{979-10-95546-34-4}, }

原始信息汇总

数据集概述

基本信息

• 数据集标识符：SLR78
• 类别：Speech
• 支持任务：Automatic Speech Recognition
• 语言：Gujarati

内容描述

• 数据集内容：包含Gujarati语的录音，由志愿者录制，包含高质量的音频文件和TSV格式文件（line_index.tsv）。
• 文件详情：
  • line_index_female.tsv：女性发言者的录音索引，大小423K。
  • line_index_male.tsv：男性发言者的录音索引，大小393K。
  • gu_in_female.zip：女性发言者的录音档案，大小917M。
  • gu_in_male.zip：男性发言者的录音档案，大小825M。

版权与许可

• 许可证：Attribution-ShareAlike 4.0 International
• 版权声明：Copyright 2018, 2019 Google, Inc.

引用信息

• 引用格式：

  @inproceedings{he-etal-2020-open, title = {Open-source Multi-speaker Speech Corpora for Building Gujarati, Kannada, Malayalam, Marathi, Tamil and Telugu Speech Synthesis Systems}, author = {He, Fei and Chu, Shan-Hui Cathy and Kjartansson, Oddur and Rivera, Clara and Katanova, Anna and Gutkin, Alexander and Demirsahin, Isin and Johny, Cibu and Jansche, Martin and Sarin, Supheakmungkol and Pipatsrisawat, Knot}, booktitle = {Proceedings of The 12th Language Resources and Evaluation Conference (LREC)}, month = may, year = {2020}, address = {Marseille, France}, publisher = {European Language Resources Association (ELRA)}, pages = {6494--6503}, url = {https://www.aclweb.org/anthology/2020.lrec-1.800}, ISBN = "{979-10-95546-34-4}, }

搜集汇总

数据集介绍

构建方式

在自动语音识别（ASR）领域，高质量、多说话人的语料库是构建稳健声学模型的基础。Pratik/Gujarati_OpenSLR数据集源自OpenSLR平台，旨在为古吉拉特语这一低资源语言提供标准化的语音资源。该数据集由母语为古吉拉特语的志愿者录制，涵盖大量古吉拉特语句子的转写高质量音频。数据以波形文件（WAV）形式存储，并附有TSV格式的索引文件（line_index.tsv），其中包含匿名化的文件ID及其对应的文本转写。音频按性别分为女性（gu_in_female.zip）和男性（gu_in_male.zip）两个压缩包，分别对应约917MB和825MB的录音，并辅以独立的性别索引文件。数据经过人工质量检查，但仍可能存在少量误差，用户可通过GitHub问题跟踪器报告问题。

特点

该数据集的核心特点在于其针对古吉拉特语这一特定语言的专注性，填补了低资源语言语音语料库的空白。数据集采用CC BY-SA 4.0国际许可协议，允许广泛的研究与商业应用，同时要求署名和相同方式共享。数据来源明确标注由Google于2018-2019年开发，并提供了规范的引用格式，鼓励学术使用。数据集结构清晰，按性别分类存储音频，便于进行性别相关的声学分析。此外，数据经过人工质量审核，虽未完全消除错误，但整体可靠性较高，适合用于构建古吉拉特语的自动语音识别系统。

使用方法

使用该数据集时，用户需首先从OpenSLR平台下载相关文件，包括音频压缩包和TSV索引文件。解压后，可通过line_index.tsv文件中的文件ID与音频文件建立对应关系，加载音频及其转写文本。典型应用场景包括训练端到端或混合型ASR模型，例如使用Kaldi、Espnet或HuggingFace的Wav2Vec2等框架。用户可将音频特征（如梅尔频谱图）与文本标签配对，进行声学模型训练。建议将数据按说话人或性别划分训练集、验证集和测试集，以评估模型泛化能力。对于研究用途，需在出版物中引用相关论文，并遵循CC BY-SA 4.0许可的署名要求。

背景与挑战

背景概述

古吉拉特语作为印度官方语言之一，在自动语音识别（ASR）领域长期面临数据资源匮乏的困境，严重制约了该语言语音技术的研发与应用。为填补这一空白，由Google团队主导，Fei He、Shan-Hui Cathy Chu、Oddur Kjartansson等研究人员于2018至2019年间构建了Pratik/Gujarati_OpenSLR数据集，旨在为古吉拉特语语音识别系统提供高质量的训练语料。该数据集依托OpenSLR平台发布，收录了母语志愿者录制并经过人工质量校验的句子音频，涵盖男女声两类声学特征，总计约1.7GB的波形文件及对应转写文本。作为OpenSLR项目下SLR78号资源，该数据集不仅直接支撑了古吉拉特语ASR模型的训练与评估，还推动了多语言语音合成系统的研究，其影响力在LREC 2020会议论文中得到正式确认，成为南亚低资源语言语音技术发展的重要基石。

当前挑战

该数据集所解决的领域挑战在于古吉拉特语作为低资源语言，缺乏大规模、高质量且带标注的语音数据，导致现有ASR系统在该语言上性能严重不足。数据构建过程面临多重困难：其一，需要招募并协调母语志愿者完成大量句子的录制，确保发音纯正与覆盖多样性；其二，音频质量需经过严格的人工校验，以剔除噪声、口误或转录错误，但人工校验本身存在主观性与遗漏风险；其三，数据集的规模受限于志愿者参与度与资源投入，虽能支撑基础研究，但面对复杂真实场景（如噪声环境、多方言变体）仍显不足；其四，版权采用CC BY-SA 4.0许可，虽促进开放共享，但需平衡使用者的合规义务与数据再分发的自由度。

常用场景

经典使用场景

该数据集源自OpenSLR项目，专为古吉拉特语自动语音识别（ASR）任务设计，包含由母语者录制的经过人工质量校验的高质量音频与对应文本转录。其经典使用场景在于构建古吉拉特语的端到端语音识别系统，研究人员可基于该数据集训练声学模型与语言模型，实现对古吉拉特语口语的精准转写，尤其适用于低资源语言场景下的语音技术探索。

实际应用

实际应用中，该数据集可用于开发面向古吉拉特语用户的语音助手、语音输入法、以及无障碍通讯工具，例如为视障人士提供语音交互界面。此外，在智能客服、教育领域的语言学习软件、以及车载语音导航系统中，该数据集训练的模型能够实现实时且准确的语音指令识别，显著提升古吉拉特语地区的数字服务可及性。

衍生相关工作

该数据集衍生了一系列经典工作，如He等人（2020）在LREC上发表的论文，利用该数据构建了古吉拉特语等多语言语音合成系统。后续研究基于此数据集探索了说话人自适应训练、跨语种预训练模型微调（如wav2vec 2.0在低资源语言上的应用），以及结合数据增强技术提升识别鲁棒性的方法，为南亚语言语音处理领域奠定了重要基础。