SEACrowd/librivox_indonesia

LibriVox Indonesia数据集包含从LibriVox公共领域有声读物生成的MP3音频和相应的文本文件，涵盖了印度尼西亚的多种语言。音频文件的时长从几秒到最多20秒不等，总时长为8小时，涉及7种语言。数据集通过强制对齐软件生成，支持多语言，包括低资源语言。数据集主要用于语音识别任务。

The LibriVox Indonesia Dataset consists of MP3 audio files generated from LibriVox public-domain audiobooks and their corresponding text files, covering multiple languages used in Indonesia. The duration of each audio clip ranges from several seconds to a maximum of 20 seconds, with a total duration of 8 hours across 7 distinct languages. The dataset is generated using forced alignment software, supports multilingual processing including low-resource languages, and is primarily intended for speech recognition tasks.

原始信息汇总

数据集概述

LibriVox Indonesia数据集包含MP3音频文件及其对应的文本文件，这些文件是从公共领域的有声书LibriVox中生成的。该数据集仅收集了印度尼西亚的语言。原始的LibriVox有声书或音频文件的时长从几分钟到几小时不等，而数据集中的每个音频文件时长从几秒到最长20秒。通过开发的强制对齐软件，将有声书转换为语音数据集，支持多语言，包括低资源语言，如亚齐语、巴厘语或米南卡保语。数据集目前包含8小时的内容，涵盖7种印度尼西亚语言，并将随着收集的增加而增加更多语言或音频文件。

语言

• ban
• min
• ace
• ind
• sun
• jav
• bug

支持的任务

• 语音识别

数据集使用

使用datasets库

python from datasets import load_dataset dset = datasets.load_dataset("SEACrowd/librivox_indonesia", trust_remote_code=True)

使用seacrowd库

python import seacrowd as sc

使用默认配置加载数据集

dset = sc.load_dataset("librivox_indonesia", schema="seacrowd")

检查数据集的所有可用子集（配置名称）

print(sc.available_config_names("librivox_indonesia"))

使用特定配置加载数据集

dset = sc.load_dataset_by_config_name(config_name="<config_name>")

数据集版本

• 源版本: 1.0.0
• SEACrowd版本: 2024.06.20

数据集许可证

CC0

引用

如果使用LibriVox Indonesia数据集，请引用以下内容： plaintext @misc{ research, title={indonesian-nlp/librivox-indonesia · datasets at hugging face}, url={https://huggingface.co/datasets/indonesian-nlp/librivox-indonesia}, author={Indonesian-nlp} }

@article{lovenia2024seacrowd, title={SEACrowd: A Multilingual Multimodal Data Hub and Benchmark Suite for Southeast Asian Languages}, author={Holy Lovenia and others}, year={2024}, eprint={2406.10118}, journal={arXiv preprint arXiv: 2406.10118} }

搜集汇总

数据集介绍

构建方式

在语音识别研究领域，高质量的多语言数据集是推动技术发展的关键基石。LibriVox Indonesia数据集源自公共领域的LibriVox有声读物，专注于收录印度尼西亚境内的多种语言。原始有声读物时长从数分钟到数小时不等，研究团队利用自主研发的强制对齐软件，将长音频切分为时长从数秒到最长20秒的短片段，并配套生成对应的文本文件。该对齐工具支持多语言处理，尤其擅长应对低资源语言如亚齐语、巴厘语或米南加保语，且无需额外模型训练即可应用于其他语言。当前数据集包含7种印尼语言共计8小时的语音数据，并计划持续扩充更多语言和音频文件。

特点

该数据集最显著的特点是其对印度尼西亚低资源语言的全面覆盖，涵盖巴厘语、米南加保语、亚齐语、印尼语、巽他语、爪哇语和布吉语七种语言，为多语言语音识别研究提供了稀缺资源。音频片段经过精心切割，长度控制在20秒以内，既保留了语音的完整性又便于模型训练。数据来源为公共领域有声读物，采用CC0许可协议，确保无版权纠纷。此外，数据集通过SEACrowd数据枢纽发布，版本管理清晰（源版本1.0.0，SEACrowd版本2024.06.20），并提供了规范的引用格式，便于学术追踪。

使用方法

使用该数据集进行语音识别研究时，可通过Hugging Face的datasets库便捷加载，只需一行代码即可获取完整数据集：`dset = datasets.load_dataset("SEACrowd/librivox_indonesia", trust_remote_code=True)`。对于需要更精细控制的研究者，可借助seacrowd库实现灵活调用：首先通过`sc.load_dataset("librivox_indonesia", schema="seacrowd")`加载默认配置，再使用`sc.available_config_names("librivox_indonesia")`查看所有可用子集名称，最后通过`sc.load_dataset_by_config_name(config_name="<config_name>")`指定特定配置加载。详细的使用指南可参考SEACrowd数据枢纽的官方文档。

背景与挑战

背景概述

LibriVox Indonesia数据集由Indonesian-nlp团队于2024年创建，旨在填补印度尼西亚语系语音识别资源的空白。该数据集专注于收录印度尼西亚境内使用的七种语言，包括亚齐语、巴厘语、米南加保语、印尼语、巽他语、爪哇语和布吉语，其中多数为低资源语言。核心研究问题在于如何利用公开领域的LibriVox有声读物，通过强制对齐技术生成高质量、短时长的语音识别数据集。作为SEACrowd多语言多模态数据枢纽的一部分，该数据集为东南亚语言语音识别研究提供了宝贵的基础资源，尤其对低资源语言的语音技术进步具有重要推动作用。

当前挑战

LibriVox Indonesia数据集面临的主要挑战包括：首先，低资源语言（如亚齐语、巴厘语）的语音识别任务本身缺乏充足的训练数据和成熟的声学模型，导致识别精度受限；其次，构建过程中需将有声读物中时长不一的音频片段分割为2至20秒的短语音单元，这一强制对齐过程对多语言支持提出了技术难题，尤其对于形态复杂或音系独特的语言；此外，当前数据集仅包含8小时音频，规模较小，限制了其在复杂语音识别场景中的泛化能力，未来需持续扩充语料以增强代表性。

常用场景

经典使用场景

LibriVox Indonesia 数据集在语音识别领域扮演着不可或缺的角色，尤其聚焦于印度尼西亚境内多种地方语言的自动语音识别（ASR）模型训练与评估。该数据集通过将公共领域有声读物转化为短时长、对齐精准的语音-文本对，为低资源语言如亚齐语、巴厘语、米南加保语等提供了宝贵的标注语料。研究者常将其作为基准数据集，用于验证多语言ASR系统在方言丰富、资源匮乏环境下的泛化能力，并推动跨语言迁移学习技术的进步。

实际应用

在实际应用中，LibriVox Indonesia 数据集为构建面向印度尼西亚多元语言环境的智能语音交互系统奠定了数据基础。例如，可被用于开发支持当地语言语音输入的移动应用、智能客服系统，以及教育领域的语音辅助工具。该数据集还助力了语音搜索与内容转录服务在印尼偏远地区的落地，使得非标准印尼语使用者能够更便捷地获取数字服务。此外，其在开源社区的广泛采用也降低了企业进入印尼本地化语音市场的技术门槛。

衍生相关工作

围绕LibriVox Indonesia 数据集，研究者已开展了一系列衍生工作，包括多语言端到端ASR模型的对比研究、跨语言声学特征共享机制的分析，以及针对低资源语言的数据增强策略探索。该数据集还作为SEACrowd数据枢纽的重要组成部分，被用于构建东南亚语言的多模态基准测试套件。部分工作进一步扩展了其应用边界，如结合迁移学习与自监督预训练技术，显著提升了印尼地方语言在无标注数据场景下的语音识别性能。