SEACrowd/titml_idn

TITML-IDN（东京工业大学多语言-印尼语）数据集是为了构建一个开创性的印尼语大型词汇连续语音识别（LVCSR）系统而收集的。为了构建LVCSR系统，需要高精度的声学模型和大规模的语言模型。由于印尼语语音语料库此前不可用，我们尝试从20名印尼本土说话者（11名男性和9名女性）收集语音数据，以构建用于训练基于隐马尔可夫模型（HMMs）的声学模型的语音语料库。一个由阿姆斯特丹大学信息学研究所收集的文本语料库被用来构建一个40K词汇量的词典和一个n-gram语言模型。

原始信息汇总

数据集概述

TITML-IDN（东京工业大学多语言 - 印度尼西亚语）是为了构建印度尼西亚大词汇量连续语音识别（LVCSR）系统而收集的。为了构建LVCSR系统，高精度的声学模型和大规模语言模型是必不可少的。由于当时印度尼西亚语语音语料库尚未可用，我们尝试从20名印度尼西亚母语者（11名男性和9名女性）收集语音数据，以构建基于隐马尔可夫模型（HMMs）的声学模型训练语料库。通过ILPS（阿姆斯特丹大学信息学研究所）收集的文本语料库，用于构建40K词汇字典和n-gram语言模型。

语言

• 印度尼西亚语

支持的任务

• 语音识别

数据集使用

使用 datasets 库

python from datasets import load_dataset dset = datasets.load_dataset("SEACrowd/titml_idn", trust_remote_code=True)

使用 seacrowd 库

python import seacrowd as sc

使用默认配置加载数据集

dset = sc.load_dataset("titml_idn", schema="seacrowd")

检查数据集的所有可用子集（配置名称）

print(sc.available_config_names("titml_idn"))

使用特定配置加载数据集

dset = sc.load_dataset_by_config_name(config_name="<config_name>")

数据集主页

http://research.nii.ac.jp/src/en/TITML-IDN.html

数据集版本

• 源版本：1.0.0
• SEACrowd版本：2024.06.20

数据集许可

其他许可（others）| 仅用于研究目的。如果您使用此语料库，您必须引用（Lestari et al, 2006）。

引用

如果您在使用 Titml Idn 数据加载器，请引用以下内容：

@inproceedings{lestari2006titmlidn, title={A large vocabulary continuous speech recognition system for Indonesian language}, author={Lestari, Dessi Puji and Iwano, Koji and Furui, Sadaoki}, booktitle={15th Indonesian Scientific Conference in Japan Proceedings}, pages={17--22}, year={2006} }

@article{lovenia2024seacrowd, title={SEACrowd: A Multilingual Multimodal Data Hub and Benchmark Suite for Southeast Asian Languages}, author={Holy Lovenia and Rahmad Mahendra and Salsabil Maulana Akbar and Lester James V. Miranda and Jennifer Santoso and Elyanah Aco and Akhdan Fadhilah and Jonibek Mansurov and Joseph Marvin Imperial and Onno P. Kampman and Joel Ruben Antony Moniz and Muhammad Ravi Shulthan Habibi and Frederikus Hudi and Railey Montalan and Ryan Ignatius and Joanito Agili Lopo and William Nixon and Börje F. Karlsson and James Jaya and Ryandito Diandaru and Yuze Gao and Patrick Amadeus and Bin Wang and Jan Christian Blaise Cruz and Chenxi Whitehouse and Ivan Halim Parmonangan and Maria Khelli and Wenyu Zhang and Lucky Susanto and Reynard Adha Ryanda and Sonny Lazuardi Hermawan and Dan John Velasco and Muhammad Dehan Al Kautsar and Willy Fitra Hendria and Yasmin Moslem and Noah Flynn and Muhammad Farid Adilazuarda and Haochen Li and Johanes Lee and R. Damanhuri and Shuo Sun and Muhammad Reza Qorib and Amirbek Djanibekov and Wei Qi Leong and Quyet V. Do and Niklas Muennighoff and Tanrada Pansuwan and Ilham Firdausi Putra and Yan Xu and Ngee Chia Tai and Ayu Purwarianti and Sebastian Ruder and William Tjhi and Peerat Limkonchotiwat and Alham Fikri Aji and Sedrick Keh and Genta Indra Winata and Ruochen Zhang and Fajri Koto and Zheng-Xin Yong and Samuel Cahyawijaya}, year={2024}, eprint={2406.10118}, journal={arXiv preprint arXiv: 2406.10118} }

搜集汇总

数据集介绍

构建方式

TITML-IDN数据集的构建旨在为印度尼西亚语建立一个开创性的大词汇量连续语音识别（LVCSR）系统。为实现这一目标，数据集收集了来自20名印度尼西亚母语者的语音数据，其中包括11名男性和9名女性，以构建基于隐马尔可夫模型（HMMs）的声学模型。此外，利用阿姆斯特丹大学信息学研究所（ILPS）收集的文本语料库，构建了一个包含40,000词汇的词典和一个n-gram语言模型。

使用方法

使用TITML-IDN数据集时，用户可以通过`datasets`库或`seacrowd`库进行加载。通过`datasets`库，用户可以简单地调用`load_dataset`函数，并指定数据集名称。而使用`seacrowd`库，用户不仅可以加载默认配置的数据集，还可以根据需要选择特定的子集（配置名称）。详细的加载方法和配置选项可以在SEACrowd的GitHub页面找到。

背景与挑战

背景概述

TITML-IDN数据集由东京工业大学（Tokyo Institute of Technology）收集，旨在构建印尼语的大词汇量连续语音识别（LVCSR）系统。该数据集的创建填补了印尼语语音语料库的空白，为训练基于隐马尔可夫模型（HMMs）的声学模型提供了基础。数据集包含了20名印尼母语者的语音数据，其中11名为男性，9名为女性。此外，数据集还结合了由阿姆斯特丹大学信息学研究所（ILPS）收集的文本语料库，用于构建40K词汇量的词典和n-gram语言模型。这一研究不仅推动了印尼语语音识别技术的发展，也为多语言语音识别系统的构建提供了宝贵的资源。

当前挑战

TITML-IDN数据集在构建过程中面临多项挑战。首先，印尼语作为资源相对匮乏的语言，其语音数据的收集和标注工作极具挑战性。其次，构建大词汇量连续语音识别系统需要高精度的声学模型和大规模的语言模型，这对数据的质量和数量提出了严格要求。此外，数据集的多样性和代表性也是一大挑战，确保数据能够覆盖不同口音和方言，以提高模型的泛化能力。最后，数据集的使用需遵循特定的引用要求，确保学术研究的规范性和透明度。

常用场景

经典使用场景

在语音识别领域，TITML-IDN数据集被广泛用于构建印度尼西亚语的大词汇量连续语音识别（LVCSR）系统。该数据集通过收集20名印度尼西亚母语者的语音数据，结合40K词汇量的语言模型，为训练高精度的声学模型提供了坚实的基础。

解决学术问题

TITML-IDN数据集填补了印度尼西亚语语音数据集的空白，解决了在构建LVCSR系统时缺乏高质量语音数据的问题。其对声学模型和语言模型的双重贡献，显著提升了印度尼西亚语语音识别的准确性和实用性，推动了相关领域的研究进展。

实际应用

在实际应用中，TITML-IDN数据集被用于开发印度尼西亚语的语音助手、语音翻译和语音识别软件。这些应用在教育、医疗和商业等领域展现出巨大的潜力，极大地促进了印度尼西亚语的数字化和智能化进程。

数据集最近研究

最新研究方向

在语音识别领域，TITML-IDN数据集的最新研究方向主要集中在提升印度尼西亚语的大词汇量连续语音识别（LVCSR）系统的性能。研究者们致力于通过改进声学模型和语言模型，以提高系统的准确性和鲁棒性。此外，随着多语言和多模态数据集的兴起，TITML-IDN数据集也被用于跨语言语音识别的研究，探索如何在不同语言之间共享和迁移语音识别技术，从而推动全球语音识别技术的发展。