SEACrowd/bible_en_id

Bible En-Id是一个机器翻译数据集，包含从圣经中收集的印尼语-英语平行句子。该数据集专门为英语-印尼语机器翻译任务生成，通过收集印尼语和英语版本的圣经，生成逐句对齐的平行语料库。数据集被划分为训练集（75%）、验证集（10%）和测试集（15%），并在英语到印尼语（En → Id）和印尼语到英语（Id → En）两个方向上进行评估。Bible En-Id is a machine translation dataset containing Indonesian-English parallel sentences collected from the Bible. This dataset is specifically developed for English-Indonesian machine translation tasks, where a sentence-aligned parallel corpus is generated by gathering the Indonesian and English versions of the Bible. The dataset is split into three subsets: the training set (75%), validation set (10%), and test set (15%), and evaluated on both translation directions: English to Indonesian (En → Id) and Indonesian to English (Id → En).

原始信息汇总

数据集概述

名称: Bible En Id
任务类别: 机器翻译
标签: 机器翻译
语言: 印尼语 (ind), 英语 (eng)
数据集版本: 源版本 1.0.0, SEACrowd 版本 2024.06.20
许可证: Creative Commons Attribution Share-Alike 4.0 International

数据集描述

Bible En Id 是一个包含印尼语-英语平行句子的机器翻译数据集，数据来源于圣经。该数据集特别收集了印尼语和英语版本的圣经，并生成了适用于印尼语-英语机器翻译任务的经文对齐平行语料库。数据集被分为训练集（75%）、验证集（10%）和测试集（15%），并且每个数据集在两个方向上进行评估，即从英语到印尼语（En → Id）和从印尼语到英语（Id → En）的翻译。

使用方法

使用 datasets 库

python from datasets import load_dataset dset = datasets.load_dataset("SEACrowd/bible_en_id", trust_remote_code=True)

使用 seacrowd 库

python import seacrowd as sc

使用默认配置加载数据集

dset = sc.load_dataset("bible_en_id", schema="seacrowd")

查看数据集的所有可用子集（配置名称）

print(sc.available_config_names("bible_en_id"))

使用特定配置加载数据集

dset = sc.load_dataset_by_config_name(config_name="<config_name>")

引用

如果使用 Bible En Id 数据集，请引用以下内容：

@inproceedings{cahyawijaya-etal-2021-indonlg, title = "{I}ndo{NLG}: Benchmark and Resources for Evaluating {I}ndonesian Natural Language Generation", author = "Cahyawijaya, Samuel and Winata, Genta Indra and Wilie, Bryan and Vincentio, Karissa and Li, Xiaohong and Kuncoro, Adhiguna and Ruder, Sebastian and Lim, Zhi Yuan and Bahar, Syafri and Khodra, Masayu and Purwarianti, Ayu and Fung, Pascale", booktitle = "Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing", month = nov, year = "2021", address = "Online and Punta Cana, Dominican Republic", publisher = "Association for Computational Linguistics", url = "https://aclanthology.org/2021.emnlp-main.699", doi = "10.18653/v1/2021.emnlp-main.699", pages = "8875--8898", abstract = "Natural language generation (NLG) benchmarks provide an important avenue to measure progress and develop better NLG systems. Unfortunately, the lack of publicly available NLG benchmarks for low-resource languages poses a challenging barrier for building NLG systems that work well for languages with limited amounts of data. Here we introduce IndoNLG, the first benchmark to measure natural language generation (NLG) progress in three low-resource{---}yet widely spoken{---}languages of Indonesia: Indonesian, Javanese, and Sundanese. Altogether, these languages are spoken by more than 100 million native speakers, and hence constitute an important use case of NLG systems today. Concretely, IndoNLG covers six tasks: summarization, question answering, chit-chat, and three different pairs of machine translation (MT) tasks. We collate a clean pretraining corpus of Indonesian, Sundanese, and Javanese datasets, Indo4B-Plus, which is used to pretrain our models: IndoBART and IndoGPT. We show that IndoBART and IndoGPT achieve competitive performance on all tasks{---}despite using only one-fifth the parameters of a larger multilingual model, mBART-large (Liu et al., 2020). This finding emphasizes the importance of pretraining on closely related, localized languages to achieve more efficient learning and faster inference at very low-resource languages like Javanese and Sundanese.", }

@article{lovenia2024seacrowd, title={SEACrowd: A Multilingual Multimodal Data Hub and Benchmark Suite for Southeast Asian Languages}, author={Holy Lovenia and Rahmad Mahendra and Salsabil Maulana Akbar and Lester James V. Miranda and Jennifer Santoso and Elyanah Aco and Akhdan Fadhilah and Jonibek Mansurov and Joseph Marvin Imperial and Onno P. Kampman and Joel Ruben Antony Moniz and Muhammad Ravi Shulthan Habibi and Frederikus Hudi and Railey Montalan and Ryan Ignatius and Joanito Agili Lopo and William Nixon and Börje F. Karlsson and James Jaya and Ryandito Diandaru and Yuze Gao and Patrick Amadeus and Bin Wang and Jan Christian Blaise Cruz and Chenxi Whitehouse and Ivan Halim Parmonangan and Maria Khelli and Wenyu Zhang and Lucky Susanto and Reynard Adha Ryanda and Sonny Lazuardi Hermawan and Dan John Velasco and Muhammad Dehan Al Kautsar and Willy Fitra Hendria and Yasmin Moslem and Noah Flynn and Muhammad Farid Adilazuarda and Haochen Li and Johanes Lee and R. Damanhuri and Shuo Sun and Muhammad Reza Qorib and Amirbek Djanibekov and Wei Qi Leong and Quyet V. Do and Niklas Muennighoff and Tanrada Pansuwan and Ilham Firdausi Putra and Yan Xu and Ngee Chia Tai and Ayu Purwarianti and Sebastian Ruder and William Tjhi and Peerat Limkonchotiwat and Alham Fikri Aji and Sedrick Keh and Genta Indra Winata and Ruochen Zhang and Fajri Koto and Zheng-Xin Yong and Samuel Cahyawijaya}, year={2024}, eprint={2406.10118}, journal={arXiv preprint arXiv: 2406.10118} }

搜集汇总

数据集介绍

构建方式

Bible En-Id数据集是一个面向机器翻译任务的印度尼西亚语-英语平行语料库，其构建灵感源于宗教文本在双语对齐中的天然优势。研究者分别收集了印尼语和英语版本的圣经，通过逐节对齐的方式生成句子级别的平行语料。为确保数据质量，对齐过程严格遵循经文结构，以章节为单位进行匹配，最终形成了一组高精度的双语对照数据。数据集被划分为训练集（75%）、验证集（10%）和测试集（15%），并在两个翻译方向（英语到印尼语和印尼语到英语）上均进行了评估，以支持双向翻译任务的研究。

特点

该数据集的核心特点在于其基于圣经文本的构建方式，这赋予了数据独特的语言规范性。圣经作为跨语言翻译的经典文本，其内容在语义和结构上具有高度一致性，从而保证了平行句对的准确性和低噪声。此外，数据集覆盖了印尼语和英语两种语言，其中印尼语属于低资源语言，该数据集的发布为机器翻译领域提供了稀缺的双语资源。其规模虽小，但通过精心对齐，在翻译任务中展现出良好的基准性能，特别适用于评估模型在宗教领域文本上的翻译能力。

使用方法

使用者可通过HuggingFace的datasets库便捷加载该数据集，仅需一行代码`load_dataset("SEACrowd/bible_en_id", trust_remote_code=True)`即可获取。此外，SEACrowd库提供了更灵活的调用方式，支持通过`sc.load_dataset`加载默认配置，或使用`sc.load_dataset_by_config_name`指定特定子集。加载后，数据以标准的机器翻译格式呈现，包含源语言和目标语言字段，可直接用于训练或评估翻译模型。建议用户参考SEACrowd官方文档以获取更详细的使用指南，并注意在学术工作中引用相关论文以尊重数据提供者的贡献。

背景与挑战

背景概述

Bible En-Id数据集由Samuel Cahyawijaya等研究人员于2021年在IndoNLG项目框架下创建，隶属于SEACrowd数据枢纽，旨在推动低资源语言的自然语言生成研究。该数据集聚焦于印尼语与英语之间的机器翻译任务，通过收集圣经文本并实现逐节对齐，构建了一个高质量的平行语料库。其核心研究问题在于为印尼语这一拥有超过1亿母语者但资源匮乏的语言提供可靠的翻译基准，从而促进区域语言技术的发展。作为IndoNLG基准的一部分，该数据集在机器翻译领域具有重要影响力，为评估印尼语与英语双向翻译性能提供了标准化测试集，并常被用于预训练模型如IndoBART和IndoGPT的性能对比，凸显了本地化预训练对低资源语言任务的效能提升。

当前挑战

该数据集面临的挑战首先体现在领域局限性上：仅基于圣经文本，其词汇和句式风格高度宗教化，难以覆盖日常对话、科技或新闻等多元场景，导致翻译模型在泛化至通用领域时性能下降。其次，构建过程中的对齐精度构成关键难题，尽管采用逐节对齐策略，但圣经中隐含的文化隐喻和跨语言语义差异可能引入噪声，影响平行句对的质量。此外，印尼语存在多种方言与语体变体，而数据集仅收录标准印尼语，忽略了地域性表达，限制了模型对语言多样性的适应能力。最后，数据集规模相对有限，训练集占比75%但总量较小，可能不足以支持深层神经网络的充分学习，加剧了过拟合风险。

常用场景

经典使用场景

Bible En-Id数据集作为印尼语与英语平行语料库的经典资源，广泛应用于机器翻译领域的基准测试与模型训练。该数据集基于《圣经》的经文章节进行逐句对齐，构建了高质量的双语平行语料，特别适用于评估和提升低资源语言对的翻译性能。在自然语言处理社区中，它常被用作英印双向翻译任务的标准化测试集，支持从统计机器翻译到神经机器翻译的各类模型评估，是印尼语NLP研究中不可或缺的基石数据之一。

实际应用

在实际应用中，Bible En-Id数据集为印尼语与英语间的跨语言信息检索、多语种文档翻译及宗教文本数字化等场景提供了基础支持。例如，它可被用于开发面向印尼语用户的实时翻译工具，或辅助构建教育领域的双语学习平台。此外，该数据集的领域专注性使其在圣经翻译软件、宗教研究语料分析等垂直应用中表现突出，降低了专业翻译系统的开发成本，并提升了低资源语言在全球化场景中的可访问性。

衍生相关工作

该数据集衍生了一系列重要工作，最典型的是作为IndoNLG基准测试的一部分，支撑了IndoBART与IndoGPT等预训练语言模型的训练与评估。在相关研究中，研究者利用该数据集探索了低资源语言中迁移学习的有效性，对比了单语预训练与多语言模型（如mBART）在翻译任务上的性能差异。此外，它还被整合进SEACrowd数据枢纽，成为东南亚多语言NLP评测体系的核心组件，催生了针对印尼语翻译的领域适配、数据增强及零样本泛化等方向的系统性研究。