SEACrowd/news_en_id

News En-Id是一个机器翻译数据集，包含从新闻中收集的印尼语-英语平行句子。数据集来源于多个新闻源，包括Pan Asia Networking Localization (PANL)、双语BBC新闻文章、Berita Jakarta和GlobalVoices。数据集被划分为75%的训练集、10%的验证集和15%的测试集，并支持双向翻译任务，即英语到印尼语（En → Id）和印尼语到英语（Id → En）的翻译。

News En-Id is a machine translation dataset containing Indonesian-English parallel sentences collected from the news. The news dataset is collected from multiple sources: Pan Asia Networking Localization (PANL), Bilingual BBC news articles, Berita Jakarta, and GlobalVoices. We split the dataset and use 75% as the training set, 10% as the validation set, and 15% as the test set. Each of the datasets is evaluated in both directions, i.e., English to Indonesian (En → Id) and Indonesian to English (Id → En) translations.

原始信息汇总

数据集概述

News En-Id 是一个机器翻译数据集，包含从新闻中收集的印尼语-英语平行句子。该数据集来源于多个来源：Pan Asia Networking Localization (PANL)、双语 BBC 新闻文章、Berita Jakarta 和 GlobalVoices。数据集被分为训练集（75%）、验证集（10%）和测试集（15%）。每个数据集在两个方向上进行评估，即英语到印尼语（En → Id）和印尼语到英语（Id → En）的翻译。

语言

• 印尼语 (ind)
• 英语 (eng)

支持的任务

• 机器翻译

数据集版本

• 源版本：1.0.0
• SEACrowd 版本：2024.06.20

数据集许可

Creative Commons Attribution Share-Alike 4.0 International

引用

如果您在使用 News En Id 数据加载器，请引用以下内容：

@inproceedings{guntara-etal-2020-benchmarking, title = "Benchmarking Multidomain {E}nglish-{I}ndonesian Machine Translation", author = "Guntara, Tri Wahyu and Aji, Alham Fikri and Prasojo, Radityo Eko", booktitle = "Proceedings of the 13th Workshop on Building and Using Comparable Corpora", month = may, year = "2020", address = "Marseille, France", publisher = "European Language Resources Association", url = "https://aclanthology.org/2020.bucc-1.6", pages = "35--43", language = "English", ISBN = "979-10-95546-42-9", }

@article{lovenia2024seacrowd, title={SEACrowd: A Multilingual Multimodal Data Hub and Benchmark Suite for Southeast Asian Languages}, author={Holy Lovenia and Rahmad Mahendra and Salsabil Maulana Akbar and Lester James V. Miranda and Jennifer Santoso and Elyanah Aco and Akhdan Fadhilah and Jonibek Mansurov and Joseph Marvin Imperial and Onno P. Kampman and Joel Ruben Antony Moniz and Muhammad Ravi Shulthan Habibi and Frederikus Hudi and Railey Montalan and Ryan Ignatius and Joanito Agili Lopo and William Nixon and Börje F. Karlsson and James Jaya and Ryandito Diandaru and Yuze Gao and Patrick Amadeus and Bin Wang and Jan Christian Blaise Cruz and Chenxi Whitehouse and Ivan Halim Parmonangan and Maria Khelli and Wenyu Zhang and Lucky Susanto and Reynard Adha Ryanda and Sonny Lazuardi Hermawan and Dan John Velasco and Muhammad Dehan Al Kautsar and Willy Fitra Hendria and Yasmin Moslem and Noah Flynn and Muhammad Farid Adilazuarda and Haochen Li and Johanes Lee and R. Damanhuri and Shuo Sun and Muhammad Reza Qorib and Amirbek Djanibekov and Wei Qi Leong and Quyet V. Do and Niklas Muennighoff and Tanrada Pansuwan and Ilham Firdausi Putra and Yan Xu and Ngee Chia Tai and Ayu Purwarianti and Sebastian Ruder and William Tjhi and Peerat Limkonchotiwat and Alham Fikri Aji and Sedrick Keh and Genta Indra Winata and Ruochen Zhang and Fajri Koto and Zheng-Xin Yong and Samuel Cahyawijaya}, year={2024}, eprint={2406.10118}, journal={arXiv preprint arXiv: 2406.10118} }

搜集汇总

数据集介绍

构建方式

在机器翻译领域，平行语料库的构建是提升模型性能的基石。SEACrowd/news_en_id数据集正是为此而生，它汇聚了来自泛亚网络本地化项目、BBC双语新闻文章、雅加达新闻台以及GlobalVoices等多个新闻来源的印度尼西亚语与英语平行句对。为兼顾模型训练与评估的需求，该数据集被精心划分为三部分：75%作为训练集，10%作为验证集，15%作为测试集，确保数据分布的合理性与泛化能力。

特点

该数据集的核心特色在于其专注于新闻领域的双语平行语料，覆盖了从本地化新闻到国际报道的多元主题，为机器翻译模型提供了丰富且真实的语境。同时，数据集支持双向翻译任务，即英语至印尼语与印尼语至英语，赋予了研究者在不同翻译方向上进行评估的灵活性。其来源的多样性与规模化的划分策略，使其成为评估和提升印尼语-英语机器翻译系统鲁棒性的理想基准。

使用方法

研究人员可通过Hugging Face的datasets库便捷地加载该数据集，只需一行代码`load_dataset("SEACrowd/news_en_id", trust_remote_code=True)`即可获取。此外，SEACrowd生态提供了更深入的集成方案，通过`seacrowd`库可加载默认配置或指定特定子集，并利用`available_config_names`方法探索数据集的全貌。这种双轨制的使用方式，既满足了快速原型开发的需求，也支持了细粒度的实验配置，极大便利了机器翻译模型的训练与评测流程。

背景与挑战

背景概述

在自然语言处理领域，机器翻译作为打破语言壁垒的关键技术，其性能高度依赖于高质量平行语料库的构建。SEACrowd/news_en_id数据集应运而生，由Tri Wahyu Guntara、Alham Fikri Aji和Radityo Eko Prasojo等研究人员于2020年创建，旨在填补英语与印尼语之间机器翻译研究的资源空白。该数据集汇集了来自泛亚网络本地化、双语BBC新闻文章、雅加达新闻以及GlobalVoices等多源新闻语料，形成了涵盖广泛主题的平行句对。通过将75%的数据用于训练、10%用于验证、15%用于测试，该数据集为评估英印双向翻译模型提供了标准化基准，其发布在ACL 2020的Workshop on Building and Using Comparable Corpora上，对推动东南亚语言机器翻译研究产生了重要影响。

当前挑战

该数据集所解决的领域挑战在于英语-印尼语机器翻译中平行语料匮乏且领域覆盖不足的问题，新闻语料虽具多样性，但不同来源的文体风格、术语使用和句法结构差异显著，对模型的泛化能力构成严峻考验。在构建过程中，挑战主要体现在多源数据对齐的复杂性上，例如从双语BBC新闻中提取精确平行句对需处理篇章级对齐的噪声，而Berita Jakarta和GlobalVoices等来源的文本格式不统一，增加了清洗与标准化难度。此外，数据集规模有限，可能无法充分覆盖低资源领域的翻译需求，同时双向评估需求（英译印与印译英）要求模型具备对称的语言理解能力，进一步提升了任务难度。

常用场景

经典使用场景

News En Id 数据集汇聚了来自泛亚网络本地化（PANL）、双语BBC新闻文章、雅加达新闻台及全球之声等多个新闻源的双语平行语料，专为英-印尼语和印尼-英语两个方向的机器翻译任务而设计。作为新闻领域的高质量平行语料库，它被广泛用于训练和评估神经机器翻译模型，尤其在处理新闻文本特有的术语、句式和风格时，为研究者提供了标准化的训练、验证与测试划分（75:10:15），成为印尼语与英语之间机器翻译性能基准测试的经典数据基石。

解决学术问题

该数据集有效解决了低资源语言对（印尼语-英语）在新闻领域机器翻译研究中平行语料匮乏的瓶颈问题。通过整合多个新闻来源，它克服了单一来源可能带来的领域偏差，为跨语言信息检索、多语言自然语言处理及机器翻译模型泛化能力研究提供了可靠数据支撑。其发布推动了印尼语相关NLP任务的标准化评估，使研究者能够更公平地对比不同翻译架构的性能，从而促进该语言对机器翻译学术探索的深入与规范化。

衍生相关工作

围绕该数据集，衍生出一系列经典研究工作。Guntara 等人（2020）基于此数据集提出了多领域英-印尼语机器翻译的基准测试框架，系统评估了不同翻译模型在新闻文本上的表现。SEACrowd 项目（2024）将其纳入东南亚语言多模态数据枢纽，进一步扩展了其作为多语言、多任务基准套件的应用边界。此外，后续研究常以此数据集作为对比基线，验证新提出的跨语言预训练模型或领域自适应翻译方法在印尼语上的有效性。