SEACrowd/id_wiki_parallel

Id Wiki Parallel数据集设计用于机器翻译任务，特别是jav->ind, min->ind, sun->ind及其反向翻译。数据来源于维基百科的句子。该数据集在信息检索（IR）和自然语言处理（NLP）中尤为重要，特别是对于低资源语言如印尼的民族语言。数据集的使用方法包括使用`datasets`库和`seacrowd`库加载数据。此外，数据集还提供了版本信息、许可证信息以及引用文献。

The Id Wiki Parallel dataset is designed for machine translation tasks, specifically jav->ind, min->ind, sun->ind, and vice versa. The data are taken from sentences in Wikipedia. This dataset is particularly important for information retrieval (IR) and natural language processing (NLP), especially for low-resource languages such as ethnic languages in Indonesia. The dataset usage includes loading data using the `datasets` library and the `seacrowd` library. Additionally, the dataset provides version information, license information, and citation references.

原始信息汇总

数据集概述

语言

• ind
• jav
• min
• sun

支持任务

• 机器翻译

数据集使用

使用 datasets 库

python from datasets import load_dataset dset = datasets.load_dataset("SEACrowd/id_wiki_parallel", trust_remote_code=True)

使用 seacrowd 库

python import seacrowd as sc

加载数据集使用默认配置

dset = sc.load_dataset("id_wiki_parallel", schema="seacrowd")

检查数据集的所有可用子集（配置名称）

print(sc.available_config_names("id_wiki_parallel"))

使用特定配置加载数据集

dset = sc.load_dataset_by_config_name(config_name="<config_name>")

数据集主页

• https://github.com/dindainastra/indowikiparalelcorpora

数据集版本

• 源版本: 1.0.0
• SEACrowd版本: 2024.06.20

数据集许可证

• 未知

引用

@INPROCEEDINGS{ 7065828, author={Trisedya, Bayu Distiawan and Inastra, Dyah}, booktitle={2014 International Conference on Advanced Computer Science and Information System}, title={Creating Indonesian-Javanese parallel corpora using wikipedia articles}, year={2014}, volume={}, number={}, pages={239-245}, doi={10.1109/ICACSIS.2014.7065828}}

@article{lovenia2024seacrowd, title={SEACrowd: A Multilingual Multimodal Data Hub and Benchmark Suite for Southeast Asian Languages}, author={Holy Lovenia and Rahmad Mahendra and Salsabil Maulana Akbar and Lester James V. Miranda and Jennifer Santoso and Elyanah Aco and Akhdan Fadhilah and Jonibek Mansurov and Joseph Marvin Imperial and Onno P. Kampman and Joel Ruben Antony Moniz and Muhammad Ravi Shulthan Habibi and Frederikus Hudi and Railey Montalan and Ryan Ignatius and Joanito Agili Lopo and William Nixon and Börje F. Karlsson and James Jaya and Ryandito Diandaru and Yuze Gao and Patrick Amadeus and Bin Wang and Jan Christian Blaise Cruz and Chenxi Whitehouse and Ivan Halim Parmonangan and Maria Khelli and Wenyu Zhang and Lucky Susanto and Reynard Adha Ryanda and Sonny Lazuardi Hermawan and Dan John Velasco and Muhammad Dehan Al Kautsar and Willy Fitra Hendria and Yasmin Moslem and Noah Flynn and Muhammad Farid Adilazuarda and Haochen Li and Johanes Lee and R. Damanhuri and Shuo Sun and Muhammad Reza Qorib and Amirbek Djanibekov and Wei Qi Leong and Quyet V. Do and Niklas Muennighoff and Tanrada Pansuwan and Ilham Firdausi Putra and Yan Xu and Ngee Chia Tai and Ayu Purwarianti and Sebastian Ruder and William Tjhi and Peerat Limkonchotiwat and Alham Fikri Aji and Sedrick Keh and Genta Indra Winata and Ruochen Zhang and Fajri Koto and Zheng-Xin Yong and Samuel Cahyawijaya}, year={2024}, eprint={2406.10118}, journal={arXiv preprint arXiv: 2406.10118} }

搜集汇总

数据集介绍

构建方式

在机器翻译领域，平行语料库的构建是推动多语言自然语言处理研究的关键基石，尤其对于印度尼西亚爪哇语、米南语、巽他语等低资源民族语言而言，其稀缺性长期制约着相关技术的发展。为此，研究团队创新性地探索了维基百科作为平行语料来源的可行性，基于句子对齐技术构建了Id Wiki Parallel数据集。该语料库从维基百科多语言文章中提取句子对，针对爪哇语-印度尼西亚语、米南语-印度尼西亚语、巽他语-印度尼西亚语及其反向翻译任务，采用两种对齐策略：在平行语料场景中，利用句子长度与词汇对应关系进行对齐；在可比语料场景中，则借助维基百科超链接的结构特征实现跨语言句子匹配。实验表明，这两种方法均能有效从维基百科中挖掘出高质量的双语平行句对。

特点

该数据集的核心特色在于其针对印度尼西亚低资源民族语言的机器翻译任务进行了专门设计，覆盖了爪哇语、米南语、巽他语与印度尼西亚语之间的双向翻译。数据来源的独特性使其区别于传统人工收集的平行语料，维基百科的多语言共存特性为自动获取大规模平行句对提供了可能。同时，数据集在构建过程中融合了两种互补的对齐方法，既利用了统计特征（句子长度与词汇对应），又挖掘了维基百科特有的超文本结构信息，这种混合策略显著提升了低资源语言对的语料覆盖范围与对齐精度。此外，该语料库支持灵活的加载方式，既可通过HuggingFace的datasets库直接使用，也可通过SEACrowd生态的seacrowd库按不同配置进行调用，便于研究者根据特定任务需求选取子集。

使用方法

使用该数据集进行机器翻译研究时，研究者可通过HuggingFace的datasets库便捷加载，仅需一行代码即可获取完整语料：from datasets import load_dataset; dset = load_dataset('SEACrowd/id_wiki_parallel', trust_remote_code=True)。对于需要更精细控制的场景，SEACrowd库提供了丰富的接口：首先通过sc.load_dataset('id_wiki_parallel', schema='seacrowd')加载默认配置，随后利用sc.available_config_names('id_wiki_parallel')查看所有可用的子集名称，最后通过sc.load_dataset_by_config_name(config_name='<config_name>')指定特定语言对或对齐策略的子集。这种分层加载机制使得研究者能够灵活地针对爪哇语-印度尼西亚语等具体任务进行实验，同时便于复现与对比不同对齐方法的效果。

背景与挑战

背景概述

在自然语言处理领域，机器翻译作为核心任务之一，其性能高度依赖于大规模、高质量的平行语料库。然而，对于印度尼西亚的爪哇语、米南佳保语、巽他语等低资源民族语言，由于缺乏数字化资源与系统性的标注工作，平行语料的构建长期面临瓶颈。2014年，Bayu Distiawan Trisedya与Dyah Inastra等研究者提出利用维基百科这一多语言开放平台，探索自动对齐句子以生成平行语料的方法，由此创建了Id Wiki Parallel数据集。该数据集旨在支持爪哇语、米南佳保语、巽他语与印尼语之间的双向机器翻译，填补了低资源语言在信息检索与自然语言处理研究中的语料空白。其研究不仅验证了维基百科作为平行语料来源的可行性，也为东南亚地区低资源语言的技术发展奠定了重要基础。

当前挑战

该数据集所面临的挑战首先体现在领域问题上：低资源民族语言的机器翻译任务本身即存在数据稀疏、形态丰富、语法结构差异显著等困难，导致模型泛化能力不足。其次，在数据集构建过程中，研究者需克服维基百科文章结构松散、句子对齐精度受跨语言内容差异影响的问题。由于民族语言与印尼语并非严格平行，采用基于句子长度与词汇对应的方法易引入噪声，而基于超文本链接的可比语料方法则面临篇章级对齐不稳定的困境。此外，数据集来源为2014年的维基百科快照，其时效性与覆盖范围有限，难以反映当代语言演变与新兴术语，进一步限制了其在现代神经机器翻译模型中的适用性。

常用场景

经典使用场景

SEACrowd/id_wiki_parallel 数据集专为机器翻译任务而设计，聚焦于印度尼西亚语（ind）与爪哇语（jav）、米南加保语（min）、巽他语（sun）之间的双向翻译。该数据集从维基百科中提取句子对，构建了平行语料库，为低资源民族语言的神经机器翻译研究提供了宝贵的训练与评估资源。其经典使用场景在于，利用这些高质量的双语对齐句子，训练和优化序列到序列模型，从而提升民族语言与官方语言之间的翻译质量，推动多语言自然语言处理技术的发展。

解决学术问题

该数据集解决了低资源民族语言平行语料匮乏的学术难题。在信息检索与自然语言处理领域，平行语料库是多语言研究的基础，但如爪哇语、米南加保语等民族语言通常因缺乏数字化资源而难以获取。SEACrowd/id_wiki_parallel 通过系统化地从维基百科中抽取并对齐句子，验证了维基百科作为平行语料来源的可行性，为民族语言的机器翻译、跨语言信息检索及对比语言学分析提供了可靠数据支撑，显著促进了低资源语言在学术研究中的可及性与应用。

衍生相关工作

该数据集衍生了一系列经典工作，包括基于维基百科句对齐方法的系统比较研究，以及针对低资源语言的神经机器翻译模型改进。原始论文探索了基于句子长度与词汇对应关系的平行语料对齐方法，以及利用超文本链接特征的比较语料对齐策略，为后续研究者提供了方法论基础。此外，该数据集被集成至 SEACrowd 数据枢纽，成为东南亚多语言研究基准套件的一部分，催生了诸如跨语言预训练模型微调、民族语言词嵌入学习等相关工作，推动了区域语言技术的整体进步。