SEACrowd/cc_aligned_doc

CCAligned数据集包含137种语言与英语对齐的平行或可比网页文档对，其中10种语言来自东南亚地区（包括印尼语、巽他语、泰语、越南语、马来语、老挝语、高棉语、缅甸语、宿务语和瓦瑞语）。这些网页文档对通过对原始网页文档进行语言识别，并确保网页文档的URL中的语言代码对应，从而构建而成。这种模式匹配方法生成了超过1亿个与英语对齐的文档对。数据集的主要任务是机器翻译，支持使用`datasets`和`seacrowd`库进行加载。

原始信息汇总

Cc Aligned Doc 数据集概述

基本信息

• 名称: Cc Aligned Doc
• 语言:
  • 印度尼西亚语 (ind)
  • 巽他语 (sun)
  • 泰语 (tha)
  • 越南语 (vie)
  • 马来语 (zlm)
  • 老挝语 (lao)
  • 高棉语 (khm)
  • 缅甸语 (mya)
  • 宿务语 (ceb)
  • 瓦瑞语 (war)
• 任务类别: 机器翻译
• 标签: 机器翻译

数据集描述

CCAligned 包含137种语言与英语对齐的平行或可比对的网页文档对（其中10种语言来自东南亚；缅甸语有两个不同脚本的文档集合）。这些网页文档对是通过对原始网页文档进行语言识别，并确保网页文档的URL中的相应语言代码对应而构建的。这种模式匹配方法产生了超过1亿对与英语对齐的文档。

支持的任务

• 机器翻译

数据集版本

• 源版本: 1.0.0
• SEACrowd版本: 2024.06.20

数据集许可证

• 未知

引用

@inproceedings{elkishky_ccaligned_2020, author = {El-Kishky, Ahmed and Chaudhary, Vishrav and Guzm{a}n, Francisco and Koehn, Philipp}, booktitle = {Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP 2020)}, month = {November}, title = {{CCAligned}: A Massive Collection of Cross-lingual Web-Document Pairs}, year = {2020} address = "Online", publisher = "Association for Computational Linguistics", url = "https://www.aclweb.org/anthology/2020.emnlp-main.480", doi = "10.18653/v1/2020.emnlp-main.480", pages = "5960--5969" }

@article{lovenia2024seacrowd, title={SEACrowd: A Multilingual Multimodal Data Hub and Benchmark Suite for Southeast Asian Languages}, author={Holy Lovenia and Rahmad Mahendra and Salsabil Maulana Akbar and Lester James V. Miranda and Jennifer Santoso and Elyanah Aco and Akhdan Fadhilah and Jonibek Mansurov and Joseph Marvin Imperial and Onno P. Kampman and Joel Ruben Antony Moniz and Muhammad Ravi Shulthan Habibi and Frederikus Hudi and Railey Montalan and Ryan Ignatius and Joanito Agili Lopo and William Nixon and Börje F. Karlsson and James Jaya and Ryandito Diandaru and Yuze Gao and Patrick Amadeus and Bin Wang and Jan Christian Blaise Cruz and Chenxi Whitehouse and Ivan Halim Parmonangan and Maria Khelli and Wenyu Zhang and Lucky Susanto and Reynard Adha Ryanda and Sonny Lazuardi Hermawan and Dan John Velasco and Muhammad Dehan Al Kautsar and Willy Fitra Hendria and Yasmin Moslem and Noah Flynn and Muhammad Farid Adilazuarda and Haochen Li and Johanes Lee and R. Damanhuri and Shuo Sun and Muhammad Reza Qorib and Amirbek Djanibekov and Wei Qi Leong and Quyet V. Do and Niklas Muennighoff and Tanrada Pansuwan and Ilham Firdausi Putra and Yan Xu and Ngee Chia Tai and Ayu Purwarianti and Sebastian Ruder and William Tjhi and Peerat Limkonchotiwat and Alham Fikri Aji and Sedrick Keh and Genta Indra Winata and Ruochen Zhang and Fajri Koto and Zheng-Xin Yong and Samuel Cahyawijaya}, year={2024}, eprint={2406.10118}, journal={arXiv preprint arXiv: 2406.10118} }

搜集汇总

数据集介绍

构建方式

CCAligned数据集旨在应对跨语言机器翻译中平行语料匮乏的挑战，其构建方式独具匠心。研究团队通过对原始网络文档执行语言识别，并利用URL中隐含的语言代码进行模式匹配，从而高效地挖掘出与英语对齐的文档对。这一创新性的流水线作业，无需依赖昂贵的翻译服务或人工标注，即可在137种语言中（其中10种为东南亚语言）自动生成超过一亿个跨语言网络文档对，为低资源语言的神经机器翻译研究提供了坚实的语料基础。

特点

该数据集最显著的特征在于其庞大的规模与广泛的语种覆盖。它囊括了包括印度尼西亚语、巽他语、泰语、越南语、马来语、老挝语、高棉语、缅甸语、宿务语和瓦瑞语在内的多种东南亚语言，有效弥补了该区域语言资源的空白。此外，CCAligned不仅包含严格意义上互译的平行语料，也收录了内容主题相似的比较语料，这种灵活性极大地丰富了数据多样性，使其成为训练鲁棒性翻译模型、进行跨语言信息检索及语言学研究的多功能基石。

使用方法

使用者可通过HuggingFace的`datasets`库便捷调用，仅需一行代码`load_dataset("SEACrowd/cc_aligned_doc", trust_remote_code=True)`即可加载数据集。对于偏好SEACrowd生态的用户，亦可借助`seacrowd`库，通过`sc.load_dataset("cc_aligned_doc", schema="seacrowd")`方法，并利用`available_config_names`函数探索其内部丰富的子集配置，从而灵活选取特定语言对或数据子集，以适应不同的机器翻译模型训练与评估需求。

背景与挑战

背景概述

CCAligned数据集由艾哈迈德·埃尔-基什基（Ahmed El-Kishky）、维什拉夫·乔杜里（Vishrav Chaudhary）、弗朗西斯科·古斯曼（Francisco Guzmán）和菲利普·科恩（Philipp Koehn）于2020年在EMNLP会议上提出，旨在解决跨语言网络文档对齐这一核心研究问题。该数据集通过语言识别技术从原始网络文档中提取平行或可比较的文档对，并利用URL中的语言代码模式匹配方法，构建了超过1亿个与英语对齐的文档对，覆盖137种语言，其中包含印度尼西亚语、巽他语、泰语、越南语、马来语、老挝语、高棉语、缅甸语、宿务语和瓦瑞语等10种东南亚语言。CCAligned的发布极大地推动了机器翻译领域的发展，为低资源语言翻译模型的训练提供了大规模、高质量的数据基础，成为跨语言自然语言处理研究的重要资源。

当前挑战

CCAligned数据集面临的核心挑战在于其构建过程与领域应用的复杂性。首先，在构建过程中，依赖URL模式匹配进行语言对齐的方法可能引入噪声，例如不同语言文档共享相似URL结构导致错误对齐，或语言识别模型在低资源语言上的准确率不足，影响文档对的质量。其次，从领域问题来看，机器翻译任务要求数据集具备高平行度，但网络文档对往往属于可比文档而非严格平行语料，存在内容不对等、风格差异或语义偏差，这给模型训练带来挑战。此外，数据集覆盖的东南亚语言中，部分语言（如缅甸语）存在多种文字体系，进一步增加了数据清洗与标准化难度。这些挑战限制了数据集在高质量翻译模型开发中的直接应用，需要后续的过滤与校正策略来提升其可用性。

常用场景

经典使用场景

CCAligned数据集汇聚了跨越137种语言、与英语对齐的海量网络文档对，其中涵盖印尼语、巽他语、泰语、越南语、马来语、老挝语、高棉语、缅甸语、宿务语和瓦瑞语等十种东南亚语言。该数据集的核心价值在于为机器翻译研究提供了规模空前的跨语言平行语料资源，尤其适用于低资源语言翻译模型的训练与评估。研究者可借助这些从网络文档中自动挖掘的文档级对齐数据，构建稳健的神经机器翻译系统，推动东南亚语言与英语之间的双向翻译能力提升。其基于URL模式匹配的构建策略，确保了数据的高覆盖度与领域多样性，为跨语言自然语言处理任务奠定了坚实基础。

衍生相关工作

CCAligned数据集的发布催生了一系列具有影响力的后续研究工作。在方法层面，研究者基于该数据集提出了针对低资源语言的无监督跨语言词嵌入对齐技术，以及利用文档级上下文增强翻译一致性的多任务学习框架。在模型层面，它被用于预训练多语言Transformer模型，如mBART和XLM-R的东南亚语言版本扩展，显著提升了这些模型在该区域的泛化能力。此外，该数据集还推动了跨语言信息检索与问答系统的基准测试构建，衍生出如SEACrowd等面向东南亚语言的多模态数据枢纽与评测套件，为系统性评估语言技术进展提供了标准化平台。

数据集最近研究

最新研究方向

当前，低资源语言机器翻译研究正聚焦于跨语言数据稀缺的瓶颈问题，CCAligned数据集凭借其覆盖东南亚10种语言（如巽他语、爪哇语、缅甸语）的大规模平行文档对，成为推动该区域神经翻译模型突破的关键基石。前沿方向包括利用其URL模式匹配构建的百亿级双语语料，结合多任务学习与无监督预训练技术，显著提升低资源语种的翻译质量。该数据集最新被整合至SEACrowd数据枢纽，与SEA-Benchmark等评测体系联动，直接支撑了东南亚多语言NLP生态系统的构建。其影响在于为缺乏电子资源的语言（如老挝语、高棉语）提供了可复用的数据基础设施，加速了全球化与本地化场景下的技术普惠，尤其在东盟数字经济发展中具有战略意义。