SEACrowd/ted_en_id

TED En-Id是一个机器翻译数据集，包含从TED演讲转录文本中收集的印尼语-英语平行句子。数据集被划分为训练集（75%）、验证集（10%）和测试集（15%），并在两个方向上进行评估：英语到印尼语（En → Id）和印尼语到英语（Id → En）。

TED En-Id is a machine translation dataset containing Indonesian-English parallel sentence pairs collected from transcribed texts of TED Talks. The dataset is split into training set (75%), validation set (10%) and test set (15%), and evaluated in both directions: English to Indonesian (En → Id) and Indonesian to English (Id → En).

原始信息汇总

数据集概述

基本信息

• 名称: Ted En Id
• 语言: 印度尼西亚语 (ind) 和 英语 (eng)
• 任务类别: 机器翻译
• 标签: 机器翻译

数据集描述

• 内容: 包含印度尼西亚语-英语平行句子的机器翻译数据集，源自TED演讲的转录文本。
• 划分: 数据集被分为训练集（75%）、验证集（10%）和测试集（15%）。
• 评估方向: 包括从英语到印度尼西亚语（En → Id）和从印度尼西亚语到英语（Id → En）的翻译。

支持的任务

• 机器翻译

数据集版本

• 源版本: 1.0.0
• SEACrowd版本: 2024.06.20

数据集许可证

• Creative Commons Attribution Share-Alike 4.0 International

引用

• 使用数据集时的引用信息:

  @inproceedings{qi2018and, title={When and Why Are Pre-Trained Word Embeddings Useful for Neural Machine Translation?}, author={Qi, Ye and Sachan, Devendra and Felix, Matthieu and Padmanabhan, Sarguna and Neubig, Graham}, booktitle={Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers)}, pages={529--535}, year={2018} }

  @inproceedings{cahyawijaya-etal-2021-indonlg, title={IndoNLG: Benchmark and Resources for Evaluating Indonesian Natural Language Generation}, author={Cahyawijaya, Samuel and Winata, Genta Indra and Wilie, Bryan and Vincentio, Karissa and Li, Xiaohong and Kuncoro, Adhiguna and Ruder, Sebastian and Lim, Zhi Yuan and Bahar, Syafri and Khodra, Masayu and Purwarianti, Ayu and Fung, Pascale}, booktitle={Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing}, month={nov}, year={2021}, address={Online and Punta Cana, Dominican Republic}, publisher={Association for Computational Linguistics}, url={https://aclanthology.org/2021.emnlp-main.699}, doi={10.18653/v1/2021.emnlp-main.699}, pages={8875--8898} }

  @article{lovenia2024seacrowd, title={SEACrowd: A Multilingual Multimodal Data Hub and Benchmark Suite for Southeast Asian Languages}, author={Holy Lovenia and Rahmad Mahendra and Salsabil Maulana Akbar and Lester James V. Miranda and Jennifer Santoso and Elyanah Aco and Akhdan Fadhilah and Jonibek Mansurov and Joseph Marvin Imperial and Onno P. Kampman and Joel Ruben Antony Moniz and Muhammad Ravi Shulthan Habibi and Frederikus Hudi and Railey Montalan and Ryan Ignatius and Joanito Agili Lopo and William Nixon and Börje F. Karlsson and James Jaya and Ryandito Diandaru and Yuze Gao and Patrick Amadeus and Bin Wang and Jan Christian Blaise Cruz and Chenxi Whitehouse and Ivan Halim Parmonangan and Maria Khelli and Wenyu Zhang and Lucky Susanto and Reynard Adha Ryanda and Sonny Lazuardi Hermawan and Dan John Velasco and Muhammad Dehan Al Kautsar and Willy Fitra Hendria and Yasmin Moslem and Noah Flynn and Muhammad Farid Adilazuarda and Haochen Li and Johanes Lee and R. Damanhuri and Shuo Sun and Muhammad Reza Qorib and Amirbek Djanibekov and Wei Qi Leong and Quyet V. Do and Niklas Muennighoff and Tanrada Pansuwan and Ilham Firdausi Putra and Yan Xu and Ngee Chia Tai and Ayu Purwarianti and Sebastian Ruder and William Tjhi and Peerat Limkonchotiwat and Alham Fikri Aji and Sedrick Keh and Genta Indra Winata and Ruochen Zhang and Fajri Koto and Zheng-Xin Yong and Samuel Cahyawijaya}, year={2024}, eprint={2406.10118}, journal={arXiv preprint arXiv: 2406.10118} }

搜集汇总

数据集介绍

构建方式

在机器翻译领域，高质量的双语平行语料库是构建稳健翻译系统的基石。TED En-Id数据集正是基于TED演讲字幕这一丰富且权威的多语资源构建而成，专注于印尼语与英语之间的翻译任务。其构建过程严谨，首先从TED演讲转录文本中系统性地提取印尼语-英语平行句对，随后按照75%、10%和15%的比例精心划分为训练集、验证集和测试集，确保了数据划分的合理性与实验的可复现性。

特点

该数据集具有鲜明的双语双向特性，不仅覆盖了英语到印尼语（En→Id）的翻译方向，还囊括了印尼语到英语（Id→En）的逆向翻译任务，为双向机器翻译模型的评估提供了对称且完整的测试基准。得益于TED演讲内容的广泛主题覆盖，语料库展现出丰富的领域多样性，同时其来源的权威性保证了语言质量的高度规范，使其成为低资源语言翻译研究中不可或缺的宝贵资源。

使用方法

研究人员可通过Hugging Face的datasets库便捷地加载该数据集，仅需一行代码`datasets.load_dataset("SEACrowd/ted_en_id", trust_remote_code=True)`即可完成调用。此外，数据集还深度集成于SEACrowd生态系统中，使用`seacrowd`库可灵活探索其所有可用子集配置，并支持通过`load_dataset_by_config_name`方法按需加载特定配置，为开展多维度、可定制的机器翻译实验提供了极大的便利性。

背景与挑战

背景概述

在自然语言处理领域，机器翻译作为一项核心任务，其性能高度依赖于大规模、高质量的平行语料库。TED En-Id数据集正是在这一背景下应运而生，它由IndoNLG团队于2021年构建，旨在填补印尼语与英语之间机器翻译资源的空白。该数据集从TED演讲转录文本中提取了印尼语-英语平行句对，并按照75%、10%、15%的比例划分为训练集、验证集和测试集，支持双向翻译任务。作为SEACrowd数据枢纽的重要组成部分，TED En-Id不仅为低资源语言的神经机器翻译研究提供了标准化基准，还推动了东南亚语言处理技术的发展，成为评估预训练词向量和翻译模型有效性的关键资源。

当前挑战

TED En-Id数据集所面临的挑战主要体现在两个层面。首先，在领域问题层面，机器翻译任务本身需要应对语言对之间的句法差异、词汇歧义以及文化特定表达的准确转换，尤其是印尼语作为低资源语言，缺乏充足的高质量语料，导致模型在复杂语境下的翻译质量受限。其次，在数据集构建过程中，从TED演讲转录文本中提取平行句对面临对齐精度不足的难题，演讲内容的口语化风格和主题多样性增加了噪声过滤的难度，同时数据规模较小（仅包含有限句对）限制了深度学习模型的泛化能力。此外，不同标注版本间的兼容性以及许可证的合规性管理，也为数据集的长期维护和跨研究复用带来了额外挑战。

常用场景

经典使用场景

TED En-Id数据集的核心应用场景在于机器翻译领域，特别是针对印尼语与英语之间的双向翻译任务。该数据集从TED演讲的转录文本中提取平行句对，经过精心划分，将75%的数据用于训练，10%用于验证，15%用于测试，为神经机器翻译模型的训练与评估提供了标准化的基准。研究者常借助此数据集，探索在资源相对匮乏的语言对（如印尼语-英语）上，如何有效构建高性能的翻译系统，并评估不同架构（如Transformer、预训练语言模型微调）的翻译质量。

实际应用

在实际应用中，TED En-Id数据集支撑了多项面向印尼语用户的跨语言信息服务。基于此数据集训练的翻译模型可嵌入到实时字幕生成、多语言会议系统、教育平台内容本地化以及社交媒体跨语言交流等场景中。例如，印尼语使用者可通过英译印尼模型获取全球知识资源，而英语使用者则能利用印尼译英模型理解当地信息。此外，该数据集也被用于开发印尼语与其他东南亚语言联合翻译的多语言系统，促进了区域间信息无障碍流通。

衍生相关工作

TED En-Id数据集衍生出多项经典工作，其中最具代表性的是IndoNLG基准测试的建立。Cahyawijaya等人（2021）在构建IndoNLG时，将TED En-Id作为机器翻译任务的核心数据源之一，并在此基础上预训练了IndoBART与IndoGPT模型。这些模型在仅使用五分之一参数量的情况下，即达到了与大型多语言模型mBART-large相匹敌的性能，凸显了针对特定语言族进行预训练的效率优势。此外，SEACrowd数据枢纽将该数据集整合进东南亚多语言多模态基准套件，进一步扩展了其在跨语言评估中的影响力。