SEACrowd/scb_mt_en_th

Scb Mt En Th数据集是一个大规模的英泰平行语料库，主要用于机器翻译任务。该数据集包含超过100万对英泰平行语料，数据来源包括新闻、维基百科文章、短信、任务对话、网络爬取数据和政府文件。数据集的构建过程包括数据收集、平行文本构建和噪声句子对去除，并且以可重复的方式呈现。基于该数据集训练的机器翻译模型在泰英和英泰翻译任务中表现优异，尤其是在包含Open Parallel Corpus (OPUS)时，性能超过了Google Translation API（截至2020年5月）。数据集、预训练模型和源代码均公开可用。

原始信息汇总

Scb Mt En Th 数据集概述

数据集简介

• 名称: Scb Mt En Th
• 任务类别: 机器翻译
• 语言: 泰语 (tha), 英语 (eng)
• 规模: 包含超过100万对英泰平行语料
• 来源: 新闻、维基百科文章、短信、任务型对话、网络爬取数据和政府文档
• 方法: 数据收集、构建平行文本和去噪句对的方法可复现
• 性能: 训练的机器翻译模型性能与Google翻译API相当（截至2020年5月），在包含Open Parallel Corpus (OPUS) 数据时表现更优

数据集版本

• 源版本: 1.0.0
• SEACrowd版本: 2024.06.20

数据集使用

使用 datasets 库

python from datasets import load_dataset dset = datasets.load_dataset("SEACrowd/scb_mt_en_th", trust_remote_code=True)

使用 seacrowd 库

python import seacrowd as sc

使用默认配置加载数据集

dset = sc.load_dataset("scb_mt_en_th", schema="seacrowd")

查看数据集的所有可用子集（配置名称）

print(sc.available_config_names("scb_mt_en_th"))

使用特定配置加载数据集

dset = sc.load_dataset_by_config_name(config_name="<config_name>")

数据集主页

• https://github.com/vistec-AI/thai2nmt

数据集许可证

• Creative Commons Attribution Share Alike 4.0 (cc-by-sa-4.0)

引用

plaintext @article{Lowphansirikul2021, author={Lowphansirikul, Lalita and Polpanumas, Charin and Rutherford, Attapol T. and Nutanong, Sarana}, title={A large English--Thai parallel corpus from the web and machine-generated text}, journal={Language Resources and Evaluation}, year={2021}, month={Mar}, day={30}, issn={1574-0218}, doi={10.1007/s10579-021-09536-6}, url={https://doi.org/10.1007/s10579-021-09536-6} }

@article{lovenia2024seacrowd, title={SEACrowd: A Multilingual Multimodal Data Hub and Benchmark Suite for Southeast Asian Languages}, author={Holy Lovenia and Rahmad Mahendra and Salsabil Maulana Akbar and Lester James V. Miranda and Jennifer Santoso and Elyanah Aco and Akhdan Fadhilah and Jonibek Mansurov and Joseph Marvin Imperial and Onno P. Kampman and Joel Ruben Antony Moniz and Muhammad Ravi Shulthan Habibi and Frederikus Hudi and Railey Montalan and Ryan Ignatius and Joanito Agili Lopo and William Nixon and Börje F. Karlsson and James Jaya and Ryandito Diandaru and Yuze Gao and Patrick Amadeus and Bin Wang and Jan Christian Blaise Cruz and Chenxi Whitehouse and Ivan Halim Parmonangan and Maria Khelli and Wenyu Zhang and Lucky Susanto and Reynard Adha Ryanda and Sonny Lazuardi Hermawan and Dan John Velasco and Muhammad Dehan Al Kautsar and Willy Fitra Hendria and Yasmin Moslem and Noah Flynn and Muhammad Farid Adilazuarda and Haochen Li and Johanes Lee and R. Damanhuri and Shuo Sun and Muhammad Reza Qorib and Amirbek Djanibekov and Wei Qi Leong and Quyet V. Do and Niklas Muennighoff and Tanrada Pansuwan and Ilham Firdausi Putra and Yan Xu and Ngee Chia Tai and Ayu Purwarianti and Sebastian Ruder and William Tjhi and Peerat Limkonchotiwat and Alham Fikri Aji and Sedrick Keh and Genta Indra Winata and Ruochen Zhang and Fajri Koto and Zheng-Xin Yong and Samuel Cahyawijaya}, year={2024}, eprint={2406.10118}, journal={arXiv preprint arXiv: 2406.10118} }

搜集汇总

数据集介绍

构建方式

在机器翻译领域，高质量平行语料库的构建是推动模型性能提升的关键基石。SEACrowd/scb_mt_en_th数据集正是为此而生，它是一个大规模英泰平行语料库，汇聚了超过100万条句对。这些句对精心遴选自新闻、维基百科文章、短信、任务型对话、网络爬取数据以及政府文件等多种来源，确保了语料的多样性与覆盖面。构建过程中，研究者遵循可复现的方法论，系统性地收集数据、构建平行文本，并通过严谨的噪声过滤机制剔除低质量句对，最终打造出这一高质量的英泰翻译数据集。

特点

该数据集的核心优势在于其规模宏大与来源多元，覆盖了从正式文体到日常交流的广泛语言场景，为英泰机器翻译模型的训练提供了丰富的语言现象。基于此数据集训练的翻译模型，其性能在泰英翻译任务上可与谷歌翻译API（截至2020年5月）相媲美，而当纳入开放平行语料库（OPUS）进行联合训练时，模型在泰英和英泰双向翻译上均展现出超越谷歌翻译的卓越表现。此外，数据集、预训练模型及复现代码均以开源形式发布，极大地促进了研究的可复现性与社区协作。

使用方法

研究者可通过HuggingFace的datasets库便捷加载该数据集，使用`load_dataset("SEACrowd/scb_mt_en_th", trust_remote_code=True)`命令即可获取。同时，SEACrowd生态提供了更灵活的使用方式，借助`seacrowd`库，用户能够通过`sc.load_dataset("scb_mt_en_th", schema="seacrowd")`加载默认配置，或利用`available_config_names`方法探索所有子集，再通过`load_dataset_by_config_name`指定具体配置进行调用。这种多层次的数据加载接口设计，既满足了快速实验的需求，也为深入研究提供了细粒度的控制能力。

背景与挑战

背景概述

机器翻译作为自然语言处理领域的核心任务，其性能高度依赖于大规模、高质量平行语料库的可用性。然而，对于泰语与英语这类资源匮乏的语言对，公开可用的平行语料极为有限，严重制约了相关研究的进展。为填补这一空白，Lalita Lowphansirikul、Charin Polpanumas、Attapol T. Rutherford 及 Sarana Nutanong 等研究人员于2021年构建了 Scb Mt En Th 数据集。该数据集由泰国 VISTEC 科学技术研究所主导创建，汇聚了来自新闻、维基百科、短信、任务型对话、网络爬取数据及政府文件等多元来源的逾百万条句对，旨在为英泰机器翻译提供大规模训练资源。通过系统化的数据收集、平行文本构建及噪声过滤方法，该数据集显著提升了翻译模型的性能，其效果可媲美2020年5月的谷歌翻译API，且在融合公开平行语料库（OPUS）后甚至实现了超越。这一成果不仅推动了泰语自然语言处理的发展，也为低资源语言机器翻译研究树立了标杆。

当前挑战

Scb Mt En Th 数据集所应对的核心挑战在于英泰语言对机器翻译中高质量平行语料的稀缺性。泰语作为一种低资源语言，其形态丰富且与英语在语法结构上差异显著，导致直接利用公开语料训练的模型常出现语义偏差与翻译不流畅等问题。为此，研究团队从异构数据源（如非正式短信与正式政府文件）中提取句对，并设计了一套可复现的噪声过滤流程，以剔除语序错乱、语义不匹配的低质量样本。在构建过程中，团队面临了多重技术难题：跨领域语料的标注一致性难以保证，网络爬取数据中混杂大量无关或重复内容，以及非标准泰语文本（如口语化表达）的规范化处理。此外，确保数据集在学术与商业场景下的通用性，同时平衡版权合规性（采用 CC-BY-SA-4.0 许可），也是落地应用的关键障碍。

常用场景

经典使用场景

在神经机器翻译领域，SEACrowd/scb_mt_en_th数据集作为大规模英泰平行语料库，其经典使用场景在于训练和评估英泰双向翻译模型。该数据集汇集了来自新闻、维基百科、短信、任务型对话、网络爬取文本及政府文件等多元领域的逾百万句对，为构建鲁棒的机器翻译系统提供了丰富且均衡的语料基础。研究者常以此为基础，通过Transformer等架构训练基线模型，并对比Google翻译API等商业系统，验证其在泰语-英语翻译任务上的竞争力。

实际应用

在实际应用中，该数据集支撑了泰语与英语间的自动化翻译服务，广泛应用于跨境电商、旅游导览、政府文档处理及跨语言社交媒体分析等场景。例如，企业可基于此数据集微调模型，实现产品描述或客户咨询的实时英泰互译；旅游平台利用其提升菜单、景点介绍等内容的本地化效率。此外，数据集中的任务型对话子集还可用于开发智能客服系统，处理多语言用户请求，从而降低人工翻译成本，加速信息流通。

衍生相关工作

该数据集衍生了一系列相关工作，包括但不限于基于其语料训练的预训练语言模型（如Thai2nmt系列）以及针对泰语-英语的低资源神经机器翻译方法改进。研究者进一步探索了数据增强技术（如回译、噪声注入）以提升翻译质量，并基于该基准评估了跨语言词嵌入、多任务学习等策略的有效性。此外，scb_mt_en_th也被纳入SEACrowd数据枢纽，成为东南亚语言多模态基准套件的一部分，促进了区域语言处理领域的标准化评测与模型对比。