SEACrowd/scb_mt_en_th

Scb Mt En Th数据集是一个大规模的英泰平行语料库，主要用于机器翻译任务。该数据集包含超过100万对英泰平行语料，数据来源包括新闻、维基百科文章、短信、任务对话、网络爬取数据和政府文件。数据集的构建过程包括数据收集、平行文本构建和噪声句子对去除，并且以可重复的方式呈现。基于该数据集训练的机器翻译模型在泰英和英泰翻译任务中表现优异，尤其是在包含Open Parallel Corpus (OPUS)时，性能超过了Google Translation API（截至2020年5月）。数据集、预训练模型和源代码均公开可用。

原始信息汇总

Scb Mt En Th 数据集概述

数据集简介

• 名称: Scb Mt En Th
• 任务类别: 机器翻译
• 语言: 泰语 (tha), 英语 (eng)
• 规模: 包含超过100万对英泰平行语料
• 来源: 新闻、维基百科文章、短信、任务型对话、网络爬取数据和政府文档
• 方法: 数据收集、构建平行文本和去噪句对的方法可复现
• 性能: 训练的机器翻译模型性能与Google翻译API相当（截至2020年5月），在包含Open Parallel Corpus (OPUS) 数据时表现更优

数据集版本

• 源版本: 1.0.0
• SEACrowd版本: 2024.06.20

数据集使用

使用 datasets 库

python from datasets import load_dataset dset = datasets.load_dataset("SEACrowd/scb_mt_en_th", trust_remote_code=True)

使用 seacrowd 库

python import seacrowd as sc

使用默认配置加载数据集

dset = sc.load_dataset("scb_mt_en_th", schema="seacrowd")

查看数据集的所有可用子集（配置名称）

print(sc.available_config_names("scb_mt_en_th"))

使用特定配置加载数据集

dset = sc.load_dataset_by_config_name(config_name="<config_name>")

数据集主页

• https://github.com/vistec-AI/thai2nmt

数据集许可证

• Creative Commons Attribution Share Alike 4.0 (cc-by-sa-4.0)

引用

plaintext @article{Lowphansirikul2021, author={Lowphansirikul, Lalita and Polpanumas, Charin and Rutherford, Attapol T. and Nutanong, Sarana}, title={A large English--Thai parallel corpus from the web and machine-generated text}, journal={Language Resources and Evaluation}, year={2021}, month={Mar}, day={30}, issn={1574-0218}, doi={10.1007/s10579-021-09536-6}, url={https://doi.org/10.1007/s10579-021-09536-6} }

@article{lovenia2024seacrowd, title={SEACrowd: A Multilingual Multimodal Data Hub and Benchmark Suite for Southeast Asian Languages}, author={Holy Lovenia and Rahmad Mahendra and Salsabil Maulana Akbar and Lester James V. Miranda and Jennifer Santoso and Elyanah Aco and Akhdan Fadhilah and Jonibek Mansurov and Joseph Marvin Imperial and Onno P. Kampman and Joel Ruben Antony Moniz and Muhammad Ravi Shulthan Habibi and Frederikus Hudi and Railey Montalan and Ryan Ignatius and Joanito Agili Lopo and William Nixon and Börje F. Karlsson and James Jaya and Ryandito Diandaru and Yuze Gao and Patrick Amadeus and Bin Wang and Jan Christian Blaise Cruz and Chenxi Whitehouse and Ivan Halim Parmonangan and Maria Khelli and Wenyu Zhang and Lucky Susanto and Reynard Adha Ryanda and Sonny Lazuardi Hermawan and Dan John Velasco and Muhammad Dehan Al Kautsar and Willy Fitra Hendria and Yasmin Moslem and Noah Flynn and Muhammad Farid Adilazuarda and Haochen Li and Johanes Lee and R. Damanhuri and Shuo Sun and Muhammad Reza Qorib and Amirbek Djanibekov and Wei Qi Leong and Quyet V. Do and Niklas Muennighoff and Tanrada Pansuwan and Ilham Firdausi Putra and Yan Xu and Ngee Chia Tai and Ayu Purwarianti and Sebastian Ruder and William Tjhi and Peerat Limkonchotiwat and Alham Fikri Aji and Sedrick Keh and Genta Indra Winata and Ruochen Zhang and Fajri Koto and Zheng-Xin Yong and Samuel Cahyawijaya}, year={2024}, eprint={2406.10118}, journal={arXiv preprint arXiv: 2406.10118} }