SEACrowd/gatitos

GATITOS（Google的附加翻译到尾部语言：通常较短）数据集是一个高质量的多语言并行数据集，包含4000个英语片段（4500个词），这些片段被翻译成173种语言，其中170种是低资源语言，23种在东南亚使用。数据集主要由短片段组成：93%是单个词，只有23个句子（0.6%）超过5个词。因此，它最好被视为多语言词典，而不是并行训练语料库。源文本是英语中的常用词，以及一些常见短语和短句。特别注意确保它们包括数字、月份、星期几、斯瓦迪士词和语言名称（包括本地名称）的良好覆盖。

原始信息汇总

GATITOS 数据集概述

数据集描述

GATITOS（Googles Additional Translations Into Tail-languages: Often Short）数据集是一个高质量的多语言平行数据集，包含标记和短语。该数据集包含4,000个英语片段（4,500个标记），已被翻译成173种语言，其中170种是低资源语言，23种在东南亚使用。数据集主要包含短片段：93%是单个标记，只有23个句子（0.6%）超过5个标记。因此，它更适合被视为多语言词典，而不是平行训练语料库。源文本是英语中的常用词汇，以及一些常见短语和短句。特别注意确保涵盖数字、月份、星期几、Swadesh词汇以及语言本身的名称（包括自称的名称）。

语言

ace, ban, bbc, bew, bjn, bts, btx, bug, cnh, hil, iba, ilo, kac, lus, mad, mak, meo, min, pag, pam, shn, tet, war

支持的任务

机器翻译

数据集使用

使用 datasets 库

python from datasets import load_dataset dset = datasets.load_dataset("SEACrowd/gatitos", trust_remote_code=True)

使用 seacrowd 库

python import seacrowd as sc

使用默认配置加载数据集

dset = sc.load_dataset("gatitos", schema="seacrowd")

检查数据集的所有可用子集（配置名称）

print(sc.available_config_names("gatitos"))

使用特定配置加载数据集

dset = sc.load_dataset_by_config_name(config_name="<config_name>")

数据集版本

• 源版本: 1.0.0
• SEACrowd版本: 2024.06.20

数据集许可证

Creative Commons Attribution 4.0 (cc-by-4.0)

引用

如果您在工作中使用 Gatitos 数据加载器，请引用以下内容：

@misc{jones2023bilex, title={Bilex Rx: Lexical Data Augmentation for Massively Multilingual Machine Translation}, author={Alex Jones and Isaac Caswell and Ishank Saxena and Orhan Firat}, year={2023}, eprint={2303.15265}, archivePrefix={arXiv}, primaryClass={cs.CL} } }

@article{lovenia2024seacrowd, title={SEACrowd: A Multilingual Multimodal Data Hub and Benchmark Suite for Southeast Asian Languages}, author={Holy Lovenia and Rahmad Mahendra and Salsabil Maulana Akbar and Lester James V. Miranda and Jennifer Santoso and Elyanah Aco and Akhdan Fadhilah and Jonibek Mansurov and Joseph Marvin Imperial and Onno P. Kampman and Joel Ruben Antony Moniz and Muhammad Ravi Shulthan Habibi and Frederikus Hudi and Railey Montalan and Ryan Ignatius and Joanito Agili Lopo and William Nixon and Börje F. Karlsson and James Jaya and Ryandito Diandaru and Yuze Gao and Patrick Amadeus and Bin Wang and Jan Christian Blaise Cruz and Chenxi Whitehouse and Ivan Halim Parmonangan and Maria Khelli and Wenyu Zhang and Lucky Susanto and Reynard Adha Ryanda and Sonny Lazuardi Hermawan and Dan John Velasco and Muhammad Dehan Al Kautsar and Willy Fitra Hendria and Yasmin Moslem and Noah Flynn and Muhammad Farid Adilazuarda and Haochen Li and Johanes Lee and R. Damanhuri and Shuo Sun and Muhammad Reza Qorib and Amirbek Djanibekov and Wei Qi Leong and Quyet V. Do and Niklas Muennighoff and Tanrada Pansuwan and Ilham Firdausi Putra and Yan Xu and Ngee Chia Tai and Ayu Purwarianti and Sebastian Ruder and William Tjhi and Peerat Limkonchotiwat and Alham Fikri Aji and Sedrick Keh and Genta Indra Winata and Ruochen Zhang and Fajri Koto and Zheng-Xin Yong and Samuel Cahyawijaya}, year={2024}, eprint={2406.10118}, journal={arXiv preprint arXiv: 2406.10118} }