gsarti/flores_101|机器翻译数据集|低资源语言数据集

FLORES是一个用于机器翻译的基准数据集，特别是针对英语与低资源语言之间的翻译。该数据集包含从英文维基百科中提取的3001个句子，并由专业翻译人员翻译成101种语言。这些句子涵盖了各种不同的主题和领域，并且所有翻译都是多语言对齐的。该数据集旨在更好地评估低资源语言的模型质量，包括多对多多语言翻译系统的评估。数据集的结构包括数据实例、数据字段和数据分割，所有句子在配置和分割之间都是对齐的。数据集的创建过程在原始论文中有详细描述，数据集遵循Creative Commons Attribution-ShareAlike 4.0 International License许可。

原始信息汇总

数据集概述

数据集名称

• 名称: Flores 101
• 别名: FLORES

数据集描述

• 目的: 用于机器翻译，特别是针对低资源语言的评估和研究。
• 内容: 包含从英文维基百科提取的3001个句子，这些句子由专业翻译者翻译成101种语言。
• 特点: 所有翻译都是多语言对齐的，支持多对多的多语言翻译系统评估。

语言支持

• 语言数量: 101种
• 语言列表: 包括但不限于英语（en）、法语（fr）、俄语（rus）等，具体列表请参考原始数据集文档。

数据集结构

• 数据实例: 每个实例包含ID、句子、URL、领域、主题、是否包含图像、是否包含超链接等信息。
• 数据字段:
  • id: 数据条目编号，从1开始。
  • sentence: 特定语言的完整句子。
  • URL: 英文文章的URL。
  • domain: 句子所属领域。
  • topic: 句子主题。
  • has_image: 原始文章是否包含图像。
  • has_hyperlink: 句子是否包含超链接。

数据集创建

• 创建方法: 由专业翻译者对英文维基百科的句子进行翻译。
• 详细信息: 请参阅原始论文 The FLORES-101 Evaluation Benchmark for Low-Resource and Multilingual Machine Translation。

许可信息

• 许可类型: Creative Commons Attribution Share Alike 4.0 (CC-BY-SA-4.0)
• 许可详情: 可访问 Creative Commons 获取。

引用信息

• 引用格式: bibtex @inproceedings{flores101, title={The FLORES-101 Evaluation Benchmark for Low-Resource and Multilingual Machine Translation}, author={Goyal, Naman and Gao, Cynthia and Chaudhary, Vishrav and Chen, Peng-Jen and Wenzek, Guillaume and Ju, Da and Krishnan, Sanjana and Ranzato, MarcAurelio and Guzm{a}n, Francisco and Fan, Angela}, journal={arXiv preprint arXiv:2106.03193}, year={2021} }