gsarti/flores_101
收藏资源简介：
FLORES是一个用于机器翻译的基准数据集，特别是针对英语与低资源语言之间的翻译。该数据集包含从英文维基百科中提取的3001个句子，并由专业翻译人员翻译成101种语言。这些句子涵盖了各种不同的主题和领域，并且所有翻译都是多语言对齐的。该数据集旨在更好地评估低资源语言的模型质量，包括多对多多语言翻译系统的评估。数据集的结构包括数据实例、数据字段和数据分割，所有句子在配置和分割之间都是对齐的。数据集的创建过程在原始论文中有详细描述，数据集遵循Creative Commons Attribution-ShareAlike 4.0 International License许可。
FLORES is a benchmark dataset for machine translation, particularly targeting translation between English and low-resource languages. It contains 3001 sentences extracted from English Wikipedia, which have been professionally translated into 101 languages. These sentences cover a wide range of topics and domains, and all translations are multilingually aligned. This dataset is designed to better evaluate model quality for low-resource languages, including the assessment of many-to-many multilingual translation systems. The dataset structure includes data instances, data fields and data splits, with all sentences aligned across configurations and splits. The dataset creation process is detailed in the original paper, and the dataset is released under the Creative Commons Attribution-ShareAlike 4.0 International License.
数据集概述
数据集名称
- 名称: Flores 101
- 别名: FLORES
数据集描述
- 目的: 用于机器翻译，特别是针对低资源语言的评估和研究。
- 内容: 包含从英文维基百科提取的3001个句子，这些句子由专业翻译者翻译成101种语言。
- 特点: 所有翻译都是多语言对齐的，支持多对多的多语言翻译系统评估。
语言支持
- 语言数量: 101种
- 语言列表: 包括但不限于英语（en）、法语（fr）、俄语（rus）等，具体列表请参考原始数据集文档。
数据集结构
- 数据实例: 每个实例包含ID、句子、URL、领域、主题、是否包含图像、是否包含超链接等信息。
- 数据字段:
id: 数据条目编号，从1开始。sentence: 特定语言的完整句子。URL: 英文文章的URL。domain: 句子所属领域。topic: 句子主题。has_image: 原始文章是否包含图像。has_hyperlink: 句子是否包含超链接。
数据集创建
- 创建方法: 由专业翻译者对英文维基百科的句子进行翻译。
- 详细信息: 请参阅原始论文 The FLORES-101 Evaluation Benchmark for Low-Resource and Multilingual Machine Translation。
许可信息
- 许可类型: Creative Commons Attribution Share Alike 4.0 (CC-BY-SA-4.0)
- 许可详情: 可访问 Creative Commons 获取。
引用信息
- 引用格式: bibtex @inproceedings{flores101, title={The FLORES-101 Evaluation Benchmark for Low-Resource and Multilingual Machine Translation}, author={Goyal, Naman and Gao, Cynthia and Chaudhary, Vishrav and Chen, Peng-Jen and Wenzek, Guillaume and Ju, Da and Krishnan, Sanjana and Ranzato, MarcAurelio and Guzm{a}n, Francisco and Fan, Angela}, journal={arXiv preprint arXiv:2106.03193}, year={2021} }
